A categorização e a validação das respostas abertas em surveys políticos

The categorization and validation of open-ended questions in political surveys

La categorización y validación de las respuestas abiertas en encuestas políticas

La catégorisation et validation des réponses ouvertes dans les sondages politiques

Resumo

O artigo trata do problema da categorização de respostas sobre política, governo e democracia, obtidas por meio de perguntas abertas e levantadas num survey com 800 entrevistados. Para identificar o grau de compreensibilidade das perguntas, realizaram-se um pré-teste e uma análise de não resposta, elaborando-se um perfil psicométrico. Na categorização o método dedutivo se mostrou superior ao indutivo. Observa-se uma influência midiática e da posição no ciclo de vida na percepção dos entrevistados sobre política e governo. A validação intra e interconfiabilidade mostra que codificadores, em dado momento, começam a aceitar respostas irracionais como racionais e podem estar sujeitos a um framing.

categorização; análise da não resposta; análise psicométrica; método de partir ao meio; intra e inter confiabilidade

Abstract

The article deals with the problem of the categorization of answers about politics, government, and democracy obtained through open-ended questions in a survey with a random sample of 800 interviewees. In order to identify the degree of comprehensibility of the questions, a pre-test and missing value analysis were carried out to elaborate a psychometric profile. In the categorization process, the deductive method was superior to the inductive one. The media and the life cycle position influences perception about politics and government. The validation of intra- and inter-coder reliability shows that coders, at a given moment, begin to accept irrational responses as rational ones, and that they can be subject to framing effects.

categorization; missing-value analysis; psychometric analysis; split half; intracoder and intercoder reliability

Resumen

El artículo discurre sobre el problema de la categorización de respuestas sobre política, gobierno y democracia, obtenidas por medio de preguntas abiertas y levantadas en una encuesta con 800 entrevistados. Para identificar el grado de comprensibilidad de las preguntas fue realizado un pre test y análisis de no respuesta, elaborándose un perfil psicométrico. En la categorización el método deductivo se mostró superior al inductivo. Fue observada una influencia mediática y de la posición en el ciclo de vida en la percepción de los entrevistados sobre política y gobierno. La validación intra- e intercoder confiabilidad muestra que codificadores, en dado momento, comienzan a aceptar respuestas irracionales como racionales y pueden estar sujetos a un efecto de encuadre (framing).

categorización; análisis de la no respuesta; análisis psicométrica; método de partir al medio; intracoder e intercoder confiabilidad

Résumé

L’article aborde le problème de la catégorisation des réponses sur la politique, le gouvernement et la démocratie, obtenues par le biais de questions ouvertes et présentées dans un sondage auprès de 800 personnes interviewées. Afin d’identifier le degré de compréhensibilité des questions, on a réalisé une pré-enquête et une analyse de non réponse, à partir de l’élaboration d’un profil psychométrique. Dans la catégorisation, la méthode déductive s’est avérée supérieure à l’inductive. Il est possible d’observer une influence médiatique et de la position du cycle de vie dans la perception des personnes interviewées sur la politique et le gouvernement. La validation intra-code et inter-code de fiabilité démontre que, des codificateurs, à un moment donné, commencent à accepter des réponses irrationnelles comme rationnelles et peuvent être soumis à un effet cadrage.

catégorisation; analyse de la non réponse; analyse psychométrique; la méthode du partage; intra-code et inter-code fiabilité

Introdução

Um método frequentemente usado nas ciências humanas é a entrevista (face-to-face) com a aplicação de questionários (paper e pencil) em surveys (Henkel e Almeida, 2003). No processo de aquisição dos dados ocorre a transformação destes em categorias. Enquanto respostas levantadas por meio de perguntas fechadas com o uso de escalas ordinais ou nominais e indicação dos atributos não causam problemas de categorização, respostas abertas em geral limitam esse processo e influenciam a validade do survey, porque nessa comunicação direta entre entrevistador e entrevistado são incorporados códigos, símbolos, significados e aspectos de moralidade ou ética que dificultam o processo da decodificação.

Do ponto de vista da metodologia científica, objetos abstratos são constituídos por várias dimensões, as quais não podem ser identificadas facilmente por meio de variáveis operacionalizadas em perguntas. Por mensuração, essas variáveis obtêm um atributo valorativo ou descritivo, que não pode ser escolhido livremente, visto que é o objeto que expressa esse valor. Enquanto o tratamento de dados valorativos não causa problemas, atributos descritivos podem, segundo Smith (2004, p. 303), indicar a existência de um relacionamento bidimensional, tridimensional, multidimensional ou n-dimensional entre si. O ordenamento dessas dimensões ocorre em classes que são consideradas categorias.

Este artigo trata do problema da categorização de respostas abertas em surveys políticos tendo como base a análise das respostas sobre política, governo e democracia levantadas em survey com 800 entrevistados na cidade de Belém do Pará. Para tanto, o artigo organiza-se da seguinte forma: na primeira seção, discutem-se os procedimentos técnico-metodológicos para lidar com as respostas em perguntas abertas em surveys políticos. A segunda seção apresenta a metodologia utilizada. Em seguida, na seção “Discussão e resultados”, apresentam-se o perfil dos entrevistados e uma análise psicométrica e de missing value para indicar a compreensibilidade e a respondibilidade das perguntas sobre política, governo e democracia. As seções “O processo indutivo de categorização” e “O processo dedutivo de categorização” apresentam, respectivamente, os resultados das abordagens indutiva e dedutiva dos dados de modo a se compararem seus limites e possibilidades para a qualidade da análise de respostas abertas de surveys. Finalmente, a seção “A inter e a intraconfiabilidade da codificação” discute os aspectos dos codificadores que podem afetar o processo de categorização das respostas e suas implicações para a análise.

A análise das respostas em perguntas abertas

Como procedimento técnico-metodológico na análise das respostas em perguntas abertas e na categorização, aplicam-se, em geral, a análise de conteúdo e a análise semântica. Para Mayring (2010, p. 602), a análise de conteúdo é uma análise interpretativa de textos por meio de decomposição do discurso e reconstrução racional de uma ideia central com a aplicação de regras lógicas a respeito da origem dessas mensagens com a finalidade de criar categorias. Trata-se, mais especificamente, de um procedimento sistemático do reducionismo para identificar a dimensionalidade do atributo. A análise semântica avalia os significados de palavras, frases, sinais e símbolos, e o decodificador incorpora-os inconscientemente na própria mente para criar categorias.

As análises semântica e de conteúdo aplicadas na análise da resposta em perguntas abertas permitem alcançar o primeiro estágio, a análise da organização e sistematização textual, mas o segundo estágio, a análise pragmática, necessita que o codificador apreenda a visão do mundo social do entrevistado, o que não é desejado em surveys.

O que dificulta a aplicação desses tipos de análise é o fato de que as respostas podem ser dadas como palavras-chave e não como texto flutuante, no sentido discursivo, o que depende muito do tamanho do espaço reservado para dar a resposta e da capacidade cognitiva do entrevistado.

Em termos de níveis categóricos, há categorias dicotômicas, tricotômicas, múltiplas e politômicas que descrevem a natureza e também a variação associada aos atributos das respostas. Teoricamente, pode-se estabelecer igual número de categorias assim como respostas diferentes obtidas no caso de uma pergunta aberta num survey. Além disso, elas precisam se diferenciar qualitativamente ou excluir-se mutuamente e, com isso, os atributos de uma categoria devem mostrar internamente uma homogeneidade (category internal consistency) ou, segundo Bortz e Döring (2006, p. 140), um sistema categórico deve possuir como critérios qualitativos a exatidão, a exaustividade e a exclusividade. Porém, e segundo Lind (2000, p. 9), somente 10% dos atributos podem ser considerados como atributos básicos de uma categoria, ou, segundo Tourangeau, Rips e Rasinski (2000, p. 240), a categoria representa uma proporção fixa de resposta do stimuli pergunta, enquanto os demais atributos têm uma variância aceitável ou já fazem parte da variância das demais categorias (Borges e Pinheiro, 2002, p. 57). Outras respostas não são categorizáveis porque expressam aspectos dimensionados tanto de forma física como mentalmente ao mesmo tempo, e não têm, segundo Sælensminde (2001, p. 271), uma variância claramente definida entre si (Gráfico 1):

Gráfico 1
Sistema de categorias

Moraes (1999, p. 3) e Rosen e Rosen (1955, p. 401) citam como critérios qualitativos das categorias: relevância, atualidade, entrelaçamento com outras pesquisas (interlacing ability), contextualidade da resposta (response contextuality), plano de codificação, fácil gerenciabilidade (easy content management), flexibilidade da categoria (category flexibility), fácil alocação de resposta, fácil identificação do conteúdo da categoria (easy category identification), comparabilidade das categorias (category comparability), compreensibilidade das categorias (category comprehensibility), entre outros.

A análise de decodificação e interpretação qualitativa das respostas e a categorização a posteriori destas contêm também, segundo Gillham (2000, p. 70), aspectos da interculturalidade e da etnorracionalidade, que diferenciam o decodificador do entrevistado, conduzindo, segundo Vaus (2002, p. 100), à não utilização das categorias na vida real. O decodificador é, em geral, influenciado pela cultura, por valores, preconceitos ou até dogmas que ele aplica no momento da constituição de categorias, a qual é sujeita a um julgamento (Flango, Wenner e Wenner, 1975, p. 278). Por isso, no processo do estabelecimento das categorias, deve-se indicar que pensamento elas necessitam refletir, o do entrevistado, que representa o método indutivo, ou o do entrevistador, que representa o método dedutivo.

Referindo-se ao codificador, Krippendorff (2004, p. 214) indica dois tipos de qualidade a respeito disso: estabilidade – a tipificação das categorias se repete pelo mesmo codificador depois de um intervalo temporal ou o codificador repete as suas próprias decisões (Ʃcategoria₁t₁ = Ʃcategoria₁t₂;Ʃcategoria₂t₁ = Ʃcategoria₂t₂; ...) – e, no caso de codificadores diferentes, reprodutibilidade – codificadores agrupam respostas nas mesmas categorias. Graber (2004, p. 55) denomina a primeira situação de confiabilidade do codificador (intracoder reliability), interpretada por Laver e Garr (2000, p. 625) como exatidão da codificação, e a segunda de confiabilidade entre codificadores (intercoder reliability), chamada também de concordância entre codificadores (intercoder agreement).

Tendo apresentado os pressupostos da categorização e análise das respostas abertas em surveys políticos, a próxima seção apresenta a metodologia empregada pelo presente estudo.

Método

Para analisar a percepção sobre “O que é política para você?”, “O que é governo para você?” e “O que é democracia para você?”, aplicou-se na pesquisa “A validação de surveys políticos”^[1] um survey em 79 escolas públicas da rede estadual de ensino no município de Belém com 800 estudantes (realizado de julho de 2014 a janeiro de 2015), no intuito de constituir uma base de dados (opinion poll) ou fonte de informação (information poll) (Althaus, 2003, p. 42). Para obter maior homogeneidade dos dados e para reduzir distorções de opiniões, as escolas foram selecionadas por meio de uma amostra aleatória simples, os entrevistados foram delimitados socialmente para a faixa etária de 18 a 24 anos e a aplicação do questionário somente ocorreu em uma sala de aula por escola. Esse questionário foi preenchido sob autoadministração do entrevistado e sem a interferência do entrevistador. As referidas perguntas constituem-se de questões abertas com espaço considerado suficiente para facilitar o preenchimento de uma resposta discursiva.

Para o processo indutivo da categorização (inductive category application) das respostas à pergunta “O que é política para você?”, foram escolhidos 30 questionários aleatoriamente e as respostas foram avaliadas segundo a análise de conteúdo, considerando-se a interpretação no contexto sociopolítico e semântico de Belém, o que resultou na criação de 19 categorias mais a categoria “outros”. Para o processo dedutivo, usaram-se categorias preestabelecidas segundo modelos teóricos (deductive category application), o que se pode declarar como interpretação das respostas e análise do texto com orientação qualitativa e guiada por categorias. As respostas foram codificadas por um só codificador.

Antes da aplicação do survey realizou-se um pré-teste do tipo psicométrico (Krosnick, 1999; Prüfer e Rexroth, 2000), para validar a facilidade em compreender as respectivas perguntas e em responder a elas. Foram selecionados aleatoriamente 50 alunos da faixa etária de 16 e 17 anos, que delimitam o survey para baixo, e 50 alunos com 24 anos, que delimitam o survey para cima. Utilizou-se um questionário específico de validação (Visser, Krosnick e Lavrakas, 2000, p. 241) com uso de escalas de intervalo, nas quais o entrevistado avaliou de 0 (muito difícil para entender) a 10 (muito fácil para entender) as perguntas. Para analisar diferenças significantes entre esses dois grupos, aplicou-se um teste t de Student e verificou-se a relação das perguntas supracitadas com a idade (correlação Pearson) e o sexo (eta).

Para elaborar um perfil socioeconômico de competências para responder às referidas perguntas, aplicou-se uma análise de não resposta (missing value) (Henkel, 2012). O termo missing value é mais usado para descrever as consequências estatísticas de um levantamento, devido à ausência do aspecto que se pretende mensurar na população amostral (Schafer, 1997, p. 10). Batinic et al. (1999) expressam com isso falhas do processo metodológico e de confiabilidade de uma pesquisa. Assim, neste artigo se entende a não resposta como uma omissão de informação devido à falta de compreensão cognitiva sobre o conteúdo da pergunta.

Para avaliar o processo da categorização das respostas pelos codificadores, usou-se o método metades partidas, chamado também bipartição do teste ou método de partir ao meio (split half). A técnica consiste em avaliar a consistência interna do mesmo instrumento (construct validity) por meio da comparação das codificações divididas em duas ou mais partes. Tziner et al. (1996, p. 185) recomendam para a mensuração dessa consistência ou grau de entendimento e estabilidade temporal o universalmente aconselhável índice alfa de Cronbach, e Hayes e Krippendorff (2007, p. 80), o coeficiente de concordância de Kendalls, Cohens Kappa, Spearmann-Brown e a correlação de Pearson, entre outros. Entretanto, não existe uma definição comumente aceita do que esses coeficientes verdadeiramente medem (Cortina, 1993, p. 98), os procedimentos algébricos são sempre diferentes (Cronbach e Shavelson, 2004, p. 405) e as respostas devem ser iguais em termos de compreensibilidade e conteúdo. Mesmo que existam vários métodos para dividir uma série em partes iguais, sejam duas (split half), quatro (split quarter) ou mais partes, estes sempre são arbitrários, e o índice de consistência é afetado pela forma de divisão dos itens. Ademais, o coeficiente varia por diversos fatores, como tamanho da amostra, tamanho textual e indicação de palavras-chave ou texto flutuante na resposta.

Os três codificadores precisariam teoricamente categorizar as mesmas respostas de cada questionário da amostra (n = 800), o que inviabilizaria esse processo de validação. Por causa disso optou-se pelo processo em que os codificadores categorizaram as respostas de questionários diferentes. Esse método é aceitável porque as respostas representam elevada homogeneidade e variações insignificantes. Em seguida, as respostas categorizadas de cada codificador foram divididas em duas partes iguais, sendo uma categorizada no início (t₁) e outra no final da codificação (t₂).

Na mensuração dos coeficientes se usou Cramer’s V para categorias dicotômicas (2 × 2 tabela de contingência) e Pearson’s Phi para categorias tricotômicas (3 × 2 tabela de contingência). Os dados foram informatizados e analisados com o programa SPSS.

Discussão e resultados

A análise da missing value e o perfil dos entrevistados

A primeira análise do perfil socioeconômico mostra que a média de idade dos entrevistados corresponde a 18,2 anos e 85% têm 20 anos ou menos. Dos entrevistados 52% são do sexo feminino; 52% se declararam solteiros e sem filhos, embora essa última afirmação represente uma grande quota de missing value (mv); 33% trabalharam em situação informal ou formal com horários variados. A maioria vive ainda na casa dos pais, pertence à classe média baixa e, em geral, se declara jovem eleitor.

A comparação por meio de um teste t de Student entre os grupos analisados no pré-teste mostra que não há diferenças significantes no entendimento e em responder às referidas questões. Porém, o resultado é influenciado por uma distribuição não normal, o que impede, no stricto sensu, a aplicação desse teste. A correlação indica um resultado não esperado, em que entrevistados mais jovens avaliam a compreensibilidade das perguntas e a facilidade em responder às questões sobre política (r = -0.137; p < 0.01) e governo (r = -0.103; p < 0.01) melhor que entrevistados com idade avançada. Somente a pergunta sobre a democracia foi avaliada melhor por este último grupo (r = 0.142; p < 0.01). Entretanto, os valores expressam uma baixa correlação em geral.

As perguntas sobre “O que é política para você?”, “O que é governo para você?” e “O que é democracia para você?” obtiveram uma média geral de avaliação de 4,7 (numa escala de 0 a 10). Em relação à média de 7,1 sobre as demais perguntas do questionário, o resultado indica que a dificuldade em responder a essas perguntas não persiste na ambiguidade ou sintaxe, mas nas dimensões dos objetos: política, governo e democracia. Uma análise de correlação mostra que entrevistados do sexo feminino avaliam essas perguntas com notas inferiores em relação aos entrevistados do sexo masculino, embora o coeficiente de correlação não seja expressivo (eta = 0,18).

Uma análise sobre o aspecto do desempenho do entrevistado mostrou, respectivamente, que 87%, 85% e 73% das respostas referentes àquelas perguntas foram preenchidas na forma de um texto contínuo e não com palavras-chave. Contudo, entrevistados que responderam somente com palavras-chave mostraram maior capacidade cognitiva, quando se aceitam os conceitos avaliativos ou as notas escolares recebidas nas disciplinas português e matemática como variável substituta de cognição.

A análise de missing value mostra que os valores ausentes são mais altos para a pergunta “O que é democracia para você?” (45,8%), ou que quase a metade dos entrevistados não soube respondê-la; 35,9% não souberam responder “O que é governo para você?” e 32,6%, “O que é política para você?” (Tabela 1). Em comparação, perguntas do mesmo survey e questionário sobre a confiança nas instituições MST e Incra obtiveram mv de 20,9% e de 19,1%, respectivamente, embora não se encontrem informações diariamente na mídia e não façam parte da vida social dos entrevistados.

Tabela 1
Missing value por variável socioeconômica e dimensão (%)

Variável			Dimensão
			Política		Governo	Democracia	Média
Idade	≤ 20 anos		35,8		39,2	50,1	41,7
	> 20 anos		28,6		33,6	42,2	34,8
Sexo	Masculino		31,8		34,8	44,7	37,1
	Feminino		36,7		41,0	52,0	43,2
Trabalho	Não trabalha		37,9		40,6	51,8	43,4
	Trabalha		27,9		34,2	42,4	34,8
Renda (R$)	≤ 1 SM		30,7		32,0	38,1	33,6
	1 a 2 SM		19,4		26,7	32,8	26,3
	> 2 SM		26,0		19,6	28,8	24,8
Modalidade ensino	Fundamental		47,8		51,0	66,4	55,1
	EJA fundamental		43,8		49,5	60,3	51,2
	EJA médio		31,6		34,6	51,8	39,3
	Ensino médio		27,2		30,3	35,1	30,9
Rendimento escolar	≤ média		35,5		41,3	47,5	41,4
	> média		28,7		29,8	43,7	34,1
Média total			32,6		35,9	45,8	38,1
Estrutura socioeconômica e escolar	Dificuldade na resposta ▭			Facilidade na resposta ▭				↖ cleavage line

• Fonte: Elaborada pelo autor com base em survey com 800 estudantes de escola pública de Belém (PA), 2015.

Percebe-se que algumas estruturas sociais, educacionais e econômicas facilitam as respostas sobre política, governo e democracia. Na modalidade EJA fundamental, por exemplo, representada por maiores índices de evasão e reprovação e uma distorção idade-série, o que pode indicar pior desempenho, não se cria com facilidade uma construção compreensiva das dimensões política, governo e democracia. Por outro lado, a frequência no ensino médio indica um estudo contínuo e, por causa disso, provavelmente uma melhor capacidade cognitiva em compreender essas dimensões. Entretanto, supõe-se que a modalidade não é a variável decisiva e não existe uma divisão clara ou cleavage line (Lipset e Rokkan, 1967, p. 1) entre entrevistados de certas estruturas sociais, econômicas e educacionais em dar respostas compreensíveis sobre aspectos políticos. Portanto, deduz-se que o maior envolvimento com aspectos relativos à burocracia nas três esferas de governo, expressados por itens como pagamento mensal do aluguel de habitação financiado por políticas públicas, água, luz, imposto de renda, IPTU etc., denota com mais intensidade conhecimento sobre aspectos políticos e de governo, ou a experiência vivida no sistema é mais significante em relação à compreensão sobre essas ideias, mas não necessariamente sobre o aspecto democracia.

O processo indutivo de categorização

Observa-se que, no processo indutivo de categorização, nenhuma categoria apresenta mais que 13% das respostas, além de haver uma contínua redução até menos que 1%, como as categorias “ordem”, “propaganda” e “ajudar o povo” etc. (Gráfico 2). O entrevistado não identifica a dimensão política como um ordenamento da aplicação de valores em público e identifica política positivamente (“...é uma união entre deputados e povo, debate”), negativamente (“...é roubo”), como também uma personificação da política (“...são mentirosos”; “...candidatos querem votos”), o que Brent (2014, p. 424) chama de uma bagunça partidária. O último item foi interpretado como negativo, porque a expressão “...querem votos” implica uma atitude por parte dos candidatos e representa na semântica local uma certa ação de exigir, um imperativo. Ao contrário disso, uma resposta, “...pedir votos”, contém o verbo transitivo no sentido incompleto que pede algum objeto e precisa da concordância do outro.

Gráfico 2
“O que é política para você?” (%)

Numa outra pesquisa, Wachelke e Hammes (2009, p. 523) estabeleceram 27 categorias no caso da representação social sobre política. Henkel (2011, p. 102) apresentou 21 categorias no caso do significado de política, 18 no caso de governo e 19 para democracia. No entanto, categorias politômicas não têm capacidade de uma grande diferenciação das respostas e, segundo Hillmann (2001, p. 27), são inúteis, uma vez que não refletem mais categorias diferenciáveis.

No início do período democrático recente, Kahn (1997, p. 184) explicou essa situação de agrupamento das imagens da população sobre assuntos políticos por categorias politômicas com base no fato de que as crenças em novas democracias seriam muito abstratas, vagas e incompletas, com muitas dimensões, permitindo inúmeras interpretações. Do mesmo modo, Moisés (1992, p. 41) mencionava que a população ainda não se acostumara totalmente com as novas instituições.

O processo dedutivo de categorização

Para agilizar o processo de alocação das respostas e possibilitar uma comparação nacional e internacional, assim como devido aos altos índices de mv e categorias que não se diferenciaram mais, foi necessário mudar a metodologia. Enquanto na análise indutiva foi aplicada uma orientação realista que enfatiza entender política, governo e democracia segundo as ideias da população (grounded theory), o procedimento dedutivo é uma orientação idealista, no qual são aplicados modelos.

Há vários modelos para estabelecer categorias, independentemente das respostas. Há a abordagem dialética na construção de categorias, que consiste em começar com categorias dicotômicas, depois tricotômicas, e aumentar para politômicas. No caso das respostas sobre a ideia de política, Rudolf (2003, p. 76) usou as categorias dicotômicas que indicam um interesse próprio no sentido de obter um benefício individual e aquelas que não têm um interesse próprio, mas algo societal para distinguir o conteúdo destas respostas.

Outra categorização do tipo dicotômico são categorias que refletem “experiências” vividas na resposta do entrevistado, tais como corrupção, promessas ou propaganda etc., e categorias que refletem “ideais” nas respostas que o sistema deveria conter, tais como respeito, dignidade, igualdade ou liberdade, entre outros.

Hillmann (2001, p. 29) recomenda as categorias tricotômicas "materialísticas", "hedonísticas" e "individualísticas" para diferenciar as ideias sobre valores políticos. Brito (2007, p, p. 7) criou categorias politômicas, que se inter-relacionam e compreendem toda a política: o "contexto em que se insere a política", seu "processo de formulação, implementação, monitoramento e avaliação", o "conteúdo da política" e os "principais atores envolvidos". Porém, essas categorias precisam de uma cognição mais elevada e maior experiência por parte do codificador.

Nesse novo processo de categorização, optou-se por analisar inicialmente a resposta na posição dicotômica, se o conteúdo tem um sentido “positivo” ou “negativo” em relação a política, governo e democracia, o que representa, segundo Granberg, Kasmer e Nanneman (1988, p. 29), uma percepção política em que as respostas mostram certa diferenciação (Gráfico 3):

Gráfico 3
Percepção de política, governo e democracia (%)

Os entrevistados não criam necessariamente por entendimento próprio as percepções sobre política, governo e democracia, que talvez sejam transmitidas por intermediação de processos midiáticos e o resultado deve ser analisado no âmbito político de Belém, que está caracterizada por elementos como sistema patriarcal, relações de parentescos, que determinam em parte o sucesso profissional alcançável, nepotismo e forte influência de culturalismo e tradicionalismo. Por outro lado, a nova ordem socioeconômico-cultural nacional, ou democracia, uniu valores de pensamento que antes pareciam impossíveis de ser combináveis com o sistema político local, regional e estadual, como privilegiar uma sociedade mais igualitária, favorecer a mobilidade vertical e reconhecer o esforço individual dentro de um sistema que dá mais enfoque à meritocracia social, elementos que não se combinam facilmente com os relativos a sistemas tradicionais (Lopez Junior, 2006). Isso explica que a democracia seja bem mais percebida, porque nela ocorrem estas mudanças, e a percepção de política e governo seja menor, porque nestas esferas há a disputa pragmática sobre a aplicação de valores societais. A percepção negativa dos entrevistados relativa às três esferas não deve ser interpretada como um desinteresse político, mas sim como descontentamento político.

Democracia talvez não seja reconhecida como sistema societal, mas como modelo da ordem política, e uma percepção negativa por parte da população não implica que o entrevistado seja a favor de outro sistema, que ele de fato também não conhece. Esses aspectos dificultam uma comparação das respostas contidas neste artigo em relação aos levantamentos como o Eurobarômetro ou Latinobarômetro (Rose, 2002), porque cada um dos entrevistados tem uma experiência empírica de democracia diferente.

Uma correlação (eta e Pearson) entre variáveis socioeconômicas e educacionais comprova que entrevistados do sexo masculino percebem melhor as dimensões política e de governo que os do sexo feminino, devido à maior incorporação no mercado de trabalho, e consequentemente adquirem mais noções sobre essas dimensões. Entrevistados do sexo feminino, por sua vez, percebem melhor democracia, porque nesta as regras da disputa são mais bem definidas. Além disso, são principalmente os alunos do ensino médio que avaliam mais como “positivo” que “negativo” o governo, a política e a democracia. As causas explicativas dessa percepção diferenciada em relação aos demais grupos se traduzem na capacidade cognitiva elevada desses alunos, expressa indiretamente pelo estudo de ensino médio, e no seu reconhecimento como grupo social menos favorecido, porque fazem parte do ensino público, e devido a isso no contexto democrático e nacional recebem mais atenção pela política afirmativa e de igualdade social, tendo como consequência o acesso desses entrevistados às universidades por meio do Enem, Prouni ou Fies, o direito a benefícios sociais como Bolsa Família, e talvez pelo reconhecimento de alcançar prosperidade individual pelo próprio desempenho.

Embora Shepardson e Pizzini (1991, p. 675) tenham usado a forma tricotômica “input”, “processo” e “output” para caracterizar o modelo de Easton (1957), aplicou-se esse modelo na forma original dicotômica (Gráfico 4).

Gráfico 4
Percepção input-output e tipo de resposta sobre política (%)

Para diferenciar cognitivamente as respostas, optou-se também pela categorização dicotômica “afetivas” e “racionais”, como usaram Rechberger, Hartner e Kirchler (2009, p. 7). Para a psicologia, essas categorias refletem um diferenciado nível evolutivo do entrevistado, pois as respostas não estão vinculadas com a dimensão política, governo ou democracia, mas com a capacidade perceptiva e cognitiva do entrevistado em entender esses sistemas (Dell’ Agli e Brenelli, 2007, p. 568) (Gráfico 4):

As categorias “input” e “output” refletem a orientação, ou seja, como o entrevistado entende sua posição como cidadão dentro do Estado e sistema político. Almond e Verba (1963, p. 402) diferenciaram qualitativamente as orientações dentro do conceito civic culture nos grandes grupos, que são: cultura participativa (participant culture), paroquial (parochial culture) e subordinação (subject culture), e julgaram somente para a cultura participativa e subordinação uma orientação em input e output. Esse conceito é parcialmente baseado na concepção da escolha racional, mas deve ser reformulado por ideias como as de Shachar e Nalebuff (1999, p. 525), que supõem que o cidadão pode ter uma orientação não racional, mas sim afetiva em sustentar o sistema, porque é baseado em tradicionalismo e/ou cultura que conduzem a uma responsabilidade civil de apoiar um sistema qualquer, ter lealdade a este ou seguir um líder (follow the leader) (1999, p. 536).

Há dois elementos que permitem uma interpretação das respostas sobre política nos aspectos “racional” ou “afetivo”. O primeiro é o elemento “informações”, e em especial a mídia de telecomunicação na sociedade midiática. Nesta, categorias políticas não são transmitidas segundo uma lógica racional, mas são operadas com um inventário de sintaxes distantes da teoria normativa e por códigos estéticos selecionados midiaticamente, e muitas vezes se transformam em reportagens criminais. O que pode então causar uma resposta “afetiva” é a moralização da prática dessas dimensões apresentadas na mídia.

O segundo elemento, que pode causar uma resposta “racional”, é a redução de orientações culturais e tradicionais na interpretação de objetos políticos (política, governo, democracia, input, output) e maior incorporação de critérios reais, ou a pessoa parte do nível de representação individual para o nível agregado, em que ela representa um cidadão (Pickel e Pickel, 2007, p. 62). Klingemann (2012, p. 21) explicou essa mudança cognitiva por meio do processo de incremento das competências e habilidades pessoais (increase in personal skills), entendido como o crescente potencial dos indivíduos de dominar assuntos políticos.

A ideia de que o ensino formal nas escolas transmite competências e habilidades para operar melhor com a categorização não é confirmada por meio da aplicação de testes estatísticos (Pearson e eta) no caso dos entrevistados. Em uma comparação entre as variáveis “sexo”, “renda”, “presença de filhos”, “estado civil” e “conceito avaliativo” – composto pelas notas recebidas nas disciplinas português e matemática e entendido como variável substituta para medir a capacidade cognitiva − e as categorias “input”, “output”, “afetiva” e “racional”, não há grandes diferenças. Porém, existe a tendência de que entrevistados com mais de 20 anos de idade e da modalidade ensino médio regular reconheçam com maior intensidade o lado “input” na política e de maneira “racional”, enquanto entrevistados das modalidades ensino fundamental e EJA fundamental têm uma orientação mais para “output” e respostas “afetivas”. Os dados indicam que uma maior percepção de política nos aspectos “input” e “racional” pode ocorrer certamente por um processo que Dimaggio (1997, p. 273) chama de mobilidade cognitiva, mas principalmente quando o entrevistado muda o estado civil de “solteiro” para “casado/viver junto”, porém somente sob condição de presença de filhos, o que constitui a situação de uma família, e necessidade de uma atividade econômica, o que coloca o entrevistado num outro ciclo de vida que gera outra forma de percepção (life cycle perception).

Para a categorização tricotômica, usaram-se as categorias “estrutura”, “pessoas” e “processo”. A última categoria é, segundo Blyth e Varghese (1999, p. 359), menos restritiva na análise do sistema político do que a categoria “funcional” (Gráfico 5).

Gráfico 5
Aparência de política, governo e democracia (%)

Respostas como “...manda a merenda escolar”, “...um meio de ajudar ao povo”, “São as organizações que governam o país”, “Governo serve para governar a cidade”, “Responsabilidade e dever”, “São todos corruptos”, “Político pensa somente em si mesmo”, “Pessoas que ajudam nossa cidade” ou “É quando uma pessoa recebe o cargo para governar” não representam um pensamento sobre dimensões que são formal, constitucional e legalmente constituídas, mas sobre como política, governo e democracia são percebidos na sociedade. Essa percepção contém aspectos culturais e tradicionais, relativos a moralidade, criminalização da política etc. e reflete aspectos informais ou sistemas influenciados pela cultura política (Almond e Powell, 1966, p. 33). Pelas respostas verifica-se o que Toledo e Leal (2014) já haviam identificado: os entrevistados percebem as dimensões política e de governo mais personificadas do que a democracia.

Na próxima seção discute-se como aspectos subjetivos dos codificadores afetam o processo de codificação e sua confiabilidade.

A inter e a intraconfiabilidade da codificação

Segundo Tourangeau, Rips e Rasinski (2000, p. 228), estímulos contextuais nas respostas são percebidos e interpretados de maneira diferente entre os decodificadores das respostas, causados por costume, estratégia, aspecto sensorial-visual e processo cognitivo. A codificação das respostas mostrou essa diferenciação e essa dificuldade na categorização, indicadas pelo alto percentual das respostas “não categorizável”, o que leva a uma situação de meia autoconfiança (middle self confidence) ou até baixo autoconceito (low self concept), termos usados por Mayring (2000) para distinguir a qualidade dos dados, que inclui, segundo Günther (2006, p. 205), aspectos como objetividade, fidedignidade, confiabilidade e comparabilidade, entre outros, termos usados para discriminar a validação de uma pesquisa.

Tabela 2 Validação da categorização (%), Cramer’s V e Phi

Codificador, dimensão e categorias			Codificação tempo t1			Codificação tempo t2			Cramers V	phi
			Categoria			Categoria
			1.	2.	3.	1.	2.	3.
Codificador 1	Política	1. positivo 2. negativo	40,6	56,3	−	54,1	43,2	−	−	0.54
		1. input 2. output	9,4	21,9	−	24,3	24,3	−	−	0.56
		1. afetivo 2. racional	31,3	59,4	−	27,0	70,7	−	−	0.53
		1. estrutura 2. Processo 3. pessoa	12,5	25,0	25,0	10,8	32,4	13,5	0.46	−
	Governo	1. positivo 2. negativo	59,3	40,7	−	61,1	38,9	−	−	-0.33
		1. estrutura 2. Processo 3. pessoa	37,0	29,6	0,0	11,4	28,6	22,9	0.52	−
	Democracia	1. positivo 2. negativo	66,7	33,3	−	89,3	10,7	−	−	0.15
		1. estrutura 2. Processo 3. pessoa	10,0	45,0	10,0	3,6	14,3	71,4	0.48	−
Codificador 2	Política	1. positivo 2. negativo	22,1	55,6	−	32,4	23,5	−	−	0.38
		1. input 2. output	16,7	2,8	−	38,2	8,8	−	−	0.15
		1. afetivo 2. racional	33,3	22,2	−	8,8	44,1	−	−	0.23
		1. estrutura 2. processo 3. pessoa	5,6	11,1	27,8	8,8	29,4	17,6	0.26	−
	Governo	1. positivo 2. negativo	12,8	33,3	−	21,2	30,3	−	−	0.44
		1. estrutura 2. processo 3. pessoa	5,1	20,5	35,9	15,2	36,4	24,2	0,29	−
	Democracia	1. positivo 2. negativo	52,2	12,5	−	57,7	11,5	−	−	0.40
		1. estrutura 2. processo 3. pessoa	0,0	22,5	22,5	3,8	23,1	26,9	0.38	−
Codificador 3	Política	1. positivo 2. negativo	36,1	58,3	−	55,3	36,8	−	−	0.37
		1. input 2. output	25,0	36,1	−	15,8	28,9	−	−	0.45
		1. afetivo 2. racional	55,6	44,4	−	34,2	63,2	−	−	-0.37
		1. estrutura 2. processo 3. pessoa	11,1	30,6	44,4	34,2	63,2	2,6	0.48	−
	Governo	1. positiva 2. negativa	45,5	39,4	−	81,1	18,9	−	−	0,24
		1. estrutura 2. processo 3. pessoa	0,0	16,2	43,2	13,2	36,8	26,3	0.36	−
	Democracia	1. positiva 2. negativa	58,6	24,1	−	86,5	13,5	−	−	0.28
		1. estrutura 2. processo 3. pessoa	41,4	27,6	13,8	21,6	32,4	8,1	0.48	−

Fonte: Elaborada pelo autor.

Enquanto o codificador 1 mostra na dimensão política uma estabilidade cognitiva da categorização das respostas entre t₁ e t₂, (Cramer’s V = 0.46 e phi = 0.5), o codificador 2 mostra uma fraca relação e o codificador 3, uma relação até negativa (phi = -0.37), o que indica uma reorientação no pensamento e uma percepção diferenciada entre os momentos t₁ e t₂ da codificação, menor concordância (inter-rater) e menor intercambialidade entre os codificadores 1 e 2. Durante a decodificação e a categorização, os codificadores estão sujeitos a um processo permanente de aprendizagem, o que representa, para Rossmann (2005, p. 25), uma codificação dinâmica que acrescenta a cada nova resposta novos atributos na lista mentalmente agrupada pelo codificador, o que pode causar uma reorientação e alocação da nova resposta numa categoria diferente, como seria no início do processo (Alves e Silva, 1992, p. 66).

Devido à formação dos codificadores 2 e 3 na área de conhecimento da ciência política, conclui-se que codificadores com enfoque teórico mudam mais facilmente o pensamento quando este é confrontado com a realidade expressada na resposta. Especificamente a relação das respostas codificadas no tempo t₁ nas categorias “afetivo” ou “racional” mudou no tempo t₂ e respostas inicialmente ainda codificadas como “afetivo” foram em seguida codificadas com mais frequência como “racional”, ou o codificador começou a aceitar uma resposta caracterizada de forma irracional agora como racional.

No que diz respeito a inter e intracodificação da dimensão governo, estas mostram uma maior confiabilidade nas codificações em relação à dimensão política, porém inferior em relação à dimensão democracia. Nesse caso, o codificador 1 gerou uma relação inversa (phi = -0.33) entre os intervalos, o que indica que uma percepção inicialmente preestabelecida mudou durante o processo da codificação.

No caso do codificador 1, devido à diferença insignificante de classificação nas categorias “positivo” e “negativo” durante o tempo t₁ e t₂ sem uma alocação de respostas na categoria “não categorizável”, houve a possibilidade de um framing. Este, para agilizar o tempo e o processo de categorização ou para criar uma autoimagem de competência, categoriza sem racionalidade (framing in communication). Essa circunstância pode indicar uma imutabilidade nos conteúdos das respostas, porém baseia-se no comportamento do codificador em não indicar mudanças categoriais, o que no stricto sensu inviabiliza testes de concordância entre t₁ e t₂.

No que se refere à dimensão democracia, as categorias “estrutura”, “processo” e “pessoa” mostram a maior quota de homogeneidade entre todas as categorias (Cramer’s V codificador 1 = 0.48; codificador 2 = 0.38 e codificador 3 = 0.48), ou os codificadores compartilham mais as ideias entre si.

Considerações finais

A categorização de respostas obtidas por meio de perguntas abertas em surveys e a alocação das respostas nas categorias são processos que influenciam a qualidade e a validade da pesquisa. A maneira como se tratam respostas abertas, criação de categorias e codificação dos atributos, entre outros itens, embora importante, é pouco observada durante o processo de tratamento de surveys e, na maioria dos casos, está sujeita a avaliações subjetivas. Categorias dicotômicas e tricotômicas excluem-se mutuamente mais facilmente e mostram maior homogeneidade interna que categorias múltiplas ou politômicas, porque nestas as respostas dividem a variância com a outra categoria e dificilmente conseguem se diferenciar entre si.

No momento da categorização, o processo dedutivo foi identificado como superior, porque permite maior comparabilidade entre surveys do que o processo indutivo como método, que coloca o codificador na difícil posição de entender a semântica dos entrevistados que vivem num outro ambiente social. O processo dedutivo reflete mais o mundo acadêmico, porém as categorias dificilmente refletem a vivência social.

O que dificulta especificamente a alocação de respostas sobre política, governo e democracia é a multidimensionalidade desses aspectos. Uma análise da missing value mostra que “democracia” tem as mais altas quotas de não resposta, o que indica que esta não se representa de forma clara, e “governo” é percebido com uma forte personificação. O que os entrevistados percebem melhor é a “política”, que se manifesta em vários aspectos, seja transporte urbano, política habitacional, pagamento de impostos, enfim, o que o entrevistado sente no dia a dia.

No caso da codificação, os codificadores interpretam declarações, palavras simbólicas e conteúdos, e incorporam aspectos como moralidade ou ética de forma diferente na interpretação da resposta. Além disso, os codificadores, por causa do processo de codificação, começam a questionar a própria posição e se alinham às respostas do mundo do entrevistado, podendo codificar como racional algo que eles haviam codificado como irracional ou afetivo. Os resultados também mostraram elevada coincidência entre os codificadores na categorização das respostas (somente 40 respostas foram codificadas de maneira distinta entre codificadores diferentes de uma amostra de 800 entrevistados com um erro amostral estabelecido em 5%). Embora os valores de concordância entre codificadores possam mostrar níveis elevados, isso ainda não é um indício para uma alta confiabilidade, quando não se sabe como os codificadores procederam. Considerando a redução do número das respostas não categorizáveis entre t1 e t2, supõe-se um comportamento de framing do codificador, que deixa o processo de categorização mais rápido, porém torna menos confiáveis os resultados de testes de concordância.

Referências bibliográficas

• Almond, G. A.; Powell, G. B. Comparative politics. A development approach. Boston: Little Brown and Company, 1966.
• Almond, G. A.; Verba, S. The civic culture. Political attitudes and democracy in five nations. Princeton: Princeton University Press, 1963.
• Althaus, S. L. Collective preferences in democratic politics: opinion surveys and the will of the people. Cambridge: Cambridge University Press, 2003.
• Alves, Z. M. M. B.; Silva, M. H. G. F. D. “Análise qualitativa de dados de entrevista: uma proposta”. Paidéia, nº 2, p. 61-69, 1992.
• Batinic, B., et al. Online research: Methoden, Anwendungen und Ergebnisse. Göttingen: Hogrefe, 1999.
• Blyth, M. M.; Varghese, R. “The state of the discipline in American political science: be careful what you wish for?”. The British Journal of Politics & International Relations, vol. 1, nº 3, p. 345-365, 1999.
• Borges, L. O. “A estrutura fatorial dos atributos valorativos e descritivos do trabalho: um estudo empírico de aperfeiçoamento e validação de um questionário”. Estudos de Psicologia, vol. 4, nº 1, p. 107-137, 1999.
• Borges, L. O.; Pinheiro, J. Q. “Estratégias de coleta de dados com trabalhadores de baixa escolaridade”. Estudos de Psicologia, vol. 7, p. 53-63, 2002.
• Bortz, J.; Döring, N. Forschungsmethoden und Evaluation für- Human und Sozialwissenschaftler Heidelberg: Springer, 2006.
• Brent, G. R. “Ações materiais na representação de escândalos políticos”. Cadernos do CNLF, vol. 18, nº 1, p. 416-435, 2014.
• Brito, R. L. “Análise da política de descentralização das ações de vigilância sanitária no Brasil: do debate sobre o repasse de recursos ao compromisso com a responsabilidade sanitária”. 205 f. Tese de Mestrado em Saúde Pública. Fundação Oswaldo Cruz, Recife, 2007.
• Cortina, J. M. “What is coefficient alpha? An examination of theory and applications”. Journal of Applied Psychology, vol. 78, nº 1, p. 98-104, 1993.
• Cronbach, L. J.; Shavelson, R. J. “My current thoughts on coefficient alpha and successor procedures”. Educational and Psychological Measurement, vol. 64, nº 3, p. 391-418, 2004.
• Dell’Agli, B. A. V.; Brenelli, R. P. “O jogo ‘descubra o animal’: um recurso no diagnóstico psicopedagógico”. Psicologia em Estudo, vol. 12, nº 3, p. 563-572, 2007.
• Dimaggio, P. “Culture and cognition”. Annual Review of Sociology, vol. 23, nº 1, p. 263-287, 1997.
• Easton, D. “An approach to the analysis of political systems”. World Politics, vol. 9, nº 3, p. 383-400, 1957.
• Flango, V. E.; Wenner, L. M.; Wenner, M. W. “The concept of judicial role: a methodological note”. American Journal of Political Science, vol. 19, nº 2, p. 277-289, 1975.
• Gillham, B. Developing a questionnaire New York: Continuum, 2000.
• Graber, D. A. Methodological developments in political communication research. In: Kaid, L. L. (ed.). Handbook of political communication research Mahwah: Lawrence Erlbaum Associates, p. 45-68, 2004.
• Granberg, D.; Kasmer, J.; Nanneman, T. “An empirical examination of two theories of political perception”. The Western Political Quarterly, vol. 41, nº 1, p. 29-46, 1988.
• Günther, H. “Pesquisa qualitativa versus pesquisa quantitativa: esta é a questão?”. Psicologia: Teoria e Pesquisa, vol. 22, nº 2, p. 201-210, 2006.
• Hayes, A. F.; Krippendorff, K. “Answering the call for a standard reliability measure for coding data”. Communication Methods and Measures, vol. 1, nº 1, p. 77-89, 2007.
• Henkel, K. Cultura política e comportamento eleitoral do primeiro eleitor Belém: Universidade Federal do Pará, 2011.
• Henkel, K. “Análise da não resposta em surveys políticos”. Opinião Pública, vol. 18, nº 1, p. 216-238, 2012.
• Henkel, K.; Almeida, J. Pesquisa quantitativa e de opinião pública sobre o ensino superior Belém: Universidade Federal do Pará, 2003.
• Hillmann, K. H. Zur Wertewandelforschung. Einführung, Übersicht und Ausblick. In: Oesterdieckhoff, G. W.; Jegelka, N. (eds.). Werte und Wertewandlungen in westlichen Gesellschaften. Resultate und Perspektiven der Sozialwissenschaften. Opladen: Leske e Buderich, p. 15-39, 2001.
• Kahn, T. “Apatia política e credo democrático”. Lua Nova, nº 39, p. 175-197, 1997.
• Klingemann, H. D. Dissatisfied democrats. Evidence from old and new democracies. Berlin: Wissenschaftszentrum Berlin für Sozialforschung, 2012.
• Krippendorff, K. Content analysis: an introduction to its methodology. Thousand Oaks: Sage, 2004.
• Krosnick, J. A. “Survey research”. Annual Review of Psychology, vol. 50, p. 537-567, 1999.
• Laver, M.; Garr, J. “Estimating policy positions from political texts”. American Journal of Political Science, vol. 44, nº 3, p. 619-634, 2000.
• Lind, G. Die zwei Ansätze zur Erfassung der Identität und ihre Integration – Überlegungen zum Dilemma der Hochschulsozialisationsforschung. In: Lind, G. (ed.). Entwicklung der studentischen Persönlichkeit: Beiträge zur Theorie und Methode der Sozialisationsforschung. Konstanz: Universität Konstanz, p. 7-19, 2000.
• Lipset, S. M.; Rokkan, S. Cleavage structures, party systems and voter alignments. In: Lipset, S. M.; Rokkan, S. (eds.). Party systems and voter alignments. Cross-national perspectives. New York: Free Press, p. 1-64, 1967.
• Lopez Junior, F. G. “A meritocracia possível”. Sociedade e Estado, vol. 21, nº 3, p. 773-779, 2006.
• Mayring, P. Qualitative content analysis. Forum: Qualitative Social Research, vol. 1, nº 2, 2000.
• Mayring, P. Qualitative Inhaltsanalyse Berlin: Springer, 2010.
• Moisés, J. A. “Democratização e cultura política de massas no Brasil”. Lua Nova, nº 26, p. 5-51, 1992.
• Moraes, R. “Análise de conteúdo”. Revista Educação, vol. 22, nº 37, p. 7-32, 1999.
• Pickel, S.; Pickel, G. Politische Kultur- und Demokratieforschung: Grundbegriffe, Theorien, Methoden. Heidelberg: Springer-Verlag, 2007.
• Prüfer, P.; Rexroth, M. Zwei-Phasen-Pretesting Mannheim: ZUMA, Arbeitsbericht 2000/08, 2000.
• Rechberger, S.; Hartner, M.; Kirchler, E. SIT-Tax: (Duale) soziale Identität, Gerechtigkeit, Normen und Steuern: Fragebogen, Datenerhebung und Stichprobe. Wien: Universität Wien, 2009.
• Rose, R. “Medidas de democracia em surveys”. Opinião Pública, vol. 8, nº 1, p. 1-29, 2002.
• Rosen, H.; Rosen, R. A. H. “A comparison of parametric and nonparametric analyses of opinion data”. The Journal of Applied Psychology, vol. 39, nº 6, p. 401-404, 1955.
• Rossmann, C. Grundlagen der quantitativen Inhaltsanalyse München: Universität München, 2005.
• Rudolf, K. “Politische Bildung und Markt”. 234 f. Tese de Doutorado em Ciência Política. Universität Giessen, Giessen, 2003.
• Sælensminde, K. “Inconsistent choices in stated choice data. Use of the logic scaling approach to handle resulting variance increases”. Transportation, vol. 28, nº 3, p. 269-296, 2001.
• Schafer, J. L. Analysis of incomplete multivariate data London: Chapman & Hall, 1997.
• Shachar, R.; Nalebuff, B. “Follow the leader: theory and evidence on political participation”. The American Economic Review, vol. 89, nº 3, p. 525-547, 1999.
• Shepardson, D. P.; Pizzini, E. L. “Questioning levels of junior high school science textbooks and their implications for learning textual information”. Science Education, vol. 75, p. 673-682, 1991.
• Smith, R. M. “Identities, interests, and the future of political science”. Perspectives on Politics, vol. 2, nº 2, p. 301-312, 2004.
• Toledo, D.; Leal, P. R. F. “A personificação política: uma análise da postura adotada por Marina Silva nas eleições de 2010”. Anais do Congresso de Ciências da Comunicação na Região Sudeste - Intercom, 19, Vila Velha, 2014. São Paulo, 2014. CD-Rom.
• Tourangeau, R.; Rips, L. J.; Rasinski, K. The psychology of survey response Cambridge: Cambridge University Press, 2000.
• Tziner, A., et al. “Development and validation of a questionnaire for measuring perceived political considerations in performance appraisal”. Journal of Organizational Behavior, vol. 17, nº 2, p. 179-190, 1996.
• Vaus, D. A. Surveys in social research New York: Psychology Press, 2002.
• Visser, P. S.; Krosnick, J. A.; Lavrakas, P. J. Survey research. In: Reis, H. T.; Judd, C. M. (eds.). Handbook of research methods in social and personality psychology Cambridge: Cambridge University Press, p. 223-252, 2000.
• Wachelke, J. F. R.; Hammes, I. C. “Representações sociais sobre política segundo posicionamento político na campanha eleitoral de 2006”. Psicologia em Estudo, vol. 14, nº 3, p. 519-528, 2009.

• 1
  Projeto CNPq nº 407090/2013-4.

Datas de Publicação

• Publicação nesta coleção
  Sep-Dec 2017

Histórico

• Recebido
  2 Dez 2015
• Aceito
  8 Nov 2017