À margem das margens?: a precisão das pesquisas pré-eleitorais brasileiras em 2010

À margem das margens? A precisão das pesquisas pré-eleitorais brasileiras em 2010

Wladimir G. Gramacho

Centro de Estudos Avançados de Governo e Administração Pública Universidade de Brasília. [e-mail]

RESUMO

Este artigo analisa 156 pesquisas pré-eleitorais realizadas em 2010 nas disputas para Presidente e para os 27 governadores com o objetivo de descrever e explicar suas discrepâncias em relação aos resultados apurados nas urnas. O balanço utiliza o Método Mosteller 3 (MM3) para o cálculo do acerto agregado de cada pesquisa pré-eleitoral e sugere o Método de Estimação do Erro para cada Candidato (MEEC), com o propósito de investigar a existência de viés contra partido ou conjunto de partidos naquelas eleições. Os resultados revelam erros superiores às margens informadas à Justiça Eleitoral, mas não permitem condenar a precisão e a neutralidade partidária do conjunto das pesquisas analisadas. Maiores discrepâncias foram encontradas: i) em pesquisas realizadas com maior antecedência, ii) quando ainda no 1º turno, iii) em disputas pouco competitivas, (iv) quando havia poucos candidatos e v) nas eleições de governadores.

Palavras-chave: eleições 2010; surveys pré-eleitorais; metodologia; erro

ABSTRACT

This article analyzes 156 pre-election surveys conducted in 2010 on candidates for President and Governor in the 27 Brazilian Federal Units. The main objective is to describe and explain differences between survey and ballot results. The study uses Mosteller's Method 3 (MM3) to calculate the overall accuracy of each pre-election survey and suggests the Candidate Error Estimation Method (MEEC) to investigate a possible bias against a party or a group of parties during that election. The results show errors greater than that informed to Brazilian electoral authorities but do not justify calling into question the accuracy or partisan neutrality of the whole set of surveys analyzed. Greater differences were found: i) in surveys conducted many days before the vote, ii) during the first round, iii) in low competitive races, iv) when there were few candidates and v) in elections for Governor.

Keywords: 2010 Brazilian elections; pre-election surveys; methodology; error

As eleições de 2010¹

Em 2010, o Brasil celebrou 21 anos de democracia eleitoral com mais um pleito no qual foram escolhidos 1059 deputados estaduais e distritais, 513 deputados federais, 54 senadores, 27 governadores e a primeira Presidente da República. Desde 1989, o eleitorado cresceu 65% (mais de 135 milhões de votantes), o processo eleitoral modernizou-se (o país é referência internacional quando o assunto é informatização, segurança e sigilo do voto) e foram eleitos diretamente quatro presidentes - além de milhares de outros representantes para o executivo e o legislativo nos três níveis de governo. O primeiro Presidente eleito teve seu mandato constitucionalmente interrompido pelo Congresso Nacional. Os dois seguintes tiveram suas gestões aprovadas e foram reeleitos. Em 2010, houve o aperfeiçoamento do processo eleitoral com a aprovação da Lei da Ficha Limpa (Lei Complementar 135/2010), aplicada a partir das eleições municipais de 2012. Foram experimentados, portanto, acertos e erros eleitorais de governantes e governados.

À medida que a democracia eleitoral brasileira amadurece, começam a ganhar destaque e a consolidar-se outros atores políticos, como a imprensa, os analistas políticos e os institutos de pesquisa. Nas eleições de 2010, os institutos de pesquisa protagonizaram um embate público e uma exposição sem precedentes de seus erros e acertos.

Algumas críticas parecem ter sentido, na medida em que não deveria caber aos institutos antecipar vitórias ou derrotas (VEJA, 2009), mas falar em intenção de voto, que é o que efetivamente procuram medir. Outros juízos, contudo, extrapolaram sua insatisfação às teorias de amostragem, culpando a seringa pela imperícia do enfermeiro (VEJA, 2010).

Os surveys pré-eleitorais - pesquisas quantitativas nas quais normalmente são aplicados questionários estruturados a uma amostra pretensamente representativa do eleitorado - são a melhor informação que eleitores e candidatos podem ter sobre as tendências de voto. Estimam medidas centrais de intenção de voto consideradas as margens de erro e os intervalos de confiança de cada estudo. Pertencem ao acervo metodológico das Ciências Humanas e, portanto, convivem com dados menos precisos por diversas razões, entre as quais a complexidade do comportamento humano e nosso estágio de compreensão sobre ele. Consequentemente, são passíveis de erro. Pode haver erros de má fé, em que institutos negociam resultados de modo a beneficiar candidatos e influenciar eleitores e financiadores de campanhas. Sobre esses não há mais do que rumores sazonais e nenhuma evidência conhecida de que sua prática seja generalizada. Este artigo parte do pressuposto, portanto, de que os erros que estão sob análise são erros de boa fé, produzidos por decisões metodológicas ou pelas características do contexto eleitoral pesquisado.

Com essa premissa, pode-se dizer que são diversos os erros de boa fé que um survey pré-eleitoral pode cometer. A começar pela própria teoria estatística, que ensina que em uma pesquisa com 1000 entrevistados, os dados de intenção de voto de um candidato que tenha entre os eleitores 50% de apoio terão margem de erro de 3 pontos percentuais em um intervalo de confiança de 95%. Ou seja, se 20 pesquisas com metodologia idêntica fossem feitas simultaneamente num hipotético distrito eleitoral, poderíamos esperar que uma delas produzisse estimativas fora dessa margem de erro e, quiçá, com grande diferença.

Mas, além da teoria estatística, o processo de coleta incorpora diversos outros erros (BIEMER et al, 2004). Na elaboração do questionário, na decisão sobre a técnica de amostragem, na abordagem que o entrevistador faz ao entrevistado, no preenchimento do questionário, na tabulação do banco de dados e na análise dos dados, entre outros momentos importantes do processo de pesquisa. Decerto, cada instituto ou grupo de pesquisadores desenvolve uma rotina de procedimentos com vistas a reduzir os erros. Sua total eliminação, contudo, é mais um objetivo do que uma realidade.

Como analisar os erros de pesquisas pré-eleitorais? Em 2010, os institutos de pesquisa, de modo generalizado, estimaram resultados fora da margem de erro no Brasil? Algum partido foi mais prejudicado ou mais favorecido pelos erros das pesquisas? Que fatores podem explicar a proporção desses equívocos? Essas questões orientam as próximas seções deste artigo, que procura retomar e ampliar uma linha de pesquisa aberta no Brasil por Figueiredo (2002).

Modelos de análise odelos dos erros de surveys pré-eleitorais

A debatida eleição presidencial nos Estados Unidos em 1948 resultou no segundo mandato do então Presidente democrata Harry Truman, em um polêmico fracasso para os institutos de pesquisa que previram a vitória do republicano Thomas Dewey e em uma nova linha de pesquisa para as áreas de conhecimento que ancoram parte de seu corpo teórico em pesquisas de opinião pública, em especial nos surveys pré-eleitorais.

Uma comissão de especialistas foi formada para estudar os erros dos institutos de pesquisa na previsão dos resultados eleitorais. Liderada pelo estatístico Frederick Mosteller, da Universidade de Harvard, a comissão produziu o livro The Pre-election Polls of 1948: Report to the Committee on Analysis of Pre-Election Polls and Forecasts, que apresentou oito diferentes métodos de cálculo da precisão de pesquisas pré-eleitorais (MOSTELLER, 1949). Ainda hoje, a contribuição da comissão é a principal referência sobre o tema, apesar de diferentes estudos terem sugerido cálculos alternativos (MITOFSKY, 1998; MARTIN et al, 2005; SHIPMAN & LEVE, 2009).

Os métodos sugeridos por Mosteller dividem-se essencialmente em dois grupos: 1) os que se centram na diferença entre as porcentagens absolutas de votos obtidas pelos candidatos e as estimadas pelos institutos e 2) os que se ocupam das distâncias relativas entre os candidatos. Este artigo utiliza o "Método 3" de Mosteller, pois é o mais adequado a contextos multipartidários (MITOFSKY, 1998; FIGUEIREDO, 2002; MAGALHÃES E MOREIRA, 2007). O Método Mosteller 3 (MM3) sugere que o erro de cada pesquisa pré-eleitoral seja calculado como a média dos valores absolutos da diferença da intenção de votos válidos estimada para cada candidato e o percentual de votos válidos obtidos na urna pelo candidato. Passo a passo:

i. Toma-se a porcentagem sem decimais da estimativa de votos feita pelo instituto X para os candidatos a, b, c... n (Intenção de Voto, IVn), descartados os dados de intenção de voto em branco, de voto nulo e de abstenções;

ii. Toma-se a porcentagem sem decimais do resultado obtido pelos candidatos a, b, c... n nas eleições (Votação Total, VT_n), descartados os dados de votos em branco, nulos e abstenções;

iii. Extrai-se o valor absoluto da diferença entre IV_n-VT_n para a,b,c... n (Erro_a; Erro_b; Erro_c; ... Erro_n);

iv. Calcula-se a média aritmética dessas diferenças: Método Mosteller 3 (MM3) = (Erro_a + Erro_b + Erro_c + ... + Erro_n)/n.

O MM3, portanto, é uma medida de precisão geral do survey, não centrada exclusivamente no candidato que lidera a disputa². Uma limitação do MM3 em um contexto multipartidário é que os erros são estimados apenas para o conjunto dos resultados de cada pesquisa pré-eleitoral e não especificamente para os candidatos. Sem essa informação, é impossível investigar a existência de um viés favorável ou desfavorável a certos partidos nas estimativas de todos os institutos ou de alguns em particular. Para dar conta dessa questão, este artigo propõe também um método alternativo de estimação de erros de estimativas pré-eleitorais, centrado na diferença entre a intenção de voto para um candidato "a" e o percentual de votos obtidos por ele nas urnas. O Método de Estimação do Erro para cada Candidato (MEEC) é obtido utilizando o mesmo processo de cálculo do MM3 até o passo iii, salvo num ponto a ser explicado mais adiante. Importante registrar, contudo, que para cada dado estimado pelo MM3 haverá "n" dados pelo MEEC, sendo "n" o número de candidatos competitivos.

As duas próximas seções analisam um conjunto de pesquisas pré-eleitorais utilizando primeiramente o MM3 e, em seguida, o MEEC na análise da precisão e nas fontes de erros dos surveys.

Os surveys pré-eleitorais de 2010 analisados pelo MM3

A análise das fontes de erros dos surveys pré-eleitorais no Brasil em 2010 foi feita a partir da construção de dois bancos de dados - um para o estudo do MM3 e outro do MEEC - sobre 156 pesquisas realizadas no país naquele ano, devidamente registradas nos tribunais eleitorais competentes³ e divulgadas pelo jornalista Fernando Rodrigues no portal UOL⁴. Só foram considerados estudos sobre as disputas para a Presidência da República e os governos estaduais⁵, devido à maior importância do executivo no sistema político brasileiro. Contudo, foram incluídas pesquisas de todas as 28 disputas para o executivo em 2010, tanto a presidencial como as de governador das 27 Unidades Federativas.

Como é sabido que as campanhas eleitorais guardam diferentes dinâmicas, que, quando não chegam a alterar a ordem dos candidatos mais votados, reacomodam as intenções de voto fruto do trabalho de persuasão da comunicação eleitoral, foram selecionadas sondagens realizadas a partir de 14 de setembro de 2010, evitando incluir neste artigo, portanto, pesquisas realizadas no início ou mesmo antes das campanhas eleitorais, em um contexto ainda de pouca definição⁶. Foram excluídas, contudo, as pesquisas "boca de urna" - uma vez que seu grau de precisão é normalmente maior e sua divulgação se dá após o encerramento da votação, guardando, portanto, características muito distintas dos surveys realizados, divulgados e debatidos antes da decisão de voto.

Foram desconsideradas as informações sobre candidatos não competitivos, que obtiveram até 3% dos votos totais no primeiro turno, porcentual próximo à margem de erro de grande parte de estudos pré-eleitorais. Portanto, as diferenças entre as estimativas de institutos de pesquisa e o resultado eleitoral obtido por esses candidatos não compuseram o cálculo do MM3 nem do MEEC.

A média da variável MM3 nas 156 pesquisas estudadas foi 3,6 (com desvio-padrão de 2,5). Isso quer dizer que os 156 conjuntos de estimativas de intenção de voto têm, em média, um erro de 3,6 pontos, o que é um ponto superior à média das margens de erro informadas à Justiça Eleitoral pelos institutos. Nas 156 pesquisas, foram ouvidos em média 1881 eleitores por estudo, com margem de erro média de 2,6 pontos. A margem de erro mínima informada foi de 1 ponto percentual e a máxima de 4 pontos. Os erros medidos pelo MM3, contudo, variaram de 0 a 14 pontos (Gráfico 1):

Uma razão para essa discrepância está na aplicação da Lei 9.504/1997, que diz que as pesquisas pré-eleitorais, para serem divulgadas, devem estar registradas na Justiça Eleitoral cinco dias antes, contendo informações sobre o plano amostral, o intervalo de confiança e a margem de erro, entre outras (Art. 33, IV). Porém, o cálculo preciso da margem de erro só pode ser feito após a realização do trabalho de campo. Aplicada à risca, a regra levaria institutos e meios de comunicação a divulgarem pesquisas cujos dados foram coletados com, por exemplo, uma semana ou mais de antecedência, correndo o risco de noticiar retratos já defasados da corrida eleitoral. Portanto, os institutos informam antes mesmo de ir a campo uma margem de erro fictícia, calculada a partir de uma amostra aleatória simples, que nunca se cumpre uma vez que os institutos usam, na maioria das vezes, amostras por cotas ou conglomerados.

A análise do conjunto de pesquisas pré-eleitorais sugere, portanto, que, em 2010, os institutos de pesquisa estimaram resultados fora das margens de erro, ao menos da forma como as margens são calculadas e informadas à Justiça Eleitoral atualmente.

Mas os erros foram generalizados? Em 47% das pesquisas, o MM3 estimou erro igual ou inferior à margem de erro informada à autoridade eleitoral. Esse resultado não sugere um padrão generalizado de erros (que invalidasse todos os estudos), tampouco concentrado (no qual poucos levantamentos teriam incorrido em grandes erros). Houve, contudo, um padrão de erros bastante estendido nas eleições de 2010, em que mais da metade das pesquisas analisadas tiveram seu erro estimado pelo MM3 superior à margem de erro esperada no survey.

A literatura especializada (CRESPI, 1988; MAGALHÃES E MOREIRA, 2007; GROß, 2007; CALLEGARO & GASPERONI, 2008) enumera algumas fontes de erros de surveys pré-eleitorais que podem iluminar a discussão sobre o caso brasileiro. Essas fontes podem ser divididas em dois grandes grupos.

O primeiro grupo diz respeito às características do estudo. Estão sob controle do instituto de pesquisa e do contratante do survey. Levam em consideração essencialmente três fatores⁷:

i. A distância entre a coleta dos dados e o dia da eleição: argumenta-se que os estudos feitos às vésperas da eleição são mais precisos porque as entrevistas ocorrem num momento em que um número maior de eleitores já tomou sua decisão;

ii. Os institutos de pesquisa: a opção por diferentes técnicas de amostragem utilizadas de modo recorrente em cada instituto, bem como seu padrão de elaboração do questionário, recrutamento, treinamento e supervisão de entrevistadores, crítica e checagem dos questionários, entrada e análise de dados, estabelece uma rotina de procedimentos que pode aproximá-lo ou distanciá-lo do retrato eleitoral;

iii. O tamanho da amostra: ainda que diferentes questões técnicas afetem a precisão dos surveys pré-eleitorais e que estas tenham sido capturadas pela variável anterior, o tamanho da amostra é, em princípio, um elemento que por si só deveria guardar uma relação inversa (ainda que não linear) com os erros de uma pesquisa, uma vez que (tudo o mais constante) para uma amostra de tamanho maior esperam-se erros menores. Nos 156 surveys analisados, o "N" variou de 700 a 20.960 entrevistados.

O segundo grupo reúne sete fatores relacionados ao contexto eleitoral, que fogem ao controle do instituto e do contratante:

i. O nível de indecisão eleitoral: diferentes disputas podem guardar diferentes níveis de indecisão às vésperas do voto na urna eletrônica. Quanto maior a indecisão, espera-se menor correspondência entre os dados de intenção de voto e os resultados eleitorais⁸;

ii. O nível de abstenção eleitoral: quanto maior a abstenção, mais provável que um eleitor que respondeu a uma pesquisa deixe de votar e prejudique a precisão do survey. Nesse sentido, em contextos de abstenção muito alta, os surveys - se representam corretamente o eleitorado em sua amostra - captariam a vontade verdadeira dos eleitores muito mais que um resultado influenciado por uma abstenção diferencial (que tenha prejudicado mais um candidato do que outro);

iii. A competitividade da eleição: quanto mais disputada uma eleição, mais incentivos têm os eleitores para votar e isso tende a aumentar a precisão dos institutos⁹.

iv. Multipartidarismo: o Brasil tem um dos sistemas partidários mais fragmentados do mundo e, ainda que a legislação e a prática eleitoral prevejam estratégias de coligação, o número de candidatos varia muito entre as disputas. Consequentemente, algumas pesquisas estimam intenções de voto em contextos com poucos candidatos e outros com muitos candidatos. Como o erro médio do survey tende a ser menor para um número maior de estimativas de intenção de voto (MITOFSKY, 1998), o número de candidatos deve ser utilizado como variável de controle;

v. 2º Turno: a exigência de que Presidente e governadores sejam eleitos por maioria absoluta de votos válidos implica a realização de 2º turno quando nenhum candidato obtém essa marca no 1º turno. Espera-se que as estimativas para o 2º turno sejam melhores na medida em que os institutos puderam ajustar sua metodologia comparando os surveys do 1º turno com o resultado eleitoral e produzindo as correções necessárias para incrementar sua precisão. Além disso, no Brasil, a qualidade dos surveys pode melhorar no 2º turno devido a menor chance de confusão e erro do eleitor na cabine eleitoral (CAVALLARI, 2010). Na rodada final, o votante precisa escolher, no máximo, dois candidatos (governador e Presidente, pela ordem), enquanto no 1º turno tem que votar em seis (deputado estadual ou distrital, deputado federal, dois senadores, governador e Presidente, pela ordem).

vi. Presidencialismo: em relação às disputas para os Executivos estaduais, a eleição do Presidente - chefe de Governo e de Estado e figura singular mais importante do sistema brasileiro - ocorre sob maior exposição da mídia e tende a ser esquadrinhada por analistas, candidatos e suas equipes. Por isso, pode-se esperar que estudos pré-eleitorais da disputa presidencial tenham erros menores do que os surveys sobre governadores;

vii. Desigualdade regional: as eleições brasileiras desenrolam-se em contextos sociais muito diversos, nos quais é possível encontrar sociedades com padrões médios e altos de renda e educação, mas também outras onde predominam a pobreza, a falta de acesso à educação e à informação e índices de urbanização mais baixos. Nestes contextos, é mais provável que uma combinação de fatores reduza a precisão dos estudos pré-eleitorais, em decorrência da desinformação do eleitorado¹⁰ e da dificuldade em contatá-lo¹¹.

A Tabela 1 mostra o comportamento da média do MM3 para cada uma das variáveis indicadas:

Uma análise bivariada entre os erros estimados pelo MM3 e as dez hipóteses explicativas permite uma primeira aproximação às fontes de erros de pesquisas pré-eleitorais em 2010. Os resultados, como de hábito, são mistos. Há um grupo de cinco variáveis cuja relação se dá no sentido esperado. Os erros foram maiores: 1) quanto maior a distância em dias entre o survey e a eleição; 2) quanto maior a porcentagem de indecisos; 3) quanto menos competitiva foi a disputa; 4) no 1º turno e 5) nas disputas para os governos estaduais. As relações não foram claramente no sentido esperado em relação ao: 1) tamanho da amostra; 2) nível de abstenção eleitoral; 3) número de candidatos e à 4) influência da desigualdade regional. Quanto à precisão dos diferentes institutos, a análise de variância das médias de MM3 não mostrou diferença estatisticamente significativa entre Ibope, Datafolha, Vox Populi e todos os demais (agrupados em uma categoria só devido ao pequeno número de estudos para cada um deles)¹². Sabe-se, contudo, que um teste mais rigoroso deve combinar essas potenciais variáveis explicativas em um só modelo, de modo a que o efeito de cada uma delas possa ser controlado pelo efeito das demais.

Com esse objetivo, estimou-se um modelo de regressão linear multivariada. A Tabela 2 revela os resultados de quatro modelos. Os dois primeiros apresentam os efeitos dos dois conjuntos de fatores - metodológicos e contextuais - de modo isolado. Depois, um terceiro modelo integrou os dois grupos em uma só análise. E, finalmente, uma versão parcimoniosa do estudo inclui apenas variáveis estatisticamente significativas sem que a ausência de outra(s) tenha(m) reflexos sobre o resultado substantivo da regressão. Por problemas de colinearidade, a variável categórica regional foi excluída dos modelos.

Chama a atenção a reduzida capacidade explicativa das variáveis do Modelo 1. Em primeiro lugar, o tamanho da amostra parece ser absolutamente irrelevante para explicar os erros dos surveys pré-eleitorais calculados pelo MM3, sugerindo que, nesse tipo de estudo, mais do que aumentar o "N" para obter melhores resultados, é importante observar outras variáveis¹³.

Também são estatisticamente desprezíveis as diferenças na precisão dos institutos (que incorporam opções de técnicas amostrais e o conjunto de procedimentos adotados em cada um deles). Ainda que Datafolha, Vox Populi e os demais institutos em conjunto tenham tido coeficientes positivos - ou seja, com erros pelo MM3 um pouco maiores do que o Ibope (categoria de referência na análise¹⁴) - a diferença não é estatisticamente significativa em nenhum modelo exibido ou analisado neste artigo. O resultado não permite argumentar a favor da superioridade técnica de nenhum dos institutos nem do maior acerto de suas opções metodológicas na seleção da amostra. Ibope e Vox Populi informaram utilizar amostras probabilísticas proporcionais ao tamanho (PPT) com cotas, enquanto o Datafolha prefere amostragens em estágios múltiplos. Este achado converge com o de outros estudos, que tampouco identificaram diferenças relevantes entre as metodologias ou institutos na precisão de seus resultados (MAGALHÃES e MOREIRA, 2007).

A distância, em dias, entre a data da conclusão do trabalho de campo e a data da eleição teve efeito significativo e constante ao longo da análise. Uma pesquisa cujas entrevistas foram concluídas sete dias antes de outra com características idênticas teve, em 2010, erro pelo MM3 entre 0,9 e 1,1 pontos maior do que outra feita na véspera, segundo os modelos analisados. Uma pesquisa feita com maior antecedência tende, portanto, a produzir uma fotografia mais distinta da revelada pelas urnas. É incorreto, contudo, considerar que o "erro medido pelo MM3" no contexto deste artigo seja um erro stricto sensu, uma vez que o próprio processo de decisão eleitoral incorpora opções e mudanças na reta final da campanha. Portanto, merece reflexão a sobrevalorização e a superexposição de resultados de pesquisas pré-eleitorais a muitos dias do pleito e num contexto ainda de formação de convicções.

Surpreendentemente, nem o percentual de indecisos nas pesquisas nem o nível de abstenção eleitoral tiveram impacto significativo sobre os erros. Em ambos os casos, a decisão dos indecisos e a abstenção dos decididos parece - no conjunto das 156 pesquisas - ter distribuído-se proporcionalmente às intenções de voto declaradas aos institutos.

Quanto à abstenção, esperava-se que, na medida em que os eleitores respondessem às entrevistas, indicando intenção de voto, e depois não votassem, naturalmente, tenderiam a introduzir erro nas pesquisas pré-eleitorais. Segundo o TSE, 21% dos eleitores não votaram no 2º turno. Se as amostras das pesquisas representavam o universo de eleitores, isso quer dizer que a cada cinco entrevistados um não foi à urna registrar sua intenção de voto. Se a abstenção é diferencial -prejudica mais um candidato do que outro -, então, o erro aumenta (CRESPI, 1988; MAGALHÃES E MOREIRA, 2007). Esse, contudo, não parece ter sido o caso brasileiro em 2010.

A competitividade aumenta a precisão das pesquisas. Disputas nas quais um candidato tem grande vantagem sobre outro tendem a produzir resultados mais imprecisos. Em contextos nos quais o primeiro colocado tem 30 pontos de vantagem sobre o segundo -como na disputa entre Sérgio Cabral e Fernando Gabeira no Rio de Janeiro, as pesquisas tiveram até 1,5 pontos a mais de erro (MM3) que outras teoricamente idênticas realizadas em contextos eleitorais de empate entre o 1º e 2º colocados.

O número de candidatos também tem um efeito significativo sobre os erros das pesquisas: a um número maior de candidatos, menor o erro. Quatro candidatos competitivos (com mais de 3% de intenção de voto), em vez de dois, reduziu entre 1,1 e 1,3 os erros analisados. A presença dessa variável no modelo, como indicado anteriormente, tem como único efeito estabelecer um controle para a sensibilidade do cálculo do erro estimado por MM3 ao número de estimativas de intenção de voto em cada survey.

As estimativas feitas durante o 2º turno são significativamente melhores - em até 1,9 pontos - do que as realizadas no 1º turno. Isso pode ser devido à simplicidade do voto no 2º turno (já sem os candidatos ao legislativo) e ao aprendizado dos institutos durante o 1º turno que, após a abertura das urnas, podem corrigir metodologias e estratégias de campo para aprimorar seus resultados.

Finalmente, as pesquisas de intenção de voto para Presidente parecem ser mais precisas do que as orientadas à eleição dos governadores, ainda que a significância dessa variável não tenha se mostrado estável.

Em resumo, a análise empírica desta seção mostrou que, com maior segurança, os erros dos institutos de pesquisa em 2010 podem ser explicados pela antecedência com que foram realizadas as pesquisas em relação ao dia da votação, pelo fato de que em algumas disputas a grande vantagem do primeiro candidato potencializou os erros, pelo número de candidatos competitivos e pela dificuldade de acerto no complexo contexto eleitoral do 1º turno. A capacidade total explicativa do modelo parcimonioso é de 24%, o que mostra um ajuste bastante satisfatório para dados desta natureza.

Uma limitação importante do MM3, contudo, é que ele não permite identificar o possível viés dos erros contra candidatos de um determinado partido ou conjunto de partidos. O processo eleitoral de 2010 incluiu diferentes polêmicas e ações judiciais que opuseram partidos políticos e institutos. Em 15 de abril, por exemplo, o PSDB recebeu autorização do TSE para fiscalizar uma pesquisa do Instituto Sensus sobre a corrida presidencial. E, em 29 de setembro, o Tribunal Regional Eleitoral do Paraná (TRE-PR) proibiu, a pedido do candidato Beto Richa (PSDB), a divulgação de pesquisas feitas no estado pelo Ibope, Datafolha e Vox Populi¹⁵ , uma proibição que destoa do espírito da legislação eleitoral brasileira e das normas predominantes em democracias consolidadas, que não vedam a divulgação de pesquisas pré-eleitorais ou, quando o fazem, restringem o impedimento às 24 horas anteriores ao dia do voto (ARTICLE 19, 2003)¹⁶.

Cabe perguntar: as pesquisas em 2010 erraram mais contra candidatos do PSDB? Ou de algum outro partido? Se erraram mais, esses erros foram uniformes entre os institutos? Este é o tema da próxima seção.

Os surveys pré-eleitorais de 2010 analisados pelo MEEC

Como explicado anteriormente, o Método de Estimação do Erro para cada Candidato (MEEC), obtém-se utilizando o mesmo processo de cálculo do MM3 até o passo iii, à exceção de um ponto: em vez de tomar o valor absoluto da diferença entre a intenção de voto e os votos, seus valores são considerados no conjunto dos números inteiros - portanto, positivos e negativos. Para cada dado estimado pelo MM3, haverá, deste modo, "n" dados pelo MEEC, sendo "n" o número de candidatos. Consideram-se, também aqui, apenas os candidatos com mais de 3% dos votos totais, portanto, nomes competitivos.

A Tabela 3 apresenta as médias, o número de observações e os desvios-padrão dos erros medidos pelo MEEC para 394 casos. A média geral é de -0,3 ponto. O mais relevante nesta seção, contudo, são as médias de erros por partido. Os dados de intenção de voto dos institutos de pesquisa para candidatos de partidos de esquerda ou centro-esquerda foram, com maior frequência, inferiores aos resultados obtidos por eles nas urnas. O inverso deu-se com candidatos de direita ou centro-direita. Entre os quatro partidos com maior número de candidatos, os do PSB tiveram, em média, estimativas 3,7 pontos inferiores aos seus resultados eleitorais¹⁷, assim como os do PSDB (-1,1) e os do PT (-0,6). Já os candidatos do PMDB tiveram, em média, estimativas 1,2 ponto superiores aos votos contados pela Justiça Eleitoral.

Entre os institutos, as diferenças entre o PSDB e o PT - os dois partidos que lideram o jogo eleitoral brasileiro - não são grandes, oscilando em torno de 1 ponto. Salvo no caso do Vox Populi, em que as diferenças entre os dois foram de 4,2 pontos - mas registre-se que o instituto teve apenas oito estimações para cada partido. Os candidatos do PSB, com distância, tiveram intenção de voto medida nas pesquisas muito inferior ao seu resultado nas urnas.

Gráfico 2

Analisar erros pelo MEEC ignorando os efeitos de variáveis explicativas identificadas na seção anterior, contudo, pode produzir equívocos inferenciais. Afinal, os candidatos do PSB podem ter sido prejudicados simplesmente porque os surveys pré-eleitorais em que estão citados foram realizados com maior antecedência no cronograma eleitoral, ocorreram em disputas em que a diferença entre 1º e 2º colocados era muito grande, em disputas que tinham número menor de candidatos competitivos ou porque se concentraram no primeiro turno, situações em que os erros calculados pelo MM3 mostraram-se mais altos. Novamente, um modelo de regressão multivariado foi estimado para identificar a existência de diferenças estatisticamente significativas nos erros de candidatos dos principais partidos. Como o PSDB era o partido com maior número de estimações no banco de dados, estava num ponto próximo à média do MEEC e assumiu certo protagonismo no embate com os institutos de pesquisa, foi escolhido como categoria de referência. No Modelo 3, uma variável dummy foi incluída para identificar a existência de algum viés desfavorável aos partidos de esquerda e centro-esquerda, conforme a Tabela 3 parece sugerir. Os resultados das análises de regressão estão na Tabela 4:

Os dados da Tabela 4 mostram que as variáveis explicativas do MM3 também são relevantes para explicar a variação dos erros medidos pelo MEEC. Os erros na estimativa da intenção de voto dos candidatos foram maiores em surveys realizados com maior antecedência, em contextos eleitorais de menor competitividade e com menor número de candidatos, bem como no primeiro turno. Nenhum dos outros partidos com maior número de candidatos (PSB, PT e PMDB), contudo, teve erro estatisticamente diferente do atribuído aos candidatos do PSDB, tampouco os partidos de esquerda e centro-esquerda em conjunto, como a análise descritiva sugeria. Isso não significa que, em casos particulares, os erros não tenham sido importantes e, possivelmente, tenham provocado algum tipo de influência na decisão do eleitor e na dinâmica da disputa eleitoral. O que os resultados desta análise mostram é que não existiu um padrão generalizado de erros que prejudicasse ou favorecesse determinado partido ou grupo de partidos.

Conclusões

Desde o histórico fracasso dos incipientes surveys pré-eleitorais em 1948, nos Estados Unidos, quando os institutos indicaram equivocadamente a vitória do republicano Thomas Dewey sobre o democrata Harry Truman, houve gradual evolução na qualidade dos estudos e na precisão dos resultados. Crespi (1988) lembra que a média de erro das estimativas do instituto Gallup nas eleições nacionais americanas reduziu-se de 3,6 pontos no período 1936-1950 para 1,2 ponto entre 1972-1984¹⁸.

Visto em perspectiva, o momento atual das pesquisas pré-eleitorais no Brasil equivale a uma etapa de aprendizado sobre os padrões de comportamento eleitoral em um contexto marcado por baixo enraizamento dos partidos políticos, personalismo na comunicação eleitoral e pronunciadas migrações de intenção de voto em algumas disputas. Em 2010, 538 pesquisas foram registradas no TSE entre 1º de agosto e 30 de setembro e, portanto, estavam autorizadas a serem divulgadas. Um número expressivamente superior ao de pesquisas registradas no mesmo período em 2006 (307) e 2002 (386).

Como a quantidade nem sempre vem acompanhada da qualidade, os resultados de pesquisas pré-eleitorais devem ser analisados com cautela durante as campanhas brasileiras, pois podem dar lugar a conclusões e decisões tomadas sobre uma descrição equivocada da realidade e da tendência eleitoral. As pesquisas pré-eleitorais podem ter influência sobre as decisões dos eleitores, na medida em que são informação relevante para o exercício do voto estratégico (COX,1997). Também são importantes fontes para a decisão de doadores de campanhas eleitorais, que buscam otimizar seus recursos no estabelecimento de vínculos com candidatos vitoriosos. E costumam orientar as estratégias de marketing político, cujos objetivos incluem influenciar os números da próxima pesquisa pré-eleitoral.

Neste artigo sobre a precisão das pesquisas pré-eleitorais no Brasil em 2010, pode-se dizer que: 1) os erros em geral foram mais altos do que os informados à Justiça Eleitoral; 2) não há diferenças significativas no desempenho dos institutos (nem aparentemente dos métodos que utilizam); 3) nenhum partido em especial nem conjunto de partidos posicionados à esquerda ou à direita foi prejudicado ou favorecido de modo generalizado nos surveys analisados; e 4) os contextos eleitorais parecem ser decisivos para a precisão do levantamento.

As diferenças entre os resultados das pesquisas e das urnas foram maiores em cinco características, eminentemente contextuais:

• No 1º turno;

• Nos estudos realizados com maior antecedência ao dia do voto;

• Nas disputas com poucos candidatos competitivos;

• Nas disputas com uma ampla vantagem do primeiro colocado; e

• Nas pesquisas sobre eleição de governadores.

A linha de pesquisa aberta em 1948 pela comissão liderada por Mosteller e inaugurada no Brasil por Figueiredo (2002) continua merecendo atenção de pesquisadores e analistas. É natural que o calor da disputa eleitoral produza embates ao interior e entre grupos de atores políticos. Mas o atípico nível de conflito de candidatos e da imprensa com os institutos de pesquisa nas eleições de 2010 lançou dúvidas sobre os surveys pré-eleitorais e seu lugar na democracia brasileira.

Ao identificar algumas fontes de erros das pesquisas pré-eleitorais em 2010 e fazer um balanço de seus desvios, este artigo procurou iluminar questões estruturais que recomendam mais cautela aos críticos desse instrumento, bem como cuidado idêntico na leitura e divulgação dos surveys durante o processo eleitoral. Grosso modo, praticamente metade das pesquisas estimou a média da intenção de voto dos candidatos dentro das margens de erro informadas à Justiça Eleitoral. Mas a outra metade ficou à margem das fictícias margens de erro informadas ao TSE e aos TREs.

Uma mudança pontual na Lei 9.504/1997 - que eliminasse a necessidade de registro prévio das pesquisas pré-eleitorais, mantido um registro posterior à divulgação - permitiria que os resultados fossem acompanhados por informações reais sobre as margens de erro e os intervalos de confiança de cada estimação eleitoral, aumentando a transparência e a credibilidade dos estudos pré-eleitorais no país.

A série de questões nessa agenda de pesquisa, contudo, supera em muito o propósito deste artigo e merece o olhar de novos e mais amplos estudos. Trabalhos que contemplem diferentes anos eleitorais, considerem a dinâmica específica de cada corrida, e analisem casos atípicos, entre outras lacunas dessa ainda subexplorada agenda de pesquisa. Uma agenda cuja relevância, até aqui, tem sido avivada apenas em anos pares.

Submetido à publicação em maio de 2012.

Versão final aprovada em fevereiro de 2013.

• ARTICLE 19. Comparative Study of Laws and Regulations Restricting the Publication of Electoral Opinion Polls [Online]. Article 19, 2003. Disponível em: <http://www.article19.org/data/files/pdfs/publications/opinion-polls-paper.pdf>. Acesso em: 26 jan. 2013.
• BIEMER, P.P.; GROVES, R.M.; LYBERG, L.E.; MATHIOWETZ, N.A.; SUDMAN, S. Measurement Errors in Surveys New Jersey: John Wiley & Sons, Inc, 2004.
• CALLEGARO, M.; GASPERONI, G. "Accuracy of pre-election polls of the 2006 Italian Parliamentary Election: Too close to call". International Journal of Public Opinion Research, Oxford, vol. 20, N˚ 2, p. 148-170, 2008.
• CAVALLARI, M. "As pesquisas erraram?". O Estado de S. Paulo, São Paulo, p. 2, 8 out. 2010.
• COX, G. Making Votes Count: Strategic Coordination in the World's Electoral System. Cambridge: Cambridge University Press, 1997.
• CRESPI, I. Pre-election Polling: Sources of accuracy and error. Nova York: Russell Sage Foundation, 1988.
• DURAND, C.; DESLAURIERS, M.; GOYDER, J.; FOUCAULT, M. "Why do polls go wrong sometimes?" Chicago. 65Ş Conferência da AAPOR, 2010.
• EL-DASH, N. A. "Avaliação das Pesquisas Eleitorais no Brasil (1989-2004)". São Pedro. 19ş Simpósio Nacional de Probabilidade e Estatística, 2010.
• FIGUEIREDO, M. "Erros e acertos nas pesquisas eleitorais". Folha de S. Paulo, São Paulo, p. Especial A7, 9 nov. 2002.
• GROß, J. "Pre-Election Polling in Germany 1949-2005". Trabalho apresentado na Universidade Internacional de Veneza, 2007.
• MAGALHÃES, P.; MOREIRA, D. "As sondagens pré-eleitorais nas autárquicas de 2005". Comunicação & Cultura, Lisboa, n˚ 3, p. 157-173. 2007.
• MARTIN, E. A.; TRAUGOTT, M. W.; KENNEDY, C. "A Review and Proposal for a New Measure of Poll Accuracy". Public Opinion Quarterly, Oxford, vol. 69, nş 3, p. 342-369, 2005.
• MITOFSKY, W. J. "Was 1996 a Worse Year for Polls than 1948?". Public Opinion Quarterly, Oxford, vol. 62, nş 2, p. 230-249, 1998.
• MOSTELLER, F. Measuring the error. In: MOSTELLER, F. H.; HYMAN, P. J.; MCCHARTY, E. S. MARKS & TRUMAN, D. B. (Eds.). The pre-election polls of 1948 Report to the committee on analysis and pre-election polls and forecast. New York: Social Science Research Council. p. 54-80, 1949.
• SHIPMAN. S. J.; LEVE, J. H. "An Interval Measure of Election Poll Accuracy". 2009. Disponível em: <http://www.surveyusa.com/ROR/SurveyUSA%20Interval%20Measure%20of%20Election%20Poll%20Accuracy.html>. Acesso em: 26 jan. 2013.
• TRAUGOTT, M. W. "The Accuracy of the National Preelection Polls in The 2004 Presidential Election". Public Opinion Quarterly, Oxford, vol. 69, N˚ 5, Edição Especial 2005, p. 642-654, 2005.
• VEJA. "Lula não fará seu sucessor". 2009. Disponível em: <http://veja.abril.com.br/260809/lula-nao-fara-sucessor-p072.shtml> Acesso em: 26 jan. 2013.
• ______. "O Fracasso dos Profetas", edição 2186, p. 72-75, 10 out. 2010. Acesso em: 26 jan. 2013.

1

A primeira versão deste artigo foi apresentada no IV Congresso Latino-Americano de Opinião Pública da WAPOR, em maio de 2011, na cidade de Belo Horizonte. Sou grato aos presentes pelas críticas e sugestões feitas na ocasião. Uma segunda versão do artigo beneficiou-se dos comentários feitos por um revisor anônimo da revista

Opinião Pública, por Amilcar Gramacho e por Rachel Mello. Agradeço, ainda, a Daniel Marcelino pela construção de parte dos bancos de dados analisados. Os lapsos remanescentes deste artigo são de minha responsabilidade.

2

Importante notar que esse método não distribui aos candidatos o percentual de entrevistados indecisos. A um maior número de indecisos numa pesquisa poderá corresponder, portanto, maior imprecisão. A indecisão eleitoral, contudo, é mais acentuada no início do processo eleitoral e tende a reduzir-se com a aproximação do dia do voto. Uma medida de distância - em dias - entre a realização do trabalho de campo e a eleição procurará captar esse efeito na seção empírica deste artigo.

3

A legislação eleitoral - artigo 6º da Resolução 23.190 do Tribunal Superior Eleitoral (TSE) - exige que as pesquisas sobre eleições presidenciais sejam registradas no próprio TSE e que aquelas que versem sobre as eleições estaduais tenham registro junto aos Tribunais Regionais Eleitorais (TREs).

4

Os dados sobre as pesquisas podem ser encontrados em: <

http://noticias.uol.com.br/politica/pesquisas/>.

5

As pesquisas de intenção de voto para deputados federais, estaduais e distritais, além de escassas, fazem pouco sentido estatístico. Os candidatos eleitos para a Câmara dos Deputados e para as Assembleias Legislativas estaduais normalmente têm percentual de votos inferior a margens de erro aceitáveis, como 3pp ou 4pp. Uma possível extensão empírica deste artigo pode consistir na inclusão de dados sobre pesquisas de intenção de voto para o Senado, uma vez que se trata também de uma eleição majoritária, que, em 2010, colocou duas vagas em disputa em cada uma das 27 Unidades da Federação.

6

O corte temporal realizado por este artigo, portanto, é menor que o de El-Dash (2010) - que tomou pesquisas realizadas até 40 dias antes das eleições.

7

Poderiam ser considerados ainda outros fatores como a formulação das questões, sua posição relativa no questionário, bem como o rigor na supervisão do trabalho de campo, na checagem das entrevistas e na tabulação dos dados. Entretanto, não estão disponíveis dados sobre cada uma dessas etapas nos

surveys estudados. Pode-se considerar, contudo, que esses fatores integram a qualidade técnica que sustenta a reputação dos institutos de pesquisa pré-eleitoral, o que será considerado no modelo de análise multivariada.

8

É esperado que a distância em dias entre o

survey e a eleição e o percentual de indecisos estejam correlacionados. Entretanto, essa correlação não se revelou estatisticamente significativa para os dados utilizados neste artigo.

9

Se a competitividade eleitoral impacta a precisão dos estudos por meio da maior ou menor participação eleitoral, bastaria considerar o nível de abstenção do pleito para captar ambos os fatores. Os testes a seguir mostram que fator tem maior poder de explicação sobre a precisão das pesquisas pré-eleitorais.

10

Durand et al (2010), em seu levantamento de estudos sobre erros de pesquisas pré-eleitorais, defendem a incorporação de variáveis de tipo sociológico, além das estritamente metodológicas ou políticas.

11

Em 2010, o índice de urbanização no Brasil variava de 63,1% no Maranhão a 96,7% no Rio de Janeiro, segundo o IBGE.

12

Não cabe comparar os resultados dos institutos neste artigo com os de Figueiredo (2002), uma vez que aquele autor, apesar de utilizar a mesma metodologia (MM3), optou por não descartar candidatos não competitivos da eleição presidencial, como José Maria (PSTU) e Rui Costa Pimenta (PCO), que obtiveram respectivamente 0,47% e 0,04% dos votos válidos no primeiro turno de 2002. Além disto, este artigo contempla pesquisas presidenciais e para governadores, enquanto Figueiredo (2002) centrou-se exclusivamente sobre os estudos pré-eleitorais do primeiro tipo.

13

Uma análise que excluía os casos com as amostras maiores ratificou essa interpretação.

14

Importante registrar que os

surveys pré-eleitorais do Ibope somam 65 do total de 156 levantamentos do banco de dados aqui analisado. O instituto atuou em todas as Unidades da Federação nas eleições de 2010 e, portanto, expôs-se a contextos muito diversos.

15

As duas pesquisas sobre a eleição paranaense analisadas neste artigo trouxeram erros medidos pelo MM3 inferiores ao conjunto dos 156

surveys, de 3,6 pontos. A pesquisa do Datafolha (22938/2010) teve erro igual a 0 e a do Ibope (22938/2010), erro igual a 3 pontos. Com base nesses dois estudos, não é possível, portanto, dizer que as estimações no Paraná foram piores do que as do resto do Brasil.

16

Esse estudo comparado de legislações eleitorais feito pela organização Article 19 (2003) concluiu que, entre os países que não apresentam restrição alguma à divulgação de pesquisas pré-eleitorais, estão Austrália, Índia, África do Sul, Suécia, Reino Unido e Estados Unidos; que França e Canadá impõem restrições nas 24 horas anteriores à eleição; e que limitações mais extensas ocorrem na Albânia, Rússia, Bulgária, República Tcheca, Itália, Montenegro, Peru e Singapura.

17

As maiores diferenças aqui foram registradas nas apurações de intenção de voto dos candidatos do PSB, Eduardo Campos (Pernambuco), Ricardo Coutinho (Paraíba) e Wilson Martins (Piauí).

18

Ainda assim, mesmo com resultados muito precisos comparados com o desempenho histórico, haverá espaço para discussão de maiores ou menores acertos de diferentes institutos e sobre a neutralidade dos interesses de cada pesquisa (TRAUGOTT, 2005).

Datas de Publicação

• Publicação nesta coleção
  04 Jul 2013
• Data do Fascículo
  Jun 2013

Histórico

• Recebido
  Maio 2012
• Aceito
  Fev 2013