Acessibilidade / Reportar erro

Limitações da pesquisa do Fórum de Segurança Pública sobre percepção de violência sexual no Brasil

Limitations of the survey conducted by the Forum of Public Security on the perception of sexual violence in Brazil

Limites de l’enquête menée par le Forum de la Sécurité Publique à propos de la perception de la violence sexuelle au Brésil

Limitaciones en la encuesta realizada por el Foro de Seguridad Pública sobre la percepción de la violencia sexual en Brasil

Resumo

Este artigo examinou a metodologia da pesquisa de opinião intitulada “Percepção sobre a violência sexual e atendimento a mulheres vítimas nas instituições policiais”, conduzida em 2016 pelo Fórum Brasileiro de Segurança Pública. Os resultados mostraram que a pesquisa possuiu limitações metodológicas quanto à amostragem, análises estatísticas e formulação de seus itens (exemplos: falta de operacionalização de construtos, ambiguidade e expectativa não realista do conhecimento de seus respondentes), que comprometem a legitimidade de seus resultados. Pesquisas de opinião futuras realizadas no Brasil nessa área podem se beneficiar do uso de escalas validadas. O presente artigo não tem o intuito de desacreditar que muitos brasileiros endossam atitudes de tolerância ao estupro. Em vez disso, enfatiza a necessidade de dados confiáveis e válidos que servirão de base para medidas de intervenção.

Palavras-chaves:
opinião pública; violência sexual; metodologia; validade; Brasil

Abstract

This article examined the methodology used in the survey named “Perception of sexual violence and care of female victims by police institutions”, conducted in 2016 by the Brazilian Forum of Public Security. The results showed that this research has methodological limitations regarding sampling, statistical analysis, and formulation of items (e.g., lack of operationalization of constructs, ambiguity and unrealistic expectation regarding the knowledge of respondents), which compromise the legitimacy of its results. Future surveys conducted in Brazil in this field may benefit from the use of validated scales. This article does not attempt to discredit the idea that many Brazilians endorse tolerant attitudes toward rape. Instead, it emphasizes the need for reliable and valid data that must be the basis for intervention measures.

Keywords:
public opinion; sexual violence; methodology; validity; Brazil

Résumé

Cet article a analysé la méthodologie utilisée dans l’enquête intitulée “Perception de la violence sexuelle et prise en charge des femmes victimes par les institutions de police”, menée en 2016 par le Forum Brésilien de la Sécurité Publique. Les résultats ont montré que cette recherche présente des limites méthodologiques en ce qui concerne l’échantillonnage, l’analyse statistique et la formulation de ses items (par exemple, le manque d’opérationnalisation des concepts, l’ambiguïté et l’attente irréaliste des connaissances des répondants), qui mettent en question la légitimité de ses résultats. Les futurs sondages d’opinion menés au Brésil dans ce domaine pourraient bénéficier de l’utilisation d’échelles validées. Cet article ne vise pas à discréditer l’idée que de nombreux Brésiliens souscrivent à des attitudes de tolérance au viol. Au contraire, il souligne la nécessité de disposer de données fiables et valides qui serviront de base aux mesures d’intervention.

Mots-clés:
opinion publique; violence sexuelle; méthodologie; validité; Brésil

Resumen

Este artículo ha examinado la metodología utilizada en la encuesta de opinión titulada “Percepción de la violencia sexual y la atención a mujeres víctimas por parte de instituciones policiales”, realizada en 2016 por el Foro Brasileño de Seguridad Pública. Los resultados mostraron que la mencionada encuesta tiene limitaciones metodológicas con respecto al muestreo, análisis estadísticos y la formulación de sus ítems (por ejemplo, falta de operacionalización de constructos, ambigüedad y expectativa poco realista del conocimiento de los encuestados), que comprometen la legitimidad de sus resultados y de sus conclusiones. Las futuras encuestas de opinión realizadas en Brasil en este campo pueden beneficiarse del uso de escalas validadas. Este artículo no intenta desacreditar la idea de que muchos brasileños respaldan actitudes tolerantes hacia la violación. En cambio, enfatiza la necesidad de datos confiables y válidos que serán la base para las medidas de intervención.

Palabras clave:
opinión pública, violencia sexual, metodología, validez; Brasil

Introdução

Pesquisas de opinião são comumente conduzidas para investigar crenças, preferências, opiniões, atitudes e comportamentos, com o objetivo de informar sobre assuntos socialmente relevantes e guiar tomada de decisões pessoais, sociais, políticas, econômicas e de saúde. No entanto, segundo Leeuw, Hox e Dillman (2008Leeuw, E. D., Hox, J. J., & Dillman, D. A. (2008). International handbook of survey methodology. Abingdon: Routledge.), a ideia de conduzir uma pesquisa de opinião pode parecer, enganosamente, simples. Pesquisas de opinião bem-sucedidas envolvem planejamento cuidadoso: boa preparação dos itens do questionário; escolha minuciosa do tipo de amostragem; antecipação de eventuais problemas na execução da pesquisa; projeto piloto e treinamento adequado de profissionais antes mesmo que a coleta de dados inicie. Isso é uma forma de tentar controlar potenciais erros sistemáticos à medida que a coleta de dados é realizada. Sem esses cuidados, pesquisas de opinião podem fornecer resultados enviesados e sem potencial de generalização, além de representarem gasto financeiro desnecessário.

Outro problema é que muitas pesquisas de opinião são publicadas em websites das instituições que as conduziram, sem serem submetidas a qualquer avaliação metodológica de maior rigor científico (exemplo: revisão duplamente cega por pares em revistas científicas de renome), propagando informações não acuradas ou mesmo errôneas e desorientando pesquisadores que se utilizem de seus dados, a mídia e a população em geral.

O presente artigo foca-se na pesquisa conduzida no Brasil pelo Fórum de Segurança Pública intitulada “Percepção sobre a violência sexual e atendimento a mulheres vítimas nas instituições policiais” e disponibilizada online em #APolíciaPrecisaFalarSobreEstupro (Fórum Brasileiro de Segurança Pública, 2016Fórum Brasileiro de Segurança Pública (2016). #APolíciaPrecisaFalarSobreEstupro - Percepção sobre a violência sexual e atendimento a mulheres vítimas nas instituições policiais. Recuperado de https://bityli.com/5De9h
https://bityli.com/5De9h...
). Essa pesquisa gerou grande interesse por parte de pesquisadores na área por diferentes razões. Trata-se de um dos poucos estudos disponíveis no Brasil, baseado em uma amostra com indivíduos provenientes das cinco regiões brasileiras, que se propõe a investigar atitudes que promovem e perpetuam a violência sexual contra mulheres no Brasil. Essa pesquisa, no entanto, é decepcionante pelas inúmeras limitações metodológicas que apresenta, pela ausência de esclarecimento sobre sua metodologia e pela forma com que os dados são analisados e descritos.

O objetivo do presente artigo é, portanto, enumerar e discutir os problemas metodológicos da pesquisa segundo os seguintes critérios: formulação dos itens do questionário; amostragem; análise e publicação dos dados; conclusões.

Sumário do delineamento metodológico, resultados e conclusões da pesquisa de opinião

“Percepção sobre a violência sexual e atendimento a mulheres vítimas nas instituições policiais” trata-se de uma pesquisa quantitativa, realizada em quatro dias do mês de agosto de 2016 e baseada nos dados de uma amostra de 3.625 entrevistados de 217 diferentes munícipios brasileiros de diferentes portes. A amostra foi obtida por abordagem pessoal em pontos de fluxo populacional. Segundo a publicação, a margem de erro máxima para o total da amostra é de dois pontos percentuais para mais ou para menos (Fórum Brasileiro de Segurança Pública, 2016Fórum Brasileiro de Segurança Pública (2016). #APolíciaPrecisaFalarSobreEstupro - Percepção sobre a violência sexual e atendimento a mulheres vítimas nas instituições policiais. Recuperado de https://bityli.com/5De9h
https://bityli.com/5De9h...
).

A publicação inclui os resultados das respostas fornecidas pela amostra a sete itens. O primeiro item, “Você tem medo de ser vítima de agressão sexual?”, inclui respostas de sim, não ou não sei. Os seis itens restantes oferecem quatro possíveis respostas (concordo, discordo, não concordo nem discordo, não sei) e estão descritos a seguir: “Mulheres que se dão o respeito não são estupradas” (item 2); “A mulher que usa roupas provocativas não pode reclamar se for estuprada” (item 3); “Temos que ensinar meninos a não estuprar” (item 4); “Policiais militares são bem preparados para atender mulheres vítimas de violência sexual” (item 5); “Mulheres vítimas de violência sexual encontram acolhimento em delegacias de polícia” (item 6); “As leis brasileiras protegem estupradores” (item 7). Para todos os itens, os dados são ilustrados em gráficos ou tabelas segundo o sexo, faixa etária, escolaridade, região de proveniência e porte do município. Os dados são descritivos e não há apresentação de estatísticas inferenciais.

Em síntese, os resultados mostraram que as taxas de pessoas com medo de sofrerem violência sexual são maiores em mulheres (85%), em indivíduos na faixa etária de 16 a 24 anos (75%), com média escolaridade (68%), ou provenientes das regiões Norte e Nordeste (72%). As taxas de pessoas que concordam com as frases “Mulheres que se dão o respeito não são estupradas” (item 2) e “A mulher que usa roupas provocativas não pode reclamar se for estuprada” (item 3) são inferiores entre as mulheres (42% e 30%, respectivamente para os itens 2 e 3), nas faixas etárias mais jovens que 35 anos (33% e 23%), em pessoas de nível superior (19% e 16%) ou provenientes das regiões sul (30% e 27%) e centro-oeste (33% e 25%). As taxas de concordância com a frase “Temos que ensinar meninos a não estuprar” (item 4) são muito semelhantes em todos os subgrupos analisados, segundo sexo, faixa etária, escolaridade, região e porte do município - em torno de 90% de concordância. A proporção de pessoas da amostra total que discordou das frases “Policiais militares são bem preparados para atender mulheres vítimas de violência sexual” (item 5) e “Mulheres vítimas de violência sexual encontram acolhimento em delegacias de polícia” (item 6) foram de 50% e 42%, respectivamente. Em torno de 53% da amostra total concordou com o item 7 “As leis brasileiras protegem estupradores”. A proporção de pessoas que responderam não concordo nem discordo e não sei eleva-se nos itens 5, 6 e 7 (variando entre 12% e 15%).

A publicação conclui que, primeiro, os resultados evidenciam indicadores sociais e institucionais de tolerância em relação à violência sexual contra mulheres e, segundo, a sociedade percebe as instituições policiais como pouco preparadas para lidar com os casos de violência.

Limitações metodológicas da pesquisa de opinião

Formulação dos itens do questionário

A seguir, descrevo algumas limitações metodológicas quanto à formulação dos itens do instrumento utilizado na referida pesquisa.

Problemas na validade de critério e de conteúdo dos itens

De acordo com a publicação, a pesquisa de opinião foca na percepção da população em relação às mulheres que são vítimas de violência sexual (itens 1, 2 e 3) e na percepção sobre o atendimento às vítimas por parte de operadores policiais (itens 5, 6 e 7). Com apenas três itens disponibilizados para cada um dos objetivos (o item 4 não parece pertencer a nenhum desses), é questionável a validade de conteúdo assim como a validade de critério do questionário. A validade de conteúdo refere-se a quão representativo do domínio estudado é o conteúdo de um questionário (Miller, McIntire, & Lovler, 2007Miller, L. A , McIntire, S. A., & Lovler, R. L. (2007). Foundations of psychological testing: A practical approach. Thousand Oaks: Sage.). Em outras palavras, ela garante que a escala ou questionário inclua todos os itens necessários para acessar determinado construto, que no caso refere-se à percepção da população (ou suas atitudes) em relação às vítimas e ao atendimento oferecido pela polícia. Já a validade de critério assegura que aquilo que foi medido seja capaz de prever uma variável externa (Miller et al., 2007Miller, L. A , McIntire, S. A., & Lovler, R. L. (2007). Foundations of psychological testing: A practical approach. Thousand Oaks: Sage.), como a tolerância à agressão sexual ou sua perpetração. Dessa forma, é discutível se esse limitado número de itens é de fato capaz de medir atitudes no Brasil em relação às mulheres vítimas da violência sexual, assim como a percepção do atendimento às vítimas pela polícia. Também é questionável se esses poucos itens são capazes de predizer variáveis externas com precisão.

Ausência de operacionalização do conceito de estupro e agressão sexual no questionário

A pesquisa também falha por não especificar a operacionalização dada ao estupro e à agressão sexual, o que coloca em dúvida a validade de construto dos itens que incluem esses termos ou suas variações. A validade de construto refere-se a quanto a operacionalização de um construto mede-o de fato, como o teste se propõe a medir. Em outras palavras, refere-se a quão consistente é a medida usada, de acordo com o conceito teórico a ser pesquisado (Weiner, 2007Weiner, J. (2007). Measurement: Reliability and validity measures. The Johns Hopkins University. Recuperado de https://bityli.com/mKDlM
https://bityli.com/mKDlM...
). Na introdução da publicação, os autores fazem referência a diferentes construtos como violência contra mulheres e violência sexual. A definição usada pelos autores para violência sexual é a proposta pela Organização Mundial de Saúde, que é ampla e inclui fenômenos como tráfico e assédio sexual. Por outro lado, os itens do questionário usado fazem uso dos termos agressão sexual, violência sexual e variações do vocábulo estupro (exemplos: estupradas, estuprar e estupradores), cujas definições não são especificadas na publicação. Quando se usa construtos acadêmicos em pesquisas de opinião, é imprescindível que a definição seja explicitada e operacionalizada na contextualização da pesquisa e, principalmente, antes do instrumento ser aplicado (Scheuren, 2004Scheuren, F. (2004). What is a survey? Recuperado de https://bityli.com/1WWUf
https://bityli.com/1WWUf...
).

Dessa maneira, todos os respondentes entenderiam os itens da mesma maneira, o que evita erros sistemáticos na coleta de dados e garante a confiabilidade do instrumento, ou seja, a replicabilidade dos resultados demonstrados através de uma alta taxa de fidedignidade em teste-reteste. Por exemplo, a ausência de definição para agressão sexual e violência sexual muito provavelmente gerou uma imensa variedade de respostas, porque os itens que incluem estes termos são interpretados de forma diferente por cada respondente. Isso tem um impacto nos resultados que não deve ser ignorado ou minimizado. Se não há consenso sobre a definição de agressão sexual e violência sexual em termos comportamentais entre pesquisadores da área (Winzer, 2016Winzer, L. (2016). Frequency of self-reported sexual aggression and victimization in Brazil: a literature review. Cadernos de Saúde Pública, 32(7), 1-16. doi: 10.1590/0102-311X00126315
https://doi.org/10.1590/0102-311X0012631...
), o que dirá na população em geral. Em pesquisas de opinião, é importante que todos os itens sejam entendidos da mesma maneira por quem os responde, de maneira que as variações encontradas entre grupos sejam atribuídas às diferenças reais de opinião e não às diferenças em como os respondentes definem o problema - o que configuraria um erro sistemático em pesquisa.

Além disso, se a definição do construto estudado é mais ou menos ampla (se inclui assédio sexual, por exemplo, toque, tráfico ou se refere exclusivamente à penetração vaginal, anal e oral), maiores as chances de os resultados aparecerem, respectivamente, mais ou menos inflados. No item “Você tem medo de agressão sexual?”, respondentes homens que consideram que agressão sexual ocorre apenas contra mulheres (ou seja, apenas como penetração vaginal), não se veem como vítimas em potenciais. Além disso, não é especificado no item quem seria a vítima da agressão, ou seja, se o medo em questão refere-se à agressão sexual contra o próprio respondente (nesse caso, a melhor forma de apresentar o item seria “Você tem medo de ser vítima de agressão sexual?”) ou também contra outras pessoas a ele relacionadas (como parceira íntima e filhas).

Foco na vitimização feminina

Outra limitação do questionário é o foco dado à agressão sexual unicamente contra a mulher. Ainda que isso seja justificável devido ao desequilíbrio comum entre as taxas de vitimização feminina e masculina, não se pode negligenciar que tanto mulheres quanto homens são vítimas potenciais de estupro. Segundo o Código Penal Brasileiro (Brasil, 2009Brasil. (2009). Lei nº 12.015, de 7 de agosto de 2009. Recuperado de https://bityli.com/3TtLU
https://bityli.com/3TtLU...
), estupro inclui não só penetração vaginal forçada, mas também intercurso anal e oral forçado. De fato, pesquisas apontam que uma porcentagem considerável de crianças, jovens e adultos do sexo masculino já foram vítimas de formas mais ou menos severas de agressão sexual, incluindo estupro, perpetradas tanto por mulheres como por outros homens (Cerqueira & Coelho, 2014Cerqueira, D., & Coelho, D. S. C. (2014). Estupro no Brasil: uma radiografia segundo os dados da saúde. Nota Técnica, 11, 1-30. Recuperado de https://bityli.com/b6t1C
https://bityli.com/b6t1C...
; Winzer, 2016Winzer, L. (2016). Frequency of self-reported sexual aggression and victimization in Brazil: a literature review. Cadernos de Saúde Pública, 32(7), 1-16. doi: 10.1590/0102-311X00126315
https://doi.org/10.1590/0102-311X0012631...
). Isso seria, portanto, uma inclusão necessária na pesquisa, porque é relevante saber a percepção da população em relação à agressão sexual sobre qualquer tipo de vítima, independente do sexo ou orientação sexual. Seria também uma forma de comparar se as atitudes em relação às vítimas femininas estendem-se às vítimas masculinas. Um agravamento da vitimização masculina em relação à feminina é que homens apresentam ainda menor chance de buscarem ajuda médica e legal, por receio de terem sua masculinidade questionada (Cordeiro, Heilborn, Cabral, & Moraes, 2009Cordeiro, F., Heilborn, M. L., Cabral, C. S., & Moraes, C. L. (2009). Entre negociação e conflito: gênero e coerção sexual em três capitais brasileiras. Ciência & Saúde Coletiva, 14(4), 1051-1062. doi: 10.1590/S1413-81232009000400012
https://doi.org/10.1590/S1413-8123200900...
; Donne et al., 2017Donne, M. D., DeLuca, J., Pleskach, P., Bromson, C., Mosley, M. P., Perez, E. T.; . . . Frye, V. (2017). Barriers to and facilitators of help-seeking behavior among men who experience sexual violence. American Journal of Men’s Health, 12(2), 189-201. doi: 10.1177/1557988317740665
https://doi.org/10.1177/1557988317740665...
).

Expectativa não realista dos conhecimentos dos respondentes

Outro erro metodológico que pode ter enviesado os resultados foi requerer que entrevistados respondam a itens aos quais eles têm pouco ou nenhum conhecimento. Respondentes tendem a responder itens mesmo sem o conhecimento necessário para fazê-lo (Fairfax County, 2017Fairfax County (2017). Common pitfalls in conducting a survey. Recuperado de https://bityli.com/S8mnW
https://bityli.com/S8mnW...
). Esse fenômeno é conhecido como viés do respondente. Para responder os itens “As leis brasileiras protegem estupradores”, “Mulheres vítimas de violência sexual encontram acolhimento em delegacias de polícia” e “Policiais militares são bem preparados para atender mulheres vítimas de violência sexual”, é necessário que os respondentes conheçam a lei brasileira referente ao estupro, os serviços prestados pelas delegacias e saibam como deve ser o trabalho da polícia em casos de agressão sexual. No entanto, a maioria da população não tem conhecimento sobre a legislação brasileira e as penalidades para os agressores, e, portanto, não tem capacitação para avaliar se a lei “protege” estupradores.

Além disso, a maioria das pessoas não está capacitada a avaliar o serviço das delegacias porque nunca o utilizaram. Isso parece explicar um aumento da porcentagem de pessoas que responderam não concordo nem discordo e não sei nesses três itens. Uma pesquisa mostrou que respondentes sem experiência nos serviços pesquisados fornecem com maior frequência respostas neutras do tipo não concordo nem discordo ou não sei do que respondentes bem informados sobre os mesmos serviços (Lam, Allen, & Green, 2010Lam, T. C. M., Allen, G., & Green, K. E. (2010). Is “neutral” on a likert scale the same as “don’t know” for informed and uninformed respondents? Effects of serial position and labeling on selection of response options. Artigo apresentado no encontro anual do National Council on Measurement in Education, Denver, CO.).

Os itens 5 e 6, portanto, fariam sentido se aplicados a vítimas ou amigos e parentes de vítimas que já utilizaram o serviço. As respostas podem refletir mais o descontentamento geral com instituições de segurança pública do que com o atendimento de fato prestado pela polícia nos casos específicos de vitimização sexual.

Perguntas formuladas de forma indireta, usando negação ou com significado ambíguo

Os itens 2, 3, 4 e 7 ferem um princípio fundamental em pesquisas de opinião: a formulação de itens deve ser feita da maneira mais simples e direta possível, evitando o uso de negação, metáforas ou qualquer sentido dúbio, oculto ou implícito (Song, Son, & Oh, 2015Song, Y., Son, Y. J., & Oh, D. (2015). Methodological issues in questionnaire design. Journal of Korean Academy of Nursing, 45(3), 323-328. doi: 10.4040/jkan.2015.45.3.323
https://doi.org/10.4040/jkan.2015.45.3.3...
).

Por exemplo, o item “Temos que ensinar meninos a não estuprar” (item 4) infere ao respondente a ideia de que “os meninos são ensinados a estuprar”, e, portanto, devemos ensiná-los a não fazer isso. No entanto, a ideia de que meninos são ensinados a estuprar pode ou não ser compartilhada pelo respondente. Dessa maneira, o respondente não pode ou não deveria ter que emitir uma opinião a um item cuja ideia implícita ele não compartilha (Krosnick, 2017Krosnick, J. A. (2017). Questionnaire design. In D. L. Vannette, J. A. Krosnick (Eds.). The palgrave handbook of survey research (pp 439-455). Londres: Palgrave Macmillan.). Quem concordaria com a frase na forma afirmativa “temos que ensinar meninos a estuprar”? Provavelmente uma porcentagem insignificante de pessoas, dado o absurdo do conteúdo da frase em si, somado ao viés de aceitação social. É possível que os 6% que discordaram da frase, tenham discordado da ideia implícita do item, ou seja, a de que meninos são ensinados a estuprar. Suas respostas possivelmente refletem o seguinte sentido: “Discordo, meninos não são ensinados a estuprar”. Isso não torna essa porcentagem de respondentes a favor do estupro, necessariamente, mas apenas discordantes da premissa de que meninos são ensinados a estuprar.

Também é plausível que, devido à ambiguidade na língua portuguesa quanto à concordância ou discordância de frases negativas, respondentes tenham assinalado a resposta contrária àquela que gostariam de expressar. No português, não há uma palavra afirmativa destinada exclusivamente a perguntas em forma de negação, como o “doch” do alemão e o “si” do francês. Os respondentes possivelmente assinalaram discordo não com o sentido de “discordo, meninos devem aprender a estuprar”, mas no sentido de “não, discordo, meninos não podem estuprar”.

No item 7, “As leis brasileiras protegem estupradores”, os pesquisadores optaram por fazer a pergunta de forma indireta e usando uma metáfora. Ao que parece, o intuito era mensurar se os respondentes percebem o Código Penal Brasileiro como eficiente no combate ao estupro. Em outras palavras, se uma lei não é aplicada de forma correta, ela é ineficaz, e, portanto, é uma lei que protege estupradores. O problema de perguntas indiretas é que elas dão margem à interpretação e aumentam a chance de erro sistemático. Respondentes que acreditem que as leis são ineficazes poderiam, no entanto, responder de duas formas distintas: “concordo, a lei protege estupradores porque é ineficaz”; ou “discordo, ela é ineficaz, mas não necessariamente ‘protege’ estupradores”. Isso gera confusão nos resultados, porque as respostas não são capazes de discernir quem de fato percebe a lei como ineficaz. O item é ambíguo e precisaria ser revisto para sua aplicação em uma pesquisa de opinião desse porte. Um estudo qualitativo piloto poderia ter apontado estas ambiguidades.

Potencial falta de representatividade da amostra

A descrição da amostragem não indica necessariamente representatividade. O fato de os dados terem sido coletados em municípios de diferentes tamanhos, em lugares de fluxo populacional, não garante que a amostra seja representativa. Não se sabe como foi a escolha desses municípios e como é a distribuição desses municípios de acordo com as cinco regiões federativas. Não se sabe se uma região está super-representada ou sub-representada. Coleta em lugares de fluxo populacional não aborda pessoas que não frequentam esses lugares. Isso pode sugerir um erro de cobertura, onde alguns membros da população têm probabilidade nula de serem selecionados para a amostra, e erro de não-resposta, onde não-respondentes diferem significativamente de respondentes no construto que se pretende medir (Leeuw, Hox, & Dillman, 2008Leeuw, E. D., Hox, J. J., & Dillman, D. A. (2008). International handbook of survey methodology. Abingdon: Routledge.).

É verdade que a maioria de pesquisas publicadas são baseadas em amostras não representativas. No entanto, os autores não tiveram o cuidado de ponderar a possibilidade de falta de representatividade de sua amostra e descrevê-la como importante limitação de seu estudo. Ao contrário, eles descrevem seus resultados sugerindo uma representatividade que não pode ser confirmada na descrição de seu método, por exemplo quando se diz “87,5% da população feminina do Norte”.

Não há informação suficiente que justifique o tratamento da amostra como probabilística. Por esse motivo, os autores deveriam enfatizar na publicação o cuidado necessário para se generalizar os resultados para todo o país. Isso porque amostras não probabilísticas podem conter achados que se desviam muito daqueles apresentados pela população total.

Ausência de análises estatísticas inferenciais

Considerando que a amostra seja de fato representativa, conforme parecem sugerir os autores, fazem falta na publicação análises estatísticas inferenciais. Não há qualquer informação sobre significância estatística nas diferenças entre os grupos com relação ao sexo, escolaridade, faixa etária, região administrativa e porte do município. Relatar que um grupo apresenta porcentagem maior que outro não significa necessariamente que a diferença tenha relevância estatística. Além de testes de significância estatística na comparação entre os grupos analisados, variáveis de controle deveriam ser adicionadas à equação, como renda e escolaridade, neutralizando seus efeitos quando feitas as comparações entre grupos.

Inconsistência entre os resultados e as conclusões da pesquisa

Já que a validade e fidedignidade dos resultados do referente estudo são questionáveis, as conclusões são tomadas sem embasamento empírico suficiente. A quantidade e a qualidade da formulação dos itens do questionário não são suficientes para corroborarem as conclusões da pesquisa, a saber, a evidência de indicadores sociais e institucionais de tolerância em relação à violência sexual contra mulheres e a percepção de que as instituições policiais são pouco preparadas para lidar com os casos de violência. Pelos problemas na formulação dos itens, que geraram respostas ambíguas, não há como comprovar de forma inequívoca a presença de indicadores de tolerância à agressão sexual. Além disso, a percepção dos respondentes sobre um serviço que eles potencialmente têm pouco conhecimento não diz muito sobre a qualidade do serviço em si. Em outras palavras, suas “opiniões” acerca desses serviços não acessa a qualidade dos serviços de fato.

Outras questões relativas à metodologia e aos resultados

Não fica claro na descrição da metodologia da referida pesquisa quais e quantas foram as questões incluídas, nem se a coleta de dados foi feita por meio de entrevista ou preenchimento individual de questionário. Por exemplo, as sete perguntas consistem em todos os itens feitos pela pesquisa de opinião ou apenas àqueles que trouxeram resultados que sustentam a hipótese dos autores? Também não há menção sobre dados faltantes (exemplos: número de respondentes que se recusaram a participar da pesquisa e taxas de não-resposta para cada um dos itens), além de outras possíveis limitações dos resultados (exemplos: viés de aquiescência, de tendência central e de aceitação social, que são problemas comuns em estudos que empregam escalas de concordo-discordo).

Discussão

O objetivo do presente artigo foi examinar a pesquisa de opinião “Percepção sobre a violência sexual e atendimento a mulheres vítimas nas instituições policiais” quanto à formulação dos itens de seu questionário, amostragem, análise e publicação de seus dados e suas conclusões. A presente avaliação mostrou que a referente pesquisa tem uma série de limitações metodológicas que comprometem a legitimidade de seus resultados. A análise do questionário mostrou que a formulação dos itens apresentava comprometimentos relativos a sua validade e fidedignidade, pela falta de operacionalização devida de seus construtos, pela formulação inadequada dos seus itens (de forma indireta, ambígua e fazendo uso de negação, por exemplo) e por criar expectativa pouco realista dos conhecimentos dos seus respondentes. Parte dos itens também se focaram exclusivamente na vitimização sexual feminina, apesar da crescente evidência científica de que homens também são vítimas de agressão sexual. Pela descrição disponível da metodologia na publicação da pesquisa, também não é possível garantir a representatividade da amostra para todo o Brasil. E caso a amostra seja de fato representativa, fizeram falta análises estatísticas inferenciais para comparação entre diferentes grupos, como regiões, sexo e faixa etária, e com o uso de variáveis controle, como renda e escolaridade.

Essas questões metodológicas expõem a qualidade limitada da referente pesquisa e fazem pesquisadores suspeitarem, infelizmente, da veracidade de seus resultados e do vigor de suas conclusões. Inúmeros estudos têm mostrado que variações mínimas na metodologia de pesquisas de opinião podem afetar enormemente a validade e fidedignidade das respostas (Leeuw, Hox, & Dillman, 2008Leeuw, E. D., Hox, J. J., & Dillman, D. A. (2008). International handbook of survey methodology. Abingdon: Routledge.). Obviamente alguns erros estão fora do controle do pesquisador, mas muitos podem ser evitados com metodologia rigorosa.

Para que uma pesquisa seja bem-sucedida, há um consenso entre pesquisadores de que os itens do questionário a serem desenvolvidos devem ser simples e diretos (evitando ambiguidade e frases negativas), estar em concordância com o nível de conhecimento dos respondentes e refletir os objetivos da pesquisa (Leeuw, Hox, & Dillman, 2008Leeuw, E. D., Hox, J. J., & Dillman, D. A. (2008). International handbook of survey methodology. Abingdon: Routledge.; Song, Son, & Oh, 2015Song, Y., Son, Y. J., & Oh, D. (2015). Methodological issues in questionnaire design. Journal of Korean Academy of Nursing, 45(3), 323-328. doi: 10.4040/jkan.2015.45.3.323
https://doi.org/10.4040/jkan.2015.45.3.3...
). Para isso, uma boa contextualização do histórico da pesquisa e uma descrição precisa de seus objetivos facilitam a operacionalização dos construtos a serem acessados e evitam erros sistemáticos de medida. Itens ambíguos devem ser evitados, porque, gerando resultados dúbios, não são capazes de medir aquilo que se propõem a medir. Como nem sempre a ambiguidade é óbvia para os autores da pesquisa, é importante que pesquisas de opinião de grande porte tenham projetos pilotos com análises quantitativas e qualitativas para a identificação de eventuais problemas na compreensão das perguntas (Fairfax County, 2017Fairfax County (2017). Common pitfalls in conducting a survey. Recuperado de https://bityli.com/S8mnW
https://bityli.com/S8mnW...
).

Pesquisas de opinião futuras sobre este tema podem se beneficiar do uso de escalas recomendadas pela Sexual Violence Research Initiative (SVRI), que avaliam atitudes com relação ao estupro e violência sexual (disponível em Flood, 2008Flood, M. (Org.). (2008). Measures for the assessment of dimensions of violence against women: A compendium. Sexual Violence Research Institute. Recuperado de https://bityli.com/aEM9c
https://bityli.com/aEM9c...
). Mesmo que muitas dessas escalas não tenham sido traduzidas e validadas para o contexto brasileiro, elas fornecem, ao menos, base mais sólida de como itens podem ser formulados, além de dados comparáveis aos de outras pesquisas. Um exemplo de escala listada pela SVRI e amplamente usada internacionalmente é a Escala de Aceitação dos Mitos de Estupro de Ilinois (Payne, Lonsway, & Fitzgerald, 1999Payne, D. L., Lonsway, K. A., & Fitzgerald, L. F. (1999). Rape myth acceptance: exploration of its structure and its measurement using the Illinois rape myth acceptance scale. Journal of Research in Personality, 33(1), 27-68. doi: 10.1006/jrpe.1998.2238
https://doi.org/10.1006/jrpe.1998.2238...
). Essa escala oferece a vantagem de ter sido adaptada e validada ao contexto brasileiro, ainda que em amostra não probabilística (Scarpati, Guerra, & Duarte, 2014Scarpati, A. S., Guerra, V. M., & Duarte, C. N. B. (2014). Adaptação da escala de aceitação dos mitos de estupro: evidências de validade. Avaliação Psicológica, 13(1), 57-65. Recuperado de https://bityli.com/2XPwI
https://bityli.com/2XPwI...
), e pode guiar estudos brasileiros posteriores que dela se utilizem.

Referências

  • Fairfax County (2017). Common pitfalls in conducting a survey Recuperado de https://bityli.com/S8mnW
    » https://bityli.com/S8mnW
  • Brasil. (2009). Lei nº 12.015, de 7 de agosto de 2009 Recuperado de https://bityli.com/3TtLU
    » https://bityli.com/3TtLU
  • Cerqueira, D., & Coelho, D. S. C. (2014). Estupro no Brasil: uma radiografia segundo os dados da saúde. Nota Técnica, 11, 1-30. Recuperado de https://bityli.com/b6t1C
    » https://bityli.com/b6t1C
  • Cordeiro, F., Heilborn, M. L., Cabral, C. S., & Moraes, C. L. (2009). Entre negociação e conflito: gênero e coerção sexual em três capitais brasileiras. Ciência & Saúde Coletiva, 14(4), 1051-1062. doi: 10.1590/S1413-81232009000400012
    » https://doi.org/10.1590/S1413-81232009000400012
  • Donne, M. D., DeLuca, J., Pleskach, P., Bromson, C., Mosley, M. P., Perez, E. T.; . . . Frye, V. (2017). Barriers to and facilitators of help-seeking behavior among men who experience sexual violence. American Journal of Men’s Health, 12(2), 189-201. doi: 10.1177/1557988317740665
    » https://doi.org/10.1177/1557988317740665
  • Flood, M. (Org.). (2008). Measures for the assessment of dimensions of violence against women: A compendium Sexual Violence Research Institute. Recuperado de https://bityli.com/aEM9c
    » https://bityli.com/aEM9c
  • Fórum Brasileiro de Segurança Pública (2016). #APolíciaPrecisaFalarSobreEstupro - Percepção sobre a violência sexual e atendimento a mulheres vítimas nas instituições policiais Recuperado de https://bityli.com/5De9h
    » https://bityli.com/5De9h
  • Lam, T. C. M., Allen, G., & Green, K. E. (2010). Is “neutral” on a likert scale the same as “don’t know” for informed and uninformed respondents? Effects of serial position and labeling on selection of response options Artigo apresentado no encontro anual do National Council on Measurement in Education, Denver, CO.
  • Krosnick, J. A. (2017). Questionnaire design. In D. L. Vannette, J. A. Krosnick (Eds.). The palgrave handbook of survey research (pp 439-455). Londres: Palgrave Macmillan.
  • Leeuw, E. D., Hox, J. J., & Dillman, D. A. (2008). International handbook of survey methodology Abingdon: Routledge.
  • Miller, L. A , McIntire, S. A., & Lovler, R. L. (2007). Foundations of psychological testing: A practical approach Thousand Oaks: Sage.
  • Payne, D. L., Lonsway, K. A., & Fitzgerald, L. F. (1999). Rape myth acceptance: exploration of its structure and its measurement using the Illinois rape myth acceptance scale. Journal of Research in Personality, 33(1), 27-68. doi: 10.1006/jrpe.1998.2238
    » https://doi.org/10.1006/jrpe.1998.2238
  • Scarpati, A. S., Guerra, V. M., & Duarte, C. N. B. (2014). Adaptação da escala de aceitação dos mitos de estupro: evidências de validade. Avaliação Psicológica, 13(1), 57-65. Recuperado de https://bityli.com/2XPwI
    » https://bityli.com/2XPwI
  • Scheuren, F. (2004). What is a survey? Recuperado de https://bityli.com/1WWUf
    » https://bityli.com/1WWUf
  • Song, Y., Son, Y. J., & Oh, D. (2015). Methodological issues in questionnaire design. Journal of Korean Academy of Nursing, 45(3), 323-328. doi: 10.4040/jkan.2015.45.3.323
    » https://doi.org/10.4040/jkan.2015.45.3.323
  • Weiner, J. (2007). Measurement: Reliability and validity measures The Johns Hopkins University. Recuperado de https://bityli.com/mKDlM
    » https://bityli.com/mKDlM
  • Winzer, L. (2016). Frequency of self-reported sexual aggression and victimization in Brazil: a literature review. Cadernos de Saúde Pública, 32(7), 1-16. doi: 10.1590/0102-311X00126315
    » https://doi.org/10.1590/0102-311X00126315

Datas de Publicação

  • Publicação nesta coleção
    27 Nov 2020
  • Data do Fascículo
    2020

Histórico

  • Recebido
    02 Out 2019
  • Aceito
    28 Set 2020
Instituto de Psicologia da Universidade de São Paulo Av. Prof. Mello Moraes, 1721 - Bloco A, sala 202, Cidade Universitária Armando de Salles Oliveira, 05508-900 São Paulo SP - Brazil - São Paulo - SP - Brazil
E-mail: revpsico@usp.br