Uma busca por questões de Física do ENEM potencialmente não reprodutoras das desigualdades socioeconômicas

A pursuit for physics questions from ENEM less associated with socioeconomic status

Resumos

O Exame Nacional do Ensino Médio é o segundo maior exame em larga escala do mundo. No Brasil, o desempenho dos alunos nessa prova é o critério de seleção para cursos em instituições de ensino superior públicas e privadas. A associação entre o desempenho dos estudantes e seu nível socioeconômico nos exames de larga escala é um fator conhecido desde o final da década de 60 por pesquisadores do campo educacional. Com isso, se fazem necessárias pesquisas que busquem encontrar alternativas para minimizar essa associação. Este trabalho apresenta, portanto, uma pesquisa que objetivou analisar as questões de Física do ENEM e encontrar exemplos de itens menos associados com o nível socioeconômico. A utilização de questões com esse perfil na prova do ENEM pode tornar essa seleção mais justa socialmente, afinal, os estudantes não seriam apenas selecionados pelo acúmulo de bens, mas por proficiência em determinada área do conhecimento. Para isso, foi realizada uma Análise Fatorial de Informação Completa (AFIC) do questionário a fim de melhor definir o nível socioeconômico dos alunos participantes do exame. Esse nível socioeconômico foi dividido em sete grupos diferentes que se formaram a partir de uma composição bivariada de capitais econômico e cultural institucionalizado (uma das dimensões do capital cultural bourdieusiano). Em seguida, foram obtidas as médias de acertos nos itens de Física em cada um dos níveis de capital. Os itens com menor variabilidade de proporção de acertos entre os grupos são os que menos se associam com variáveis de contexto. Neste artigo foram identificados e analisados itens com essas características nas provas do ENEM de 2009, 2012 e 2015.

Palavras-chave:
ENEM; desigualdade; socioeconômico; exame de larga escala; Física

The National High School Exam is the second largest large-scale exam in the world. In Brazil, the students’ performance in the test is the main selection criteria to access higher education. The association between student performance and socioeconomic status in large-scale exams has been investigated by researchers in the education field since the late 1960s. To overcome this influence, researchers need find new alternatives. Therefore, this work presents a research that aims to analyze physics questions in ENEM in order to find examples less associated with context variables. The use of questions with low association with socioeconomic status in the ENEM can lead this assessment to be more socially fair, after all, it would select students mostly by proficiency in a certain area of knowledge and not by socioeconomic status. For this, in order to better define the socioeconomic level of the students participating in the exam, we carried out a Full-Information Factor Analysis (FIFA) on the socioeconomic questionnaire. The results of the analysis lead to seven groups of bivariate socioeconomic levels, obtained by the mix of economic and institutionalized cultural capitals (one of the dimensions of bourdieusian cultural capital). Then, we obtained the proportion of correct responses in the physics questions for each of the capital levels. The questions with lower variability in these proportions between groups are the least associated with context variables. In this article, we identified and analyzed items with these characteristics in the 2009, 2012 and 2015 ENEM tests.

Keywords:
ENEM; inequality; socioeconomic; large-scale exam; physics

1. Introdução

Pesquisas educacionais com uso de ferramentas estatísticas têm sido recomendadas por organismos internacionais desde a década de 1950 [¹]. Em meados do século XX, mais precisamente na década de 1960, foi desenvolvido o estudo Equality of Education Opportunity, usualmente chamado de Relatório Coleman (The Coleman Report). Coleman [²] realizou uma investigação em um considerável número de escolas nos Estados Unidos para compreender de que maneira as oportunidades educacionais eram distribuídas entre os estudantes pertencentes a diferentes grupos sociais. Essa pesquisa permitiu determinar a associação entre vários fatores contextuais e o desempenho acadêmico, bem como as desigualdades existentes entre os diversos grupos investigados. O estudo abarcou 645 mil questionários, divididos entre professores e alunos do sistema educacional [²]. O principal resultado do trabalho foi mostrar que o nível socioeconômico possui uma forte relação com o desempenho dos estudantes, enquanto que as diferenças na qualidade das escolas e dos professores possuem uma importância comparativamente menor, embora também significantes [²].

Em nível individual, é consenso que condições socioeconômicas severamente baixas impactam diversas funções mentais desde a primeira infância [³, ⁴, ⁵, ⁶], afetando aptidões cognitivas. Apesar da aptidão cognitiva estar correlacionada de forma moderada a alta com o sucesso escolar, ao menos em escalas curtas de tempo [⁷], os fatores que influem nesse sucesso vão além disso, sendo importantes também variáveis contextuais como envolvimento familiar, instabilidades familiares, nível de instrução dos pais e outros fatores, que podem inclusive influir em escalas bem maiores de tempo [⁸, ⁹, ¹⁰]. Assim, como esses fatores contextuais têm influência em médio e longo prazo e estão normalmente ligados às condições socioeconômicas, o insucesso escolar pode ocorrer mesmo que as privações socioeconômicas não sejam severas a ponto de causar danos significativos de natureza fisiológica ao indivíduo. De fato, ainda na década de 1960, estudos apontaram que as causas do sucesso escolar não podem ser reduzidas apenas à aptidão cognitiva dos alunos, sendo significativas as complexidades envolvidas nas relações sociais que constituem a sua história de vida (ou seja, suas origens sociais). Nessa perspectiva, segundo Nogueira e Nogueira [¹¹, p. 16], foi principalmente o sociólogo Pierre Bourdieu aquele que teve o grande mérito de formular “uma resposta original, abrangente e bem fundamentada, teórica e empiricamente, para o problema das desigualdades escolares”. Bourdieu argumenta que o sucesso escolar não decorre do chamado mito do dom (sucesso escolar é fruto de aptidões naturais), mas de heranças culturais transmitidas ainda no seio familiar e que o sistema educacional termina por transformar em desigualdades [¹²]. Essas desigualdades são reproduzidas na escola a partir da valorização de certos elementos culturais que estão mais presentes nos grupos sociais das classes dominantes [¹³]. Esses elementos culturais, que são herdados do convívio social do indivíduo, constituem o que Bourdieu chama de capital cultural e, juntamente com o capital econômico (bens materiais, propriedades e outros) e o capital social (relações sociais com pessoas chave, prestígio, poder político), ajudam a constituir o habitus do sujeito [¹⁴]. Segundo Bourdieu, os sujeitos atuam em sociedade segundo um conjunto de disposições práticas (comportamentos, códigos) típicos do grupo social no qual se originaram e foram criados. O habitus não constitui de forma alguma um conjunto rígido de normas seguidas à risca pelos indivíduos de um dado grupo social, pelo contrário, são mutáveis (embora essa mutabilidade não seja simples e natural, mas difícil). Em síntese, Bourdieu afirma que a posse de capital econômico, cultural e o consequente habitus seriam os fatores mais determinantes para o sucesso escolar. O capital cultural assume, em conjunto com o capital econômico, um papel fundamental nas análises sociológicas. Bourdieu [¹⁵] identifica três estados nos quais esse capital pode ser encontrado: institucionalizado, objetivado e incorporado. O estado institucionalizado corresponde aos títulos escolares acumulados pelo estudante. O estado objetivado consiste dos bens culturais que o sujeito tem acesso, como livros, revistas, enciclopédias e obras de arte, por exemplo. O mais importante dos estados certamente é o incorporado, que consiste de todas as disposições culturais que distinguem os sujeitos, como as normas da linguagem culta, habilidades matemáticas e lógicas, conhecimento científico, informações sobre o funcionamento do sistema de ensino, preferências musicais e artísticas, vestuário, lazer e esportes, cultura geral e outros - no entanto, apesar de sua importância para a vida futura do indivíduo, não é necessariamente esse capital cultural incorporado aquele que mais se correlaciona com bom desempenho escolar. Para não nos estendermos mais aqui a respeito da teoria de Bourdieu, recomendamos ao leitor interessado o artigo introdutório de Lima Junior, et al. [¹⁶].

No Brasil, a criação do SAEB¹ (Sistema de Avaliação da Educação Básica) e do ENEM (Exame Nacional do Ensino Médio) na década de 1990 permitiu pela primeira vez a realização de estudos em larga escala² no país. Não diferente do cenário internacional, os resultados empíricos sobre avaliação de desempenho escolar indicaram uma forte associação entre a posição social dos sujeitos e sua performance nos exames de avaliação de proficiência [¹⁹, ²⁰, ²¹, ²², ²³, ²⁴, ²⁵, ²⁶]. Considerando que, atualmente, por meio do seu Sistema de Seleção Unificada (SISU), o ENEM é a maior forma de ingresso ao ensino superior público no Brasil, estudantes pertencentes às classes sociais superiores possuem uma maior probabilidade de conquistar uma vaga no curso pretendido, geralmente de maior prestígio, alcançando melhores salários no futuro, mantendo as desigualdades sociais do país. O ENEM, dessa maneira, contribui para a manutenção das desigualdades sociais, assim como os tradicionais exames vestibulares, pois não consegue democratizar o acesso ao ensino superior.

O Programa Universidade para Todos, o ProUni, tem um papel importante nessa conjuntura da democratização educacional, pois oferece bolsas de estudos em instituições privadas para alunos com comprovada renda baixa. Apesar dessa política sofrer críticas por direcionar expressiva quantidade de verba pública para o setor privado, Robert [²⁷] coloca que a compra de vagas em universidades privadas subverte a lógica hegemônica da globalização, que é a privatização dos serviços públicos, com o objetivo de promover a igualdade racial e de classe na educação. Lopes e López [¹⁸] também afirmam que a despeito dessas críticas, se associa ao ProUni uma dimensão democrática de tentativa de diminuição das desigualdades de acesso ao ensino superior.

O problema é que o acesso ao ensino superior público, principalmente o federal, parece ainda estar destinado aos estudantes com perfil econômico e social privilegiado. Para Robert [²⁷], a política de ação afirmativa em relação à etnia e à classe no ensino superior melhorou esse quadro, contudo, não se pode afirmar que resolverá os problemas da desigualdade. Por isso, neste trabalho objetivamos iniciar uma discussão sobre uma possível alternativa de subversão à lógica da associação do desempenho dos estudantes no ENEM com o seu nível socioeconômico. Não temos a pretensão de apresentar uma solução mágica. Queremos, pelo contrário, colocar em voga uma discussão incipiente na área de educação em ciências para que a comunidade construa referenciais para futuras políticas de acesso ao ensino superior. Nossa questão de pesquisa norteadora versa sobre a possibilidade de encontrar itens nas provas de Ciências da Natureza do ENEM, especificamente na prova de Física, que estejam pouco associados ao nível socioeconômico dos estudantes, mas que ainda assim garantam a sua discriminação por proficiência. A pesquisa se dividiu em duas partes. Primeiramente revisamos a literatura da área que analisa itens das provas de Ciências da Natureza do ENEM e, posteriormente, realizamos uma série de procedimentos estatísticos com os microdados do exame nos anos de 2009, 2012 e 2015. Escolhemos esses três anos para termos uma amostra igualmente espaçada entre os sete anos de realização do novo ENEM.

2. Os itens de Ciências da Natureza do ENEM

Não obstante os esforços de alguns pesquisadores, a pesquisa em ensino de Física mantém traços da sua origem de formação, pautada na aprendizagem de conceitos, em novas metodologias, novas tecnologias e na produção de materiais didáticos [²⁸]. Tal origem explica, em grande parte, a possibilidade de encontrarmos trabalhos que analisam a suposta qualidade dos itens da prova de Ciências da Natureza do ENEM no que se refere aos conceitos físicos empregados [²⁹, ³⁰, ³¹, ³²]. Nesses trabalhos não são explicitadas pesquisas ou referenciais metodológicos que possam auxiliar no trabalho de análise. São consultados, quando necessário, apenas livros didáticos, documentos oficiais ou trabalhos que tratam do conteúdo em questão.

Bassalo [³⁰], por exemplo, realizou uma análise crítica-construtiva das questões de Física do ENEM de 2009, investigando seu enunciado, alternativas propostas e as respostas. Para o autor, praticamente todas as questões apresentam um enunciado com formulação ambígua, com informações irrelevantes em detrimento de informações necessárias para os alunos. Nessa mesma linha, o trabalho de Rodrigues [³¹] analisa uma questão da prova do ENEM 2013 sobre uma situação teoricamente inadequada de mecânica dos fluidos. O enunciado da questão trata de uma situação que não se observa na realidade, no qual se afirma que, com uma garrafa PET tampada, um certo líquido não sairá por nenhum orifício que haja nessa garrafa. Na visão do autor, a aparição desse tipo de equívoco fenomenológico sugere que as questões devem ser melhor revisadas, evitando distorções.

Como síntese dessa luta pela qualidade das questões do ENEM, Silveira, Stilck e Barbosa [³²] publicaram um manifesto sobre a qualidade das questões de Física na prova de Ciências da Natureza (CN). Os pesquisadores desferem duras críticas aos elaboradores dos itens, dentre elas, a que trata da falsa interdisciplinaridade do exame. A prova de CN é constituída, em média, por 15 questões de Física, Química e Biologia, com essas matérias totalmente independentes uma da outra. Mas a maior crítica proferida no manifesto versa sobre a chamada “contextualização a qualquer custo”, na qual situações fenomenológicas impossíveis são apresentadas como circunstâncias do cotidiano. Essas inconsistências levam o aluno a escolher alternativas coerentes com a condição proposta, mas diferentes do gabarito oficial da prova. Para os autores, a incompetência na formulação das questões de Física se soma com a irresponsabilidade intelectual e pedagógica no momento em que o órgão responsável não se mostra disposto a alterar os gabaritos oficiais.

A presença da contextualização nas questões do exame se torna ponto fundamental da discussão educacional se levarmos em conta a substituição dos vestibulares tradicionais pelo novo ENEM, podendo essa modificação induzir a reestruturação dos currículos do Ensino Médio. Alguns trabalhos destacam que essa contextualização é forçada e, muitas vezes, inexistente, diminuindo sua frequência nos itens dos últimos anos, principalmente após 2009, quando surge o novo ENEM [³³, ³⁴, ³⁵, ³⁶]. Essa aproximação quase imediata entre contextualização e cotidiano é recorrentemente criticada na literatura [³⁷, ³⁸, ³⁹]. Em contraponto, um número menor de pesquisadores avalia como positiva a presença da contextualização nos itens do ENEM [⁴⁰, ⁴¹, ⁴²].

Notamos que há na literatura da área de ensino uma polarização de opiniões sobre a efetividade da contextualização nos itens do ENEM. Pela solidez dos resultados obtidos e pela coerência teórico-metodológica, nos alinhamos ao grupo que considera essa contextualização forçada e até mesmo inexistente. Consideramos que os itens, principalmente da prova de Física e de Química, se aproximaram gradualmente do estilo tradicional dos vestibulares após o ano de 2009.

Outras pesquisas que merecem destaque são aquelas que se apropriam dos microdados do ENEM para a realização da análise dos itens [²⁶, ⁴³, ⁴⁴]. Nos microdados disponibilizados pelo INEP todos os anos são apresentadas as informações de cada um dos estudantes inscritos no exame, suas respostas aos itens das provas objetivas e redação, além dos itens do questionário socioeconômico. Na tentativa de compreender quais são as maiores dificuldades entre os estudantes no que se refere aos conhecimentos de Física, mais especificamente do objeto de conhecimento “o movimento, o equilíbrio e a descoberta das leis da Física”, Marcom e Kleinke [⁴⁴] analisam as questões do ENEM dos anos de 2009 a 2012 fundamentados nos microdados e em resultados de pesquisas sobre as estratégias de solução de problemas. Os autores colocam que a pesquisa foi realizada com os candidatos concluintes do Ensino Médio em escolas públicas, uma vez que a maioria dos estudantes brasileiros está nessa rede. A estratégia principal foi investigar os erros cometidos por esses estudantes. O resultado das análises revelou a existência de uma variabilidade considerável de erros presentes no conhecimento escolar dos candidatos. Os autores sugerem a construção de uma matriz de dificuldades para esses candidatos, objetivando aproximar os exames de larga escala de uma avaliação formativa, com possibilidade de retorno para os professores do Ensino Médio.

Gonçalves e Barroso [⁴³] realizaram um estudo sobre as questões de Física da prova de Ciências da Natureza do ENEM 2009, 2010 e 2011. Foi realizada uma análise qualitativa dos itens e uma investigação quantitativa do desempenho dos estudantes. Os autores revelam que há uma regularidade no número de questões de Física nas provas de Ciências da Natureza, cerca de um terço dos itens. O desempenho dos estudantes é considerado baixo, principalmente nas questões com viés quantitativo ou que exigem domínio de conhecimento específico de Física. Sobre o nível de contextualização das questões das últimas provas, os autores consideram alto, em uma escala de 4 níveis. Desse trabalho, gostaríamos de salientar que os autores identificaram alguns itens do exame que avaliam mais de uma habilidade.

O trabalho de Kleinke [²⁶] também faz uma análise de itens do ENEM, mas avança na medida em que contrapõe as médias e frequências de respostas com um indicador de nível socioeconômico. O autor mostra que a dependência do desempenho em Física dos fatores socioeconômicos aparece nos três anos investigados, 2011, 2012 e 2014. Essa associação é mais acentuada nos itens que se assemelham com exercícios de final de capítulo de livro didático ou nas questões que exigem maior domínio específico de conhecimentos físicos. Nos itens que envolvem situações mais próximas do mundo do trabalho do que dos livros didáticos a dependência do nível socioeconômico é muito reduzida, isso porque a média de acertos é baixa para todas as classes sociais [²⁶].

A partir desse resultado podemos questionar se existiriam itens na prova de CN com taxa média de resposta correta alta, porém, baixa associação com nível socioeconômico. Quer dizer, contrariamente ao perfil dos itens indicado pela literatura, será que existem questões nas quais alunos de diferentes classes sociais têm a mesma probabilidade acerto? Essa é a proposição central do presente artigo na medida que consideramos que itens com essas características contribuiriam para tornar esse sistema de seleção mais justo socialmente. Na próxima seção iniciamos a busca por essas questões partindo da definição de um nível socioeconômico que considere os bens econômicos e culturais dos alunos, seguindo as contribuições teóricas de Pierre Bourdieu. O segundo passo é a busca pelos itens com boa média e baixa associação com esse nível socioeconômico previamente definido. Para efeito de síntese vamos discorrer detalhadamente sobre o tratamento dos dados de 2009. Nos anos de 2012 e 2015 a análise foi rigorosamente a mesma.

3. Determinação do nível socioeconômico dos estudantes

Nosso primeiro objetivo, portanto, foi analisar em detalhe o questionário socioeconômico respondido pelos estudantes candidatos de 2009, com o uso da Análise Fatorial de Informação Completa - AFIC [⁴⁵] por meio do Modelo de Resposta Graduada [¹⁵]. A Análise Fatorial é uma ferramenta estatística que tem como uma de suas finalidades encontrar traços latentes, ou fatores, dentro de um questionário com inúmeros itens³. A ideia central é transformar as variáveis de um questionário em funções lineares dos traços latentes e, posteriormente, calcular a correlação entre essas variáveis e seus respectivos fatores [⁴⁷]. Como analogia, vamos supor que tivemos acesso à lista de compras de supermercado de várias pessoas diferentes. Dentro dessa lista encontramos itens bem variados, que podem estar associados com fatores bem específicos. Por exemplo, um fator dessa lista pode ser interpretado como frutas/afinidade por comer frutas, pois está relacionado com os itens laranja, maçã, banana, uva e faca. Isso significa que, em geral, as pessoas que compram laranja, também compram maçã, banana, uva e faca, sendo o valor gasto e as correlações entre eles o que é explicado pela variável latente (não medida diretamente) afinidade por comer frutas. A faca certamente é um elemento importante para comer frutas, afinal, serve para descascá-las. Outro exemplo seria um fator interpretado como afinidade por churrasco, o qual está associado com carnes em geral, arroz, alface, carvão e bebidas. É importante entender que as variáveis latentes (fatores) não são diretamente medidas, mas expressas pelas variáveis que de fato compõem os dados (as variáveis manifestas - no exemplo, essas variáveis são os gastos efetuados com os diversos produtos). Assim, a análise fatorial é basicamente um método de redução de dimensão, já que agrupa as variáveis manifestas por fatores, os quais podem ser estudados e inter-relacionados. Como nos exemplos didáticos citados logo acima, os fatores devem ser interpretados. Em contextos típicos de pesquisa acadêmica isso dificilmente é tão trivial como no exemplo dado, pois exige fundamentação teórica consistente. Toma-se como exemplo a teoria de Bourdieu que estamos adotando para estudar o questionário de nível socioeconômico do ENEM de 2009.

O universo de referência da análise inclui (1) apenas os alunos que estavam lotados em escolas quando prestaram exame, (2) que responderam a todos os itens do questionário e (3) que compareceram a todas as quatro provas objetivas, resultando em um total de 576779 alunos de um montante de 27596 escolas. Utilizamos como referência o ano de 2009 para testar nosso modelo de nível socioeconômico, pois o questionário incluía mais itens relacionados aos tipos de capital cultural bourdieusianos do que os questionários de anos subsequentes. Desse questionário puderam ser inferidos quatro traços latentes - capitais econômico e cultural institucionalizado [¹⁵], além de dois outros tipos de capital cultural: um relacionado à cultura em geral e outro associado à consciência social - esses dois últimos não apresentaram correlação significativa com os capitais econômico e cultural institucionalizado. Dessa maneira, todos os itens relevantes do questionário foram agrupados dentro dessas quatro variáveis numéricas contínuas, podendo ser analisadas numa perspectiva bourdieusiana.

Às respostas dadas ao questionário foi aplicada uma AFIC, que a grosso modo pode ser entendida como uma Análise Fatorial não-linear (diferente, portanto, da Análise Fatorial Clássica). Na AFIC, as probabilidades de respostas aos itens são determinadas por modelos da TRI - neste caso foi utilizado o Modelo de Resposta Graduada [⁴⁸], já que as respostas são definidas em termos de variáveis ordinais. Um exemplo de variável em escala ordinal é a escala Likert [⁴⁹]. Sabe-se que para questionários cujas respostas aos itens são dadas em termos de variáveis ordinais, a Análise Fatorial Clássica pode apresentar diversos problemas [⁵⁰], sendo aconselhável a adoção da AFIC nesses casos. Não há resposta correta para os itens nesse tipo de questionário - o respondente escolhe a resposta que considera mais adequada. Por exemplo, se está respondendo sobre o nível de instrução de seus pais, sendo 1 correspondente a “até a 4ªsérie do ensino fundamental” e 5 a “pós-graduação”, evidentemente aqueles que respondem nível 5 tendem⁴ a ser mais instruídos do que os que respondem nível 1, ou seja, possivelmente serão detentores de maior capital cultural institucionalizado. Mas nada garante que a diferença entre os níveis 1 e 2 seja a mesma que entre os níveis 4 e 5, por exemplo. A ordenação dos níveis apenas indica que o nível 5 é superior aos níveis 4, que é superior ao 3 e assim por diante (por isso o nome variável ordinal). Com base nas respostas é verificada a qualidade de ajustes do modelo, para se chegar na quantidade de fatores mais plausível para o instrumento [⁴⁶].

A AFIC aplicada ao questionário do ENEM permitiu construir um modelo que separa as variáveis de contexto em diferentes traços latentes, chamados fatores. O questionário foi separado nos itens claramente direcionados a medir capital econômico (renda familiar, bens, posses) e diferentes formas de capital cultural. O questionário direcionado a medir capital econômico pôde ser aproximado como unidimensional, mas o mesmo não ocorre com o questionário relativo ao capital cultural (por isso o detalharemos melhor a seguir). Nesse caso, um modelo de respostas graduadas em três dimensões, descritas na sequência do texto, se articula bem ao referencial bourdieusiano adotado nesse trabalho. A partir disso, ao executar a TRI unidimensional para o questionário relativo ao capital econômico e tridimensional para o questionário relativo ao capital cultural, foi possível obter escores contínuos e definir um Índice de capital econômico (ICE), um Índice de capital cultural institucionalizado (ICC_INST), um Índice de capital cultural relacionado à cultura geral (ICC_GER) e um Índice de capital cultural associado à consciência social (ICC_CS) - as duas últimas formas de capital cultural podem ser consideradas como capital cultural incorporado. Esse modelo é mais sofisticado em relação à metodologia utilizada pelo PISA [⁵¹] para determinação do nível socioecômico (NSE), porque separa as posses econômicas dos alunos das suas disposições culturais, permitindo uma análise mais fidedigna da influência das variáveis de contexto em uma perspectiva teórica bourdieusiana.

A figura 1 apresenta os diferentes fatores (traços latentes, em círculos) relacionados com o capital cultural e os respectivos itens (em quadrados) que mais influenciam esses fatores. Os valores numéricos sobre as setas são as cargas fatoriais, que quantificam a influência de cada item no fator correspondente, tal como na análise fatorial clássica. Esse valor pode variar de 0 (nenhuma influência) até 1 (máxima influência). Foram mantidos itens cuja carga fatorial é maior ou igual a 0,30. Vale destacar que os itens mais significativos para a dimensão ICC_INST são o grau de instrução do pai e da mãe do candidato (respectivamente CC03_INSTPAI17 e CC04_INSTMAE18); para o capital cultural relacionado à cultura geral ICC_GER, a leitura de revistas sobre educação e estudos (CC18_LERVED92), leitura de livros de não-ficção e biografias (CC20_LELIVNF94) e a leitura de revistas de divulgação científica ou artística (CC16_LERVDIVCIE85) são os itens mais importantes para este fator; para o ICC_CS, relacionado à consciência social, o item relativo ao interesse pela discriminação e violência contra deficientes (CC35_INTDISCDEF214), discriminação e violência contra pessoas idosas (CC34_INTDISCID213) e a discriminação e violência contra crianças e adolescentes (CC33_INTDISCCRI212) são os itens que contribuem mais significativamente para o referido fator.

Figura 1
Fatores obtidos da análise dos itens relacionados ao capital cultural dos estudantes, com as respectivas cargas fatoriais.

Tomando-se como exemplo a sigla CC03_INSTPAI17, os códigos referentes aos itens podem ser entendidos da seguinte forma: a sigla CC indica capital cultural, o número 03 indica que é a terceira variável (no caso, item de questionário) na matriz de dados na qual foi feita a AFIC, a sigla INSTPAI indica a natureza da questão (no caso, o nível de instrução do pai) e o número 17 indica o número do referido item no questionário socioeconômico do ENEM de 2009, que pode ser encontrado no arquivo dos correspondentes microdados, disponibilizado pelo INEP⁵. É importante ressaltar que o questionário do ENEM de 2009 não dá conta de vários aspectos referentes ao capital cultural, embora contenha boa parte deles. Questionários pensados para mensurar um traço latente como capital cultural em geral são bastante complexos [⁵², ⁵³].

Uma vez obtido um escore (contínuo) para cada um dos fatores, a partir dos quais se pode calcular médias, desvios-padrão e outros parâmetros típicos da estatística paramétrica, foi realizada uma análise comparativa inicial do grau de associação do ICE com o ICC_INST, com o ICC_GER e com o ICC_CS, por meio da correlação de Pearson. Para uniformizar, uma transformação de escala foi feita nos escores dos índices para uma escala em que a média seja 500 e desvio padrão 100, mesma escala adotada no cálculo dos escores dos candidatos nas provas objetivas do ENEM. Dessa análise inicial, foi verificado que os índices que, em conjunto, mais se correlacionam com o desempenho no ENEM⁶ são o de capital econômico e o de capital cultural institucionalizado, este último influenciado principalmente pelos níveis de instrução do pai e da mãe (em ambos os casos a correlação de Pearson com a média geral é aproximadamente 0,50, ao passo que para as dimensões restantes de capital cultural essa correlação é −0,12 para ICC_CS e 0,02 para ICC_GER). Assim, a análise neste trabalho se concentrará no par de índices ICE e ICC_INST, desconsiderando os demais. Assim, pode-se inferir que alunos com elevado capital econômico, associado com alto capital cultural institucionalizado, têm uma probabilidade maior de obter bons resultados no ENEM. Esse resultado reforça o caráter elitista do exame, já apontado pela literatura. No entanto, essa análise inicial feita com base na correlação de Pearson, embora permita antever que os índices calculados ICE e ICC_INST são os que mais fortemente estão associados à média geral (desempenho) do candidato, têm limitações. Esse tipo de correlação é fundamentado em um modelo linear, ou seja, pressupõe uma relação linear entre esses índices e a média geral - não há a mínima garantia de que isso seja de fato verdade.

No sentido de investigar mais a fundo essa associação entre o nível socioeconômico dos candidatos, foi realizada uma análise de cluster k-means bivariada [⁵⁴] de forma a classificar os candidatos segundo os índices de capital econômico e cultural institucionalizado - em 7 grupos diferentes. A utilização da análise de cluster para categorização do nível socioeconômico já foi adotada pelo INEP anteriormente [⁵⁵], mas a partir de um escore global que incluía os capitais econômico e cultural. Em nosso trabalho, contudo, utilizamos uma análise de cluster bivariada, a fim de considerar cada um dos capitais, econômico e cultural.

A divisão dos grupos segue a seguinte classificação: muito baixo (1), baixo (2), médio-baixo (3), médio (4), médio-alto (5), alto (6) e muito-alto (7). Com isso, os grupos foram ordenados por capital econômico. Assim, o primeiro nível corresponde ao capital econômico 1 e capital cultural institucionalizado 1 (CE1_CC1) - o algoritmo adotado na análise k-means seleciona indivíduos os mais similares possíveis dentro de cada grupo de acordo com seus escores ICE e ICC_INST, de forma a minimizar a variância intra grupos frente à variância total (ou, equivalentemente, maximizar a variância entre grupos). O mais alto nível dessa categoria bivariada é o que possui capital econômico 7 e capital cultural também igual a 7 (CE7_CC7). Os outros grupos intermediários assumem níveis diferentes de capitais, tanto econômicos, quanto culturais. Essa categorização bivariada dos dois principais tipos de capital que está mostrada na figura 2 é peça-chave na articulação com o referencial bourdieusiano e permite uma análise mais detalhada da influência dos fatores contextuais no desempenho do ENEM. A análise k-means obtida tem qualidade bastante satisfatória, uma vez que a variância entre grupos corresponde a aproximadamente 85 por cento da variância total, ou seja, é bem maior do que a variância total intra grupos. Assim, a similaridade entre os escores ICE e ICC_INST entre candidatos pertencentes a um mesmo grupo é maximizada. Isso está bastante alinhado com a ideia dos capitais bourdieusianos. Tomando-se o grupo CE7_CC7 (marrom), por exemplo, considerando dois candidatos A e B na fronteira com o grupo CE6_CC5 (amarelo) e supondo que a família de A detenha um capital econômico substancialmente maior do que a de B, o candidato B pertencerá ao mesmo grupo que A pelo fato de ser detentor de um capital cultural institucionalizado maior do que o candidato A (compensando o valor mais baixo de ICE com um valor mais alto de ICC_INST).

Figura 2
Gráfico dos escores do ICC Institucionalizado pelo ICE, onde os clusters bivariados são mostrados (cada ponto no gráfico se refere a um candidato). Os sete níveis correspondentes a capital econômico (CE) e capital cultural (CC) são muito baixo (1), baixo (2), médio-baixo (3), médio (4), médio-alto (5), alto (6) e muito-alto (7). Por exemplo, o cluster CE4_CC6 corresponde a capital econômico médio e capital cultural alto.

A figura 3 mostra a distribuição dos grupos obtidos na análise de cluster bivariada segundo as dependências administrativas estadual, federal, municipal e privada. Em cada dependência administrativa são indicados o número total e a percentagem de alunos na dependência correspondente.

Figura 3
Distribuição das sete categorias bivariadas de capitais nas escolas, considerando as quatro dependências administrativas (estadual, federal, municipal e privada). O índice de Gini foi calculado para cada uma, resultando em valores similares para as escolas públicas. Nas privadas, a desigualdade na distribuição é notoriamente maior do que nas demais, sendo mais povoada por alunos detentores de capital econômico e cultural muito altos (CE7_CC7), com poucos alunos de capital econômico e cultural muito baixos (CE1_CC1).

Além disso, são mostrados o número e a percentagem de alunos pertencentes em cada uma das categorias de capitais econômico e cultural. Por fim, para cada dependência administrativa foi calculado o índice de Gini, que é uma quantificação da desigualdade de distribuições de diferentes naturezas, aqui utilizado para analisar a distribuição de alunos em cata categoria de capitais bourdieusianos. Dado um conjunto de medidas numéricas $\left\{x_1,x_2,\cdots ,x_n\right\}$ este índice pode ser definido da seguinte forma [⁵⁶]:

$$G=\frac{1}{2n^2\bar{x}}\sum _{i=1}^n\sum _{j=1}^n\left|x_i-x_j\right|$$

onde $\bar{x}$ é a média aritmética dos valores contidos no conjunto $\left\{x_1,x_2,\cdots ,x_n\right\}$. É fácil mostrar que quando todos os valores do conjunto são iguais teremos $\mathrm{G\; =\; 0}$ (igualdade perfeita) e que quando $n\to \infty$ ⁷ e apenas um dos elementos do conjunto $\left\{x_1,x_2,\cdots ,x_n\right\}$ é não nulo teremos $G=1$ (desigualdade perfeita). Assim, a distribuição de alunos mais desigual, segundo as categorias de capitais bourdieusianos, se dá na escola privada ($G=0,45)$. O índice Gini será usado novamente mais adiante, na seção 5

4. Associação entre o desempenho no ENEM e algumas variáveis contextuais

Para investigar o perfil aproximado do candidato bem-sucedido no ENEM, é necessário pesquisar associações entre múltiplas variáveis, algumas categóricas e outras ordinais. Consideramos aqui a dependência administrativa da escola de origem do candidato (categórica) e o grupo socioeconômico (ordinal, considerando os níveis de capital econômico e cultural institucionalizado). A primeira variável (dependência administrativa da escola de origem) está contida nos microdados. Por fim, a média geral do candidato nas quatro provas objetivas do ENEM foi classificada também por meio de análise de cluster k-means, usando 5 níveis: péssimo (média geral entre 283,4 e 433,9), ruim (média geral entre 434,0 e 497.4), regular (média geral entre 497,4 e 564,2), bom (média geral entre 564,3 e 645,1) e ótimo (média geral entre 645,2 e 883,6). O procedimento de k-means aplicado nas médias gerais permitiu obter um agrupamento de altíssima qualidade, sendo a variância entre grupos igual a 93,5 por cento da variância total (ou seja, a variância total intra grupos constitui apenas 6,5 por cento da variância total).

Para analisar a associação entre essas múltiplas variáveis, fizemos uma Análise de Correspondência Conjunta (ACC). Esse método é um tipo mais sofisticado de Análise de Correspondência Múltipla (ACM) e o seu principal objetivo é produzir uma visualização bidimensional das associações mais importantes entre múltiplas variáveis categóricas [⁵⁷, ⁵⁸], ou seja, reduzindo a dimensão de uma visualização que seria, a princípio, multidimensional, com a menor perda de informação possível (não se reduz, portanto, de uma simples projeção)⁸. A ACM e a ACC diferem da Análise de Correspondência Simples, que não permite visualizar associações entre mais que duas variáveis categóricas. Greenacre [⁶⁰] propôs a ACC tendo em vista que na ACM a inércia total (ou variância total) obtida nos mapas era artificialmente superestimada, fazendo com que as contribuições das dimensões principais a essa inércia total possam ser artificialmente subestimadas. Além disso, a ACC mostra resultados bem superiores em análise de associação entre múltiplas categorias do que a ACM padrão [⁶¹].

As variáveis que investigamos aqui foram rotuladas como mostrado na figura 4: o desempenho dos estudantes no ENEM (des_enem); os grupos de capitais (cat_cap); o desempenho do candidato (des_mg) e a dependência administrativa da instituição de origem do estudante (dep_adm). Na figura está o mapa obtido pela Análise de Correspondência Conjunta, considerando as variáveis descritas, explicando 98,74 por cento da variância (ou inércia) total. Ou seja, é um mapa de excelente qualidade. Setas cujo comprimento é pequeno (pontos próximos da origem) não contribuem significativamente para a informação contida no gráfico e sua interpretação nessas duas dimensões deve ser cuidadosa. Nesse mapa em particular, todos os pontos possuem distância apreciável da origem, o que em conjunto com a inércia total explicada (98,74 por cento) indica que as associações entre as três variáveis são muito bem representadas por esse mapa bidimensional.

Figura 4
Mapa bidimensional (chamado biplot assimétrico) obtido pela ACC considerando-se os grupos de capitais (cat_cap); o desempenho de acordo com a média geral do candidato nas quatro provas objetivas (des_mg) e a dependência administrativa da instituição de origem do estudante (dep_adm).

Como referência, foi destacada a variável de desempenho no ENEM, que aparecem como setas pretas (para referência). As outras variáveis (dep_adm e cat_cap) são representadas como segmentos e um ponto na extremidade. A orientação relativa entre as setas, entre os segmentos e entre setas e segmentos, permite inferir sobre o grau de associação entre as respectivas variáveis categóricas - ângulos menores indicam associações mais significativas. Por exemplo, candidatos oriundos de escolas federais e privadas estão bem mais fortemente associados ao desempenho ótimo e bom no ENEM, enquanto escolas estaduais e municipais estão mais associadas do que as demais ao desempenho ruim. Nota-se ainda que o nível de capital econômico e cultural muito baixo (CE1_CC1) está muito associado ao desempenho péssimo no ENEM, ao passo que o nível de capital econômico e cultural muito alto (CE7_CC7) está bastante associado ao desempenho ótimo. Esse resultado já revela inequivocamente que diferenças socioeconômicas influem fortemente no desempenho. O que torna a ACC poderosa é a possibilidade de obter resultados mais sutis, por exemplo, quanto ao desempenho regular no ENEM. Essa faixa de desempenho está mais fortemente associada a candidatos detentores de capital econômico médio e cultural alto (CE4_CC6) e econômico médio-alto e cultural médio-baixo (CE5_CC3). No entanto, o nível CE5_CC3 (que se posiciona entre ruim e regular) está mais associado a níveis de desempenho piores do que o nível CE4_CC6 (que se posiciona entre regular e bom), mostrando o efeito de ser detentor de um capital cultural alto pode compensar o efeito de possuir um capital econômico mais baixo. O desempenho ruim no ENEM está mais associado aos candidatos cujo capital econômico é baixo e cultural médio (CE2_CC4) e econômico médio-baixo e cultural baixo (CE3_CC2).

O biplot parece sugerir que escolas privadas estão mais associadas ao desempenho ótimo do que escolas federais, mas isso deve ser interpretado com cuidado. O que se pode dizer é que as escolas privadas são mais associadas ao nível mais alto de capitais CE7_CC7, estes sim fortemente associados ao desempenho ótimo. As escolas federais possuem associação mais significativa do que as privadas com níveis socioeconômicos um pouco mais baixos (CE6_CC5 e CE4_CC6) e por isso na configuração final do mapa da figura 4 o segmento que representa a dependência administrativa federal aparece com um ângulo ligeiramente maior do que a privada em relação ao segmento que representa o desempenho ótimo. Um mapa que considera isoladamente dependência administrativa e desempenho no ENEM mostraria que a dependência administrativa federal está ligeiramente mais associada ao desempenho ótimo do que a privada. Por questões de espaço, não mostraremos esse mapa neste trabalho.

Assim, a ACC revela associações sutis entre as variáveis categóricas consideradas e mostra que há forte influência das desigualdades sociais do sistema educacional brasileiro no desempenho no ENEM. Notamos que estudantes oriundos de escolas com dependência administrativa estadual e municipal e/ou pertencentes a categorias de capital econômico e cultural mais baixas estão fortemente associados a desempenhos não satisfatórios no ENEM, polarizando o mapa: na esquerda, níveis socioeconômicos mais baixos associados a desempenhos insatisfatórios e escolas municipais e estaduais; à direita níveis socioeconômicos mais altos e desempenhos satisfatórios e escolas privadas e federais. Além disso, em conjunto com o gráfico da figura 3 essa análise mostra uma escola privada com um perfil significativamente mais elitizado do que as demais dependências administrativas (a distribuição dos alunos entre diferentes níveis socioeconômicos é mais igualitária nas demais dependências administrativas). Esse resultado evidencia que a utilização do ENEM como sistema de ingresso ao ensino superior reproduz as desigualdades sociais existentes, mantendo o acesso às universidades federais mais ao alcance de candidatos de elevado capital econômico e cultural, oriundos de escolas privadas e federais. O objetivo dessa seção foi de fornecer um mapeamento inicial sobre a influência do nível socioeconômico do candidato no seu desempenho no ENEM de 2009 - biplots similares foram construídos para outras edições do exame, gerando resultados muito similares. Isso corrobora o que já foi apontado na literatura quanto à relação entre nível socioeconômico e desempenho em testes de larga escala, mas a ACC permite visualizar de forma mais abrangente tais associações.

5. Variabilidade nas médias

Após a construção dos sete níveis de capital é necessário determinar a proporção de acertos de cada um desses grupos nos itens de Ciências da Natureza. Os procedimentos utilizados para a extração da taxa de respostas dos alunos dos microdados e a comparação com o gabarito utilizando o software R são detalhados no trabalho de Anjos e Andrade [⁶²]. Utilizamos a prova azul como referência, resultando numa amostra de mais de 150 mil estudantes para o ano de 2009⁹.

A figura 5 mostra os gráficos das proporções de acertos nos itens da prova de Física de 2009 para cada um dos sete grupos de nível socioeconômico. Assim como apontado pela literatura, a proporção de acertos nas questões de Física aumenta conforme aumentam os níveis socioeconômicos. Quanto maior o acesso aos bens da cultura vivenciados pelos estudantes maior a probabilidade de ter um bom desempenho na prova de CN. Visualmente podemos notar que alguns itens têm média maior do que outros, assim como a variabilidade das médias entre os grupos também é percebida. Fica difícil, contudo, a partir de simples inspeção visual, determinar quais itens apresentam maior ou menor variabilidade. Com isso, utilizamos como quantificador de variabilidade o coeficiente de Gini, definido em (1), também para os itens.

Figura 5
Proporções de acertos nos itens de Física para cada um dos níveis socioeconômicos na prova de 2009. Os itens 27 e 31 apresentam um comportamento anômalo: candidatos de níveis socioeconômicos mais baixos (nos quais a maioria apresenta baixa proficiência) têm proporção de acertos maior do que candidatos de níveis mais altos. Isso é coerente com o fato desses itens apresentarem discriminação negativa, tal como está mostrado no quadro 1.

O quadro 1 mostra o ordenamento dos itens da prova de Física de 2009, 2012 e 2015 por variabilidade entre os grupos calculada a partir do coeficiente de Gini. Notamos que os dois primeiros itens com menor variabilidade da prova de Física de 2009 são os itens 27 e 35. No entanto, a proporção de acertos é muito baixa, inferior ao valor esperado de resposta aleatória. As três questões de Física seguintes com menor variabilidade (i18, i20 e i14) apresentam proporção de resposta correta satisfatória, caracterizando dessa maneira aqueles itens que se enquadram nos critérios adotados previamente, quer dizer, com boa proporção de acertos e baixa variabilidade entre os níveis. Na figura 5 podemos observar claramente que esses três itens possuem médias altas quando comparados com os outros e, além disso, pouca variação entre os sete níveis socioeconômicos.

Tabela 1
Itens das provas de Física ordenados da menor para a maior variabilidade de média de acertos entre os grupos.

Física 2009				Física 2012				Física 2015
Itens	Índ. Acertos	Índ. Gini	Discr.	Itens	Índ. Acertos	Índ. Gini	Discr.	Itens	Índ. Acertos	Índ. Gini	Discr.
i27	13,5%	0,0242	5,960	i67	29,7%	0,0212	0,031	i64	26,3%	0,0256	1,426
i35	13,0%	0,0278	4,020	i74	16,7%	0,0414	1,431	i49	38,7%	0,0487	0,354
i18	39,6%	0,0395	0,762	i73	16,9%	0,0519	1,450	i70	40,1%	0,0523	-1,142
i20	68,4%	0,0467	0,739	i60	25,2%	0,0593	4,668	i86	60,7%	0,0827	0,616
i14	66,6%	0,0473	0,789	i84	23%	0,0725	0,504	i53	16,4%	0,0829	1,142
i30	15,1%	0,0712	3,840	i50	61,1%	0,0744	0,651	i73	25,1%	0,1141	2,346
i39	25,6%	0,0752	2,180	i78	29,8%	0,0841	1,322	i88	21,6%	0,1156	1,345
i38	21,1%	0,0832	1,240	i77	28,2%	0,1148	0,688	i50	23,0%	0,1329	2,206
i32	38,2%	0,0934	0,922	i71	59,4%	0,1409	1,809	i82	33,2%	0,1414	0,494
i5	60,8%	0,0967	1,210	i55	6,9%	0,1495	1,163	i68	43,5%	0,1522	1,029
i31	14,5%	0,1225	-0,536	i88	17,1%	0,1622	2,545	i85	34,7%	0,1647	1,299
i45	18,1%	0,1305	1,980	i72	44,1%	0,1765	2,268	i75	28,9%	0,1684	0,616
i17	6,2%	0,1683	3,770	i61	27,3%	0,1805	1,126	i79	20,6%	0,1792	3,683
i24	21,8%	0,1790	2,020	i83	18,0%	0,1971	2,039	i63	40,7%	0,2018	0,717
i37	32,9%	0,1854	1,250	i47	44,2%	0,2011	2,374	i65	21,7%	0,2114	1,299
i19	37,4%	0,2051	1,660	i54	30,0%	0,2315	1,729
				i64	29,5%	0,2405	2,704

O próximo item de Física com média relativamente alta de acertos é o i32, porém, a sua variabilidade é o dobro das três questões anteriores, significando que estudantes pertencentes aos grupos socioeconômicos mais altos têm maior probabilidade de acertá-lo. Dessa forma, o item (i32) e consequentemente todos os seguintes não se encaixam nos critérios definidos a priori. Da prova de Física de 2009 elegemos três itens que possuem média alta e variabilidade baixa entre os níveis socioeconômicos, caracterizando-se como itens mais socialmente justos do que os outros, afinal, estudantes com diferentes origens sociais acertaram essas questões. Cabe questionar, contudo, se esses itens estão de fato medindo alguma proficiência de forma eficaz, ou seja, se estão discriminando os estudantes mais proficientes em Física dos menos proficientes. Para resolver essa questão nos valemos da Teoria da Resposta ao Item, que permite determinar coeficientes de discriminação para cada um dos itens da prova. Utilizamos o modelo logístico de três parâmetros, o mesmo utilizado pelo INEP para a determinação dos escores dos estudantes [⁶³]. Nesse modelo, um parâmetro corresponde à dificuldade do item, outro está relacionado com a sua discriminação e o terceiro estima a probabilidade de acerto casual. Esses parâmetros não dependem do grupo de respondentes, ou seja, um mesmo teste pode ser aplicado em diferentes populações e descrito pelo mesmo modelo. Essa é a principal vantagem da TRI em relação à Teoria Clássica dos Testes, muito utilizada em exames tradicionais

No quadro 1 estão representados os valores do parâmetro de discriminação para os itens das provas de Física investigadas. Observamos que a discriminação dos itens i14, i18 e i20 é maior do que 0,7, considerado um bom valor para esse parâmetro [⁶⁴]. Dessa forma, esses três itens seriam candidatos a itens que não separam os alunos por nível socioeconômico, mas primordialmente por proficiência em Física, característica ideal para um item de prova de seleção mais justa para o ensino superior.

Cabe ressaltar que o modelo de três parâmetros no item 18 resulta em uma probabilidade de acerto casual significativa. O modelo estima que em torno de 28 por cento dos candidatos de baixa proficiência acertem esse item por acaso. Uma inspeção nos dados compilados revela que o nível CE1_CC1 tem em torno de 79,38 por cento dos candidatos classificados como sendo de baixa proficiência, tendo desempenho ruim e péssimo no ENEM, como mostrado na figura 6. Assim, aproximadamente 22,4 por cento (0,28 $\mathrm{\times }$ 0,79 $\mathrm{\times }$ 100) do total de candidatos desse nível podem ter acertado esse item casualmente, o que é comparável aos 36,26 por cento mostrados no gráfico. Para os níveis socioeconômicos mais altos, a proporção de candidatos de baixa proficiência diminui gradualmente, diminuindo também os acertos causais. Em resumo, uma probabilidade de acerto casual da ordem de 0,35 pode uniformizar artificialmente as proporções de acertos nesse item. Apesar de mantermos o item 18 na análise que segue, é importante destacar que a distribuição das proporções de acertos não casuais nos diferentes níveis socioeconômicos pode não ser tão uniforme como a que está mostrada na figura se pudessem ser considerados apenas os candidatos que acertaram a questão sem ser por acaso.

Figura 6
Distribuição dos candidatos segundo o desempenho no ENEM 2009 (média geral) para cada nível bivariados de capitais, sendo mostradas as quantidades e proporções (entre parênteses) para cada um dos níveis. Enquanto que para o nível mais baixo CE1_CC1 cerca de 79,38 por cento de candidatos desse nível apresentam baixa proficiência (desempenhos ruim e péssimo) e cerca de 4,36 por cento apresentam alta proficiência (desempenhos bom ou ótimo), para o nível mais alto CE7_CC7 essas proporções são, respectivamente, 9,61 e 72,24 por cento. Há uma tendência de diminuição (aumento) da proporção de candidatos que apresentam baixa (alta) proficiência na medida que aumenta o nível bivariado de capitais, com exceção da transição do nível CE4_CC6 para o CE5_CC3. Isso ocorre porque os níveis foram ordenados por capital econômico - o nível CE4_CC6, apesar de ser caracterizado por um capital econômico ligeiramente inferior ao do nível CE5_CC3, se caracteriza por um capital cultural alto, substancialmente superior ao capital cultural que caracteriza o nível CE5_CC3, que é médio-baixo. Isso mostra que o efeito do aumento do capital cultural institucionalizado pode compensar e sobrepujar uma diminuição no capital econômico, pois é fácil perceber nas respectivas distribuições (e na figura 4, como já dito anteriormente) que o desempenho global dos candidatos no nível CE4_CC6 é superior aos candidatos do nível CE5_CC3.

Diferentemente da prova de 2009, nos anos de 2012 e 2015 encontramos apenas um item em cada exame com essas características, destacados em negrito no quadro 1. Com isso, nas três provas de Ciências da Natureza investigadas, selecionamos cinco itens com potencial de serem alternativa que pode subverter o caráter elitista hoje observado nas seleções do ENEM.

Na próxima seção vamos focar nosso olhar nesses itens a fim de discutir a estrutura que os torna mais igualitários do que os outros. Vamos tecer algumas considerações, principalmente, a partir dos trabalhos encontrados na literatura que apresentam uma discussão sobre a estrutura dos itens do ENEM. Nosso objetivo não é analisar em detalhe estes itens, mas procurar características comuns entre eles.

6. Características dos itens

Uma visão geral sobre os itens da prova de Física de 2009 permite separá-los em quantitativos e qualitativos. Notamos que os itens quantitativos (i17, i19, i25, i30 e i38) estão associados com médias de acerto muito baixas, assim como apontado pela literatura da área [²⁶, ⁴³, ⁴⁴]. A média mais alta dentro desse grupo de questões é a do item i19, com média igual a 37,4 por cento.

Esse seria um fato positivo se o i19 não fosse o item com a maior variabilidade entre os níveis socioeconômicos. A forte associação dos itens quantitativos com o nível socioeconômico já havia sido ressaltada por Kleinke [²⁶]. A diferença nas médias do grupo CE1_CC1 para o grupo CE7_CC7 no i19 é de quase 40 pontos percentuais. Esse é um exemplo de item da prova de Física que contribui significativamente para a reprodução das desigualdades sociais.

Os itens qualitativos, em geral, possuem média superior aos quantitativos. Dentro desse grupo encontram-se os itens i14, i18 e i20, destacados como os menos associados com o nível socioeconômico e com boa discriminação, feita a ressalva já citada ao item 18 pela sua significativa probabilidade de acerto casual. O i14, mostrado na figura 7, aborda o tema consumo energético, questionando sobre ações que resultariam em uma maior eficiência no processo de transmissão de energia. Essa é uma questão que exige um bom nível de conhecimento específico de Física, especialmente porque os estudantes precisam saber o sentido atribuído a conceitos como eficiência, trabalho e condutores. Analisando as alternativas, ressaltamos a importância de um estudante, que se encontra no final do ensino médio, compreender quais das ações descritas aumentaria a eficiência no processo de transmissão de energia. Esse tipo de item é importante na medida em que se distingue das questões geralmente tradicionais de vestibular, restritas a uma Física descontextualizada. Por exemplo, é fundamental que os alunos saibam avaliar que o aumento de combustível para queima na usina é um processo pouco sustentável, assim como a utilização de lâmpadas incandescentes. É importante destacar, também, que estudantes das mais variadas situações socioeconômicas tiveram condições de compreender e, em boa parte dos casos, acertar essa questão.

Figura 7
Item 14 da prova de Física de 2009 com resposta correta indicada pela letra E.

Sobre o i14, Bassalo (2011) afirma que os estudantes precisariam de mais informações para acertar a questão do que o enunciado fornece. Além disso, o autor aponta que as alternativas D e E não estão bem formuladas, podendo dificultar a decisão dos alunos. Notamos, entretanto, que a alternativa D foi a que menos teve adesão por parte dos estudantes [⁴³], indicando que essa alegada má formulação não prejudicou significativamente o desempenho dos respondentes.

Dos três itens selecionados o i18, mostrado na figura 8, foi o que teve a menor média de acertos, mas a menor variabilidade entre os níveis socioeconômicos. A média de acertos é a menor pelo fato desse item apresentar um nível de dificuldade maior do que os demais, já que, segundo o modelo de três parâmetros, para que a probabilidade de acerto fosse 50 por cento, o escore do candidato deveria ser 782,8. Novamente, destaca-se que o acerto casual pode ter contribuído apreciavelmente para diminuir essa baixa variabilidade. Novamente a questão requer dos candidatos domínio significativo de conhecimentos específicos de Física para encontrar a resposta correta. Há uma série de conceitos físicos que demandam dos estudantes conhecimentos que são compartilhados em ambientes de educação formal, como a relação entre corrente elétrica e a espessura da fiação do circuito elétrico. Concordamos com o fato de que é um item com formulação confusa [³⁰], no entanto, o fato da média de acertos ser algo em torno de 40 pontos percentuais indica que os estudantes possam ter compreendido esse enunciado. E, além disso, essa compreensão pode não ter se concentrado no grupo de estudantes com maior acúmulo de capital, apesar da probabilidade de acerto casual ser significativa, o que seria desejável.

Figura 8
Item i18 da prova de Física de 2009 com resposta correta indicada pela letra E.

A figura 9 mostra o item i20, que teve o maior percentual de resposta correta, como observado no quadro 1. Em termos de “qualidade”, contudo, esse é o item que mais deixa a desejar. A questão indaga sobre possíveis ações que resultariam em alguma economia de energia em uma usina abastecida por combustível fóssil. A alternativa indicada como correta é a letra E, entretanto, usar o calor liberado pela chaminé para mover outro gerador não resultará em economia de energia. Atribuímos esse erro ao que a literatura indica como contextualização forçada [³²].

Figura 9
Item i20 da prova de Física de 2009 com resposta correta indicada pela letra E.

É um equívoco sutil, é verdade, principalmente se considerarmos os quase 70 pontos percentuais de média de acerto. Isso quer dizer que os estudantes compreenderam que esse processo seria o único que, de alguma forma, tornaria o processo de geração de energia mais eficiente. Vale destacar que pequenas correções na elaboração do enunciado poderiam corrigir esse equívoco, qualificando ainda mais o item.

Podemos salientar que os itens i14, i18 e i20 da prova de Física de 2009 compartilham a característica de serem qualitativos, não exigindo dos estudantes raciocínio matemático explícito. Nem por isso esses itens deixam de exigir dos estudantes o domínio de conhecimentos específicos de Física. A despeito das críticas encontradas na literatura sobre essas questões, consideramos que são válidas e até pertinentes. Não podemos deixar de notar, no entanto, que as médias de acertos foram altas, indicando que possíveis inconsistências na sua elaboração não comprometeram o desempenho dos alunos.

Nas provas de 2012 e 2015 notamos uma diminuição no número de itens qualitativos. Da prova de 2012, o item i50 (figura 10) é o único que tem potencial para compor uma avaliação mais socialmente justa. Kleinke [²⁶] já havia assinalado que esse seria um bom item para avaliação dos estudantes. A questão é qualitativa e aborda o tema conservação de energia. Os estudantes precisavam relacionar os processos de transformação de energia que ocorrem em um carrinho de mola com outras possíveis situações apresentadas nas alternativas. O referido item exige um razoável domínio sobre conversão entre diferentes formas de energia, solicitando que os estudantes fizessem relações entre diferentes fenômenos envolvendo essas mesmas formas de energia. Apesar disso, o i50 teve uma média maior do que 60 por cento, não variando muito o percentual entre os sete níveis de capital.

Figura 10
Item i50 da prova de Física de 2012 com resposta correta indicada pela letra E.

O item 86 da prova de 2015 (figura 11) tem características muito semelhantes ao i50 de 2012, no que diz respeito a média de acertos, variabilidade Gini e discriminação. Além disso, também é um item qualitativo e exige domínio de conhecimento específico de Física. Trata-se de uma questão de acústica que aborda diretamente o conceito de timbre. Associar ao timbre o fato de que conseguimos diferenciar instrumentos musicais que emitem a mesma nota musical não é algo trivial.

Figura 11
Item i86 da prova de Física de 2015 com resposta correta indicada pela letra D.

A educação escolar formal é fundamental nesse processo, ou seja, é na aula de Física que a maioria desses estudantes tiveram contato com esse domínio do conhecimento. Em outros momentos de aprendizagem esse conceito também poderia ter sido apreendido, como em revistas de divulgação científica ou documentários. Pelo elevado percentual de acertos, contudo, não podemos supor que a escola não tenha importante participação nesse processo. Essas considerações se estendem ao i50 da prova de 2012 também.

Em síntese, notamos que os cinco itens extraídos das provas de 2009, 2012 e 2015 são todos qualitativos, no entanto, exigem razoável domínio de conhecimentos específicos de Física. Nessas provas os itens quantitativos estão mais associados ao nível socioeconômico dos candidatos do que os itens qualitativos. Além disso, as questões que exigiram dos respondentes raciocínio matemático tiveram médias muito baixas. Dessa forma, questionamos a necessidade de colocar na prova de Física questões que exigem um formalismo matemático mais avançado, afinal, esses itens acabam inadvertidamente servindo para favorecer estudantes com condições socioeconômicas mais privilegiadas.

7. Considerações finais

A associação entre o desempenho dos estudantes e o seu nível socioeconômico é um resultado conhecido nas pesquisas das ciências humanas e sociais. Nesse trabalho discutimos uma possibilidade de ruptura dessa lógica a partir de uma análise mais apurada dos itens da prova de Física do ENEM dos anos de 2009, 2012 e 2015. Metodologicamente procuramos por itens com média alta e baixa associação com o nível socioeconômico. Determinamos o nível socioeconômico com o auxílio da Análise Fatorial de Informação Completa [⁴⁵] e da Teoria da Resposta ao Item por meio do Modelo de Resposta Graduada [⁴⁶]. A AFIC permitiu construir um modelo que separa as variáveis de contexto em três fatores diferentes para o capital cultural, como mostrado na figura 1. Dos três fatores, utilizamos apenas o mais relacionado com o desempenho no ENEM: o índice de capital cultural institucionalizado (ICC_INST), utilizado em conjunto com o índice de capital econômico, calculado separadamente por um modelo unidimensional. Dessa forma, o nível socioeconômico dos candidatos foi construído a partir de uma análise de cluster k-means bivariada [⁵³]. Essa categorização bivariada dos dois principais tipos de capital foi fundamental para a articulação com o referencial bourdieusiano.

Após a delimitação dos grupos associados com os níveis socioeconômicos calculamos as médias de acertos na prova de Física para cada um dos grupos. Utilizamos o coeficiente Gini para analisar a variabilidade no percentual de acertos entre esses níveis. Notamos que cinco itens se enquadravam dentro desses critérios, o i14, o i18 e o i20 da prova de 2009; o i50 da prova de 2012 e o i86 de 2015. Para se caracterizarem como bons itens de uma prova de seleção essas questões precisam ter boa discriminação, quer dizer, alunos com boa proficiência em Física devem ter uma maior probabilidade de acertá-las. Tal característica foi observada nesses itens, pois o parâmetro de discriminação calculado pela TRI foi satisfatório, como indicado pela literatura [⁶⁴].

Por fim, analisamos em detalhe esses cinco itens com o objetivo de encontrar características comuns entre eles. Notamos que são qualitativos e que exigem bom domínio de conhecimento específico de Física, em variados graus de profundidade. Trabalhos da literatura da área de ensino criticam a elaboração de alguns itens da prova de Física do ENEM [²⁹, ³⁰, ³¹, ³²], o que é uma crítica válida. Contudo, a alta média de acertos dos itens, além da dispersão aleatória nas outras alternativas, indica que supostos problemas no enunciado das questões não interferiram apreciavelmente nas respostas dos estudantes. Outro ponto a destacar é que os itens quantitativos das provas estão mais relacionados com os níveis socioeconômicos do que os itens qualitativos. Além disso, as médias de acertos são mais baixas em relação às questões que não exigem um formalismo matemático para a resolução. Dito de outra maneira, os estudantes com elevado índice de capital acabam por ser privilegiados com esse tipo de questão.

Nosso trabalho não teve a pretensão de apresentar uma solução para o problema complexo da desigualdade do acesso ao ensino superior no Brasil. Procuramos mostrar, no entanto, que existem alternativas ao suposto determinismo social presente em exames de seleção semelhantes ao ENEM. Análises similares podem ser realizadas para todos os anos de realização do exame, a fim de construir um banco de questões menos associadas ao nível socioeconômico, com boa média e discriminação suficientemente alta. Dessa forma vale a pena questionarmos se a prova de Física do ENEM, e, consequentemente, as provas de todas as outras áreas, não deveriam ser constituídas apenas por itens com essas características, passando a selecionar estudantes mais pela proficiência do que por questões contextuais.

• 1
  O SAEB foi uma reformulação do SAEP (Sistema de Avaliação da Escola Pública) criado em 1987 a partir de financiamento da OCDE. Uma discussão detalhada sobre o papel dos organismos internacionais na avaliação educacional é apresentada em Risca e Luiz [¹⁷].
• 2
  Para uma discussão sobre as mudanças no paradigma educacional produzidas nas últimas décadas e sua associação com os efeitos da globalização, como por exemplo, a capilarização da cultura da performatividade nas políticas de currículo, ver Lopes e López [¹⁸].
• 3
  Uma discussão detalhada sobre Análise Fatorial pode ser encontrada na dissertação de Costa [⁴⁶].
• 4
  Não necessariamente isso ocorre em todos os casos.
• 5
  Podem ser obtidos pelo link http://download.inep.gov.br/microdados/microdados_enem2009.rar.
• 6
  O desempenho no ENEM foi definido a partir da média geral dos escores das quatro provas objetivas. Deixamos de fora a média dos estudantes na redação, pois a mesma não é corrigida pela TRI (portanto, não está expressa na mesma escala que as demais).
• 7
  Nesse caso, é simples mostrar que $G=1-1∕n$, que tende a 1 quando $n$ tende a infinito.
• 8
  O trabalho de Nascimento, Cavalcanti e Ostermann [⁵⁹] detalha a utilização da Análise de Correspondência em uma pesquisa na área da Educação em Ciências.
• 9
  Utilizamos uma das provas (azul, amarelo, branco e rosa) como referência para limitar o número de candidatos e facilitar o processamento dos dados. A escolha da cor azul se deve ao fato de que os trabalhos da literatura que se preocuparam em analisar os itens de Física, em geral, adotaram a cor azul como referência. A uniformização das cores facilita análises futuras, pois os itens têm numerações diferentes conforme a cor da prova.

Referências

• ^[1]
  D.N.T. Freitas, Estudos em Avaliação Educacional 16, 21 (2005).
• ^[2]
  J. Coleman, Equality of Educational Opportunity (National Center for Educational Statistics, Washington, 1966).
• ^[3]
  A. Fernald, V.A. Marchman and A. Weisleder, Developmental Science 16, 234 (2013).
• ^[4]
  L.R. Piccolo, A.X. Arteche, R.P. Fonseca, R. Grassi-Oliveira e J.F. Salles, Psicologia: Reflexão e Crítica 29, 23 (2016).
• ^[5]
  P. Tomalski, D.G. Moore, H. Ribeiro, E.L. Axelsson, E. Murphy, A. Karmiloff-Smith, M.H. Johnson and E. Kushnerenko, Developmental Science 16, 676 (2013).
• ^[6]
  A. Ursache and K.G. Noble, Brain and Behavior 6, e00531 (2016).
• ^[7]
  I.J. Deary, S. Strand, P. Smith and C. Fernandes, Intelligence 35, 13 (2007).
• ^[8]
  E.F. Dubow, P. Boxer and L.R. Huesmann, Merrill-Palmer Quarterly 55, 224 (2009).
• ^[9]
  W. Johnson, M. McGue and W.G. Iacono, Developmental Psychology 42, 514 (2006).
• ^[10]
  M. Richards and A. Sacker, Journal of Clinical and Experimental Neuropsychology 25, 614 (2003).
• ^[11]
  C.M.M. Nogueira and M.A. Nogueira, Educação & Sociedade 23, 15 (2002).
• ^[12]
  P. Bourdieu, in: Escritos de Educação, editado por M.A. Nogueira e A. Catani (Vozes, Petrópolis, 1998), p. 81.
• ^[13]
  P. Bourdieu e J.-C. Passeron, A Reprodução: Elementos para uma Teoria do Sistema de Ensino (Vozes, Petropolis, 2010).
• ^[14]
  P. Bourdieu, Outline of a Theory of Practice (Cambridge University Press, Cambridge, 1977).
• ^[15]
  P. Bourdieu, in: Handbook of Theory and Research for the Sociology of Education, edited by J. Richardson (Greenwood, New York, 1986), p. 241.
• ^[16]
  P.R.M. Lima Junior, N.C. Pinheiro y F. Ostermann, Didáctica de las Ciencias Experimentales y Sociales 26, 145 (2012).
• ^[17]
  J.R. Riscal e M.C. Luiz, Gestão Democrática e a Análise de Avaliações em Larga Escala: O Desempenho de Escolas Públicas no Brasil (Pixel, São Carlos, 2016).
• ^[18]
  A.C. Lopes e S.B. López, Educação em Revista 26, 89 (2010).
• ^[19]
  M.T.G. Alves e J.F. Soares, Sociedade e Estado 22, 435 (2007).
• ^[20]
  J.M. de Andrade e J.A. Laros, Psicologia: Teoria e Pesquisa 23, 033 (2012).
• ^[21]
  R. Klein, N. Fontanive e J.C.B. Carvalho, Ensaio: Avaliação e Políticas Públicas em Educação 15, 19 (2007).
• ^[22]
  A.B. Golgher, Texto para Discussão (Editora UFMG, Belo Horizonte, 2010).
• ^[23]
  R. Travitzki, ENEM: Limites e Possibilidades do Exame Nacional do Ensino Médio Enquanto Indicador de Qualidade Escolar Tese de Doutorado, Universidade de São Paulo, 2013.
• ^[24]
  E. Viggiano e C. Mattos, Revista Brasileira de Estudos Pedagógicos 94, 21 (2013).
• ^[25]
  F.L. Silveira, M.C.B. Barbosa e R. Silva, Revista Brasileira de Ensino de Física 37, 1101 (2015).
• ^[26]
  M.U. Kleinke, Revista Brasileira de Ensino de Física 39, e2402 (2017).
• ^[27]
  S.A. Robert, Currículo sem Fronteiras 9, 193 (2009).
• ^[28]
  R. Nardi, A Área de Ensino de Ciências no Brasil: Fatores que Determinaram sua Constituição e Suas Características Segundo Pesquisadores Brasileiros Tese de Livre Docência, Universidade Estadual Paulista, 2005.
• ^[29]
  N.L. Andrade, Caderno Brasileiro de Ensino de Física 22, 263 (2005).
• ^[30]
  J.M.F. Bassalo, Caderno Brasileiro de Ensino de Física 28, 325 (2011).
• ^[31]
  E.V. Rodrigues, Caderno Brasileiro de Ensino de Física 31, 421 (2014).
• ^[32]
  F.L. Silveira, J.F. Stilck e M.C.B. Barbosa, Caderno Brasileiro de Ensino de Física 31, 474 (2014).
• ^[33]
  C.d.S. Fernandes e C.A. Marques, Química Nova na Escola 37, 294 (2015).
• ^[34]
  J.S. Hernandes e M.I. Martins, Caderno Brasileiro de Ensino de Física 30, 58 (2013).
• ^[35]
  W.D. José, G.R. Braga, A.Q.B. Nascimento e F.P. Bastos, Ensaio Pesquisa em Educação em Ciências 16, 171 (2014).
• ^[36]
  L.B. Costa-Beber e O.A. Maldaner, Química Nova na Escola 37, 44 (2015).
• ^[37]
  R. G. Abreu, in Anais do XV Encontro Nacional de Ensino de Química, Brasília, 2010 (Sociedade Brasileira de Química, São Paulo, 2010), disponível em http://www.sbq.org.br/eneq/xv/resumos/R0779-1.pdf, acesso em 23/11/2017.
  » http://www.sbq.org.br/eneq/xv/resumos/R0779-1.pdf
• ^[38]
  V. R. Ferreira and J. A. Aires, in Anais do XV Encontro Nacional do Ensino de Química, Brasília, 2010 (Universidade de Brasília, Brasília, 2010), disponível em http://www.sbq.org.br/eneq/xv/resumos/R0927-1.pdf, acesso em 23/11/2017.
  » http://www.sbq.org.br/eneq/xv/resumos/R0927-1.pdf
• ^[39]
  W. L. P. Santos and E. F. Mortimer, in Anais da 22ªReunião Anual da Sociedade Brasileira de Química, Poços de Caldas, 1999 (Sociedade Brasileira de Química, São Paulo, 1999), p. ED-70.
• ^[40]
  M.M. Passos, B.K. Oliveira e R.F. Salvi, Educação Matemática Pesquisa 13, 337 (2011).
• ^[41]
  J.S. Santos e Â.L. Cortelazzo, Avaliação: Revista da Avaliação da Educação Superior 18, 591 (2013).
• ^[42]
  V.A. Silva e M.I. Martins, Ensaio Pesquisa em Educação em Ciências 16, 189 (2014).
• ^[43]
  W.P. Gonçalves e M. Barroso, Revista Brasileira de Ensino de Física 36, 11 (2014).
• ^[44]
  G.S. Marcom e M.U. Kleinke, Caderno Brasileiro de Ensino de Física 33, 72 (2016).
• ^[45]
  R.D. Bock, R. Gibbons and E. Muraki, Applied Psychological Measurement 12, 261 (1988).
• ^[46]
  C.E.S. Costa, Análise da Dimensionalidade e Modelagem Multimensional Pela TRI no Antigo ENEM Tese de Mestrado, Universidade Federal de Santa Catarina, Centro Tecnológico, Programa de Pós-Graduação em Métodos e Gestão em Avaliação, 2015.
• ^[47]
  R.T. Nojosa, Estudos em Avaliação Educacional 33, 123 (2002).
• ^[48]
  F. Samejima, Psychometrika 34, 1 (1969).
• ^[49]
  R. Likert, Archives of psychology 22, 5 (1932).
• ^[50]
  G.H. Lubke and B.O. Muthén, Structural Equation Modeling 11, 514 (2004).
• ^[51]
  OECD, Results: Overcoming Social Background - Equity in Learning Opportunities and Outcomes (OECD, Paris, 2010).
• ^[52]
  I.G. Andersen and M.M. Jæger, Social Science Research 50, 177 (2015).
• ^[53]
  R. Pishghadam, M. Noghani and R. Zabihi, English Language Teaching 4, 195 (2011).
• ^[54]
  A.J. Izenman, Modern Multivariate Statistical Techniques (Springer, New York, 2008).
• ^[55]
  BRASIL, Nota Técnica: Indicador de Nível Socioeconômico das Escolas de Educação Básica (Inse) Participantes da Avaliação Nacional da Alfabetização (ANA) (INEP, Brasília, 2015).
• ^[56]
  A. Sen and J.E. Foster, On Economic Inequality (Oxford University Press, New Delhi, 2010).
• ^[57]
  M.J. Greenacre, Correspondence Analysis in Practice (CRC Press, Boca Raton, 2017).
• ^[58]
  L. Lebart, A. Morineau and K.M. Warwick, Multivariate Descriptive Statistical Analysis: Correspondence Analysis and Related Techniques for Large Matrices (John Wiley & Sons, New York, 1984).
• ^[59]
  M.M. Nascimento, C. Cavalcanti e F. Ostermann, Enseñanza de las Ciencias no prelo (2017).
• ^[60]
  M.J. Greenacre, Biometrika 75, 457 (1988).
• ^[61]
  S. Camiz and G.C. Gomes, in: Classification and Data Mining, edited by A. Giusti, G. Ritter and M. Vichi (Springer, Heidelberg, 2013), p. 11.
• ^[62]
  A. Anjos e D.F. Andrade, Teoria da Resposta ao Item com uso do R (Editora UFSC, Florianópilis, 2012).
• ^[63]
  Brasil, Nota Técnica: Teoria da Resposta ao Item (INEP, Brasília, 2012).
• ^[64]
  P.A. Barbetta, L.M. Trevisan, H. Tavares e T.C.A.M. Azevedo, Estudos em Avaliação Educacional 25, 280 (2014).

Datas de Publicação

• Publicação nesta coleção
  2018

Histórico

• Recebido
  28 Jul 2017
• Revisado
  19 Nov 2017
• Aceito
  21 Nov 2017