Influência do status socioeconômico no desempenho dos estudantes nos itens de física do Enem 2012

Influence of socioeconomic status on students performance in physics items at Enem 2012

Resumos

O objetivo do presente trabalho é compreender como fatores econômicos podem afetar o desempenho em física no Enem em 2012. A partir dos microdados foram calculadas as médias e as frequências das alternativas dos itens; além das informações para um indicador de status socioeconômico. Os itens foram separados em quatro categorias: exercícios de fixação; problemas de lápis e papel; problemas contextualizados no cotidiano e física moderna e contemporânea. Os exercícios de fixação e os problemas de lápis e papel são as categorias que apresentaram a média para classe alta próxima a 0,7, o que corresponde ao dobro da média da classe baixa. Para os problemas de lápis e papel observamos que as alternativas (erradas) com concepções alternativas ou não científicas atraem candidatos de todas as classes sociais. No caso dos problemas contextualizados no cotidiano a média é baixa para todos os candidatos (em torno de 0,3) indicando dificuldades na transposição dos conceitos de física para situações aplicadas. Os indicadores para física moderna e contemporânea são baixos, com média próxima da resposta ao acaso. Esperamos que essas análises possam auxiliar os professores da educação básica a conhecer melhor as necessidades para compreensão da física por parte de seus alunos.

Palavras-chave:
Enem; Itens; Contexto; Avaliação

The purpose of this paper is to understand how socioeconomic factors can affect physics' performance in the Brazilian National Assessment of Secondary Education (Enem) applied in 2012. From the microdata were calculated averages and alternative's frequencies; and in addition was elaborated a socioeconomic status indicator. The items were separated into four categories: fixation exercises; pencil and paper problems; day-to-day contextualized problems and modern and contemporary physics. Fixation exercises and pencil and paper problems present greater performance gap between social classes, where the upper class mean (close to 0.7) is up to two times high than that from lower class. In the case of pencil and pen problems, the presence of misconceptions or non-scientific conception as a wrong alternative can attract the majority of candidates. When items are related to day-to-day or modern and contemporary physics, all social classes present scores close to 0.3. For contextualized problems, the average is low for all candidates suggesting difficulties in the transposition of physics fundaments to daily life problems. Mean for modern and contemporary physics is low, close to the aleatory answer. We hope that these analyzes can help basic education teachers to better meet the students' needs in understanding physics.

Keywords:
Enem; Items; Context; Assessment; Evaluation

1. Introdução

A universalização do ingresso no ensino fundamental no final do século passado impôs uma reflexão sobre o papel a ser desempenhado pelo ensino médio, o qual foi durante décadas considerado como propedêutico (em sua grande maioria) ou então como profissionalizante (em poucas escolas, em geral com alta seletividade no ingresso). A Lei de Diretrizes e Bases da Educação Nacional de 1996 corretamente estabeleceu o ensino médio como fase de conclusão da educação básica, e ressalta a sua importância na “preparação básica para o trabalho e a cidadania do educando, para continuar aprendendo, de modo a ser capaz de se adaptar com flexibilidade a novas condições de ocupação ou aperfeiçoamento posteriores” [¹].

Suportado por esses pressupostos, o exame nacional do ensino médio (Enem) foi implementado em 1988, como instrumento de avaliação opcional para os concluintes do ensino médio, buscando consolidar

“um modelo de avaliação de desempenho por competência, oferecido anualmente aos concluintes e egressos do ensino médio, tendo como referência principal a articulação entre o conceito de educação básica e o de cidadania, tal como definido nos textos constitucionais e na LDB.” [²].

Um diferencial nas primeiras aplicações do Enem foi propor um formato de avaliação mais próximo dos alunos, com menor ênfase nos conteúdos, focado na aplicação de conceitos escolares a situações do cotidiano dos candidatos, com itens (supostamente) contextualizadas no universo dos estudantes. Esse novo formato de avaliação representou uma ruptura em relação aos vestibulares das universidades públicas, os quais apresentavam ênfase disciplinar e um intensivo treinamento, normalmente fornecido por cursinhos pré-vestibulares.

Em 2009 a prova do Enem foi modificada, buscando uma maior validade e confiabilidade para seus resultados, tendo em vista que o Enem passaria a substituir os antigos vestibulares em muitas universidades públicas, principalmente após sua associação ao sistema de seleção unificada para as vagas das universidades públicas federais (Sisu) [³]. Com sua nova função de processo seletivo para o ensino superior, o Enem torna-se um dos maiores exames de larga escala do mundo. A experiência brasileira relativa a exames de larga escala é recente; existindo poucos estudos sobre o impacto que variáveis extraclasses exercem no desempenho dos estudantes em provas brasileiras.

Nos Estados Unidos os primeiros exames de larga escala ocorreram no final do Séc. XIX, onde foi proposta uma avaliação com 154 itens a serem apresentados aos melhores alunos das escolas de Boston. É o primeiro relato de um exame único, aplicado a estudantes de diferentes escolas [⁴].

O exame associado ao acesso no ensino superior nos EUA é o SAT¹, onde a nota desse exame juntamente com demais informações sobre o candidato - inclusive com entrevistas - compõe um dossiê para definir acesso ao ensino superior. Wallpolle e colaboradores pesquisaram quanto o conhecimento prévio familiar sobre o SAT e/ou a frequência a cursinho preparatório impacta no desempenho dos estudantes de classes mais desfavorecidas economicamente [⁵]. Observaram que os estudantes das classes populares desconhecem o significado e o impacto do SAT em suas vidas, bem com a importância de uma preparação formal para o teste. Esse desconhecimento diminuiu suas chances de progressão tanto no mundo acadêmico quanto no mundo do trabalho. Segundo Walpole o SAT:

“prejudica a existência dos alunos do ensino médio e as escolas do ensino médio, pois o aumento da concorrência para admissão nas melhores universidades do país tem aumentado a necessidade de um bom desempenho no exame, resultando em aumento da ansiedade dos pais e dos estudantes, bem como criar novos produtos educacionais associados ao acesso, sempre com o subsídio da cobertura cada vez maior da mídia nos processos seletivos de admissão” [⁵]²

Cabe observar que as críticas são similares às aplicadas sobre os exames vestibulares no Brasil, onde a ênfase era maior nas relações com o conteúdo do que na aplicação desses conceitos em situações de seu cotidiano.

Nas últimas décadas do século passado, Pierre Bourdieu [⁶] propões que o conceito de capital cultural seja indispensável para explicar a desigualdade de desempenho escolar de crianças provenientes de diferentes classes sociais, bem como para enfatizar a natureza conservadora da instituição escolar; natureza esta reprodutora dos padrões culturais do universo vivenciado pelos estudantes, o que, por isso mesmo, demanda esforços diferenciados para o desempenho de tarefas similares. Uma variante dessa discussão, associada aos limites de acesso à educação, é utilizar o conceito de capital cultural para discutir o acesso ao ensino superior por meio de processos seletivos [⁷].

Na Itália foram realizados estudos sobre o impacto das variáveis socioeconômicas no desempenho utilizando os resultados do PISA, comparando o desempenho das cidades das regiões sul e norte da Itália. Os resultados indicaram uma correlação positiva do desempenho dos alunos com o capital econômico das famílias (traduzido na forma de bens familiares e status socioeconômico dos pais), e também com o capital cultural (tendo como proxi o número de livros em casa, acesso a computadores e escolaridade dos pais) [⁸]

Analisando os resultados do desempenho dos estudantes no conjunto de provas do Enem (a partir dos valores obtidos pela teoria de resposta ao item) e utilizando dados integrados sobre as escolas, Silveira e colaboradores [⁹] mostraram que o desempenho das escolas está relacionado com seu status socioeconômico, demonstrando que o desempenho integrado das escolas nas diversas provas do Enem (incluindo redação) apresenta uma variação de 1,5 desvio padrão no desempenho, entre as escolas com nível econômico muito baixo e muito alto.

Utilizar os resultados dos exames de acesso como ferramenta para compreender o ensino é uma área incipiente no Brasil, apesar do reconhecimento da importância dessas análises, como aponta Krasilchick [¹⁰]

“os exames podem fornecer dados sobre a população escolar cumprindo a maior função da avaliação, ou seja, a de informar à sociedade, às escolas, aos alunos, aos professores e aos pais sobre o aprendizado dos estudantes, da eficiência da escola em função das políticas públicas e das relações contextuais entre os estabelecimentos de ensino e a comunidade nas quais se situam”. [¹⁰]

Recentemente o INEP estabeleceu um protocolo para devolutivas visando informar aos professores os resultados observados na Prova Brasil [¹¹]. Ainda que a prova do Enem seja uma prova somativa (onde os alunos recebem apenas uma nota final, sem uma realimentação que permita correções em sua formação) é possível utilizar esses resultados para realimentar escolas, professores e alunos, buscando discutir quais são os principais problemas de desempenho, transformando o Enem em uma prova formativa [¹²].

Em outro estudo, Setton [¹³] aprofundou esta questão afirmando que além da formação cultural das gerações anteriores, do local de residência da família, o tipo de formação escolar, o sistema de ensino (público ou privado), o histórico familiar e pessoal, são variáveis importantes e fortemente relacionadas com o sucesso educacional dos estudantes. Há muitos caminhos e circunstâncias no que tange ao acesso aos bens da cultura, tanto entre as famílias, quanto em relação às interdependências funcionais e informais que cercam nossas vidas. Inúmeras configurações são responsáveis pela variação no comportamento e no rendimento nos estudos.

Tradicionalmente, essa linha de pesquisa utiliza o status socioeconômico dos estudantes como um dos parâmetros importantes nas definições de como se dará a sua formação no pós-médio, bem como sua inserção no mercado de trabalho [¹⁴]. Um dos pressupostos dessa corrente é de que indivíduos de famílias com um status diferenciado recebem mais incentivos e mais apoio de “adultos importantes”, sejam eles os pais ou conhecidos dos pais, no sentido de direcionar e fortalecer as escolhas de boas instituições de ensino superior para investir em sua formação.

Nossa pergunta de pesquisa é:

O status socioeconômico das famílias impacta no desempenho dos estudantes nos itens de física do Enem de 2012?

Como questão secundária, apresentamos as necessidades de que os resultados do Enem devam ser apropriados pelos professores da educação básica para atingir as salas de aula. Essa vertente de pesquisa ainda é recente no país, tendo poucos pesquisadores que buscam estabelecer relações entre ensino e avaliações de larga escala, seja no aspecto quali-quanti [¹⁵,¹⁶,¹⁷] ou na análise qualitativa dos itens das provas [¹⁸], ou mesmo utilizando distintos indicadores socioeconômicos [⁹,¹⁹].

2. Metodologia

2.1. Universo dos Candidatos

O INEP disponibiliza os arquivos com os microdados das aplicações do Enem³. O banco de dados associado aos participantes do Enem necessita ser tratado para que seja possível extrair a nota bruta de cada um dos itens da prova de múltipla escolha. Para minimizar fraudes as provas do Enem são aplicadas com quatro distribuições de itens distintas (prova azul, branca, amarela e cinza). Essa distribuição dos itens é ajustada para que em todas as provas todos os itens apresentem a ordem da prova azul. Foram analisados todos os itens de física respondidos pelos candidatos presentes à prova de ciências da natureza nos exames do Enem aplicados nos anos de 2011, 2012 e 2014.

Além dos resultados dos itens do exame, o banco de dados apresenta um extenso conjunto de indicadores socioeconômicos (escolaridade dos pais, renda, rede escolar, etc.) os quais foram utilizados na construção do indicador de status socioeconômico, apresentada a seguir.

2.2. Indicador de Status Socioeconômico

Com a ampliação do acesso à educação, temos um maior número de alunos das classes desfavorecidas economicamente que realizam o Enem. Reconhecer os erros mais comuns dos alunos de distintas classes sociais nos itens de física pode vir a auxiliar os professores a estruturarem suas aulas em função do alunado que recebem, investindo nos tópicos com maiores problemas de aprendizagem. Temos que utilizar as informações socioeconômicas combinadas com o desempenho para promover aulas de física mais inclusivas.

Um dos indicadores socioeconômicos muito conhecido é o critério de classificação econômica Brasil, o qual foi desenvolvido, é mantido e atualizado pela Associação Brasileira de Empresas de Pesquisa (ABEP) [²⁰]. Esse índice avalia o poder de consumo das diferentes classes econômicas a partir de alguns indicadores tais como o grau de instrução do chefe da família, o número de televisões, rádios, geladeiras, banheiros e automóveis no domicílio, dentre outros [²⁰]. Esses itens recebem uma pontuação variada, sendo associados a um índice final.

O questionário socioeconômico do Enem apresenta os mesmos indicadores que os utilizados no critério Brasil para 2012, o que permitem gerar um índice similar [²⁰]. A diferença entre os indicadores está relacionada ao número de itens, por exemplo, o número máximo de televisores para o questionário socioeconômico do Enem são três, enquanto no questionário ABEP são até quatro televisores.

Para compreender melhor o indicador de status socioeconômico criado a partir do Enem (SSE) apresentamos alguns resultados na Tabela 1 em função das classes sociais. Para definir três classes sociais para o SSE utilizamos as classes de consumo definidas pelo critério Brasil, classificadas em nos níveis A, B, C, D e E. Utilizamos a mesma pontuação da ABEP e definimos a classe alta (para nosso índice SSE) a partir das classes A e B da ABEP (acima de 23 pontos); classe média classe como classe C da ABEP (entre 18 e 22 pontos) e classe baixa unificando as classes D e E da ABEP (até 17 pontos).

Tabela 1
Indicadores socioeconômicos em função da classe social dos candidatos do Enem 2012.

						Rede da Educação Básica
	Faixas SSE	N	Porc.	Acesso a Internet	Televisão a cabo	Privada	Mista	Pública
Todos		4.218.798		65%	23%	12%	20%	68%
Classe baixa	0 a 17	2.229.593	53%	46%	8%	2%	14%	84%
Classe média	18 a 22	1.057.272	25%	77%	24%	8%	23%	69%
Classe alta	23 a 40	931.933	22%	94%	57%	39%	29%	32%

A rede da educação básica inclui os níveis fundamental e médio. Rede educacional mista significa que o candidato cursou parte na rede pública, parte na rede privada.

Vamos observar alguns indicadores de acesso à informação (internet e tv a cabo), bem como a trajetória escolar dos candidatos. O acesso à internet é praticamente universal para a classe alta, enquanto para a classe baixa praticamente metade dos candidatos declaram possuir acesso à internet. A televisão a cabo surge com o dobro da presença na classe alta (57%) em relação à classe média (24%). A televisão paga atinge 8% dos candidatos de classe baixa, chegando a 40% da classe alta.

Quanto à trajetória escolar, observamos que a educação básica pública (fundamental e médio cursados em escolas públicas) responde pela educação da maioria dos candidatos das classes baixa e média (84% e 69%, respectivamente), enquanto para a classe alta esse percentual cai a 32%. A escola privada praticamente não tem alunos da classe baixa (2%), atingindo 39% dos alunos na classe alta.

2.3. Juízes e os Itens de Física

A prova de ciências da natureza do Enem não indica quais são os itens que necessitam de conhecimento sobre física para sua resolução. Para definir os itens de física foi necessário criar um grupo de juízes, os quais eram especialistas na área, professores universitários e da educação básica. Coube aos juízes definir a confiabilidade da categorização dos itens realizada. Essa confiabilidade não se dá apenas pelo conhecimento da área, mas sim pela concordância entre os distintos juízes na classificação. A confiabilidade do processo de definir os itens é medida pelo percentual de concordância na classificação. Uma categorização é considerada fidedigna, confiável quando existe coincidência em pelo menos 70% das variáveis categorizadas [²¹]. A seguir são apresentados os resultados para a categorização dos itens de física presentes na prova de ciências da natureza em três edições distintas do Enem:

• Enem 2012 - A prova de ciências da natureza foi classificada por nove juízes (professores universitários com formação em matemática, física, química ou biologia), os quais indicaram qual a área de cada item da prova. Foram considerados itens de física todos os itens onde a indicação para física foi mais elevada que as demais áreas de conhecimento, tendo sido classificados 17 itens de física. Do total de itens, 14 apresentaram classificação unânime, fornecendo uma confiabilidade de 82% (correspondendo a 14 em 17 itens categorizados).

• Enem 2011 - Novamente tivemos o mesmo grupo de juízes, onde todos concordaram em 12 itens e apresentaram divergências em mais dois itens, refletindo uma confiabilidade de 86% (12 em 14 itens categorizados).

• Enem 2014 - três juízes professores - um universitário e dois da educação básica - realizaram a categorização para esses itens, apresentaram uma concordância total em todos os 15 itens caracterizados como física. Essa concordância sugere uma estrutura mais ortodoxa para os itens de física da prova de ciências da natureza de 2014.

2.4. Enem, Confiabilidade e Alfa de Cronbach

O Enem é instrumento de acesso ao ensino superior nas universidades federais, definindo as carreiras e o futuro de milhares de candidatos. Um exame com essas características deve apresentar alto grau de consistência e fidedignidade em sua classificação. Esse resultado é garantido por uma coerência entre o construto associado ao exame, os itens que o compõe e o público a que se destina. O indicador de confiabilidade mais utilizado para aferir e quantificar essa associação é o Alfa de Cronbach ($\alpha C$) [²², ²³], o qual relaciona a variância total com a somatória das variâncias de cada item, segundo a expressão:

$${\alpha }_C=\frac{n}{n-1}\left(1-\frac{{\displaystyle \sum _X}D{P}_x^2}{D{P}^2}\right)$$

Onde n é o número de itens do teste, DP o desvio padrão da nota bruta e DP_X o desvio padrão do xésimo item do teste.

O coeficiente alfa de Cronbach estima qual seria o coeficiente de correlação entre os escores no teste caso ele fosse reaplicado nas mesmas condições (auto correlação). O alfa de Cronbach também mede a proporção da variância do escore total no teste que não é devida a erros de medida. Ou seja, se o valor de ${\alpha }_C$ é igual a 0,70 isso implica em que 30% da variância do escore total é atribuída aos erros de medida. Esse erro da medida também pode ser interpretado - no âmbito das provas - como o número de participantes que teriam sua classificação no exame alterada, caso o mesmo exame (ou um exame similar) fosse reaplicado.

2.5. Índices da Teoria Clássica dos Testes

A teoria clássica dos testes discute a estrutura e os parâmetros que um teste deve apresentar, definindo protocolos para caracterizar tanto os itens que compõe o teste. Os dois principais índices para avaliar um item são os índices de facilidade (IF) e de discriminação (ID). O IF é a fração de alunos que acerta o item, enquanto o ID é um índice associado ao quanto o item separa os candidatos com maior e menor desempenho. De forma quantitativa, o ID é a diferença entre os IFs dos grupos formados pelos 27% dos candidatos com maior desempenho e pelos 27% com menor desempenho no score global do teste. Um ID menor que 0,25 significa que o item não separou alunos de maior e menor desempenho. Um ID negativo indica erro na construção do item, pois pessoas com menor desempenho geral apresentaram percentual de acerto maior do que os de maior desempenho [²⁴]. Esses índices, aliados a outros indicadores, serão utilizados na análise e caracterização dos itens de física da prova de ciências da natureza.

3. Resultados e Discussão

3.1. Desempenho e Status Socioeconômico no Enem de 2011, 2012 e 2014

A Figura 1 apresenta a média de acerto dos itens de física para os anos de 2011, 2012 e 2014 em função do SSE. Observa-se que o comportamento é similar em distintos anos. O SSE está distribuído em 40 pontos, e para cada ponto do SSE é calculada a média de acerto dos itens de física, sendo essa média compreendida entre zero e um. Observa-se que, nos três anos avaliados, a média do desempenho em física cresce em função do SSE. As três regiões do gráfico separadas por linhas tracejadas correspondem às classes baixa, média e alta. Para os três anos analisados, as médias do topo da classe alta correspondem ao dobro ou mais do que a média para a classe baixa (até 17 pontos).

Figura 1
Média dos itens de física em função do status socioeconômico para os anos de 2011, 2012 e 2014.

Os coeficientes de correlação de Pearson e eta para o desempenho em física em função do status socioeconômico são apresentados na Tabela 2. O coeficiente de correlação eta indica a o quanto da variação da nota pode ser explicada pelo SSE. A diferença observada entre os valores dos coeficientes de Pearson e eta sugerem a inexistência de linearidade entre as duas variáveis analisadas desempenho e status.

Tabela 2
Coeficientes de correlação de Pearson e eta para as provas do Enem de 2011, 2012 e 2104.

Enem	Correlação de Pearson	Correlação Eta
2011	0.285	0.489
2012	0.350	0.614
2014	0.258	0.485

3.2. Nota Média no Enem 2012

A Tabela 3 apresenta o desempenho médio dos candidatos na prova de ciências da natureza e nos 17 itens de física, em função da classe social. Como indicadores de desempenho são apresentados a média, o desvio padrão e as notas mínima e máxima. A metade superior da tabela indica as notas brutas, enquanto na parte inferior as notas são transformadas para uma escala entre zero e dez para facilitar a comparação entre as provas.

Tabela 3
Desempenho pela nota bruta média dos candidatos em função da classe social para a prova de ciências da natureza e para os itens de física, prova de 2012.

Classe Social	N	Ciências da Natureza				Itens de Física
		M	DP	Min.	Máx.	M	DP	Min.	Máx.
Todos	4,218,565	13.3	5.6	0	45	4.9	2.5	0	17
Classe Baixa	2,229,452	11.8	4.2	0	45	4.3	2.1	0	17
Classe Média	1,057,227	13.2	5.1	0	45	4.9	2.3	0	17
Classe Alta	931,886	16.9	7.2	0	45	6.3	2.9	0	17
Todos	100%	2.96	1.24	0	10	2.88	1.47	0	10
Classe Baixa	53%	2.62	0.93	0	10	2.53	1.24	0	10
Classe Média	25%	2.93	1.13	0	10	2.88	1.35	0	10
Classe Alta	22%	3.76	1.60	0	10	3.71	1.71	0	10

Temos um total de aproximadamente 4,2 milhões de candidatos, dos quais 2,2 milhões pertencem à classe baixa (53% dos candidatos), enquanto as classes média e alta apresentam aproximadamente 1,0 milhão de candidatos.

Observando as médias transformadas para uma escala entre zero e dez, vemos que os resultados para ciências da natureza e física são muito próximos, com um desempenho um pouco melhor em física para as classes mais baixas. Nessa mesma escala, os candidatos da classe baixa apresentam uma média igual a 2,5, enquanto a classe alta apresenta valores de média iguais a 3,7. A diferença entre esses grupos é de um desvio padrão do conjunto de candidatos, o que indica uma grande diferença de desempenho entre candidatos de classe baixa e classe alta.

Como os elaboradores da prova são especialistas em física com experiência em ensino e avaliação, espera-se que os itens da prova sejam adequados para avaliar o final da educação básica. É preocupante imaginar que a formação em física de nossos estudantes está tão abaixo do esperado, entre um e dois pontos acima da resposta ao acaso.

3.3. Desempenho dos Candidatos no Enem de 2012

Os índices de facilidade e de discriminação dos itens de física são apresentados na Tabela 4. Como uma primeira observação destacamos a presença de quatro itens com IF entre 0,4 e 0,6 (itens 47, 50, 71 e 72). Observa-se que esses itens apresentam altos valores para os IDs, sendo ótimos itens para avaliações [⁴]. Não existem itens com desempenho maior que o apresentado nesse conjunto, o que reflete a dificuldade dos itens para a maioria dos candidatos, novamente indicando problemas no ensino e na aprendizagem de física.

Tabela 4
Índices de facilidade (IF) e discriminação (ID) para os 17 itens associados à Física no Enem de 2012, com os códigos correspondentes à prova azul.

Item	47	50	54	55	60	61	64	67	71	72	73	74	77	78	83	84	88
IF	0.41	0.61	0.27	0.07	0.24	0.27	0.27	0.29	0.59	0.43	0.18	0.16	0.30	0.28	0.16	0.24	0.15
ID	0.56	0.45	0.47	0.11	0.19	0.42	0.45	0.22	0.58	0.57	0.21	0.19	0.36	0.30	0.23	0.28	0.22

O conjunto de itens com ID abaixo de 0,25 (itens 55, 60, 67, 73, 74, 83 e 88) é pouco adequado para avaliação. Valores baixos de ID sugerem que os itens sejam muito difíceis, ou que apresentem problemas na elaboração das alternativas. Esses resultados serão retomados na análise individual de cada item de física.

3.4. Alfa de Cronbach

Para discutir a validade da prova, foi calculado o alfa de Cronbach para a prova de ciências da natureza e para os itens de física. Os candidatos foram analisados como um todo e em grupos de acordo com sua classe social, sendo os resultados apresentados na Tabela 5.

Tabela 5
Alfa de Cronbach para a prova de ciências da natureza e para os itens de física.

		Alfa de Cronbach
	Número de Itens	Todos	Classe Baixa	Classe média	Classe alta
Ciências da Natureza	45	0.64	0.55	0.69	0.84
Itens de Física	17	0.51	0.33	0.45	0.63

Necessitamos de um parâmetro para avalia o que significam as medidas de fidedignidade realizadas sobre os dois testes. Ao propor parâmetros para se compreender o sentido prático desses valores, Fletcher sugere que

“A maneira mais prática de produzir testes mais fidedignos é simplesmente de aumentar o número de itens.[…] Tipicamente, uma prova curta, de apenas 15 itens, poderia ter um coeficiente de fidedignidade de 0,50; uma prova de 30 itens bem elaborados, uma fidedignidade de 0,80; e 85 itens, num teste aprimorado ao longo de vários anos, um coeficiente de 0,90”. [²⁵]

Para o conjunto de candidatos os itens de física apresentam uma fidedignidade baixa, porém próxima do esperado pela literatura (considerando o número de itens. Ao analisar os índices em função das classes sociais, nota-se que a confiabilidade aumenta para as classes sociais mais elevadas: para a classe alta, os resultados do alfa de Cronbach são ótimos, enquanto para as classes baixa e média o resultado é aquém do esperado. Esse resultado indica que o construto dessas avaliações reflete uma formação educacional da classe alta. As classes baixa e média não reconhecem a prova, os itens não se relacionam com seu nível de aprendizado, faltam informações a esses alunos sobre como resolver a prova. Apesar de estamos analisando apenas uma prova como indicador, os dados sugerem a necessidade de modificações urgentes no ensino de física. Dentre as possíveis ações teríamos a adequação dos conteúdos da base nacional curricular comum; a ampliação do investimento e a criação de uma carreira para os professores em exercício na rede pública, bem como aperfeiçoar a formação dos novos professores de física. Se faz necessários que professores, pesquisadores e elaboradores se debrucem sobre essas informações para compreender como ensinar melhor e como avaliar melhor a formação em física de nossos estudantes.

3.5. Itens de Física Excluídos da Análise

Alguns dos itens presentes na prova apresentaram problemas, seja pela resolução proposta, seja pela temática dos itens, sendo excluídos de uma análise mais detalhada (itens 60, 74, 77, 78 e 83). Os itens excluídos são comentados sucintamente a seguir.

Os candidatos são solicitados a analisar um gráfico de velocidade por tempo de um metrô, em três situações de movimento: aceleração, velocidade constante e desaceleração, item 60. A pergunta é qual o gráfico que representaria o movimento. A alternativa supostamente correta (E) apresenta o trecho de desaceleração do gráfico incompatível com o trecho da aceleração, não existindo resposta correta.

O movimento relativo de Marte observado a partir da Terra é a situação problema do item 74. Esse contexto foi considerado específico demais, portanto inadequado para uma prova associada à educação básica.

Uma proposta (complexa) de avaliar do peso de legumes por meio de sua densidade é apresentada no item 77. Além de apresentar problemas de dupla interpretação em suas informações, esse item foi muito criticado por outros pesquisadores [²⁶], motivos pelos quais foi excluído da análise.

Os princípios termodinâmicos que ocorrem no interior do motor, associados à ignição e a explosão são a temática do item 83. As alternativas são independentes do texto base, prejudicando a análise dos resultados.

Na discussão sobre os freios ABS é sugerida uma relação entre a pressão aplicada no pedal e a frenagem, porém na prática o acionamento do freio ABS depende de um sensor detectar quando carro desliza. A atuação desse sensor independe da intensidade da pressão aplicada sobre o freio pelo motorista. Logo, essa impossibilidade faz com que não exista uma alternativa correta para o item 78.

Cabe aqui uma breve reflexão sobre o motivo pelo qual existem alguns itens inadequados. Uma provável causa é que se está construindo uma cultura de avaliação a partir de situações problema cotidianas, a qual é distinta de uma avaliação tradicional - mais clássica e propedêutica - onde os problemas não são contextualizados. Outra possibilidade é a falta de escolas de avaliação no Brasil, diminuindo a formação de psicometristas também com formação em áreas de ensino de ciências.

3.6. Categorias dos Itens

Os itens foram classificados em quatro categorias: exercícios, problemas, contextualização no cotidiano e física moderna. Os exercícios de fixação - típicos exercícios de fim de capítulo - são comuns na educação básica e nos cursinhos preparatórios para acesso ao ensino superior, onde existe uma repetição de conceitos simples. Os problemas de lápis e papel apresentam situações problema mais complexas e elaboradas, necessitam de reflexão e transposição das informações do texto base para o universo físico. A categoria problemas contextualizados no cotidiano, a qual requer a associação entre os conceitos físicos com outros conhecimentos práticos do dia a dia. Finalmente, uma última categoria associada à física moderna e contemporânea, que é uma área incipiente dentro do ensino de física, ainda não tendo atingido todos os nossos estudantes.

3.7. Exercícios de Fixação

São apresentados quatro itens com as mesmas características dos exercícios de fixação presentes na maior parte dos livros didáticos [²⁷]. Analisaremos nessa seção quatro itens: matriz energética; carrinhos movidos a corda; logística de transportes e compactação de solos.

A Figura 2 apresenta um gráfico com a proporção de respostas em função do SSE. Também é apresentado o texto base, seguido de índices na parte inferior. Vamos começar a análise pelos índices. O primeiro bloco está associado aos índices de facilidade e discriminação. Esse item é fácil (IF igual a 0,59), apresenta uma grande separação entre os grupos com melhor e pior desempenho em física (ID igual a 0,58).

Figura 2
Proporção de respostas em função do SSE para o item relativo a matriz energética.

O segundo bloco indica a fração da escolha para cada uma das possíveis alternativas, com a alternativa associada ao gabarito (com o mesmo valor do IF) correspondendo a 59%. Nesse item, o que vemos é que todas as alternativas distintas do gabarito apresentam escolha abaixo da resposta aleatória.

O terceiro bloco indica as médias dos itens de física para cada uma das três classes econômicas, as quais são representadas no gráfico a partir das linhas tracejadas verticais, que separam as regiões das classes baixa, média e alta.

A resolução desse item requer uma leitura atenta tanto do enunciado quanto das alternativas. O gabarito (alternativa E, energia eólica) remete à informação do texto base sobre a existência de ventos constantes, além de utilizar informações que não fazem parte do texto base, associada aos efeitos colaterais das fontes energéticas.

As demais alternativas apresentam uma frequência abaixo da resposta ao acaso, sem importância na análise. A temática se reporta à ciência ambiental, com pouco conhecimento específico de física necessário para sua resolução. Como se observa no gráfico com o aumento do SSE aumenta a taxa de respostas corretas. Temos que 90% dos candidatos de alto estrato econômico respondem corretamente ao item.

Carrinhos de mola são o tema do item apresentado na Figura 3. A energia armazenada na mola do carrinho (na forma de energia potencial elástica) é convertida em energia cinética ao carrinho movimentar-se. São apresentados um conjunto de situações, onde se pede que o candidato avalie qual é a transformação energética similar, sendo que a única alternativa que apresenta energia potencial elástica é o estilingue (alternativa E). O texto das alternativas A e B remete ao universo dos automóveis, o que pode ter induzido algumas respostas, como se observa no gráfico.

Figura 3
Frequência dos itens em função do SSE para um carrinho de corda

Ao se comparar o desempenho das diferentes classes sociais, vemos que os candidatos da classe baixa obtiveram um IF de 56%, enquanto para a classe alta esse índice foi de 69%. Esse item apresentou, assim como o anterior, um alto valor para o ID.

O item sobre logística apresentada na Figura 4 é um exemplo de exercício de fixação associado à velocidade média, presente de forma similar em muitos livros didáticos. Um caminhão viaja para fazer uma entrega, rodando um primeiro trecho de 80 km a uma velocidade de 80 km/h, e em seguida um segundo trecho de 60 km andando a uma velocidade de 120 km/h. O item apresenta um contexto mínimo, sendo uma avaliação sobre a velocidade média. O gabarito (C) é obtido por duas contas simples, onde o caminhão gasta uma hora no primeiro trecho, seguido de meia hora no segundo trecho, totalizando uma hora e meia de viagem.

Figura 4
Frequência dos itens em função do SSE descrevendo a logística de uma entrega.

Os exercícios de fixação presentes em livros e apostilas costumam apresentar como resposta números inteiros, logo alguns candidatos - provavelmente - dividiram o maior número presente no enunciado pelo menor, obtendo um valor igual a 2 (alternativa D). A hipótese que os alunos esperam como resposta um número inteiro - associada à estrutura dos exercícios de fixação - foi sugerida por professores do ensino médio ao observarem esses resultados. Para um SSE em torno de 5, ambas as alternativas (C e D) apresentam uma escolha próxima de 30%.

É surpreendente que mesmo um tópico simples de velocidade média - o qual é extensivamente ensinado nas escolas - apresenta menos da metade dos candidatos acertando a resposta (IF=0,43).

Apesar da maior parte de nossa população ser urbana, as questões associadas à produtividade dos alimentos ocupa um bom espaço na mídia, como se reflete no item apresentado na Figura 5. O candidato é convidado a estabelecer relações entre os pneus e a pressão no solo, devendo perceber que a pressão é minimizada por pneus mais largos, com uma melhor distribuição do peso do trator sobre o solo, diminuindo sua compactação (gabarito C).

Figura 5
Frequência dos itens em função do SSE para a compactação do solo.

Nesse item é necessário estabelecer uma razão entre o peso e a área de contato do pneu com o solo. Pneus mais largos são considerados mais pesados que pneus mais estreitos, que seriam mais leves. A alternativa com maior frequência na classe baixa (alternativa B) está associada à uma concepção onde a pressão é confundida com área de contato: um pneu mais fino apresentaria menor área de contato, logo menor pressão. Outra possibilidade seria igualar a pressão à força, onde o pneu mais estreito, logo mais leve, realizaria menor força sobre o chão, logo a pressão também seria menor [²⁸].

Essa categoria de itens apresenta como característica comum um alto ID, o qual se reflete em uma grande diferença de desempenho entre as classes sociais, com o desempenho variando fortemente em relação ao SSE. Para um restrito grupo próximo de 40 pontos no SSE o acerto é próximo de 80%, enquanto o grupo de candidatos da classe baixa apresentam um acerto entre 20 e 40%.

3.8. Problemas de Lápis e Papel

Solucionar problemas de lápis e papel requer uma formação mais apurada, seja do domínio dos fundamentos de física, seja dos processos de leitura e interpretação de textos ou imagens. Nessa seção as notas são mais baixas, além da presença de concepções não científicas nas alternativas. As concepções não científicas atraem principalmente os estudantes das classes mais baixas, o que pode sugerir que as concepções prévias dos candidatos não foram resignificadas na passagem pela escola. Do ponto de vista de desempenho nos itens dessa seção candidatos do estrato superior da classe alta, próximos a 40 pontos no SSE, apresentam em média uma taxa de acerto de 60%, o dobro do grupo de alunos com SSE próximo a zero.

Serão analisados três itens nessa seção: mecânica ondulatória contextualizado em gotas de chuva em uma piscina; efeitos óticos associados à refração e eficiência de lâmpadas fluorescentes e incandescentes.

A Figura 6 apresenta uma discussão sobre mecânica ondulatória associada à formação de ondas em uma piscina. A contextualização associada aos valores numéricos nesse item tornou a situação problema complexa e difícil de ser analisada pelos candidatos.

Figura 6
Frequência dos itens em função do SSE envolvendo conceitos de ondas.

Vamos iniciar a discussão avaliando uma única gota, que ao cair irá propiciar uma onda concêntrica com várias cristas de onda atingindo a borda da piscina. As características da gota (velocidade, massa, etc.) e do meio (densidade, viscosidade, etc.) irão definir a velocidade de propagação e a frequência fundamental do sistema. A velocidade de propagação é função do meio, logo é uma constante que vale 1 m/s.

A frequência de propagação da onda é de 4 Hz, enquanto a frequência de gotejamento é de 2 Hz, logo, elas não estão em ressonância, além de que a região onde a gota caiu está oscilando, com a mesma frequência de 4 Hz. Dependendo de como o leitor interprete o texto base e como seja escolhido o máximo da onda - com as amplitudes associadas à ressonância ou simplesmente máximos consecutivos - temos duas soluções distintas!

Tanto o elaborador quanto os candidatos da classe alta optaram pelo efeito da ressonância no sistema, o que implica em mesma velocidade e dobrar a distância entre os máximos ao diminuir a frequência de gotejamento (gabarito, alternativa B). Esse item é um exemplo das dificuldades ao se propor uma contextualização no mundo real, e mais ainda, ao fornecer estimativas numéricas para essas situações [²⁹].

Provavelmente a opção pela alternativa C está associado à um raciocínio simples e direto: “diminuem as gotas logo todas as demais variáveis diminuem”. Nessa alternativa pode-se intuir um raciocínio com dependência unicamente linear entre as variáveis, uma associação direta: no lugar de “gotas”, poderia ser qualquer parâmetro físico.

Já para a alternativa E não ocorre nenhuma mudança ao modificar a frequência das gotas. Indica conhecimento sobre ondas, ao sugerir que o comprimento de onda e a velocidade da crista se mantém constante, pois ambas são geradas a partir de uma única gota, porém é mais provável que essa alternativa tenha sido atribuída de forma aleatória, por acaso.

Apesar de poucas pessoas reconhecerem os efeitos físicos associados ao comportamento da luz na transição entre distintos meios, são conhecidas as dificuldades em arpoar um peixe no interior do rio, sendo esse o tema explorado no item apresentado na Figura 7. Duas das alternativas (B e D) apresentam uma concepção não científica, onde os raios de luz são “emitidos pelos olhos dos índios”, tendo suas frequências somadas e apresentadas como “soma B+D”. Essa é uma concepção não científica clássica, conhecida como “ raio visual [que] é a concepção em que o olho tem um papel ativo na visão; existem variações dessa idéia, mas, basicamente, ela se traduz por algo que, saindo dos olhos, proporcionaria a visualização dos objetos” [³⁰]. Apesar de conhecidas por pesquisadores e muito comentadas na literatura, as concepções não científicas continuam atraindo muitos candidatos, fazendo parte da visão de mundo dos alunos da educação básica.

Figura 7
Frequência dos itens em função do SSE, relativa ao índio fisgando um peixe.

As lâmpadas incandescentes serão retiradas do mercado em breve, e irão fazer falta enquanto exemplos do cotidiano, pois estão presentes em muitos problemas e exercícios apresentados em sala de aula e nos livros didáticos. O fato da lâmpada operar com um filamento permite descrevê-la como uma resistência elétrica, o que não é exatamente verdade, visto que a resistência das lâmpadas incandescentes varia com a potência. Essa aproximação faz com que muitos itens sobre lâmpadas estejam presentes no Enem e nos vestibulares, sendo um deles apresentado na Figura 8.

Figura 8
Frequência dos itens em função do SSE. Comparação da eficiência de lâmpadas fluorescentes e incandescentes.

Os alunos sabem que as lâmpadas incandescentes apresentam menor eficiência; por isso escolheram preferencialmente as alternativas C e D, as quais somadas representam entre 60% e 70% das respostas. O texto associado à alternativa incorreta (D) apresenta duas afirmações, sendo que a primeira é verdadeira (a eficiência é menor que a de uma lâmpada fluorescente); porém o valor numérico associado à potência (40 W) indica que ambas consomem a mesma quantidade de energia.

Para optar pelo gabarito seria necessário interpretar a razão linear entre a quantidade de luz e o consumo. Não está muito claro no texto base como realizar essa operação. Novamente temos um item que apresenta uma estrutura de solução em vários passos: além de reconhecer a lâmpada fluorescente como mais eficiente, precisa realizar outra operação para obter o valor da potência. É importante lembrar que essas operações devem ser realizadas em um intervalo de tempo médio de três minutos, o que é um tempo curto para todo o raciocínio envolvido. Mesmo os estudantes da classe alta apresentam um acerto de 0,37, o qual pode ser considerado baixo.

Os itens classificados como problemas também apresentam, em geral, um ID acima de 0,4, o que sugere que esses itens são bons para classificar os candidatos nas provas, separando bem os grupos com melhor e pior desempenho.

3.9. Problemas Contextualizados no Cotidiano

Essa seção promove a aplicação dos conhecimentos de física em situações cotidianas. Note que esses problemas estão relacionados com as diretrizes nacionais para o ensino de ciências, as quais sugerem uma maior integração entre os fundamentos apresentados em sala de aula e as aplicações no dia a dia dos estudantes. Iremos analisar itens sobre dobradiças, chuveiro e ligações em paralelo, todos associados, de certa forma, ao mundo do trabalho.

O papel das dobradiças na movimentação de uma porta é uma temática instigante, faz parte da formação em física na educação básica, porém provavelmente é um tópico discutido em muitas poucas escolas, como indicam os resultados apresentados na Figura 9.

Figura 9
Frequência dos itens em função do SSE, discutindo o torque nas portas.

Existe uma ênfase na formação básica no corpo pontual, sendo os efeitos associados às dimensões dos corpos pouco explorados na educação básica, ou são por vezes simplificados pelos alunos. No caso específico desse item, é necessário considerar a porta como um corpo rígido e calcular o torque em cada uma das dobradiças. O gabarito (D) apresentou uma taxa de acerto igual a 10% para a classe alta e menos que isso para as demais classes sociais.

É notável a atratividade demonstrada pela alternativa C, com mais da metade das respostas. A porta presa às dobradiças é vista de forma similar à uma “porta pontual”, como uma partícula pontual sustentada por um fio. Apesar de se falar em um diagrama vetorial no enunciado, a força de sustentação se transforma em uma força vertical aplicada pelas dobradiças. Essa alternativa atrai 2/5 dos candidatos da classe alta e 3/5 da classe baixa. É uma concepção não científica provavelmente induzida pelos exercícios de fixação dos materiais didáticos, com o uso da expressão “um corpo pontual” em um grande número de exercícios e problemas.

A frequência das duas alternativas associadas a forças horizontais agindo sobre as dobradiças (alternativas A e B) foram somadas (no gráfico, “Soma A+B”). Uma provável concepção não científica associada à essas forças, e presente no cotidiano é associar “força (muscular) para fixar o parafuso na porta/na parede”, “força (resistência) que o parafuso suporta ao ser puxado” com a “força (no sentido físico) para sustentar a porta”.

Esse item sugere que os temas cotidianos, os quais aparentemente são de conhecimento de todos os candidatos, costumam apresentar um elevado grau de dificuldade, pois a transposição dos conceitos físicos de modelos para o mundo real é uma tarefa difícil.

Na Figura 10 temos um esquema de ligação de uma ducha higiênica sendo apresentado. Ao iniciar o texto base sobre essa instalação é citada a pressão mínima de água para o funcionamento correto: 20 kPa. Muito provavelmente uma parcela significativa dos candidatos “abandonou” o item a partir da leitura dessa indicação de pressão mínima para operação. Logo em seguida, é apresentado um esquema para a instalação, onde se solicita qual das diferentes alturas está relacionada com a pressão na ducha. A análise das respostas desse item sugere dificuldades para transpor o conhecimento propedêutico para uma situação prática, onde o esquema apresentado remete mais aos manuais práticos de instalação que as imagens de vasos comunicantes dos livros didáticos.

Figura 10
Frequência dos itens em função do SSE. Concepções alternativas sobre colunas de água.

A pergunta realizada para o candidato refere-se aos conceitos de pressão e vasos comunicantes, onde o candidato deve simplesmente indicar a diferença de altura entre o máximo da caixa d'água e a saída da ducha, correspondendo à altura h3 (gabarito C). A curva associada ao gabarito no gráfico é quase plana, em torno dos 30% para todas as classes sociais.

Ao optar pela altura h4 (21% das respostas, alternativa D) o que se observa é uma concepção não científica de que somente a “coluna de água” (a qual pode ser associada à água contida no cano) está relacionada à pressão, entre os dois extremos do cano, ou seja, da coluna d'água [³¹].

Finalmente, para a altura h5 (22%, alternativa E) os candidatos desconsideram que a pressão irá variar com a curva apresentada pelo cano, não considerando como vaso comunicante a “torcida” do cano entre a altura mínima do cano e a saída da ducha. Nos exercícios de fixação a pressão quase sempre está sendo medida entre um ponto de máximo e um ponto de mínimo, sem a curvatura apresentada nesse item. Um problema aparentemente simples de pressão e de vasos comunicantes não é compreendido ou resolvido por uma parcela significativa dos candidatos (70% em qualquer classe social).

Nosso terceiro exemplo doméstico da prova de 2012 é uma ligação elétrica em paralelo. Embora a totalidade dos candidatos já tenha utilizado uma ligação elétrica em paralelo para acender ou apagar luzes em um corredor, provavelmente poucos pensaram sobre essa situação problema, a qual é apresentada esquematicamente na Figura 11.

Figura 11
Frequência dos itens em função do SSE. Ligação doméstica em paralelo.

Ainda que esse item possa ser associado aos conceitos de física, não é um item tradicional, não apresenta estrutura similar às outras situações enfrentadas pelo candidato em sua formação. Esse item é apresentado em um contexto técnico, seja pelo visual das conexões, seja pelo jargão da área quando comenta sobre “polos” e “terminais”, termos próprios da eletro-eletrônica, não fazendo parte do ensino médio comum.

Esta é uma análise visual, onde o primeiro passo seria identificar as entradas da alimentação, a fase e o neutro, mantendo a linguagem técnica. Como a alternativa A não apresenta duas entradas, é eliminada, com somente 12% das respostas. Um olhar de especialista poderia dizer que dois outros circuitos (alternativa B 23% e alternativa D 26%) podem ser ligadas em um curto-circuito, não podendo ser utilizados.

Entre as duas montagens que sobraram a montagem C faz com que somente uma das extremidades do corredor ligue ou desligue a lâmpada. Por fim, nos sobrou a alternativa correta E, sendo a última analisadas pelos candidatos. O fato da resposta correta ser o último tópico a ser avaliado pode ter diminuído a frequência de acertos prejudicado um pouco a resposta, nesse caso específico.

Os três itens classificados na categoria cotidiana apresentam baixas taxas de acerto em todo espectro social, de forma que o resultado gráfico (qualitativo) para as respostas corretas poderia ser representado por uma reta paralela ao eixo do SSE. De forma geral, poucos acertam e dentre eles, não conseguimos saber quem acertou ao acaso ou quem conseguiu resolver a situação problema proposta.

Esses resultados indicam que os candidatos - independentemente de seu status socioeconômico - não apresentam a formação necessária para tratar problemas envolvendo situações experimentais cotidianas. O resultado apresentado sugere que a formação nossos alunos em física na educação básica - em qualquer classe social - é focada em uma visão propedêutica, com dificuldades na transposição dos conhecimentos básicos de física para situações cotidianas.

Esses itens também não foram adequados para avaliação, pois o ID foi muito baixo em todos os casos, com pouca separação entre os candidatos. O item sobre a porta apresentou um ID de 0,11, enquanto os demais um ID próximo de 0,2.

Ao mesmo tempo, ao analisar a prova do PISA, alguns pesquisadores sugerem que

“O entendimento do termo contextualização como “cotidianização” vinculado à transmissão tradicional de conteúdos pode estar dificultando um trabalho efetivo para um adequado letramento científico, pois não há comprometimento com o desenvolvimento das competências e habilidades necessárias para que aluno possa ir além do seu cotidiano ou realidade física imediata” [³²].

Porém, o que observamos é que, mesmo uma contextualização no cotidiano não consegue ser bem interpretada por nossos alunos. Temos que repensar a estrutura da formação no ensino médio, pois esses resultados indicam ausência de visão experimental e aplicada dos conceitos de física.

3.10. Física Moderna e Contemporânea

A física moderna e contemporânea (FMC) tem buscado maior inserção no ensino médio nas últimas décadas, porém ainda se encontra distante dos professores, como relatado por Pereira em sua revisão “[d]os 50 artigos de pesquisas consultados, 22 referemse à inserção de temas de FMC no ensino médio [..] [c]abe destacar que apenas 7 trabalhos da amostra envolveram professores em serviço ou em formação inicial” [³³]. Apesar de sua importância, FMC não parece estar presente na formação dos professores de física, logo, torna-se difícil supor que ela atinja o universo dos alunos.

Temos o exemplo de duas situações problema próximas da FMC que surgem na prova do Enem: o uso da radioatividade para a esterilização de material médico (Figura 12) e por que uma lâmpada incandescente não bronzeia (Figura 13).

Figura 12
Frequência dos itens em função do SSE. Radiação e contaminação.

Figura 13
Frequência dos itens em função do SSE. Bronzeamento, frequência e intensidade.

Matéria e radiação são temas presentes nas orientações curriculares para o ensino de física. Porém o que se observa é um comportamento quase linear entre as escolhas das alternativas e o SSE, o que indica um desconhecimento ou concepções prévias sobre o efeito da radiação. O material ser incapaz de acumular radiação, portanto não se tornar radioativo, que é a alternativa correta, é citada por 24% dos candidatos, com pouca variação entre as classes sociais. Nota-se que a alternativa com maior taxa de respostas (alternativa D, 29%) sugere que a emissão radioativa do material é baixa, portanto não oferece risco. O que se percebe é que a taxa de resposta do gabarito é similar ás outras alternativas, o que sugere a existência de uma forte concepção não científica associada à radiação nuclear, presente também em outros países [³⁴].

Mais de 40% dos respondentes - de qualquer classe social - optaram por afirmar que o bronzeamento não ocorreu porque a lâmpada apresenta baixa intensidade (alternativa A, 42%). Essa é uma concepção não científica, associada à “intensidade do sol”: as pessoas se bronzeiam quando o sol “está forte”, se o sol “está fraco” não ocorre o bronzeamento. O conceito cotidiano de intensidade solar e bronzeamento é transferido para a lâmpada. Existe algum conhecimento sobre o caráter ondulatório da radiação por parte dos candidatos que escolheram a alternativa D (15%), indicando (erroneamente) um “curto comprimento de onda”. O gabarito (alternativa B, 15%) está associado à baixa frequência da luz emitida pela lâmpada fluorescente, enquanto a radiação ultravioleta que é necessária para promover a formação de melanina apresenta uma frequência mais alta que o espectro visível emitido pela lâmpada incandescente.

Em geral, o acerto nos itens de FMC foi baixo, sugerindo um desconhecimento das informações solicitadas sobre essa área, indicando que necessitamos de uma maior inserção de FMC nas escolas para podermos avaliar mesmo questões muito básicas na área.

4. Conclusões

Para garantir que a dependência do desempenho em física dos fatores socioeconômicos não é um efeito percebido em uma única aplicação do Enem, observamos o desempenho dos itens de física nas provas dos anos de 2011, 2012 e 2014. Observamos que nesses três anos a média da classe alta é o dobro da média da classe baixa. Na seleção dos itens de física, foram utilizados professores (do ensino superior e da educação básica) como juízes, sendo que a coincidência entre os juízes nas diversas classificações foi acima de 80%, o que indica uma ótima confiabilidade na classificação.

Para a prova de 2012, a qual foi analisada em maiores detalhes, cinco itens apresentaram problemas, seja por problemas nas alternativas ou no gabarito (quatro itens); seja por inadequação ao contexto da educação básica (um item). A contextualização é o primeiro passo para aumentar a atratividade do ensino de física, não será possível ensinar bem física para um maior número de alunos sem uma contextualização do conhecimento físico adequada. Uma prova contextualizada é parte desse processo, portanto, apesar das falhas existentes - que devem ser revistas e corrigidas - não devemos retroceder aos itens descontextualizados e baseados somente em conteúdo como eram os antigos vestibulares.

Foram medidos os valores de alfa de Cronbach para a prova de ciências da natureza e para o conjunto de itens de física, buscando avaliar sua confiabilidade enquanto instrumento de avaliação, obtendo valores iguais a 0,64 e 0,51, respectivamente. Considerando o número de itens de física o valor é próximo do esperado pela literatura, enquanto para a prova de ciências da natureza o valor de alfa é um pouco abaixo do esperado, sugerindo a existência de alguns problemas na estrutura da prova.

Ao analisar o alfa de Cronbach em cada classe social (alta, média e baixa) observa-se que a confiabilidade é ótima - tanto para física quanto para ciências - quando os alunos respondentes pertencem à classe alta. Esse resultado sugere que a formação educacional em física e ciências da natureza ministrada aos alunos das classes baixa e média está aquém dos conhecimentos solicitados nas provas do Enem.

Temos quatro categorias de itens avaliados na prova de 2012: exercícios de fixação; problemas de papel e lápis; problemas contextualizados no cotididano e física moderna e contemporânea. O maior impacto associado a classe social ocorre para exercícios de fixação e problemas de papel e lápis. Essas categorias de itens são mais treináveis que as demais categorias avaliadas, ampliando assim as diferenças associadas à redes escolares, e consequentemente, à situação socioeconômica familiar. Os exercícios de fixação apresentam uma média para o estrato superior da classe alta próxima de 80%, reduzindo-se à metade ou menos para a classe baixa. Os indicadores de discriminação situam-se acima de 0,4, o que indica uma boa separação entre os grupos com melhor e pior desempenho na prova, sendo itens ótimos para processos de avaliação.

Os problemas de papel e lápis propostos apresentam concepções alternativas ou não científicas nas alternativas erradas, atraindo a maioria dos candidatos, independentemente de sua classe social. A média geral cai na presença dessas concepções.

Apesar do esforço realizado pelos pesquisadores da área de ensino de física, as concepções prévias-como o olho ser um elemento ativo no processo de visão; a intensidade da luz produzir o bronzeamento - ou as concepções alternativas - como é o caso de uma coluna de água ser associada somente a um cano cheio de água, não ao nível d'agua na tubulação - continuam presentes no universo dos alunos.

A física contextualizada no cotidiano pode envolver situações problema mais próximas do mundo do trabalho que dos livros didáticos (ligações em paralelo, instalação de chuveiro, parafusos). Os candidatos apresentam uma alta taxa de erro, sendo que o desempenho depende menos da classe social que as categorias analisadas anteriormente. O desempenho geral é muito baixo, próximo ou um pouco acima da resposta ao acaso. Para os itens contextualizados, aparentemente, os candidatos necessitam se apropriar também de habilidades não escolares para elaborar a sua solução, somente o aprendizado escolar não é suficiente.

No caso de física moderna e contemporânea, temos que para os dois itens analisados a alternativa com maior frequência de escolha não foi o gabarito, em qualquer classe social. Esse resultado sugere que a presença da FMC nas escolas ainda é pequena, necessitando um maior empenho por parte dos professores para sua inserção.

Esperamos com o presente trabalho contribuir para que os professores do ensino médio possam refletir sobre os tipos mais comuns de erros dos estudantes, e que possam também compreender - a partir do status socioeconômico de seus alunos - quais seriam os tópicos que necessitariam de reforço para que os fundamentos de física sejam melhor compreendidos; e quem sabe, auxiliando os professores a conduzir suas aulas a partir dessas velhas informações corroboradas por novas medidas.

Agradecimentos

Esse trabalho foi parcialmente financiado pelo projeto MEC/INEP/DIRED/UFSCar intitulado “A Prova do Enem: Impacto das Variáveis Cognitivas, Econômicas e Sociais no Desempenho”, com apoio complementar do FAEPEX/Unicamp. Agradeço também aos juízes que participaram da seleção dos itens de física: Caio Ferrari de Oliveira, Cleoni dos Santos Carvalho, Fabiana Roberta Gonçalves e Silva Hussein, Fernanda Keila Marinho da Silva, Guilherme Stecca Marcom, Luciana Camargo de Oliveira, Marcos Antonio Florczak, Maria José Fontana Gebara, Noemi Sutil, Sergio Dias Campos e Tersio Guilherme de Souza Cruz.

• 1
  SAT Scholastic Assessment Test, que pode ser traduzido livremente como um teste para medida da qualidade escolar.
• 2
  Tradução do autor
• 3
  http://portal.inep.gov.br/basica-levantamentos-acessar

Referências

• ^[1]
  Brasil, Lei de Diretrizes e Bases da Educação Nacional: n° 9394/96 (Senado Federal, Brasília, 1996).
• ^[2]
  Enem, disponível em http://www.dominiopublico.gov.br/download/texto/me000115.pdf, acesso em 10/3/2016.
  » http://www.dominiopublico.gov.br/download/texto/me000115.pdf
• ^[3]
  W.B. Andriola, Ensaio: Aval. Pol. Públ. Educ. 19, 107 (2011).
• ^[4]
  V.H. Noll, Introdução às Medidas Educacionais (Livraria Pioneira Editora, São Paulo, 1965).
• ^[5]
  M. Walpole, P.M. McDonough, C.J. Bauer, C. Gibson, K. Kanyi and R. Toliver, Urban Education 40, 321 (2005).
• ^[6]
  P. Bourdieu and J.C. Passeron, Escritos de Educação (Vozes, Petrópolis, 1998), 1a ed.
• ^[7]
  M.U. Kleinke and M.J.F. Gebara, in: Anais do VI ENPEC, disponível em http://www.nutes.ufrj.br/abrapec/vienpec/CR2/p919.pdf, acesso em 10/3/2016.
  » http://www.nutes.ufrj.br/abrapec/vienpec/CR2/p919.pdf
• ^[8]
  M. Bratti, D. Checchi and A. Filippin, IZA Discussion Paper No. 2603 (2007), disponível em http://ftp.iza.org/dp2603.pdf, acesso em 14/10/2016.
  » http://ftp.iza.org/dp2603.pdf
• ^[9]
  F.L. da Silveira, M.C.B Barbosa and R. Silva, Rev. Bras. Ensino Fís. 37, 1101 (2015) .
• ^[10]
  M. Krasilchik, disponível em http://www.scielo.br/pdf/spp/v14n1/9805.pdf, acesso em 30/6/2007.
  » http://www.scielo.br/pdf/spp/v14n1/9805.pdf
• ^[11]
  MEC/INEP/DAEB, Devolutivas Pedagógicas das Avaliações de Larga Escala Fundamentação Teórica e Metodológica, disponível em http://devolutivas.inep.gov.br/uploads/docs/FundamentaDevolutivas.pdf, acesso em 15/6/2016.
  » http://devolutivas.inep.gov.br/uploads/docs/FundamentaDevolutivas.pdf
• ^[12]
  M. Taras, Práxis Educativa 2, 123 (2010).
• ^[13]
  M.G.J. Setton, Educ. Soc. 26, 77 (2005).
• ^[14]
  L.W. Perna and L.W. Studying, in: Higher Education: Handbook of Theory and Research vol. XXI, edited by J.C. Smart (Kluwer Academic Publishers, Dordrecht, 2006).
• ^[15]
  W.P. Gonçalves Jr e M.F. Barroso, Revista Brasileira de Ensino de Física 1, 1 (2014).
• ^[16]
  E. Viggiano, L.C. Barboza e C. Mattos, Enseñanza de las Ciencias Extra, 3701 (2013).
• ^[17]
  G. S. Marcom e M.U. Kleinke, Caderno Brasileiro de Ensino de Física 33, 72 (2016).
• ^[18]
  J.S. Hernandes e M.I. Martins, Caderno Brasileiro de Ensino de Física 1, 58 (2013).
• ^[19]
  R. Silva, L.C. Lamb and M.C. Barbosa, Physica A 497, 295 (2016).
• ^[20]
  Critério de Classificação Econômica Brasil, disponível em file:///C:/Users/User/Downloads/03˙cceb˙2012˙base˙lse˙2010.pdf, acessado em 10/3/2016.
  » file:///C:/Users/User/Downloads/03˙cceb˙2012˙base˙lse˙2010.pdf
• ^[21]
  J. Sim and C.C. Wright, Physical Therapy 85, 257 (2005).
• ^[22]
  L.J. Cronbach, Psychometrika 16, 297 (1951).
• ^[23]
  L.J. Cronbach and R.J. Shavelson, Educational and Psychological Measurement 64, 391 (2004).
• ^[24]
  M. Rabelo, Avaliação Educacional - Fundamentos, Metodologia e Aplicações no Contexto Brasileiro (Sociedade Brasileira de Matemática, São Paulo, 2013).
• ^[25]
  P.R. Fletcher Da Teoria Clássica dos Testes para os Modelos de Resposta ao Item (Escola Nacional de Ciências Estatísticas, Rio de Janeiro, 2010).
• ^[26]
  F.L. Silveira, J. Stilck e M. Barbosa, Caderno Brasileiro de Ensino de Física 2, 473 (2014).
• ^[27]
  L.O.Q. Peduzzi, Caderno Brasileiro de Ensino de Física 3, 229 (1997).
• ^[28]
  American Institute of Physics, Children's Misconceptions about Science, disponível em http://amasci.com/miscon/opphys.html, acessado em 10/3/2016.
  » http://amasci.com/miscon/opphys.html
• ^[29]
  M.C. Wittmann, Student Difficulties With Wave Concepts, disponível em www.physics.umd.edu/perg/papers/wittmann/seminartalk/index.htm, acessado em 10/3/2016.
  » www.physics.umd.edu/perg/papers/wittmann/seminartalk/index.htm
• ^[30]
  J.P. Gircoreano and J.L.A. Pacca, Cad. Cat. Ens. Fís. 1, 26 (2001).
• ^[31]
  S. Pathare and H.C. Pradhan, in: epiSTEME- 1 International Conference to Review Research on Science, Technology, and Mathematics Education, disponível em http://www.hbcse.tifr.res.in/episteme/episteme-1/allabs/shirish˙abs.pdf, (2004), acessado em 6/4/2016.
  » http://www.hbcse.tifr.res.in/episteme/episteme-1/allabs/shirish˙abs.pdf
• ^[32]
  M.S.O. Massunaga, G. Rubini e M.F. Barroso, in: Reuniões da ABAVE, disponível em http://www.if.ufrj.br/˜pef/producao˙academica/anais/2015˙marta˙2.pdf, acessado em 05/04/2016 .
  » http://www.if.ufrj.br/˜pef/producao˙academica/anais/2015˙marta˙2.pdf
• ^[33]
  A.P. Pereira e F. Ostermann, Investigações em Ensino de Ciências 3, 393 (2009).
• ^[34]
  C. Nakiboglu and B.B. Tekin, J. Chem. Educ. 83, 1712 (2006).

Datas de Publicação

• Publicação nesta coleção
  2017

Histórico

• Recebido
  06 Abr 2016
• Revisado
  04 Out 2016
• Aceito
  08 Out 2016