UMA PROPOSTA DE ANÁLISE DAS QUESTÕES DE QUÍMICA NO ENADE EM FUNÇÃO DO NÍVEL COGNITIVO DE DIFICULDADE

Resumo

A PROPOSAL FOR ANALYZING CHEMISTRY ISSUES AT ENADE ACCORDING TO THE COGNITIVE LEVEL OF DIFFICULTY. This article aims to present an analysis of the ENADE-Chemistry exam using a taxonomy based on the cognitive operations mobilized to solve the chemistry issues here called as Cognitive Level of Difficulty. In addition to identifying contents in the area of knowledge, skills and competences. All questions from the exams of the years 2011, 2014 and 2017 were analyzed; selected the statistical data present on the reports issued by INEP for four higher-educational institutions (UFRN, UTFPR, UFU and UFAM) and the percentages of the distractors indicated. These data were organized in an excel spreadsheet (database) that helped the comparisons of different variables. As a result, we observed discrepancies when comparing the variables of the ease index and the cognitive level of difficulty for the questions that addressed general chemistry concepts. For example, issues considered very difficult in the easiness rating, but which required low order thinking skills and reciprocally. We consider the proposed taxonomy of analysis of cognitive operations and the database is a tool that can contribute to their courses structure. Furthermore, the proposal can be extended to other areas.

Keywords:
cognitive level of difficulty; general chemistry; ENADE

INTRODUÇÃO

O Exame Nacional de Desempenho de Estudantes (ENADE) é uma avaliação nacional em larga escala aplicada trienalmente a cada área de conhecimento. O Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira - INEP conduz a avaliação sob a orientação da Comissão Nacional de Avaliação da Educação Superior – CONAES.¹,² A nota dos concluintes nesse exame compõe o conceito preliminar de curso do ensino superior da instituição, além de itens como o valor agregado pelo processo formativo oferecido pelo curso, o corpo docente e a percepção discente sobre as condições do processo formativo. A nota do ENADE é a mais divulgada pela mídia e, consequentemente, pela sociedade como uma forma de ranking dos cursos de ensino superior. Para além da nota do ENADE, o INEP disponibiliza relatórios dos cursos e das IES cujo objetivo é trazer informações relevantes a partir da análise do desempenho e do perfil dos estudantes dos cursos avaliados possibilitando, por exemplo, confrontar dados entre diferentes IES, a fim de subsidiar possíveis análises e avaliações das políticas institucionais. Entretanto, nem sempre a forma de apresentação desses dados nos relatórios é de fácil e rápida compreensão pelo leitor/pesquisador/docente, seja pela expressiva quantidade de dados ou pelo modo de exibição.

O ENADE tem o objetivo de avaliar a ‘qualidade’ do ensino oferecido pelos cursos de graduação por meio da verificação do domínio dos conhecimentos desejáveis ao graduando.³ Um dos objetivos do exame é o de ‘aferir’ o rendimento dos concluintes com relação aos conteúdos programáticos previstos nas diretrizes curriculares dos cursos de graduação e as competências e habilidades adquiridas ao longo da formação.⁴ Cabe esclarecer que reconhecemos a polêmica discussão sobre competências e habilidades⁵ e as discordâncias, no que se refere a definição dos termos, ao não os diferenciar, entretanto, esse não é nosso objeto de estudo.

Assumimos neste trabalho que um instrumento de avaliação não pode se limitar apenas a perguntas do tipo reprodutivas ou de memorização, implicando em uma perspectiva muito reducionista da verificação da ‘qualidade’ da formação.⁶ Entendemos que, para melhor dimensionar o desempenho dos estudantes, uma sugestão seria considerar outros critérios. Assim, a questão que norteia nosso estudo é que critérios ou elementos podem ser considerados a partir dos resultados do exame do ENADE que podem subsidiar uma discussão interna nas IES sobre a melhoria dos cursos de graduação em Química? Tal problemática emerge de debates em nossas instituições de ensino, particularmente, no âmbito do Núcleo Docente Estruturante, sobre o uso ou não do ENADE como orientador nas mudanças no projeto pedagógico do curso. Para atender a essa questão de estudo, organizamos nossa investigação em duas etapas, sendo a primeira a análise das questões de conhecimentos gerais e específicos de Química nas provas do ENADE nos anos de 2011, 2014 e 2017. Esta análise considerou as competências e habilidades, publicadas no DOU, e as áreas de conhecimento químico e, por fim, as operações cognitivas exigidas para a resolução de cada questão de acordo com uma taxonomia própria. Posteriormente, foram selecionadas informações nos relatórios do ENADE sobre cada curso no que se refere ao índice de discriminação, índice de facilidade, percentual assinalado em cada descritor das questões. Nesse caso, o corpus de análise foram todos os relatórios publicados nos anos de 2011, 2014 e 2017 para os cursos de Química da UFRN, UFU, UTFPR e UFAM. Dado ao grande volume de informações foi elaborado um banco de dados para comparar as variáveis. Assim, apresentamos neste artigo o processo de elaboração deste banco de dados, suas características e possibilidades de geração de gráficos comparativos de variáveis, particularmente do Nível Cognitivo de Dificuldade. Esse, por sua vez, constitui um novo critério para responder a nossa questão norteadora. Como forma de apresentar sua potencialidade, ilustraremos com exemplos de questões em que tinham presentes conceitos relacionados a Química Geral.

OPERAÇÕES COGNITIVAS/HABILIDADES DE PENSAMENTO NA RESOLUÇÃO DE TAREFAS

As operações cognitivas ou também chamadas habilidades de pensamento são mobilizadas pela pessoa durante a resolução das tarefas.⁷,⁸ Podem ainda ser classificadas em habilidades de pensamento de ordem superior (alta ordem) ou inferior (baixa ordem).⁹,¹⁰ Tal perspectiva se relaciona com estudos do campo da psicologia.¹¹ Particularmente, o modelo explicativo que busca descrever a mobilização das operações cognitivas é a abordagem do processamento humano de informação, a qual busca investigar os processos cognitivos envolvidos na resolução de tarefas. Por exemplo, quando uma pessoa resolve uma tarefa, é impulsionada a utilizar diferentes estratégias de pensamento que levam a ação.¹¹ Há discussões desde a neuropsicologia em que se discute a classificação linear das operações cognitivas e do desenvolvimento perceptivo e cognitivo.¹² Reconhecemos tais debates no campo da neurociência cognitiva em que o individuo diante de uma tarefa realiza várias conexões ao mesmo tempo e seus diferentes paradigmas explicativos.¹³ Entretanto, tal discussão foge do espoco de nosso estudo. Por outro lado, há um consenso em que na execução de tarefas, os indivíduos executam operações cognitivas, sejam de alta ou baixa ordem. Por fim, apesar das limitações de tal modelo, entendemos que ele nos auxilia a identificar certa hierarquia entre as habilidades de pensamento.

Considerando tais discussões, as estratégias podem ser organizadas em dois grupos: (a) habilidades de ordem cognitiva superior, HOCS (Higher Order Cognitive Skills) que, de modo geral, abrangem capacidades como de formular questões, elaborar argumentos, criticar pontos de vista diferentes, solucionar problemas entre outras; (b) habilidades cognitivas de baixa ordem, LOCS (Lower Order Cognitive Skills) que envolvem, por exemplo, decodificar os dados apresentados na questão, buscar na memória o conceito, a lei ou a fórmula para resolver e, aplicar esta regra aos dados apresentados.⁹,¹⁰

É ainda com base nesse modelo que se apoia uma distinção entre habilidade cognitiva e competência.⁵ Assim, a habilidade cognitiva é mobilizada antes, durante e depois da execução de uma ação em que são apresentadas, como resultado final, respostas a um dado problema ou situação a partir de um conhecimento e a competência indicaria um nível padronizado na realização dessas ações.⁸,¹¹ Em um caminho inverso, ao olhar as operações cognitivas em termos de habilidades de pensamento manifestadas pelos graduandos ao resolver uma dada questão ou tarefa, é possível inferir aquelas que estão sendo desenvolvidas nos cursos do ensino superior.¹⁴,¹⁵ É nesse sentido que apontamos a contribuição do nosso estudo.

As operações cognitivas ou habilidades de pensamento podem ser consideradas em termos de dificuldade na execução da ação em função da compreensão e resolução em diferentes níveis.⁴,⁵

Há propostas de taxonomia das operações cognitivas, por exemplo, decodificar dados, memorizar, aplicar fórmulas ou regras, interpretar, generalizar etc.⁸,¹⁰,¹¹,¹⁵,¹⁶ Essas, por sua vez, possuem diferentes níveis de complexidade. A Tabela 1, a seguir, apresenta a taxonomia utilizada em nossa análise para as operações cognitivas⁴,¹⁶,¹⁷,¹⁸ e sua elaboração teve apoio em outros referenciais.⁷,¹⁰

De acordo com a Tabela 1, as tarefas crescem de uma menor para maior complexidade. As tarefas que mobilizam habilidades cognitivas de baixa ordem (LOCS) exigem uma dificuldade cognitiva mínima e, aqui consideramos como tarefas ‘fáceis’. As tarefas que mobilizam habilidades de ordem cognitiva superior (HOCS) exigem diferentes níveis cognitivos indo do ‘médio’ a ‘muito difícil’. Essa classificação vem sendo desenvolvida no âmbito do Grupo de Pesquisa Química, Ensino e Aprendizagem ao longo dos últimos 3 anos.⁴,¹⁶-¹⁹

A partir deste cenário, as questões do ENADE-Química das provas dos anos de 2011, 2014 e 2017 foram analisadas em termos de operações cognitivas, conteúdos conceituais, competências e habilidades, resultando em uma classificação relacionada ao nível cognitivo de dificuldade.¹⁴ Com base nas análises e, a partir de informações disponibilizadas nos relatórios de desempenho dos cursos, foi desenvolvido um banco de dados, o qual tem a potencialidade de comparar diferentes variáveis e fornecer mais informações no que diz respeito às questões em si (área do conhecimento, nível cognitivo de dificuldade, etc), o seu layout e outras funcionalidades tornam a leitura e interpretação dos dados mais direta e compreensível. A intencionalidade durante a construção do banco de dados foi a de proporcionar a exibição das informações de forma a lhes dar um contexto significativo e, por conseguinte, buscar correlações e possíveis inferências, propiciando um melhor entendimento sobre os resultados apresentados, seus principais indicadores e o que se pode fazer a partir deles, ou seja, que decisões podem ser tomadas a partir das análises. Neste artigo, procuramos apresentar como o banco de dados foi construído e as potencialidades que, enquanto ferramenta, pode nos dar informações diferentes para além da perspectiva atual do ENADE, isso é, o nível cognitivo de dificuldade.

Tabela 1
Relação entre operações cognitivas de dificuldade e o Nível Cognitivo de Dificuldade

PARTE EXPERIMENTAL: O PROCESSO DE CONSTRUÇÃO DO BANCO DE DADOS

O Banco de Dados de análise do ENADE-Química é composto por aspectos quantitativos e qualitativos que fornecem elementos para a seleção e o cruzamento de diferentes variáveis estatísticas. Para sua construção, foram necessárias diversas etapas, conforme a figura a seguir:

Na Figura 1, a etapa 01 consistiu, inicialmente, nos estudos do referencial teórico das operações cognitivas e dos documentos oficiais previstos para conhecimentos gerais e específicos, competências e habilidades (de acordo com a portaria publicada no Diário Oficial da União para a prova daquele ano). Para a análise utilizamos a taxonomia da Tabela 1, caracterizando as questões em função do nível cognitivo de dificuldade. Do estudo do referencial teórico e dos documentos oficiais, foi possível estruturar um roteiro de análise das questões abordando a área de conhecimento presente na questão (por vezes, havia mais de uma), as habilidades e as competências de acordo com a Diretrizes Curriculares Nacionais para o curso. As etapas 02 e 03 se complementam e consistiram na análise das questões, sendo realizada por uma equipe variada de pesquisadores com formação em Química Orgânica, Química Inorgânica, Físico-Química, Química Analítica e Educação Química. As questões foram analisadas às cegas por duplas e, quando havia discrepância nas análises, um terceiro pesquisador era consultado.

Figura 1
Percurso metodológico para a coleta de informações para o banco de dados

Já a etapa 04 consistiu na seleção de dados presentes nos relatórios elaborados pelo INEP para cada curso de Química das universidades envolvidas no projeto de pesquisa (UFRN, UFU, UTFPR e UFAM). Por exemplo, o desempenho de cada curso comparando aos resultados do Brasil, do Estado, das IES públicas e privadas, os índices de acerto em cada um dos distratores das questões entre outros.

A partir desse volume de informações coletadas e das análises foi construído um Banco de Dados bastante didático e intuitivo, em que é possível fazer facilmente a leitura e interpretação tanto dos dados disponíveis nos relatórios do INEP (por exemplo, o desempenho de um determinado curso comparado aos resultados do Brasil, do Estado, das IES públicas e privadas; os índices de acerto em cada um dos distratores em uma determinada questão), bem como o cruzamento de novos dados (por exemplo, o conteúdo químico envolvido em uma questão com o desempenho dos estudantes do curso de Licenciatura da UFRN).

Por fim, a etapa 05 na Figura 2 refere-se às inferências possíveis de serem realizadas a partir do cruzamento das variáveis do Banco de Dados do ENADE-Química. Essas, por sua vez, podem ser úteis ao corpo docente, levando-o a refletir sobre as características da formação inicial dos seus egressos em termos de processos de ensino e aprendizagem de conceitos científicos e de operações cognitivas. Cabe ressaltar que, apesar da análise ter sido realizada para todas as questões de Química (conhecimento geral e específico) e as de formação geral, para efeitos de comparação e análise gráfica que contribuísse com a etapa 05 de inferências, o banco de dados foi elaborado apenas com as questões objetivas. Assim, detalharemos a sua organização exemplificando com questões das provas dos anos de 2011, 2014 e 2017 em que foram abordados conceitos de conhecimento gerais de Química.

POTENCIALIDADES DO BANCO DE DADOS

O Banco de dados é formado por várias páginas e, para efeitos de apresentação neste artigo, selecionamos recortes, de modo a facilitar o entendimento da sua organização. Assim, a primeira página consta dos seguintes dados: a área de conhecimento, o percentual de acerto da IES e por Unidades Federativas, o percentual das alternativas assinaladas, o índice de facilidade e sua classificação, o índice de discriminação e sua classificação, o nível cognitivo de dificuldade e sua classificação. A seguir detalharemos estas variáveis exemplificando seus significados e correlações.

Área de conhecimento e o percentual de acerto da IES

Na Figura 3, são apresentados dados do curso de Química da UFRN obtidos em 2011. A opção por apresentar os dados referentes a 2011 foi em função do número de questões abordando de Química Geral (seis questões em 2011, nenhuma em 2014 e apenas uma em 2017), e essa área do conhecimento será utilizada quando forem apresentadas as análises dos distratores.

A coluna A se refere ao número da questão, a coluna B consiste na área de conhecimento e a coluna C até H são os percentuais de desempenho dos/as estudantes (percentual de acerto) retirados do relatório de curso emitido pelo INEP. A classificação para a área de conhecimento considerava os conteúdos químicos necessários para a resolução: Química Geral, Química Analítica, Química Inorgânica, Química Orgânica, Físico-Química, Química Ambiental e Bioquímica. Cabe esclarecer que a coluna D, que se refere ao percentual de acerto da categoria Estado, está zerada porque esses dados passam a ser disponibilizados pelo INEP a partir de 2014. Com base nessa planilha é possível realizar diferentes comparações das questões em função da área de conhecimento químico.

Variação de desempenho da IES em função de outras Unidades da Federação

Na Figura 3, as colunas I a M consistem nos dados comparativos de variação de acerto por categoria administrativa, que se referem à diferença entre o percentual de acerto dos/as estudantes do curso de Química da UFRN na prova de 2011 e o percentual de acertos de outras instituições do Estado, da Região, das Instituições Públicas, das Universidades e do Brasil.

A variação das tonalidades verde (valor positivo para a variação de acerto) e vermelho (valor negativo para a variação de acerto) fornece um indicativo qualitativo para a variação de acerto entre a IES e a outra categoria. Assim, por exemplo, na questão de número 18, cuja área do conhecimento aborda conceitos de Química Inorgânica, o desempenho dos/as estudantes da UFRN foi de 16,3%, sendo melhor que o das instituições da Região. Já para as questões de número 17 (Química Orgânica), 22 (Química Geral), 23 (Físico-Química) e 24 (Química Analítica), os/as estudantes tiveram desempenho aquém, quando comparados aos das IES da Região, Públicas, Universidades e do Brasil. Com essa planilha é possível identificar com mais rapidez o desempenho dos/as estudantes nas questões em função da área de conhecimento químico.

Figura 2
Primeira planilha - ENADE 2011 Licenciatura (autoria própria)

Figura 3
Planilha de variação de acerto - Licenciatura da UFRN 2011 (autoria própria)

Tabela 2
Distratores questões 22 a 25 - Licenciatura - UFRN - 2011 (autoria própria)

A	N	O	P	Q	R	S
Questão	Alternativa A	Alternativa B	Alternativa C	Alternativa D	Alternativa E	SI*
22	4,3%	29,8%	14,9%	29,8%	21,3%	0,0
23	27,7%	10,6%	27,7%	12,8%	21,3%	0,0
24	27,7%	40,4%	27,7%	2,1%	2,1%	0,0
25	44,7%	10,6%	17,0%	19,1%	8,5%	0,0

Percentual das alternativas assinaladas para cada questão

Na Tabela 2, as colunas N até S apresentam o percentual de cada alternativa assinalado pelos/as estudantes da UFRN para cada uma das questões da prova de 2011, sendo a coluna S utilizada para indicar quando o relatório indica Sem Informação, (SI*).

A partir da Tabela 2, na questão 22 se observa que há uma dispersão das respostas assinaladas, o que pode suscitar um alerta a ser aprofundado na análise deste item, seja no que se refere a sua construção, aos conteúdos químicos, a indução ao erro, as concepções alternativas, a forma de abordagem, entre outras possibilidades. Uma potencialidade da planilha, elaborada para cada curso de Química, é o de fornece os percentuais de acerto dos/as estudantes nos distratores para cada área de conhecimento químico, o que pode auxiliar ao Núcleo Docente Estruturante ou aos demais docentes, a investigar mais de perto os motivos pelos quais um distrator teve um maior percentual em detrimento de outro.

RESULTADOS E DISCUSSÕES

A partir do Banco de dados foi possível comparar diferentes variáveis determinadas pelo INEP com a nossa classificação, o Nível Cognitivo de Dificuldade (NCD). Os índices do INEP são determinados estatisticamente, a saber: o índice de discriminação (ID) e o índice de facilidade (IF). O primeiro é determinado a partir do desempenho dos participantes e indica o nível de discriminação de uma questão. O ID possui as seguintes classificações: ≥ 0,40 (muito bom); 0,30 a 0,39 (bom); 0,20 a 0,29 (médio) e ≤ 0,19 (fraco). Com estes valores, segundo o INEP, uma questão com um ID elevado (≥ 0,40) significa que obteve um expressivo acerto pelos estudantes com bom desempenho na prova em comparação com os de desempenho ruim. Já o Índice de Facilidade (IF) se refere ao percentual de acerto de cada questão. É interessante destacar que não há correspondência entre o IF e o ID. Por exemplo, uma questão ‘muito fácil’ não necessariamente terá um ID ‘muito bom’, bem como uma questão ‘difícil’ ou ‘muito difícil’ não necessariamente terá um ID ‘fraco’. Para o cálculo final das notas, as questões com ID fraco são desconsideradas. Assim, para nosso estudo comparativo o ID não foi considerado por não atender ao nosso foco.

O indicador Nível Cognitivo de Dificuldade (NCD) emerge da análise desta pesquisa para atender nossa questão central em que propomos uma análise qualitativa das questões em termos de habilidades de pensamento/operações cognitivas. O NCD é classificado em 5 níveis, indo das habilidades de baixa ordem – LOCS (nível 1) até as de ordem superior – HOCS (nível 5). A Tabela 3 apresenta as classificações e os valores para o Índice de Facilidade e o Nível Cognitivo de Dificuldade.

Tabela 3
Índice de facilidade (IF) e Nível Cognitivo de Dificuldade (NCD) – Autoria própria

IF	Classificação	NCD	Classificação
≥ 0,86	Muito fácil	0,90	Nível 1
0,61 a 0,85	Fácil	0,73	Nível 2
0,41 a 0,60	Médio	0,50	Nível 3
0,16 a 0,40	Difícil	0,27	Nível 4
≤ 0,15	Muito difícil	0,10	Nível 5

Os índices IF e NCD relacionam critérios qualitativos e quantitativos de modo a favorecer possíveis comparações. Por exemplo, em relação ao Índice de Facilidade (IF) para uma questão ser considerada ‘muito fácil’, significa dizer que o percentual de acerto de todos os participantes da prova foi igual ou superior a 86% e, para que seja considerada ‘muito difícil’, o percentual de acerto foi igual ou inferior a 15%. A classificação do NCD considera valores determinados a partir dos intervalos dos valores do Índice de Facilidade, sendo realizados vários testes em que não identificamos alterações nos gráficos. Por exemplo, o nível 1 (valor 0,90) implica na mobilização de habilidades cognitivas do tipo LOCS tais como decodificar dados, memorizar e aplicar fórmulas (conforme Figura 1). A Figura 4 exemplifica esses dados para as questões de conhecimento geral da prova do ENADE - Química de 2011.

A partir da Figura 4 é possível comparar o IF e o NCD, por exemplo, a questão 21 teve 15% de acertos (ou ID 0,15), o que significa dizer que é ‘muito difícil’ de acordo com a classificação do INEP. Entretanto, seriam de fato tão complexas as operações cognitivas mobilizadas pelos estudantes para resolvê-la? Ao comparar percebemos que a questão possui um NCD de nível 3, ou seja, de complexidade média em termos de habilidades cognitivas, enquanto o INEP a classifica como ‘muito difícil’. Acreditamos que o NCD suscita outro olhar para as questões em termos de habilidades de pensamento, em que o docente ou pesquisador poderá rever com mais atenção seja a formulação da questão, a indução das respostas, a presença ou não do desenvolvimento dessa habilidade de pensamento nos futuros profissionais.

POTENCIALIDADES DO BANCO DE DADOS: ALGUNS EXEMPLOS

Como sinalizado, o Banco de dados apresenta inúmeras variáveis e elas podem ser comparadas. Apresentaremos aqui exemplos de inferências e comparações de questões que abordavam conceitos da área de Química Geral presentes das provas de 2011 realizadas pelos concluintes do curso de Química da UFRN. Para tanto, selecionamos as seguintes variáveis: (a) percentual de acerto de uma questão em função da área de conhecimento presente na mesma; (b) percentual dos distratores assinalados nas questões; (c) comparação entre o IF e o NCD.

Percentual de acerto em função da área de conhecimento

No exemplo apresentado na Figura 5, selecionamos as questões de número 9, 12, 15, 19, 22 e 25 da prova de 2011, em que apresentavam conteúdos de Química Geral, com a respectiva classificação do Nível Cognitivo de Dificuldade e comparamos com os resultados do desempenho dos concluintes da UFRN (1ª coluna) com o desempenho de todos os cursos de Química do Brasil (2ª coluna). A questão 12 foi anulada, não havendo dados de percentual de acerto, mas mantivemos o NCD.

A partir desta comparação (Figura 5) é possível perceber que as questões (em sua maioria) requerem habilidades de pensamento de baixa ordem e, consequentemente, estão entre os níveis 1 e 2. Além disso, é possível observar que os concluintes do curso de Química da UFRN estão com o desenvolvimento em termos de habilidades de pensamento próximas ao que se observa no país. Outro ponto destacado é que nas questões 9 e 19 os concluintes da UFRN obtiveram um desempenho um pouco superior que a média nacional (80,9% e 80,5%; 46,8% e 42,6% respectivamente). Além disso, essas questões foram classificadas como nível 1 em termos de NCD, isso é, os/as estudantes para respondê-las tiveram que mobilizar operações cognitivas do tipo decodificar dados, buscar pela memória e aplicar fórmulas. Essas operações cognitivas foram necessárias na questão 22 e os/as estudantes da UFRN tiveram um desempenho menor que o nacional (21,3% e 25,9% respectivamente). Na questão 15, classificada como nível 2 para o NCD, os/as estudantes tiveram o desempenho muito próximo (31,9% da UFRN e 30,9% do Brasil), quer dizer, para resolver a questão mobilizaram operações como resumir, interpretar e generalizar. A questão 25 foi a única classificada como nível 3, envolvendo operações mais complexas como comparar, classificar e organizar os dados, e observamos um desempenho mais expressivo da UFRN em relação ao Brasil (44,7% e 38,8% respectivamente).

Figura 4
Organização dos índices quantitativos e qualitativos – ENADE 2011 (Autoria própria)

Esses resultados podem nos levar a diversas inferências, como por exemplo, as diferenças nas estruturas curriculares ofertadas nos cursos de graduação em Química nas IES do Brasil ou ainda pode levar a uma análise, por parte do corpo docente da instituição, daquelas questões em que os/as estudantes tiveram baixo desempenho ou ainda uma investigação sobre quais operações cognitivas estão sendo desenvolvidas nos/nas estudantes do curso. Enfim, abre um leque de possibilidades e questionamentos. Por exemplo, é possível que o desempenho abaixo de 50% em quase todas as questões de Química Geral seja um reflexo do abandono ou da retenção dos/as alunos/as nessa disciplina? Há estudos que sinalizam as dificuldades neste campo de conhecimento em função de diversos fatores, entre elas a abordagem tradicional, o baixo nível de conhecimento básico dos/as alunos/as e a baixa aplicabilidade de seus conteúdos no cotidiano.¹⁸,²⁰ Nesse sentido, nossa reflexão vai além, ao questionar se esse componente curricular está propiciando atividades para o desenvolvimento de habilidades de pensamento de alta ordem.

Figura 5
Percentual de acerto da UFRN e Brasil nas questões de Química Geral do ENADE 2011 com relação ao NCD (autoria própria)

Percentual dos distratores assinalados em cada questão

Outra potencialidade do Banco de dados é o percentual dos distratores assinalados em cada questão (ver Tabela 1). Esses percentuais nos fornecem informações que podem levar a reflexões ou olhares mais aprofundados sobre a questão em si. A Figura 6 relaciona os percentuais dos concluintes da UFRN na prova do ENADE 2011 nas questões que abordam conteúdos de Química Geral.

Figura 6
Percentual dos distratores assinalados - UFRN – Itens 9, 12, 15, 19, 22 e 25 do ENADE 2011 (autoria própria)

A partir da Figura 6 observamos que a questão 9 teve 89% de acerto (alternativa A); a questão 12 foi anulada; a questão 15 e a 22 tiveram dispersão de percentuais nos descritores assinalados, o que nos desperta curiosidade; a questão 19 teve 46,8% de acerto (alternativa C); a questão 25 teve 44,7% de acerto. Vamos analisar as questões 15 (Figura 1S – Material suplementar) e 22 (Figura 2S – Material suplementar) como um exemplo de inferência propiciado pelo Banco de dados e o NCD.

Iniciando pelos índices da questão 15 e seu significado (IF e NCD). Segundo o INEP, o Índice de Facilidade é classificado como ‘médio’ (valores entre 0,41 e 0,60 - ver Tabela 3), pois obteve 31,9% de acerto. Pela taxonomia de habilidades de pensamento/ operações cognitivas (ver Tabela 1) foi classificada com nível 3, quer dizer, possui um Nível Cognitivo de Dificuldade do tipo ‘MédioDifícil’. Significa que o/a concluinte para resolver essa questão necessitaria mobilizar habilidades cognitivas do tipo: (a) decodificar os dados/informações na questão (Decodificar dados); (b) buscar as informações na memória relacionados a aspectos de ocorrências das reações redox - potencial de redução, além de aspectos visuais de evidências de reações tais como formação de sólido, liberação de gás e mudança de cor (Memorizar ou Buscar pela memória); (c) aplicar os dados/informações em uma lei/fórmula/conceito (Aplicar fórmulas ou regras), resumir os dados/informações após a aplicação da fórmula/lei (Resumir) e interpretar os novos dados/informações obtidos (Interpretar).

Agora, analisando a possível resolução da questão 15 e cada descritor. A alternativa B (correta) sinaliza que a mudança de coloração apresentada nas soluções indica que o potencial de redução do Fe (III) é maior que o do Cu (II). Nos distratores A e D (23,4% e 27,7% assinalados, respectivamente), temos, no primeiro caso, o fluxo de elétrons citado de forma invertida ao real sentido que ocorre na célula galvânica em questão, isso é, indicando erroneamente que a direção dos elétrons ocorreria do cátodo para o ânodo. No segundo caso, o distrator D remete a ocorrência da redução dos íons Cu (II), porém, como o enunciado diz que a solução de íons cobre se torna mais azulada, então íons Cu (II) são gerados pela oxidação do Cu(s).

Embora os distratores C e E tenham sido pouco assinalados, algo chama atenção nessa questão: a representação simbólica dessa célula eletroquímica não segue a convenção internacional na qual o lado direito é o cátodo e o lado esquerdo é o ânodo. Além disso, a grande maioria (se não todos) os livros textos apresentam a convenção internacional para uma pilha. Esses aspectos nos remetem a novos questionamentos: é possível que a representação da célula eletroquímica trazida no enunciado da questão tenha induzido os estudantes ao erro? Pode ser que alguns estudantes tenham respondido esta questão com base unicamente na representação simbólica da pilha, sem se atentar para a parte do enunciado que fala sobre as mudanças de coloração. Esses são questionamentos que exemplificamos para a potencialidade de um olhar mais detalhado a partir do Banco de dados.

Com relação a questão 22 que teve 21,3% de acerto (descritor correto), isso é, valores estão no intervalo de 0,16 a 0,40 (ver Tabela 2) e, segundo o INEP, esses valores correspondem a um Índice de Facilidade classificado como ‘médio’. Pela taxonomia de habilidades de pensamento/operações cognitivas (ver Figura 1), a classificação é nível 1, quer dizer, Nível Cognitivo de Dificuldade do tipo ‘Fácil’. Assim, para responder a essa questão, o/a concluinte deveria decodificar os dados/informações para manipular os elementos algébricos e numéricos estabelecendo uma relação de proporcionalidade, de forma a utilizar um raciocínio lógico e sequencial, ou seja, deveria ser capaz de identificar o balanço de matéria (estequiometria) envolvido na decomposição do carbonato de cálcio a partir de uma amostra de calcário, originando óxido de cálcio, que, em contato com a água, produz hidróxido de cálcio; buscar pela memória essas relações e aplicar a fórmula.

O olhar detalhado a partir da Figura 6 sinaliza que, apesar da questão 22 ser classificada como NCD 1, os altos percentuais das alternativas erradas da questão (distratores B e D com 29,8%) chamam a atenção e inúmeras hipóteses emergem, que podem nortear o corpo docente a trabalhar tais possibilidades durante o curso de formação. Por exemplo, o/a concluinte pode ter selecionado o distrator B por ter considerado que para o cálculo da massa de óxido de cálcio necessária para produzir as 740 toneladas de hidróxido de cálcio mencionadas no enunciado, partindo da seguinte equação química: CaO + H₂O → Ca(OH)₂. De acordo com esta reação química, 56 gramas de CaO produzem 74 gramas de Ca(OH)₂ e, a partir da correlação estequiométrica, saberemos que 740 toneladas deste material são produzidas a partir de 560 toneladas do outro. Quer dizer, é possível que 29,8% dos/das concluintes da UFRN tenham interpretado (decodificado) que o comando da questão solicitava a massa de óxido de cálcio originada de 740 toneladas e não a quantidade de calcário necessária para fabricar as 740 toneladas de hidróxido de cálcio.

Com relação ao distrator D, uma possível inferência para que tenham assinalado é que o/a concluinte sabendo que óxido de cálcio é obtido por meio do aquecimento do carbonato de cálcio, pode encontrar a massa do carbonato usada, conforme mostra a reação a seguir: CaCO₃ → CaO + CO₂. Dessa forma, 100 gramas de CaCO₃ geram 56 gramas de CaO, então para produzir 560 toneladas seriam necessárias mil toneladas. Levando-se em consideração que o rendimento do processo é de 50%, então seria necessário o dobro de massa de carbonato, ou seja, 2000 ton (o valor presente no distrator D). Esse raciocínio pode ter levado 29,8% dos/as concluintes da UFRN ao erro, uma vez que para a resposta correta deveria ser considerado também que de cada 50 g de amostra de calcário apenas 10 gramas são de carbonato de cálcio, então, para se ter as 2 mil toneladas de carbonato seriam necessárias dez mil toneladas de calcário.

Nessa questão, vale a pena destacar que os distratores B e D constituem parte da resolução da questão, ou seja, é necessário o/a graduando/a passar por essas etapas a fim de encontrar a resposta correta, que se constitui em uma sucessão de comandos/ procedimentos repetidos relacionados à estequiometria. Nesse sentido, ainda é possível que um alto percentual de erro não esteja relacionado a uma habilidade de pensamento, mas possa indicar outras possibilidades como falta de tempo para a questão ou falta de motivação. Levantamos essas hipóteses para exemplificar que a análise detalhada a partir dos descritores e do NCD pode contribuir na reflexão dos caminhos que nós, como formadores, podemos discutir as questões a partir dos erros. Uma análise mais detalhada dos distratores das questões do ENADE pode sinalizar possíveis dificuldades de aprendizagem.¹⁹,²¹

Comparação entre Índice de Facilidade (IF) e o Nível Cognitivo de Dificuldade (NCD)

Esse último exemplo se refere à comparação de variáveis Índice de Facilidade (IF) e o Nível Cognitivo de Dificuldade (NCD), e retomamos uma posição assumida neste trabalho de que uma classificação baseada no IF pode ser reducionista sem refletir aspectos complexos na resolução das questões. Quer dizer, a classificação de larga escala por meio do seu percentual de acerto pode desconsiderar a exigência cognitiva a ser mobilizada. Para acompanhar essa posição, buscamos comparar esses índices de modo a verificar se o NCD atendia à nossa questão de pesquisa. Cabe destacar que, uma vez que fazemos a conversão das faixas de valores fornecidos pelo INEP para um valor fixo a ser utilizado para classificar o NCD, esse mesmo valor também é utilizado agora para o IF. Tal adaptação em nada altera a informação primordial de seu índice, isso é, classificar quanto ao Índice de Facilidade, mas é de suma importância para a nossa análise de dados a partir de gráficos. Por exemplo, uma questão com IF igual a 0,65 é classificada como ‘fácil’, e com a nossa adaptação ela continuará possuindo o mesmo nível, porém, o valor será alterado para 0,73, uma vez que o NCD não possui um intervalo de valores, mas sim um valor fixo, então fixamos também o IF a fim de os comparar graficamente. A Figura 7 apresenta a correlação do IF e NCD para as questões que abordavam conteúdos de Química Geral do ENADE 2011.

Figura 7
IF e NCD das questões de Química Geral do ENADE 2011 (Autoria própria)

A partir da Figura 7 observamos que, para as questões 9 e 25, os índices IF e NCD são equivalentes (IF fácil-Nível 1 e IF difícilNível 5, respectivamente) e corroboram a classificação. A questão 12 foi anulada. Para as questões 15, 19 e 22 observamos discordâncias nas classificações. Na questão 15, o IF possui valor igual a 0,27, considerado então uma questão ‘difícil’ e NCD apresenta nível 2, ou seja, ‘médio’. A questão 19 tem IF com valor igual a 0,50 (questão do tipo ‘médio’) e NCD nível 1 (questão ‘fácil’). A questão 22 tem IF com valor igual a 0,27 e é classificada como ‘difícil’ e o NCD nível 1, questão ‘fácil’. Essa última questão corrobora com nossa posição que a classificação do INEP considerar uma questão difícil não significa que a mesma exija do/a graduando/a habilidades de pensamento complexas. Embora não seja o escopo desse trabalho analisar todas essas correlações e fazer inferências, destacamos que esses dados podem suscitar interessantes discussões em termos de habilidades/operações cognitivas.

CONSIDERAÇÕES FINAIS

Neste estudo, apontamos que a análise das questões do ENADE em termos de habilidades/operações cognitivas exigidas na sua resolução pode constituir um elemento interessante para pensar o desempenho dos concluintes e, consequentemente, os projetos pedagógicos dos cursos.

O critério proposto para a análise das questões em termos de Nível Cognitivo de Dificuldade pode vir a ser uma ferramenta útil para refletir sobre as avaliações, não somente em larga escala, uma vez que nos permite compreender o nível de complexidade exigido nas questões.

A organização das informações em um Banco de Dados manipulável possibilita inúmeras formas de reflexão do processo de avaliação, pois propicia uma perspectiva para ‘enxergar’ diversos elementos presentes na prova do ENADE. O conjunto de informações, uma vez agrupadas, permite dar sentido aos dados expressos nos relatórios do INEP, nos quais estão dispostos na forma de texto ou em tabelas isoladas. Um exemplo de possível desdobramento deste estudo é a análise dos erros nas alternativas das questões do ENADE, isso é, sobre as dificuldades de aprendizagem de estudantes de Química no Ensino Superior.

Vale salientar que o percurso teórico-metodológico aqui desenvolvido também tem a possiblidade de ser repensado/readaptado, no sentido de favorecer uma discussão coletiva de itens de avaliação, bem como pode colaborar no acompanhamento do graduando em seu processo formativo (do ponto de vista da metacognição), uma vez que terão conhecimento do Nível Cognitivo de Dificuldade que lhe é exigido durante seu processo de formação inicial.

AGRADECIMENTO

Aos pesquisadores do Grupo de Argumentação e Ensino da Ciência e CNPq pelo apoio financeiro (Processo nº 407929 / 2016-9 Universal). Este trabalho foi realizado com o apoio da CAPES - Código Financiamento 001.

MATERIAL SUPLEMENTAR

As questões 15 e 22 da prova do ENADE 2011, consideradas neste trabalho, estão disponíveis em http://quimicanova.sbq.org.br, em formato PDF, com acesso livre.

https://minio.scielo.br/documentstore/1678-7064/6nfgGs8CfrrwbJxNq5J8HPh/fb060d73f9d2442eb6eeaf04ffb095b68a15f9b4.pdf

REFERÊNCIAS

• ¹
  Sobrinho, J. D.; Avaliação: Revista da Avaliação da Educação Superior 2010, 15, 195.
• ²
  Feldmann, T.; Souza, O.; Avaliação: Revista da Avaliação da Educação Superior 2016, 21, 1017.
• ³
  Zucco, C.; Quim. Nova 2007, 30, 1429.
• ⁴
  Silva, M. G. L.; Mazzé, F.; Barroso, M.; Fernandes, N.; Gomes, F. E.; Malcher, G.; Anais do X Congresso Internacional Sobre Investigación Em Didática de las Ciencias, Sevilla, Espanha, 2017.
• ⁵
  Marinho-Araújo, C. M.; Almeida, L. S.; Psicologia: Teoria e Pesquisa 2017, 32, 1.
• ⁶
  Freire, M. S.; Silva, M. G. L.; Silva Júnior, C. N.; Quim. Nova Esc. 2016, 38, 33.
• ⁷
  Salovey, P.; Brackett, M. A.; Mayer, J. D.; Emotional intelligence: Key readings on the Mayer and Salovey model, Dude Publishing: New York, 2004.
• ⁸
  Alonso, L.; Educar 2000, 26, 53.
• ⁹
  Zoller, U.; J. Chem. Educ. 1993, 70, 195.
• ¹⁰
  Zoller, U.; Pushkin, D.; Chem. Educ. Res. Pract. 2007, 8, 153.
• ¹¹
  Talízina, N.; Manual de psicologia pedagógica UASLP: México, 2000.
• ¹²
  Mourão-Júnior, C. A.; Oliveira, A. O.; Faria, E. L. B.; Temas Educ. Saúde 2011, 7, 1.
• ¹³
  Sierra-Fitzgerald, O.; Munévar, G.; Revista Latinoamericana de Psicología 2007, 39, 143.
• ¹⁴
  Primi, R.; Santos, A.; Vendramini, C.; Taxa, F.; Muller, F.; Lukjanenko, M.; Sampaio, I.; Psicologia: Teoria e Pesquisa 2001, 17, 151.
• ¹⁵
  Ferraz, A. P. C.; Belhot, R. V.; Gest. Prod. 2010, 17, 421.
• ¹⁶
  Silva, M. G. L.; Mazzé, F. M.; Rev. Bras. Estudos Pedagógicos, no prelo.
• ¹⁷
  Medeiros, M. G. S.; Dissertação de Mestrado, Universidade Federal do Rio Grande do Norte, 2019.
• ¹⁸
  Medeiros, M. G. S.; Silva, M. G. L.; Anais do XII Encontro Nacional de Pesquisa em Educação em Ciências, Natal, Brasil, 2019.
• ¹⁹
  Capistrano, T. S.; Silva, J. A.; Silva, M. G. L.; Mazzé, F.; Anais do XII Encontro Nacional de Pesquisa em Educação em Ciências, Natal, Brasil, 2019.
• ²⁰
  Yamaguchi, K. K. L.; Silva, J da S.; Quim. Nova 2019, 42, 346.
• ²¹
  Núnez, I.; Silva, M. G. L.; Neves, L.; Freire, M.; Instrumentação para o ensino de química II, 2ª ed., EDUFRN: Natal, 2016.

Datas de Publicação

• Publicação nesta coleção
  03 Set 2021
• Data do Fascículo
  2021

Histórico

• Recebido
  20 Set 2020
• Aceito
  02 Fev 2021