Correlação entre a matriz de referência e os itens envolvendo conceitos de Química presentes no ENEM de 2009 a 2013

Correlation between the reference matrix and items involving Chemistry concepts present in ENEM - 2009 to 2013

Resumo:

Esta pesquisa tem como objeto de estudo os itens, envolvendo conceitos de química, presentes nas edições de 2009 a 2013 do Exame Nacional do Ensino Médio (ENEM) e a Matriz de Referência do referido Exame. Utilizando a Taxonomia de Bloom Revisada, foram feitas análises com vistas a identificar a demanda cognitiva, a dimensão do conhecimento, o objeto de conhecimento e o contexto presentes nos itens. Os resultados apontam a ocorrência de itens com domínios de baixa ordem cognitiva (cerca de 81%) em contraste com a Matriz de Referência, que sugere uma proporção menor (64 a 71%) para itens com essas características. O estudo apontou ainda que os objetos de conhecimento, presentes nos itens, estão inseridos em contextos diversificados mostrando inter-relação entre os conceitos avaliados e o universo do estudante.

Palavras-chave:
ENEM; Avaliação; Taxonomia de Bloom Revisada; Conceitos de química

Abstract:

The objective of this research is to study the items where chemistry concepts are present in editions of Exame Nacional do Ensino Médio (ENEM) in the years 2009 to 2013 and the ENEM's Reference Matrix. Using the Revised Bloom Taxonomy, the items were analyzed in order to identify the cognitive demand, the dimension of knowledge, the content and the context present in the items. The results indicate the occurrence of items with low-order cognitive domains (about 81%), in contrast to the reference matrix where we can find a minor proportion (63-71%) for items with these characteristics. The study also pointed out that contents present in the items are placed in different contexts, showing the interrelationship between the evaluated concepts and the student's universe.

Keywords:
ENEM; Assessment; Bloom's Revised Taxonomy; Chemistry concepts

Introdução

Desde o ano de 2010, o Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP) cadastra e seleciona docentes provenientes das Instituições de Ensino Superior (IES) para atuarem como colaboradores do Banco Nacional de Itens (BNI) por meio de Chamadas Públicas. Esses docentes assessoram o INEP de diferentes maneiras, sendo uma delas como elaboradores da unidade básica do instrumento de medida - o item - para as diversas avaliações que atualmente estão sob a responsabilidade do INEP. Os itens são criados em ambientes seguros (virtual e físico) impossibilitando que o elaborador, posteriormente ao momento elaboração, tenha acesso à sua produção. O elaborador só terá novo acesso ao item, caso este seja selecionado para compor um dos exames, cujo conteúdo tornar-se-á público. Por questões óbvias de segurança, a comunidade acadêmica também só pode realizar estudos das avaliações e dos referidos itens a partir desse momento.

O interesse da comunidade acadêmica pelas avaliações externas é relevante, pois os estudos e reflexões gerados podem transformar uma ferramenta, inicialmente, puramente examinativa em um recurso de análise de um determinado nível de Ensino, a partir do momento que os dados são interpretados diagnosticamente. O estudo dos itens presentes nas provas proporciona ainda o conhecimento de características do BNI, além da verificação do alinhamento entre os itens e os documentos norteadores do processo de elaboração.

Breve discussão sobre o ENEM

O Governo Federal vem desenvolvendo avaliações e aplicando-as no país, como o Sistema de Avaliação da Educação Básica (SAEB), o Exame Nacional do Ensino Médio (ENEM), o Exame Nacional para Certificação de Competências de Jovens e Adultos (ENCCEJA) e a Provinha Brasil (INEP, 2015), visando atestar a qualidade da educação brasileira. Dentre esses processos avaliativos o ENEM é o mais conhecido, apesar de não ser o maior quando comparado ao SAEB em número de aplicações. No ano de 2016, o ENEM contou com aproximadamente 8,7 milhões de inscritos, um aumento de 11% quando comparado com a edição de 2015 (INEP, 2016).

Em 2009 o ENEM passou por mudanças que redefiniram sua matriz de referência e a extensão da prova. O "novo ENEM" passou a ser o principal instrumento para o cidadão participar de programas de auxílios financeiros governamentais voltados para sua formação acadêmica (Programa Universidade Para Todos - ProUni, Fundo de Financiamento Estudantil - FIES - e Ciências Sem Fronteiras, por exemplo), obter a certificação de conclusão do ensino médio, além de proporcionar a avaliação do desempenho acadêmico dos estudantes ingressantes nas Instituições de Educação Superior (INEP, 2015). A partir de então, o Exame passou a abranger as quatro áreas de conhecimento previstas nos Parâmetros Curriculares Nacionais (PCN), a saber: (i) Linguagens, Códigos e suas Tecnologias (incluindo redação); (ii) Ciências Humanas e suas Tecnologias; (iii) Ciências da Natureza e suas Tecnologias e (iv) Matemática e suas Tecnologias. Cada área com uma matriz de referência própria composta por 30 habilidades e uma lista de conteúdos, denominados objetos de conhecimento (INEP, 2009). Outra mudança aconteceu na metodologia de análise dos resultados do Exame, passando a ser utilizada a Teoria de Resposta ao Item (TRI), que possibilita a comparação longitudinal dos resultados de anos diferentes. (GONÇALVES JR.; BARROSO, 2014; SOUSA, 2013).

Estudos realizados por Maceno et al. (2011, p. 154), sobre a atual matriz de referência da área de Ciências da Natureza e suas Tecnologias, indicam que as competências e habilidades apresentadas preconizam um ensino integrado, com articulação entre o conhecimento científico e a tecnologia e a mobilização de saberes para resolução de situações-problema do cotidiano, possibilitando uma compreensão global das implicações da atividade humana no ambiente e na sociedade, além de propor uma visão da Ciência como uma construção humana, opondo-se à neutralidade. Entretanto, a lista de objetos de conhecimento apresentada na nova matriz é objeto de discussões. Ainda, de acordo com esses autores, os objetos de conhecimento propostos no documento possuem aspectos que podem inviabilizar o desenvolvimento de eixos cognitivos, habilidades e competências na área da Química, uma vez que:

[...] tal listagem apresenta-se numa forma tradicional tal como é criticada pela comunidade de educadores químicos. Diante de tal lista, nossa hipótese é de que os professores reforcem seus programas de ensino, mantendo as práticas pedagógicas condicionadas a dar conta de uma lista de conteúdos, o que pode anular os avanços conseguidos ao que se refere à superação do ensino propedêutico e ser contrário ao que a própria proposta do ENEM defende. (MACENO et al., 2011, p. 154).

Marcelino e Recena (2012) realizaram estudos abrangendo os objetivos educacionais presentes nas Habilidades e Competências referentes à Química da Matriz de Referência de Ciências da Natureza. De acordo com esse estudo, as análises das competências mostraram que: "[...] o ENEM propõe um currículo centrado no ensino voltado à aplicação e entendimento de métodos e procedimentos usados no mundo atual, atribuindo-lhes um caráter mais prático, no sentido que o conhecimento deve ser aplicado" (MARCELINO; RECENA, 2012, p. 174).

Esses autores também realizaram críticas aos referenciais curriculares para o Ensino Médio, pautados em listas de conteúdos compartimentalizados e descontextualizados, e ainda sugerem estudos das questões da prova e de seu método de aplicação para avaliar o cumprimento ou não dos paradigmas subjacentes à matriz. (MARCELINO; RECENA, 2012).

Apesar da extensa e salutar discussão relacionada à presença dos objetos de conhecimento apresentados na nova matriz, estudos realizados por Sousa (2011) demonstram a não ruptura entre os objetivos anunciados pelo ENEM em 2009 com o seu desenho inicial, "[...] mantendo-se [o ENEM] no propósito de avaliar individualmente estudantes concluintes e egressos do ensino médio quanto às competências e habilidades, por meio de prova organizada com base em uma matriz de competência [...]". (SOUSA, 2011, p. 102). Ainda, de acordo com a autora, os resultados do Exame não podem ser tomados como referencial para a análise de uma etapa do ensino, uma vez que a participação do estudante é voluntária, cabendo a ele a decisão sobre sua participação ou não no Exame. Diferentemente, no SAEB, que avalia os estudantes matriculados no 3º Ano do Ensino Médio por meio da Prova Brasil, a participação da escola sorteada na amostra é obrigatória, permitindo avaliar somente os sistemas educacionais como um todo e não oferecendo resultados individuais dos respondentes (CASTRO, 2005).

Alinhamento entre o Exame e a matriz de referência

As matrizes de referência são documentos que servem de base à elaboração dos itens (ou questões) que compõem as avaliações. Os itens que compõem o Banco Nacional de Itens são elaborados de acordo com as orientações presentes no Guia de Elaboração e Revisão de Itens (INEP, 2010). De acordo com esse documento, cada item do ENEM deve ser estruturado de modo que se configure uma unidade de proposição e que seja elaborado atendendo a uma única habilidade da matriz de referência. Todos os itens do Exame devem obedecer à mesma estrutura: texto-base, enunciado e alternativas. O pressuposto para que o item seja considerado adequado é que ele apresente coesão e correlação entre as partes integrantes de sua estrutura, ou seja, ele deve outorgar "uma articulação entre elas e explicitar uma única situação-problema e uma abordagem homogênea de conteúdo". (INEP, 2010, p. 9).

Os exames de uma avaliação em larga escala têm como finalidade aferir o conhecimento ou habilidade dos estudantes em uma ou mais séries e, portanto, devem atender a determinados critérios para serem elaborados. De acordo com Klein (2005) na construção de um exame deve-se ter muito claro o que será testado, levando em conta, por exemplo, o currículo que norteia o nível de ensino que será avaliado. Os itens devem ser elaborados por professores, segundo as especificações curriculares, e revisados por especialistas, de acordo com critérios técnicos e pedagógicos. Para a construção de um bom exame os itens devem ser pré-testados e analisados segundo a Teoria Clássica dos Testes e a Teoria de Resposta ao Item (ANDRADE; TAVARES; VALLE, 2000; KLEIN, 2013) objetivando informar seu comportamento em relação à dificuldade, à discriminação e ao entendimento pelos estudantes. Se a população a ser avaliada for muito diversa, para se garantir a equidade do exame, torna-se importante realizar a análise de comportamento diferencial do item (differential item functioning) a fim de verificar seu comportamento para estudantes pertencentes a grupos diferentes, mas de mesma proficiência (KLEIN, 2005). Ainda na elaboração de um exame, deve-se levar em consideração aspectos como o número total de itens, a distribuição dos conteúdos presentes nos itens, o nível de dificuldade e o tempo para a resolução dos itens, além de assegurar que os objetivos de aprendizagem de interesse sejam contemplados através da abordagem adequada de conhecimentos e habilidades. (JUDI et al., 2012).

Outra etapa importante em uma avaliação em larga escala é a verificação da congruência e alinhamento entre os instrumentos de medida, o currículo e o conteúdo de instrução (VALVERDE, 2010). Pensando em uma sala de aula, por exemplo, o alinhamento refere-se à concordância existente entre os objetivos informados pelo professor, as atividades desenvolvidas e o exame realizado para verificação da aprendizagem (MARTONE; SIRECI, 2009). Em 2013, o VII Encontro da Associação Brasileira de Avaliação Educacional (ABAVE) teve como temática a relação entre avaliação e currículo - "Avaliação e Currículo: um diálogo necessário", com o objetivo de dar visibilidade ao entendimento da Associação de que a avaliação existe para servir a um currículo, não para defini-lo (REUNIÃO DA ASSOCIAÇÃO..., 2013). Bonamino e Sousa (2012) analisaram as interfaces de diferentes tipos de avaliações, definidos a partir dos objetivos e da articulação de resultados com as políticas de responsabilização. Seus estudos mostraram que as avaliações externas, com consequências fortes para as escolas, exacerbam a preocupação de diretores e professores em preparar estudantes para os exames, podendo fazer com que as avaliações assumam um papel preocupante na definição do currículo mínimo devido ao "[...] seu potencial de direcionar o que, como e para que ensinar" (BONAMINO; SOUZA, 2012, p. 386). Apesar de relevante a discussão sobre a influência das avaliações externas na delimitação de currículos, inflando inclusive a discussão sobre a implantação de um currículo mínimo no Brasil (CERDEIRA; ALMEIDA, 2013), não faz parte dos objetivos desse trabalho discorrer sobre essa questão.

Martone e Sireci (2009) discutem a importância da verificação do alinhamento entre a avaliação e currículo, descrevendo a abrangência, as limitações e exemplos de aplicação de três métodos de verificação de alinhamento, a saber: Webb's method, Achieve model e Surveys of Enacted Curriculum (SEC) methodology. Os três métodos citados podem ser utilizados para verificar o alinhamento das avaliações nas dimensões do conteúdo (ocorrência dos conteúdos nos exames e nos currículos ou documentos de orientação) e do nível cognitivo (comparação das demandas cognitivas). A distribuição dos itens, ou seja, como os itens escolhidos contemplam os objetivos da avaliação, pode ser avaliada pelos Webb's method e Achieve model e não pode ser verificada pela Surveys of Enacted Curriculum (SEC) methodology, uma vez que ela prevê um estudo mais analítico dos conteúdos ministrados em todos os níveis de ensino, gerando um volume de dados difícil de ser comparado. A análise da qualidade do item é outro quesito não previsto pela SEC methodology. (MARTONE; SIRECI, 2009).

Um ponto em comum entre os métodos listados é o estudo e descrição dos documentos de referência e dos itens presentes nos exames avaliados. No instrumento de análise proposto por Webb (2007) é realizada a verificação dos níveis de aprofundamento do conhecimento Depth-of-knowledge (DOK), para os objetivos presentes nos documentos de referência e nos exames aplicados. Ao todo são quatro níveis, a saber: o nível 1 (Recall/Reprodution) compreende situações em que é solicitada a simples lembrança de fatos, informações ou reprodução de procedimentos; no nível 2 (Skill/Concept) as demandas contemplam o uso de conceitos e habilidades tratados de forma mais elaborada, culminando, entretanto, em reflexões, conhecimentos e respostas habituais; o nível 3 (Strategic Thinking) envolve o pensamento estratégico para a resolução de uma situação-problema demandando a elaboração de um plano que deverá ser executado em vários passos; o nível 4 (Extended Thinking) requer planejamento para resolução de problemas mais elaborados, cuja solução necessita de investigação, elaboração de estratégias envolvendo um raciocínio mais complexo, demandando, na maioria das vezes (mas não sempre), maior tempo. Como resultado do estudo envolvendo os critérios estabelecidos por Webb (2007) obtém-se um descritivo que procura mostrar o nível de conhecimento necessário para que o estudante possa solucionar uma situação-problema ou responder a uma questão proposta. Apesar desta categorização ser proposta na forma de níveis, ela não é considerada uma taxonomia.

Outro ponto comum a esses métodos é o fato de que a interpretação dos objetivos educacionais e a caracterização dos itens presentes nas avaliações são ações baseadas no julgamento humano. A necessária consistência entre julgamentos realizados por diferentes avaliadores (STEPHENS et al., 2006 apud NÄSSTRÖM, 2009) revela um dos pontos nevrálgicos dessa classe de estudos. Neste contexto, as taxonomias são ferramentas que vêm sendo utilizadas, uma vez que elas permitem categorizações que podem facilitar a comunicação dos conteúdos presentes nos documentos avaliados (ANDERSON et al., 2001; MARZANO; KENDALL, 2007; PORTER; SMITHSON, 2001). Näsström (2009) realizou estudos avaliando a Taxonomia de Bloom Revisada (ANDERSON et al., 2001) como ferramenta de interpretação de objetivos educacionais na área de matemática. O estudo foi baseado nos critérios propostos por Hauenstein (1998) e os resultados apontaram boa consistência nos julgamentos realizados por participantes do mesmo grupo (intra-julgamento) e de grupos diferentes (inter-julgamento). Os dois grupos eram formados por avaliadores de diferentes perfis profissionais: um grupo composto por professores atuantes da área de matemática e o outro formado por especialistas em avaliação com formação em matemática.

A escolha da Taxonomia de Bloom Revisada (ANDERSON et al., 2001) para este trabalho deve-se também ao fato de que ela pode ser aplicada a diferentes áreas do conhecimento, uma vez que suas categorias permitem a classificação de diferentes conteúdos (TIKKANEN; AKSELA, 2012; ZHENG et al., 2008).

Taxonomia de Bloom Revisada como ferramenta de descrição de exames

A Taxonomia de Bloom Revisada vem sendo empregada nas últimas décadas como base para a elaboração e estudos de instrumentos de avaliação assim como o desenvolvimento de currículos (ANDERSON et al., 2001). Ela está estruturada em uma tabela bidimensional, cujas linhas e colunas contêm as dimensões dos processos cognitivos e dos conhecimentos, respectivamente. A Figura 1 apresenta a tabela bidimensional considerando a estruturação dos objetivos educacionais.

Figura 1
Tabela bidimensional envolvendo as dimensões dos conhecimentos e dos processos cognitivos considerando os objetivos educacionais

As células da tabela representam o intercepto das dimensões do conhecimento e dos processos cognitivos que estão implícitos ou explícitos nos objetivos educacionais e, a partir deste resultado, qualquer objetivo educacional pode ser classificado (ANDERSON et al., 2001).

Na dimensão dos conhecimentos são propostas quatro categorias: factual, conceitual, procedimental e metacognitivo (ANDERSON et al., 2001). As categorias da dimensão dos processos cognitivos oferecem uma lista de verbos, utilizados na classificação dos processos, que podem estar presentes nas atividades realizadas pelos estudantes. Os verbos descrevem os processos cognitivos procurando abranger um amplo espectro de dificuldade: inicia-se com processos bastante triviais associados ao Lembrar, passando pelo Entender e Aplicar e evolui para aqueles mais elaborados como Analisar, Avaliar e Criar (ANDERSON et al., 2001). Para cada uma das categorias dos processos acima listadas, estão associados dois ou mais processos cognitivos com maior especificidade, somando um total de 19 verbos que são apresentados no gerúndio e as categorias principais descritas com os verbos no infinitivo.

Objetivos

Este trabalho tem como objetivo analisar os itens de Química presentes nas edições do ENEM de 2009 a 2013, assim como das orientações presentes na matriz de referência do Exame, utilizando a Taxonomia de Bloom Revisada a fim de promover uma classificação das demandas cognitivas e da dimensão do conhecimento solicitadas por cada um dos itens. De posse desses resultados, realizamos uma reflexão sobre a existência ou não de concordância entre as provas e o documento básico para a elaboração dos itens, a matriz de referência.

Percurso metodológico

A partir da análise dos exames do ENEM, aplicados nos anos de 2009 a 2013 (INEP, 2013), foram selecionados itens com conceitos relacionados à Química. A partir do referencial da Taxonomia de Bloom Revisada (ANDERSON et al., 2001) os itens foram classificados de acordo com as duas dimensões propostas: Demanda Cognitiva e Conhecimento. Nas discussões dessas dimensões foi considerada a categorização de habilidades cognitivas proposta por Tsaparlis e Zoller (2003) que propõem a classificação das habilidades cognitivas de baixa ordem (lower-order cognitive skills, LOCS) e de alta ordem (higher-order cognitive skills, HOCS).

Além dessas classificações foi realizado um estudo do contexto em que cada item foi desenvolvido e do objeto do conhecimento necessário para subsidiar a sua resolução. Todas essas informações foram compiladas em uma frase descritiva. No Quadro 1 é apresentado um exemplo do estudo analítico realizado para o item 83 da prova azul (Figura 2) aplicado no ano de 2011. O mesmo processo foi realizado para os demais itens selecionados.

Quadro 1
Modelo de descrição para o item apresentado na Figura 2

Item	Dimensão do Processo Cognitivo	Objeto do conhecimento	Contexto	Dimensão do conhecimento
11_83	interpretar	o ciclo biogeoquímico do nitrogênio	na produção de etanol	factual

• Fonte: elaborado pelos autores.

Figura 2
Item n° 83 presente no exame do ENEM de 2011.

Apesar do objeto de conhecimento não fazer parte da tabela bidimensional, ele foi analisado, tanto nos itens quanto na matriz de referência, uma vez que um dos objetivos desse trabalho é verificar a consonância entre objetos de conhecimento presentes nos itens e aqueles sugeridos na matriz de referência.

Outro interesse neste estudo foi a verificação dos principais contextos em que os objetos de conhecimento são apresentados. O termo "contexto" aparece nos documentos oficiais sob diferentes perspectivas. Nos Parâmetros Curriculares Nacionais, PCN+ (BRASIL, 2002, p. 31), o contexto no ensino de Ciências "abarca competências de inserção da ciência e de suas tecnologias em um processo histórico, social e cultural e o reconhecimento e discussão de aspectos práticos e éticos da ciência no mundo contemporâneo". Fernandes e Marques (2012, p. 515), que entrevistaram os elaboradores dos textos teóricos e metodológicos do ENEM, explicam que a concepção de contexto é entendida como a "[...] associação de uma rede em que os conhecimentos dos diferentes componentes curriculares têm o propósito de compreender 'fenômenos/situações reais'". De acordo com Silva e Marcondes (2014) o contexto está associado à contextualização e ensinar conceitos de Ciências, ligados à vivência dos estudantes, é um modo de se realizar um ensino contextualizado e "[...] trata-se de pensar em uma abordagem que busque estreitar a relação entre conceitos e contextos, com vistas a ensinar para a formação do cidadão." (SILVA; MARCONDES, 2014, p. 16). Neste trabalho, o contexto está relacionado às situações e cenários, nos quais os objetos do conhecimento estão inseridos, conferindo um diferencial para o item (tornando-o único), contribuindo para seu ineditismo e permitindo uma reflexão diferenciada do conceito avaliado.

Os objetos de conhecimento presentes no anexo da Matriz, voltados para a área de Química, foram confrontados àqueles encontrados nos itens das provas. Todas as classificações foram realizadas inicialmente por três pessoas com formação na área de Química (uma doutora, um graduando e uma professora do ensino médio). As propostas elaboradas por cada membro foram discutidas em reuniões que o grupo denominou de "painel de especialistas". Posteriormente, os mesmos itens foram estudados por três professores e treze estudantes de graduação da área de Química, que realizaram estudos preliminares dos pressupostos da Taxonomia de Bloom Revisada (ANDERSON et al., 2001) individualmente e, posteriormente, participaram de discussões com o grupo de estudos. As sentenças descritoras dos itens foram feitas individualmente e enviadas aos autores deste trabalho que compilaram os dados e montaram tabelas com as descrições propostas para cada item. Em encontros presenciais, realizou-se um novo "painel de especialistas" para buscar um consenso nas classificações, ou seja, à luz do referencial, os participantes do painel, após argumentações e discussões, chegavam a um consenso sobre a sentença descritora mais adequada para o item.

Resultados

Usando como ferramenta a Taxonomia de Bloom Revisada (ANDERSON et al., 2001), o painel de especialistas analisou as trinta habilidades da área de Ciências da Natureza e suas Tecnologias e classificou-as nas dimensões do Conhecimento e da Demanda Cognitiva. O mesmo estudo foi realizado com os itens envolvendo conceitos de Química presentes nos Exames avaliados e, para cada um deles, foi elaborada uma frase descritora contendo, além das dimensões do conhecimento e da demanda cognitiva, informações acerca do objeto do conhecimento e do contexto. A discussão a seguir compila as tendências observadas nas frases descritoras dos 69 itens avaliados.

Dimensão do Processo Cognitivo

A classificação dos itens e das habilidades da Matriz de Referência considerando as demandas cognitivas é apresentada no Gráfico 1. Os resultados indicam que entre os anos de 2009 a 2011 a grande maioria dos itens de Química envolveu demandas cognitivas Lembrar e Entender. De acordo com Zoller e Tsaparlis (1997) itens considerados de baixa demanda cognitiva podem ser solucionados pela simples lembrança de conceitos e teorias aplicados a situações e contextos familiares ao estudante, usados de forma mecânica sem que seja necessária a reflexão sobre o processo envolvido. Nos nossos estudos, consideramos esses processos como de baixa demanda cognitiva. Em 2009 eles estavam presentes em 60% dos itens, no ano de 2010 em 71%, em 2011 atingiram o maior valor, 72%, e houve uma considerável diminuição, representando somente 38% em 2012 e 40% em 2013. Avaliações com demandas de ordens cognitivas relativamente baixas, normalmente realçam situações, contextos e problemas já familiares ao estudante (ZOLLER; TSAPARLIS, 1997). Nos resultados referentes à Matriz de Referência verifica-se que 60% das habilidades de Ciências da Natureza e suas Tecnologias foram classificadas nessas duas categorias, configurando um contexto que exige que o candidato reconheça, reproduza e estabeleça conexões entre conhecimentos acadêmicos prévios e informações oferecidas em textos.

Gráfico 1
Ocorrência das demandas cognitivas nos itens do ENEM, de 2009 a 2013, envolvendo conceitos de Química e as habilidades da Matriz de Referência da área de Ciências da Natureza.

A busca da aprendizagem significativa, na qual a construção do conhecimento não se restringe ao acúmulo de informações, mas é acompanhada por experiências relevantes para o estudante, deve estar em consonância com avaliações e exames nos quais o avaliado pode expressar suas habilidades em solucionar problemas, realizar enfrentamentos de situações inéditas e criar novas respostas para questionamentos conhecidos. A capacidade do estudante em lembrar informações decorrentes de processos de aprendizagem por ele vivenciados é importante, entretanto, mais importante ainda é o uso que ele consegue fazer desse conhecimento na solução de situações-problema ainda não vivenciadas por ele. Processos de baixa demanda cognitiva têm o foco avaliativo voltado para o passado acadêmico do estudante (o que ele consegue lembrar e entender), já uma avaliação com processos de alta demanda cognitiva usa não somente o conhecimento do passado, mas também se interessa pelo direcionamento dado pelo discente a problemas inéditos, ou seja, tem o foco no futuro (ANDERSON et al., 2001).

Os itens de Química presentes no exame aplicado em 2010 apresentaram somente as demandas Lembrar, Entender e Aplicar, sendo que essa última esteve presente em 29% deles. Comparando com a proporção de habilidades da Matriz que possuem a demanda Aplicar, cerca de 3%, chama atenção a elevada ocorrência desta demanda nos itens, não somente em 2010, como também nos demais anos analisados. A explicação para esse comportamento pode estar na variedade de questionamentos, característicos da área da Química, nos quais é solicitado ao estudante a realização de cálculos a partir de protocolos já conhecidos como: cálculo de entalpia, relações e cálculos estequiométricos, rendimentos em reações e em eletrólises, cálculo de massas específicas etc.

Os processos cognitivos de maior demanda (Analisar e Avaliar) representam 37% das ocorrências presentes na Matriz de Referência. Uma proporção muito próxima é observada nos exames de 2012 e 2013 (38% e 33%, respectivamente) e valores um pouco mais baixos em 2011 (14%) e 2009 (20%). As últimas edições do Exame foram marcadas por uma distribuição mais proporcional das demandas, fato que é salutar, pois em uma avaliação é necessário a presença de itens de altas e baixas demandas cognitivas, visando garantir uma distinção entre estudantes de baixa e alta proficiência. Exames compostos por somente itens com baixa demanda cognitiva não são eficazes para distinguir estudantes de alta proficiência dos de baixa proficiência (ZOLLER; TSAPARLIS, 1997).

No ENEM, a situação deve ser vista com maior cuidado, uma vez que ele seleciona estudantes para diferentes Universidades e cursos e ainda deve ser adequado para atender aos candidatos interessados na certificação. De acordo com Andrade e Borgatto (2011) exames que utilizam a TRI, como o ENEM, devem possuir itens que forneçam informação precisa sobre todos os pontos da escala de proficiência, para que se evite o denominado "Efeito Prova", que pode ser entendido quando um teste não possui informação suficiente em alguns pontos da escala, normalmente nos extremos superior e inferior, fazendo com que estudantes que possuam proficiência nestes intervalos tenham o seu conhecimento mensurado de forma incorreta. Por exemplo, em um exame onde o "Efeito Prova" se manifeste no intervalo superior da escala de proficiência, um aluno com proficiência muito superior à nota máxima permitida pelo exame terá a sua nota diminuída aparentando possuir conhecimento menor que o verdadeiro. Da mesma forma, em um exame onde o "Efeito Prova" se manifeste no intervalo inferior da escala de proficiência um aluno com proficiência muito inferior à nota mínima do exame apresentará uma nota maior e, consequentemente, aparentará possuir um conhecimento maior que o verdadeiro.

A categoria com a demanda cognitiva mais elevada - Criar - não é contemplada nem na Matriz e nem nos itens presentes nas diversas edições do Exame. Essa demanda pressupõe que o estudante, através do seu conhecimento prévio, desenvolva propostas para a resolução de situações-problema, percorrendo métodos e ideias novas na busca de um resultado lógico, que configure uma relação entre conceitos encadeados de forma interdisciplinar (KRATHWOHL, 2002). Para atingir esse nível de cognição é necessária a associação de várias habilidades que dificilmente podem ser avaliadas em questões objetivas, sendo imprescindível o uso de questões discursivas ou situações práticas, o que seria inadequado para a atual estrutura das Ciências da Natureza e suas Tecnologias do ENEM.

Dimensão do Conhecimento

A classificação dos itens envolvendo conceitos de Química e das habilidades da Matriz de Referência, considerando a dimensão do conhecimento, é apresentada no Gráfico 2. Pode-se observar uma expressiva predominância dos conhecimentos Factual e Conceitual. Esses conhecimentos estiveram presentes em 70% dos itens em 2009, 65% em 2010, 71% em 2011, atingiram o maior valor em 2012, 85%, e, em 2013, representaram 67% dos itens. Comparando esses valores com a somatória de suas ocorrências na Matriz de Referência (na qual eles totalizam 80%), verifica-se que não há grandes distanciamentos, sendo que apenas em 2012 o Exame apresentou uma proporção maior desses conhecimentos. Em algumas situações, os conhecimentos Factual e Conceitual (quando esse está relacionado à simples categorização ou classificação sem envolver inter-relações mais complexas) (ANDERSON et al., 2001) podem ser associados às atividades mnemônicas, ou seja, uso de artifícios que facilitam operações da memória (MARCELINO; RECENA, 2012). De acordo com Amauro (2010), em Química, essas atividades são muito empregadas pelos docentes em suas aulas, como na utilização de frases para decorar os elementos pertencentes às famílias da tabela periódica, piadas associando propriedades físico-químicas à reatividade dos elementos, trocadilhos e paródias.

Gráfico 2
Ocorrências observadas para as dimensões do conhecimento nos itens do ENEM, de 2009 a 2013, envolvendo conceitos de Química, e as habilidades presentes na Matriz de Referência da área de Ciências da Natureza

O conhecimento Procedimental é solicitado em todos os Exames dos anos avaliados: 30% em 2009, 35% em 2010, 29% em 2011, 15% em 2012 e 33% em 2013. Em todos os anos analisados, o conhecimento Procedimental está vinculado principalmente aos algoritmos, e relacionado ao "como fazer?" e "o quê fazer?", ou seja, o cálculo é realizado pelo estudante sem que haja reflexão sobre o contexto e sobre a magnitude dos valores e resultados obtidos. Outras estratégias dentro do conhecimento Procedimental são pouco abordadas, como critérios para utilização de procedimentos adequados e conhecimento de técnicas específicas, que implicaria um contexto mais abrangente para reflexão e análise, abrindo um leque de possibilidades.

Estudo bidimensional da classificação dos itens

A tabela bidimensional é uma ferramenta analítica da Taxonomia de Bloom Revisada (ANDERSON et al., 2001) contendo na primeira linha a dimensão dos processos cognitivos e na primeira coluna a dimensão dos conhecimentos. A leitura simultânea das informações correspondentes às duas dimensões permite uma clara visão sobre as características dos instrumentos de avaliação, uma vez que podem ser localizados os domínios resultantes das relações entre os processos cognitivos e os tipos de conhecimento. As tendências apontadas nesses domínios (alta ou baixa ordem) podem auxiliar na verificação do alinhamento entre os objetivos e as avaliações educacionais, assim como na orientação de atividades a serem desenvolvidas em sala de aula com objetivos educacionais (AIRASIAN; MIRANDA, 2002).

No Quadro 2 são apresentados os resultados dos estudos bidimensionais para os itens envolvendo conceitos de Química presentes nas edições do Exames de 2009 a 2013.

Quadro 2
Representação bidimensional apresentando as relações entre os Processos Cognitivos e a Dimensão do Conhecimento nos itens do ENEM dos anos de 2009 a 2013, envolvendo conceitos de Química.

A grande maioria das ocorrências nos itens está relacionada aos domínios envolvendo as demandas cognitivas Lembrar e Entender associadas aos conhecimentos Factual e Conceitual. O conhecimento Procedimental aparece relacionado com as demandas Cognitivas Entender, Aplicar (maior ocorrência), Analisar e Avaliar (raras ocorrências). Apesar de aparecerem em baixíssima proporção, as demandas cognitivas Analisar e Avaliar relacionam-se a todos os conhecimentos, exceto o Metacognitivo. Tsaparlis e Zoller (2003) discutem as características de questões com habilidades cognitivas de baixa ordem (LOCS, lower-order cognitive skills) e questões de habilidades cognitivas de alta ordem (HOCS, higher-order cognitive skills). De acordo com esses autores, itens de baixa ordem cognitiva estão relacionados à questões que requerem a simples lembrança de informações ou aplicação de teorias ou conhecimentos associados à situações ou contextos familiares. Incluem ainda a resolução de problemas pela aplicação direta de algoritmos conhecidos. Por analogia, podemos considerar que as relações decorrentes das demandas cognitivas Lembrar, Entender e Aplicar associadas aos conhecimentos Factual, Conceitual e Procedimental podem dar origem a itens de baixa ordem cognitiva (TIKKANEN; AKSELA, 2012). De acordo com os dados apresentados no Quadro 2, aproximadamente 81% dos itens de Química analisados apresentam essa característica, indicando que esses itens privilegiam a memorização e aplicação de procedimentos padronizados que, de forma geral, não estimulam a reflexão e a aplicação de conceitos na resolução de problemas.

Ainda de acordo com Tsaparlis e Zoller (2003), os itens de habilidades cognitivas de alta ordem podem ter características quantitativas ou qualitativas e são caracterizados por uma estrutura melhor elaborada (apresentando-se como questões objetivas ou dissertativas) que requerem reflexão, análise, síntese, tomada de decisão ou avaliação crítica frente a uma situação-problema, na maioria das vezes, pouco familiar ao estudante, com elementos ou dimensões pouco usuais. Normalmente, a resolução de itens dessa categoria demanda uma relação sinérgica de diferentes habilidades e conhecimentos em diferentes situações ou contextos (TSAPARLIS; ZOLLER, 2003). Traçando analogia com a Taxonomia de Bloom Revisada (ANDERSON et al., 2001), podemos considerar que a associação das demandas cognitivas Analisar, Avaliar e Criar com os conhecimentos Factual, Conceitual, Procedimental e Metacognitivo pode dar origem a itens de alta ordem cognitiva. De acordo com os dados do Quadro 2 os itens com essas características correspondem a um total de 19% das questões envolvendo conceitos de Química estudados.

Devido ao formato do Exame, composto somente por questões objetivas, torna-se bastante difícil a inserção de itens envolvendo o domínio resultante da associação da demanda cognitiva Criar e do conhecimento Metacognitivo, que pode ser avaliado somente na produção escrita.

A representação bidimensional para as 30 habilidades presentes na Matriz de Referência de Ciências da Natureza utilizada na elaboração dos itens que compõem o Exame é apresentada no Quadro 3.

Quadro 3
Representação bidimensional, apresentando as relações entre os Processos Cognitivos e a Dimensão do Conhecimento das 30 habilidades presentes na Matriz de referência do ENEM.

	Lembrar	Entender	Aplicar	Analisar	Avaliar	Criar
Factual	5	6
Conceitual	3	3	1	2	6
Procedimental		1		1	2
Metacognitivo

• Fonte: elaborado pelos autores, com base na Matriz de Referência do ENEM (INEP, 2009).

Se considerarmos que as relações dos processos cognitivos Lembrar, Entender e Aplicar associadas aos conhecimentos Factual, Conceitual e Procedimental dão origem a itens de baixa ordem cognitiva (TSAPARLIS; ZOLLER, 2003) podemos inferir que aproximadamente 64% das habilidades têm essa característica. Os outros 36% correspondem a habilidades com as demandas Analisar e Avaliar associadas aos conhecimentos Factual, Conceitual e Procedimental consideradas de alta ordem.

Marcelino e Recena (2012) realizaram um estudo das habilidades presentes na Matriz de Referência da área de Ciências da Natureza, também utilizando a Taxonomia de Bloom Revisada, e obtiveram resultados relativamente próximos aos apresentados nesse trabalho: 71% dos domínios estavam relacionados às demandas cognitivas Lembrar, Entender e Aplicar associadas aos conhecimentos Factual, Conceitual e Procedimental - caracterizando domínios de baixa ordem cognitiva; e 29% envolvendo domínios com demandas cognitivas Analisar e Avaliar também associadas aos três tipos de conhecimentos já citados - caracterizando domínios de alta ordem cognitiva (MARCELINO; RECENA, 2012).

Comparando esses dados com os resultados obtidos nas análises das provas, podemos verificar um distanciamento entre eles: nas avaliações, os itens, associados a domínios de baixa ordem cognitiva representam 81% do universo estudado, enquanto que a Matriz propõe algo em torno de 64% a 71%. Os 19% dos itens de Química restantes pertencem ao domínio de alta ordem cognitiva, enquanto que a Matriz sugere, para esse domínio, valores entre 29% e 36%. Um ponto importante a ser ressaltado é que as edições dos anos de 2012 e 2013 do Exame apresentaram, comparativamente, as maiores proporções de domínios com alta ordem cognitiva, o que pode sinalizar uma tendência de alinhamento das provas aplicadas com as orientações presentes na Matriz.

Ocorrência dos Objetos de Conhecimento relacionados à área de Química nos Exames

A análise dos contextos presentes nos itens permitiu reconhecer uma extensa variedade de situações do cotidiano, nas quais os objetos do conhecimento estão inseridos, proporcionando ao estudante perceber a importância da aprendizagem desses conceitos, uma vez que há inter-relação entre eles e o universo do estudante. São identificados contextos como: produção de metais de interesse econômico (alumínio, ferro, cobre e aço-doce), problemas ambientais (efeito estufa, chuva ácida, destinação inadequada de esgotos e resíduos, metais pesados na natureza, recuperação de áreas contaminadas), produção e obtenção de energia por diferentes fontes (biocombustíveis, derivados do petróleo, biogás, termoelétricas e hidroelétricas), utilização de produtos de higiene pessoal (sabões, protetores solares), processos biológicos e saúde (equilíbrio osmótico, dosagem de medicamentos, dosagens diárias recomendadas de nutrientes).

Essa riqueza de contextos permite ao estudante aplicar um conceito disciplinar, não raramente, de forma interdisciplinar e, muitas vezes é esse contexto o responsável pela dificuldade do item, uma vez que, usar um conhecimento disciplinar em um contexto específico, no qual o estudante não tem conhecimento prévio, pode tornar o item de difícil resolução. Zoller e Tsaparlis (1997) afirmam que uma questão pode ser de alto nível cognitivo para um estudante, e de baixo nível cognitivo para outro, dependendo do contexto presente na questão.

Considerações finais

Nesse estudo buscou-se verificar o alinhamento entre as orientações presentes na "nova" Matriz de Ciências da Natureza e suas Tecnologias do ENEM e os itens envolvendo conceitos de Química presentes nos Exames de 2009 a 2013, usando como referencial a Taxonomia de Bloom Revisada (ANDERSON et al., 2001).

Os resultados das edições do Exame avaliadas sugerem a ocorrência de itens pertencentes a domínios de baixa ordem cognitiva, privilegiando processos mnemônicos que, mesmo relacionados a conhecimentos conceituais ou procedimentais, envolvem demandas cognitivas de baixa complexidade como a simples lembrança de informações, utilização de fórmulas ou de algoritmos, em contraste com as demandas cognitivas presentes na Matriz, apontando um distanciamento entre o que é sugerido pelo documento referência e o que é observado nos instrumentos avaliativos. De acordo com Judi (2012) em um exame deve-se assegurar que os objetivos de aprendizagem sejam contemplados através da abordagem adequada de conhecimentos e habilidades, observando aspectos como o nível de dificuldade e a distribuição dos conteúdos presentes nos itens.

Outro ponto importante a ser observado é o balanço que deve existir entre itens de alta e baixa demanda cognitivas, assegurando o cumprimento dos diferentes objetivos associados ao ENEM (dentre os quais o ingresso nas Universidades Públicas Federais) sendo, portanto, necessário que ele seja, do ponto de vista pedagógico, um instrumento de verificação de aprendizagem discriminativo, possuindo questões que propiciem a distinção dos candidatos com baixa, média e alta proficiência. Os resultados ainda indicam que nos anos de 2012 e 2013, houve um aumento do número de itens pertencentes a domínios de alta ordem cognitiva, podendo indicar uma tendência do Exame a aproximar-se do construto previsto pela Matriz.

Referências

• AIRASIAN, P. W.; MIRANDA, H. The role of assessment in the revised taxonomy. Theory into Practice, Philadelphia, v. 41, n. 4, p. 249-254, 2002.
• AMAURO, N. Q. Os concursos vestibulares das universidades estaduais paulistas e o ensino de química no nível médio 2010. 142 f. Tese (Doutorado em Ciências) - Instituto de Química, Universidade de São Paulo, São Carlos, 2010. Disponível em: <http://www.teses.usp.br/teses/disponiveis/75/75131/tde-24032011-084717/pt-br.php>. Acesso em: 9 jun. 2016.
  » http://www.teses.usp.br/teses/disponiveis/75/75131/tde-24032011-084717/pt-br.php
• ANDERSON, L. W. et al. A taxonomy for learning, teaching, and assessing: a revision of Bloom's taxonomy of educational objectives. New York: Longman, 2001.
• ANDRADE, D. F.; TAVARES, H. R.; VALLE, R. C. Teoria da resposta ao item: conceitos e aplicações. [S.l.: s. n.], 2000. Disponível em: <http://www.ufpa.br/heliton/arquivos/LivroTRI.pdf>. Acesso em: 9 jun. 2016.
  » http://www.ufpa.br/heliton/arquivos/LivroTRI.pdf
• ANDRADE, D. F.; BORGATTO, A. F. O efeito da prova na estimativa da proficiência através da TRI. Estudos em Avaliação Educacional, São Paulo, v. 23, n. 51, p. 102-115, 2012. Disponível em: <http://dx.doi.org/10.18222/eae235120121950>. Acesso em: 9 jun. 2016.
  » http://dx.doi.org/10.18222/eae235120121950
• BONAMINO, A.; SOUSA, S. Z. Três gerações de avaliação da educação básica no Brasil: interfaces com o currículo da/na escola. Educação e Pesquisa, São Paulo, v. 38, n. 2, p. 373-388, abr./jun. 2012.
• BRASIL. Ministério da Educação. Parâmetros curriculares nacionais: ensino médio. Brasília, 2000.
• ______. PCN+ ensino médio: orientações educacionais complementares aos parâmetros curriculares n acionais. Ciências da natureza, matemática e suas tecnologias. Brasília, 2002.
• CASTRO, C. M. Avaliar não é para amadores. In: SOUZA, A. M. (Org.). Dimensões da avaliação educacional Petrópolis: Vozes, 2005. p. 246-258.
• CERDEIRA, D. G. S.; ALMEIDA, A. B. As avaliações externas no ensino fundamental: influências no currículo e no cotidiano escolar. In: VII REUNIÃO DA ABAVE, 7., 2013, Brasília. Anais eletrônicos... Rio de Janeiro: ABAVE, 2013. p. 147-164. Disponível em: <http://www.abave.com.br/ojs/index.php/Reunioes_da_Abave/article/view/8/6>. Acesso em: 26 jan. 2015.
  » http://www.abave.com.br/ojs/index.php/Reunioes_da_Abave/article/view/8/6
• FERNANDES, C. S.; MARQUES, C. A. A contextualização no ensino de ciências: a voz de elaboradores de textos teóricos e metodológicos do Exame Nacional do Ensino Médio. Investigações em Ensino de Ciências, Porto Alegre, v. 17, n. 2, p. 509-527, 2012. Disponível em: <http://www.if.ufrgs.br/ienci/artigos/Artigo_ID303/v17_n2_a2012.pdf>. Acesso em: 26 jan. 2015.
  » http://www.if.ufrgs.br/ienci/artigos/Artigo_ID303/v17_n2_a2012.pdf
• GONÇALVES JR., W. P.; BARROSO, M. As questões de física e o desempenho dos estudantes no ENEM. Revista Brasileira de Ensino de Física, São Paulo, v. 36, n. 1, p.1-16, 2014. Disponível em: <http://dx.doi.org/10.1590/S1806-11172014000100017>. Acesso em: 26 jan. 2015.
  » http://dx.doi.org/10.1590/S1806-11172014000100017
• HAUENSTEIN, A. D. A conceptual framework for educational objectives: a holistic approach to traditional taxonomies. Lanham: University Press of America. 1998.
• INEP. Ações e programas Disponível em: <http://inep.gov.br/web/acesso-a-informacao/acoes-e-programas>. Acesso em: 12 jul. 2015.
  » http://inep.gov.br/web/acesso-a-informacao/acoes-e-programas
• ______. Guia de elaboração e revisão de itens Brasília, 2010.
• ______. Matriz de referência para o ENEM 2009 Brasília, 2009.
• ______. Provas e gabaritos Disponível em: <http://portal.inep.gov.br/web/enem/edicoes-anteriores/provas-e-gabaritos>. Acesso em: 5 jan. 2013.
  » http://portal.inep.gov.br/web/enem/edicoes-anteriores/provas-e-gabaritos
• ______. Todas as notícias Disponível em: <http://portal.inep.gov.br/sala-de-imprensa>. Acesso em: 18 jun. 2016.
  » http://portal.inep.gov.br/sala-de-imprensa
• JUDI, H. M. et al. Alignment of statistics course using examination items. Procedia: social and behavioral sciences, Amsterdam, v. 59, n. 17, p. 264-269, 2012.
• KLEIN, R. Alguns aspectos da teoria de resposta ao item relativos à estimação das proficiências. Ensaio: avaliação e políticas públicas em educação, Rio de Janeiro, v. 21, n. 78, p. 35-55, 2013. Disponível em: <http://dx.doi.org/10.1590/S0104-40362013005000003>. Acesso em: 9 jun. 2016.
  » http://dx.doi.org/10.1590/S0104-40362013005000003
• ______. Testes de rendimento escolar. In: SOUZA, A. M. (Org.). Dimensões da avaliação educacional Petrópolis: Vozes, 2005. p. 110-138.
• KRATHWOHL, D. R. A revision of Bloom's taxonomy: an overview. Theory into Practice, Philadelphia, v. 41, n. 4, p. 212-218, 2002.
• MACENO, N. G. et al. A matriz de referencia do ENEM 2009 e o desafio de recriar o currículo de química na educação básica. Química Nova na Escola, São Paulo, v. 33, n. 3, p. 153-159, 2011.
• MARCELINO, L. V.; RECENA, M. C. P. Possíveis influências do novo ENEM nos currículos educacionais de química. Estudos em Avaliação Educacional, São Paulo, v. 23, n. 53, p. 148-177, set/dez. 2012. Disponível em: <http://www.fcc.org.br/pesquisa/publicacoes/eae/arquivos/1762/1762.pdf>. Acesso em: 9 jun. 2016.
  » http://www.fcc.org.br/pesquisa/publicacoes/eae/arquivos/1762/1762.pdf
• MARTONE, A.; SIRECI, S. G. Evaluating alignment between curriculum, assessment, and instruction. Review of Educational Research, Thousand Oaks, v. 79, n. 4, p. 1332-1361, dez. 2009.
• MARZANO, R. J.; KENDALL, J. S. The new taxonomy of educational objectives Thousand Oaks: Corwin Press, 2007.
• NÄSSTRÖM, G. Interpretation of standards with Bloom's revised taxonomy: a comparison of teachers and assessment experts. International Journal of Research & Method in Education, Abingdon, v. 32, n. 1, p. 39-51. 2009.
• PORTER, A. C.; SMITHSON, J. L. Are content standards being implemented in the classroom?: a methodology and some tentative answers. In: FUHRMAN, S. H. (Ed). From the Capitol to the classroom: standards-based reform in the States Chicago: National Society for the Study of Education, 2001. p. 60-80. Disponível em: <http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.469.5320>. Acesso em: 9 jun. 2016.
  » http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.469.5320
• REUNIÃO DA ASSOCIAÇÃO BRASILEIRA DE AVALIAÇÃO INSTITUCIONAL, 7., 2013, Brasília. Anais eletrônicos... Rio de Janeiro: ABAVE , 2013. Disponível em: <http://www.abave.com.br/ojs/index.php/Reunioes_da_Abave/issue/view/1>. Acesso em: 26 jan. 2015.
  » http://www.abave.com.br/ojs/index.php/Reunioes_da_Abave/issue/view/1
• SILVA, E. L.; MARCONDES, M. E. R. Contextualização no ensino de ciências: significados e epistemologia. In: SANTANA, E. (Org.). Tópicos em ensino de química São Carlos: Pedro & João, 2014. p. 15-36.
• SOUSA, E. C. Utilização do método Bookmark para a interpretação pedagógica da escala de física no exame Nacional do Ensino Médio (ENEM). In: CONGRESO INTERNACIONAL SOBRE INVESTIGACIÓN EN DIDÁCTICA DE LAS CIENCIAS, 9., 2013, Girona. Comunicación... Disponível em: <http://www.raco.cat/index.php/Ensenanza/article/viewFile/308442/398457>. Acesso em: 9 jun. 2016.
  » http://www.raco.cat/index.php/Ensenanza/article/viewFile/308442/398457
• SOUSA, S. Z. Ensino médio: perspectivas de avaliação. Retratos da Escola, Brasília, v. 5, n. 8, p. 99-110, 2011. Disponível em: <http://www.esforce.org.br/index.php/semestral/article/view/50/47>. Acesso em: 9 jun. 2016.
  » http://www.esforce.org.br/index.php/semestral/article/view/50/47
• TIKKANEN, G.; AKSELA, M. Analysis of Finnish chemistry matriculation examination questions according to cognitive complexity. NorDiNa, Oslo, v. 8, n. 3, p. 258-268, 2012.
• TSAPARLIS, G.; ZOLLER, U. Evaluation of higher vs. lower-order cognitive skills-type examinations in chemistry: implications for university in-class assessment and examinations. University Chemistry Education, Cambridge, v. 7, n. 2, p. 50-57, 2003.
• VALVERDE, G. A. Padrões e avaliação. In: SCHWARTZMAN, S.; COX, C. (Org.). Políticas educacionais e coesão social: uma agenda latino-americana. Rio de Janeiro: Elsevier, 2010. p. 49-80.
• WEBB, N. L. Issues related to judging the alignment of curriculum standards and assessments. Applied Measurement in Education, Philadelphia, v. 20, n. 1, p. 7-25, 2007.
• ZHENG, A. Y. et al. Application of Bloom's taxonomy debunks the "MCAT myth". Science, Washington, v. 319, n. 5862, p. 414-415, 25 Jan. 2008.
• ZOLLER, U.; TSAPARLIS, G. Higher and lower-order cognitive skills: the case of chemistry. Research in Science Education, Dordrecht, v. 27, n. 1, p. 117-130, 1997.

Datas de Publicação

• Publicação nesta coleção
  Jul-Sep 2016

Histórico

• Recebido
  14 Ago 2015
• Aceito
  21 Dez 2015