O ENADE para a licenciatura em física: uma proposta de Matriz de Referência

The ENADE for a degree in Physics: aproposal for Matrix Reference

PESQUISA EM ENSINO DE FÍSICA

O ENADE para a licenciatura em física: uma proposta de Matriz de Referência

The ENADE for a degree in Physics: aproposal for Matrix Reference

João Paulo de Castro CostaI, ¹; Maria Inês Martins^II

^ICentro Federal de Educação Tecnológica de Minas Gerais, Timóteo, MG, Brasil

^IIPontifícia Universidade Católica de Minas Gerais, Belo Horizonte, MG, Brasil

RESUMO

Este trabalho analisa as questões do componente específico das edições do Exame Nacional dos Estudantes (ENADE) para a licenciatura em física, procurando entender a estrutura do Exame através da reconstrução da sua Matriz de Referência (MR). Os aspectos do perfil profissional e os recursos (competências e habilidades) requeridos dos formandos foram extraídos das portarias do Exame, consubstanciadas nas Diretrizes Curriculares Nacionais (DCN). As questões foram localizadas na MR para cada edição do exame e, em seguida, as matrizes foram superpostas, possibilitando uma análise da frequência dos perfis e recursos (competências/habilidades) requeridos, os conteúdos (objetos de conhecimento) privilegiados, bem como o índice de facilidade das questões, acordado com o relatório síntese do INEP. Verifica-se, de um lado, a concentração de questões em algumas células da MR e, de outro lado, várias células vazias, indicando a prevalência de certos perfis/recursos, em detrimento de outros. Sobre o nível de dificuldade, a maioria das questões foi percebida pelos alunos como "média" ou "difícil", sendo o ENADE 2011 a edição mais difícil, com 72% dos itens como "difíceis".

Palavras-chave: ENADE, licenciatura em física, Matriz de Referência.

ABSTRACT

We examined the 2005, 2008 and 2011 items of the Physics Teachers' National Students' Exam (ENADE) trying to understand the Exam structure, rebuilding its Reference Matrix (MR) We considered the professional profile and resources (skills and abilities) required to the undergraduate students according to the National Curriculum Guidelines (DCN) and the decree of the exam. The questions were located in the MR for each Exam edition and then the matrices were overlaid enabling the frequency analysis of profiles and resources (skills/abilities) required, besides the content (knowledge objects) and items difficult index, according to INEP summary report. On one hand, there was the concentration of questions in some cells and; on the other hand, several empty cells, indicating the prevalence of certain sections/resources to the detriment of others. Regarding the level of difficulty, most of the questions were classified as medium or hard difficulty level, being the 2011 edition the hardest of the three tests, with 72% of the items considered "difficult".

Keywords: ENADE, degree in physics, Reference Matrix.

1. Introdução

A avaliação dos cursos superiores no Brasil respeita a Lei 10.861/2004 [1], Lei do Sistema Nacional de Avaliação da Educação Superior (SINAES) cujo escopo compreende avaliar as Instituições de Ensino Superior (IES), os cursos e o desempenho dos alunos, através do Exame Nacional de Desempenho dos Estudantes (ENADE). O Exame é aplicado desde 2004 como componente curricular obrigatório dos cursos de graduação, avaliando a partir de 2010, somente o rendimento de alunos concluintes

Art. 1° O Exame Nacional de Desempenho dos Estudantes (ENADE), parte integrante do Sistema Nacional de Avaliação da Educação Superior (Sinaes), tem como objetivo geral avaliar o desempenho dos estudantes em relação aos conteúdos programáticos previstos nas diretrizes curriculares, às habilidades e competências para a atualização permanente e aos conhecimentos sobre a realidade brasileira, mundial e sobre outras áreas do conhecimento. [2]

O ENADE é obrigatório para a rede federal e particular de ensino superior e facultativo para as redes estaduais e municipais. O Exame reflete um ciclo trienal de avaliação, com as áreas de formação subdivididas em 3 grupos que se alternam em anos subsequentes. O desempenho dos estudantes compõe o Conceito Preliminar de Curso (CPC), um indicador de qualidade regulador da renovação de reconhecimento dos cursos de graduação, configurando-se como foco de preocupação das Instituições de Ensino. Os cursos de física foram avaliados em 2005, 2008 e 2011 e cada edição do ENADE foi circunstanciada por uma Portaria INEP (172/2005[3]; 128/2008 [4] e 219/2011[5]), contemplando os requisitos avaliados no Exame: os objetivos, os recursos e os objetos de conhecimento (OC) comuns à área de física, bem como os específicos da licenciatura e do bacharelado. Além das Portarias, os manuais do ENADE possibilitam analisar o Exame, cuja complexidade tem sido pouco estudada e divulgada sendo, consequentemente, pouco compreendido pela comunidade acadêmica.

A prova específica para a licenciatura em física ancora-se nas Diretrizes Curriculares Nacionais (DCN) para a Formação de Professores (Res. CNE/CP 1/2002 [7]) e para a área de física (Res. CNE/CES 9/2002 [8]). Destacam-se nas DCN: perfil esperado dos egressos; as capacidades / recursos (competências e habilidades) a serem desenvolvidas; os objetos de conhecimento (conteúdos) a serem explorados durante a formação dos alunos A Res. CNE/CES 9/2002 [8] estabelece as DCN para os cursos de bacharelado e licenciatura em física. Os parágrafos 1º e 2º orientam a formulação do Projeto Pedagógico do Curso (PPC), o qual deve explicitar, dentre outros aspectos, as competências e habilidades - gerais e específicas - a serem adquiridas pelo aluno no decorrer do curso. As Diretrizes preconizam currículos que contemplem maior flexibilidade e possibilitem aos seus egressos mais opções de inserção no mercado. Cerca de metade da carga horária deve contemplar o núcleo básico e a outra metade disciplinas específicas da ênfase do curso, licenciatura ou bacharelado, de forma a contemplar o perfil profissional almejado, as competências e as habilidades a serem adquiridas pelo estudante em sua formação. O documento enuncia cinco competências essenciais para os graduados em física:

1. Dominar princípios gerais e fundamentos da física, estando familiarizado com suas áreas clássicas e modernas;

2. Descrever e explicar fenômenos naturais, processos e equipamentos tecnológicos em termos de conceitos, teorias e princípios físicos gerais;

3. Diagnosticar, formular e encaminhar a solução de problemas físicos, experimentais ou teóricos, práticos ou abstratos, fazendo uso dos instrumentos laboratoriais ou matemáticos apropriados;

4. Manter atualizada sua cultura científica geral e sua cultura técnica profissional específica;

5. Desenvolver uma ética de atuação profissional e a consequente responsabilidade social, compreendendo a ciência como conhecimento histórico, desenvolvido em diferentes contextos sócio-políticos, culturais e econômicos. [9]

As competências estão diretamente ligadas às seguintes habilidades a serem adquiridas pelo estudante no decorrer do curso:

1. Utilizar a matemática como uma linguagem para a expressão dos fenômenos naturais;

2. Resolver problemas experimentais, desde seu reconhecimento e a realização de medições, até à análise de resultados;

3. Propor, elaborar e utilizar modelos físicos, reconhecendo seus domínios de validade;

4. Concentrar esforços e persistir na busca de soluções para problemas de solução elaborada e demorada;

5. Utilizar a linguagem científica na expressão de conceitos físicos, na descrição de procedimentos de trabalhos científicos e na divulgação de seus resultados;

6. Utilizar os diversos recursos da informática, dispondo de noções de linguagem computacional;

7. Conhecer e absorver novas técnicas, métodos ou uso de instrumentos, seja em medições, seja em análise de dados (teóricos ou experimentais);

8. Reconhecer as relações do desenvolvimento da física com outras áreas do saber, tecnologias e instâncias sociais, especialmente contemporâneas;

9. Apresentar resultados científicos em distintas formas de expressão, tais como relatórios, trabalhos para publicação, seminários e palestras. [9]

As DCN incluem ainda, como habilidades específicas da licenciatura:

1. O planejamento e o desenvolvimento de diferentes experiências didáticas em física, reconhecendo os elementos relevantes às estratégias adequadas;

2. A elaboração ou adaptação de materiais didáticos de diferentes naturezas, identificando seus objetivos formativos, de aprendizagem e educacionais; [9]

Observa-se nas DCN a preocupação com a vivência do graduado em física com a prática de laboratório; o uso de equipamentos de informática; a pesquisa bibliográfica, sabendo identificar e localizar fontes de informação relevantes; a leitura de textos básicos com conceitos fundamentais de física e ciências; a elaboração de artigo ou monografia, de modo a sistematizar suas ideias e seus conhecimentos, e no caso da licenciatura elaboração e desenvolvimentos de atividades relacionadas ao ensino. Para verificar o cumprimento das Diretrizes no âmbito dos cursos de graduação foram criados mecanismos de avaliação, regulados pela Portaria 40/2007 [10], republicada em 2010, que em seu artigo 33-D afirma:

O ENADE será realizado pelo INEP, sob a orientação da CONAES, e contará com o apoio técnico de Comissões Assessoras de Área... O INEP constituirá um banco de itens, elaborados por um corpo de especialistas, conforme orientação das Comissões Assessoras de Área, para composição das provas do ENADE. [10]

O ENADE como outros exames nacionais de larga escala da Educação Básica [Exame Nacional do Ensino Médio (ENEM), Exame Nacional para Certificação de Competências de Jovens e Adultos (ENCCEJA) e a Prova BRASIL] estrutura-se em uma matriz de referência de habilidades e competências que norteia a elaboração da prova e a constituição de Bancos Nacionais de Itens. Segundo Griboski [11]:

O BNI da Educação Superior é concebido, portanto, como um acervo de questões elaboradas a partir de matrizes de conteúdos, competências e habilidades pré-definidos pelas Comissões Assessoras de Área, que permitem a montagem das provas para estimar com a maior precisão possível a proficiência dos estudantes. [11, grifo nosso]

Uma matriz de referência (MR) consiste em uma relação entre dois parâmetros da cognição. A MR do ENEM, por exemplo, consiste em uma relação entre cinco eixos cognitivos e trinta competências por área, que avaliam, nesse caso, o desempenho do estudante no Ensino Médio, que, independente da área que o mesmo for seguir no Ensino Superior, o mesmo será avaliado em todas. O ENADE avalia o desempenho dos estudantes no Ensino Superior no que diz respeito aos conhecimentos específicos e às competências e habilidades desenvolvidos ao longo do curso. Ambos são exames de larga escala, porém se fundamentam em MR diferentes com fontes diferentes.

O manual do ENADE, divulgado anualmente, esclarece ser de responsabilidade das Comissões Assessoras de Áreas a definição das competências e habilidades que serão avaliadas e as especificações necessárias para a elaboração do componente específico da prova [6]. É, portanto de competência sigilosa da Comissão a escolha das células da Matriz a serem contempladas a cada edição do Exame, com objetos de conhecimento e níveis de dificuldade pré-estabelecidos Elaboradores de itens do ENADE, cadastrados no BNI, recebem encomendas de itens por células da Matriz.

Como a matriz de referência do ENADE não é pública propõe-se uma forma de "recuperar" as Matrizes de Prova, através da alocação das questões em suas células

Embasado no que é proposto nas DCN para os cursos de bacharelado e licenciatura em física [8] e na Portaria do exame [5] constrói-se a proposta de Matriz de Referência para o ENADE que consiste na relação entre dois parâmetros da cognição, cujas colunas representam os onze aspectos do perfil profissional e as linhas os dezessete recursos ou capacidades (correspondentes às competências/habilidades) previstos nas portarias

2. Desenvolvimento

Foram analisados 90 (noventa) itens do núcleo do componente específico Comum e do componente específico para a licenciatura, extraídos das três edições do ENADE (2005, 2008, 2011) [12-14]. A opção pela licenciatura fundamenta-se na relevância do Exame para a formação de professores, sobretudo para o ensino de física. A Tabela 1 apresenta o universo de análise.

Os itens foram resolvidos, observando as palavras-chave e comandos de construção, os objetos de conhecimento e a complexidade da questão. O índice de facilidade² da questão foi retirado dos relatórios síntese [15-17] divulgados pelo MEC. Nas Portarias, além dos recursos e perfis avaliados, são encontrados os conteúdos curriculares de referência para a elaboração de itens. A PN 219/2011 [5] traz os conteúdos gerais e específicos, denominados objetos de conhecimento (OC), resumidos para a licenciatura na Tabela 2

Construídas as matrizes, os itens foram alocados nas respectivas células, respeitando o predominante perfil profissional e o recurso requeridos. Também foram classificados com relação ao objeto de conhecimento avaliado e o índice de facilidade extraído dos respectivos relatórios-síntese de cada edição do exame.

A MR ENADE (Tabela 3), pautada na Portaria [5], possibilita esse trabalho de alocação de itens, fornecendo uma visão de cada edição do exame.³

Realizada a alocação dos itens nas matrizes de referência de cada edição do exame observa-se a frequência que os itens são requeridos em cada célula e assim qual perfil e recurso o item avalia.

A Fig. 1 apresenta a densidade dos itens é resultado da sobreposição das três matrizes, que possibilita uma visão consolidada do ENADE até o momento no que diz respeito aos perfis e recursos avaliados, bem como o índice de facilidade de cada item: verde (fácil), amarelo (médio) e vermelho (difícil).

A análise permite observar em quais células ocorre maior densidade de itens. Uma importante visão, que facilita a percepção de quais perfis e recursos estão sendo mais avaliados e o desempenho geral de cada item no que diz respeito a seu índice de facilidade.

Em uma análise inicial, observa-se uma concentração de itens no cruzamento P2xR9, que avaliam a "capacidade de abstração e de modelagem de fenômenos utilizando a linguagem matemática na medida do necessário" (P2) "aplicando os conhecimentos básicos da física à solução de problemas" (R9). São questões clássicas, a maior parte contextualizada, que exigem cálculos matemáticos de situações físicas ou uso de equações matemáticas. Exemplifica-se a seguir o item 11 (Objetivo) do núcleo comum do ENADE 2008 [13].

A questão exige aplicar conhecimentos básicos de física (mecânica) e fazer cálculos matemáticos. Observa-se como significativa a ocorrência desse tipo de item nas três provas aplicadas (19%).

O cruzamento P1xR1 indica concentração (8%) de itens requisitando "dominar instrumentos conceituais (modelos e teorias), de modo a operacionalizá-los nos diversos âmbitos de suas práticas profissionais" (P1) e, ao mesmo tempo, "demonstrar domínio dos princípios e conceitos básicos da física" (R1). A sua resolução não requer cálculos matemáticos e sim conceitos e princípios da física, além do conteúdo específico (OC). Exemplifica-se P1xR1 com o item 14 (Objetivo) do núcleo comum do ENADE 2011 [14].

Observa-se nas três edições do exame a concentração de itens (11%) requerendo "Representação e interpretação de propriedades físicas em gráficos" (R5), distribuídas nos perfis P1, P2 e P3, avaliando se o estudante tem "experiência laboratorial e computacional". O aluno deve saber efetuar, ou ter participado de prática de laboratório (P3), e interpretar o(s) gráfico(s) dos resultados obtidos (R5). Exemplifica-se P3xR5, através do item 9 (Objetivo) do núcleo comum do ENADE 2005 [12].

O cruzamento P2xR3 aparece somente em uma questão por edição do Exame. O estudante deve ser capaz de operacionalizar matematicamente o fenômeno (P2) e interpretar os resultados decorrentes da realização de um experimento (R3). Exemplifica-se a alocação na célula P2xR3, através do item 10 (Objetivo) do núcleo comum do ENADE 2011 [14].

Observa-se no componente específico da licenciatura em física, a concentração de 6 (seis) itens na célula P1xR12, totalizando 20% das questões, que avaliam o recurso R12: "Organização das programações curriculares para o ensino de física nos diversos níveis de escolaridade da Educação Básica, em consonância com a realidade social de sua implementação, tendo por base a consideração crítica tanto das orientações contidas nas normativas legais, como das expectativas apontadas nos exames e avaliações nacionais". Tais itens tratam dos PCN e das avaliações aplicadas em nível nacional. Exemplifica-se, a seguir, a célula P1xR12, através do item 44 (Objetivo) do núcleo comum do ENADE 2008 [13]:

Considerando as três edições do exame 96% das questões do ENADE foram igualmente distribuídas entre os índices de dificuldade médio e difícil e uma minoria de questões (4%) foram classificadas no nível fácil. Isso indica que vários itens devem ter sido encomendados pela Comissão como fáceis ou médios, mas acabaram se configurando como médios ou difíceis. Apresenta-se adiante a ocorrência dos OC por índice de facilidade, indicando em quais conteúdos os estudantes apresentam melhor desempenho.

Respaldando-se nos resultados apresentados na Fig. 2, o ENADE 2005 é considerado com uma prova de nível médio, com apenas uma questão (3%) classificada como fácil, a qual aborda o OC metodologia do ensino de física. Os demais itens foram classificados entre médio (60%) e difícil (37%), demonstrando a dificuldade na resolução dos itens, sobretudo daqueles relacionados aos OC eletricidade e magnetismo e fundamentos históricos da física.

O ENADE 2008 foi um exame de nível médio, com 62% das questões entre os níveis fácil e médio. Nesse Exame, uma questão (3%) contemplando o OC metodologia do ensino de física foi anulada, uma questão (3%) sobre o mesmo OC foi classificada como fácil e as demais questões como médias (59%) e difíceis (38%). Observa-se que o ENADE 2008 manteve o mesmo grau de dificuldade do ENADE 2005, e analisando a Fig. 2, percebe-se a permanência da frequência dos OC nas duas provas. Em 2008 repete-se a dificuldade nos itens sobre o OC fundamentos históricos da física.

Contando com questões mais contextualizadas, a prova de 2011 apresentou um nível de dificuldade maior do que as demais edições do Exame. Novamente uma questão (3%) sobre o OC metodologia do ensino de física, classificada como fácil. O ENADE 2011, de acordo com o Relatório Síntese [16], foi percebido pelos estudantes como uma prova mais difícil, com 72% e 25% dos itens classificados, respectivamente como difíceis e médios.

Em 2005 e 2008, os itens sobre o OC fundamentos históricos da física foram considerados difíceis, enquanto que no ENADE 2011 somente este OC abarcou itens de dificuldade média. Os itens sobre outros OC (evolução das ideias da física, mecânica, termodinâmica e física ondulatória e óptica física) foram classificados na prova de 2011 como difíceis, ao contrário das edições anteriores (2005 e 2008), em que foram considerados de nível médio.

Essa análise permite observar a evolução do Exame ao longo dos anos. As matrizes das provas de 2005, 2008 e 2011 encontram-se detalhadas e analisadas em Costa [17], fornecendo uma fotografia de cada edição do Exame. Percebe-se a mudança no índice de facilidade da prova e a ocorrência de novos cruzamentos dos aspectos do perfil profissional com os recursos requeridos em cada item. Tais análises permitem refletir se o estudante egresso do curso de graduação desenvolve as competências e habilidades exigidas pelas portarias, almejando uma boa prática profissional.

3. Considerações finais

Procurou-se compreender o ENADE, sobretudo através da proposta da matriz de Prova que decorre do cruzamento de dois parâmetros educacionais aspectos do perfil profissional e recursos As matrizes de referência do ENADE (2005, 2008 e 2011) foram superpostas em um gráfico (Fig. 1) de densidade o qual facilita a visão das três edições do exame.

Percebe-se uma concentração de questões nas células que requerem aplicar os conhecimentos básicos da física à solução de problemas, e as demais células com um número menor de questões. Em todas as edições do Exame observam-se várias células vazias. A análise possibilita refletir sobre a prática docente que deve incorporar atividades acadêmicas que permitam verificar o desenvolvimento das capacidades (competências e habilidades) preconizadas nas DCN e requeridas no ENADE. A matriz de referência materializa as competências e habilidades mais requeridas dos estudantes.

De uma forma geral, as provas do ENADE, em todas as edições do exame, foram classificadas com os indicadores de nível médio a difícil, segundo o relatório síntese divulgado pelo INEP. Apenas uma questão de cada exame foi classificada como fácil e o restante como médio ou difícil. O ENADE 2011 configura-se como a edição mais contextualizada e difícil do Exame.

Com relação aos objetos de conhecimento (conteúdo) do núcleo comum à licenciatura e ao bacharelado requeridos no ENADE, observa-se que termodinâmica, ondulatória e óptica e física moderna mantiveram uma frequência constante, mecânica sofre uma queda na frequência, compensada com uma elevação nos itens sobre eletricidade e magnetismo. Para os conteúdos específicos da licenciatura, permanece a frequência das questões sobre o OC fundamentos históricos da física, com um crescimento das questões que envolvem políticas públicas. Destaca-se que a maior parte das questões do exame avalia o conteúdo de metodologia do ensino de física.

O ENADE focaliza, além do conhecimento dos objetos de conhecimento (conteúdo), o desenvolvimento de aspectos do perfil profissional e Capacidades (competências e habilidades). Não se trata de "treinar" estudantes para o ENADE, mas sim de familiarizá-los durante o curso com tarefas e avaliações no mesmo nível de complexidade das questões dos exames, baseados nas orientações contidas nas DCN, bem como os aspectos do perfil profissional e os recursos (competências e habilidades) requeridos, os conhecimentos e os processos cognitivos envolvidos. Pretende-se que as discussões apresentadas acerca do ENADE colaborem com o trabalho dos docentes de física no ensino superior, ao fornecerem uma visão geral da prova, bem como seu processo de elaboração e avaliação.

Recebido em 24/2/2014

Aceito em 10/5/2014

Publicado em 7/8/2014

• [1] MEC/INEP, Lei n10.861 (DOU, Brasília, 2004).
• [2] MEC/INEP, Portaria n 207 (DOU, Brasília, 2012).
• [3] MEC/INEP, Portaria n 172 (DOU, Brasília, 2005).
• [4] MEC/INEP, Portaria n 128 (DOU, Brasília, 2008).
• [5] MEC/INEP, Portaria n 219 (DOU, Brasília, 2011).
• [6] MEC/INEP, Manual do ENADE 2008 (MEC/INEP, Brasília, 2008).
• [7] MEC/INEP, Diretrizes Curriculares Nacionais para os Cursos de Formação de Professores da Educação Básica (MEC/INEP, Brasília, 2002).
• [8] MEC/INEP, Diretrizes Curriculares Nacionais para os Cursos de Bacharelado e Licenciatura Física (MEC/INEP, Brasília, 2002).
• [9] MEC/INEP, Parecer CNE/CES 1.304 (MEC/INEP, Brasília, 2001).
• [10] MEC/INEP, Portaria n 40, republicada em 12/2010 (DOU, Brasília, 2011).
• [11] MEC/INEP, ENADE 2005 (MEC/INEP, Brasília, 2005).
• [12] MEC/INEP, ENADE 2008 (MEC/INEP, Brasília, 2008).
• [13] MEC/INEP, ENADE 2011 (MEC/INEP, Brasília, 2011).
• [14] MEC/INEP, Relatório Síntese: Área de Física (MEC/INEP, Brasília, 2007).
• [15] MEC/INEP, Relatório Síntese: Física (MEC/INEP, Brasília, 2010).
• [16] MEC/INEP, Relatório Síntese: Física (MEC/INEP, Brasília, 2013).
• [17] J.P.C. COsta, As Questões do ENADE para a Licenciatura em Física Dissertação de Mestrado, Pontifícia Universidade Católica de Minas Gerais, 2013.
• [18] C.M. GRiboski, Est. Aval. Educ. 23, 53 (2012).

2

O índice de facilidade é gerado pelo índice de acertos do item pelos estudantes em cada exame. De acordo com o número de estudantes que acertaram a questão ela é classificada nos indicadores fácil, médio e difícil.

3

As Matrizes de Referência para cada exame, com os itens alocados e classificados em relação ao OC e ao índice de facilidade estão disponíveis em Costa [17].

Datas de Publicação

• Publicação nesta coleção
  18 Set 2014
• Data do Fascículo
  Set 2014

Histórico

• Aceito
  10 Maio 2014
• Recebido
  24 Fev 2014