Acessibilidade / Reportar erro

Interfaces entre Avaliação e Currículo de História no Ensino Médio

Resumo:

Apresenta-se nesse artigo os resultados de uma pesquisa que investigou as bases do Programa de Avaliação da Aprendizagem Escolar (PAAE), em Minas Gerais, identificando o modo pelo qual os itens de teste adotados atendem aos objetivos pedagógicos anunciados, e as implicações desse programa no currículo escolar da disciplina de História do Ensino Médio. A metodologia utilizada foi a análise dos documentos do PAAE, entre os anos de 2005 e 2015, de conteúdo de matrizes curriculares e de itens de teste das provas geradas pelo programa, além da pesquisa bibliográfica. Os resultados indicaram contradição entre o anúncio do caráter inovador dos itens utilizados como recurso pedagógico para avaliar habilidades e competências e a presença hegemônica de questões tradicionais nas provas elaboradas para o programa em detrimento da modalidade formativa anunciada.

Palavras-chave:
Avaliação Educacional; Currículo; História; Ensino Médio

Abstract:

In this article, it is presented the results of a research that investigated the bases of the Programa de Avaliação da Aprendizagem Escolar (PAAE - Program for the Evaluation of School Learning), in the State of Minas Gerais, identifying the way the adopted test items fulfill the announced pedagogical objectives, and the implications of this program in the History curriculum at High School. The methodology used was the analysis of PAAE documents, between 2005 and 2015, of the content of curricular grids, and of test items in the tests created by the program, besides a bibliographical research. The results have indicated a contradiction between the announcement of the innovative character of the items used as pedagogical resources to evaluate the skills and abilities and the hegemonic presence of traditional matters in the tests designed for the program to the detriment of the announced formation modality.

Keywords:
Educational Evaluation; Curriculum; History; High School

Introdução

No contexto de valorização e expansão dos programas de avaliação externa e interna de instituições de ensino, torna-se relevante problematizar a visão de conhecimento sob a qual estão vinculados os conceitos intrínsecos aos processos avaliativos. Para Sacristán (2011SACRISTÁN, José Gimeno. Educar por Competências: o que há de novo? Porto Alegre: Artmed , 2011.), utilizar conceitos no discurso educacional, seja de avaliação, currículo ou de competências, é optar por um discurso, por uma forma de entender os problemas, de ordená-los, condicionar o que se faz e, também, servir de instrumento contra outros discursos, uma opção para ocultar determinados problemas e desqualificar outras concepções pedagógicas e políticas que são negligenciadas (Sacristán, 2011).

Especificamente no campo da avaliação, Gatti (2009GATTI, Bernadete. Avaliações de Sistemas Educacionais no Brasil. Sísifo. Revista de Ciências da Educação, Lisboa, n. 09. p. 07-18, maio/ago. 2009.) observou que, em favor das vantagens da comparabilidade anunciadas pelos programas e sistemas de avaliação, abandona-se a problematização de matrizes definidas genericamente por especialistas fora do ambiente escolar, nas quais conceitos importantes para o campo da Educação são definidos e compreendidos de maneira precária em relação às abordagens que os fundamentam. A confiança atribuída aos itens de teste padronizados se sobrepõe às investigações necessárias, no sentido de verificar os limites desses instrumentos na perspectiva formativa de avaliação (Gatti, 2009GATTI, Bernadete. Avaliações de Sistemas Educacionais no Brasil. Sísifo. Revista de Ciências da Educação, Lisboa, n. 09. p. 07-18, maio/ago. 2009.; Fernandes, 2013FERNANDES, Domingos. Avaliação em Educação: uma discussão de algumas questões críticas e desafios a enfrentar nos próximos anos. Ensaio , Rio de Janeiro, v. 21, n. 78, p. 11-34, jan./mar. 2013; 2015FERNANDES, Domingos. Práticas de Avaliação de Dois Professores Universitários: pesquisa utilizando observações e narrativas de atividades das aulas. Educar em Revista, Curitiba, Brasil, Edição Especial, n. 1, p. 109-135, 2015.).

Além de problematizar o papel da avaliação nos programas, torna-se necessário investigar a concepção pedagógica sob a qual tais programas se fundamentam. Sobre este ponto, pesquisadores defendem a discussão das questões do campo da avaliação associada ao currículo, uma vez que ambos estão imbricados, seja em uma concepção de educação tradicional, comportamentalista, humanista, cognitivista ou sociocultural (Mizukami, 2003MIZUKAMI, Maria da Graça. Ensino: as abordagens do processo. São Paulo: EPU, 2003.; Bittencourt, 2009BITTENCOURT, Circe. Ensino de História: fundamentos e métodos. São Paulo: Cortez , 2009.).

A análise dos principais documentos curriculares, oriundos do contexto de organização da oferta do ensino médio, entre os anos de 1996 e 2015, em âmbito nacional, evidencia que, à medida que as políticas de avaliação ganhavam destaque no sistema educacional brasileiro, se intensificou a busca por uma matriz de referência para a elaboração de itens de teste de aprendizagem, com forte influência da concepção de educação por competências (Bittencourt, 2009BITTENCOURT, Circe. Ensino de História: fundamentos e métodos. São Paulo: Cortez , 2009.). Essa concepção está presente nos Parâmetros Curriculares Nacionais - PCNs (Brasil, 2000BRASIL. Parâmetros Curriculares Nacionais: ciências humanas e suas tecnologias. Brasília, 2000. Disponível em: <Disponível em: http://portaldoprofessor.mec.gov.br/linksCursosMateriais.html?categoria=23 >. Acesso em: 09 de ago. 2014.
http://portaldoprofessor.mec.gov.br/link...
; 2002BRASIL. Parâmetros Curriculares Nacionais para o Ensino Médio PCNs Ensino Médio: Orientações Educacionais Complementares aos Parâmetros Curriculares Nacionais. Brasília: Ministério da Educação, 2002. ), e nas Orientações Curriculares para o Ensino Médio (Brasil, 2006BRASIL. Orientações Curriculares para o Ensino Médio; vol. 3. Ciências Humanas e suas Tecnologias. Brasília: Ministério da Educação , 2006. Disponível em: <Disponível em: http://portal.mec.gov.br/seb/arquivos/pdf/book_volume_03_internet.pdf >. Acesso em 15 ago. 2015.
http://portal.mec.gov.br/seb/arquivos/pd...
). Esses documentos influenciaram as propostas curriculares nos Estados da Federação. Entretanto, embora cada vez mais presentes nas propostas curriculares, a maioria dos documentos não problematiza a adoção da abordagem da educação por competências, o que contribui para a naturalização do termo.

Na ausência de consenso acerca do significado dessa linguagem adotada na educação, os relatórios internacionais da Organização das Nações Unidas para a Educação, a Ciência e a Cultura - Unesco, e da Organização de Cooperação e Desenvolvimento Econômico - OCDE, por meio dos resultados do Programa Internacional de Avaliação de Alunos - Pisa buscam unificar o conceito de competências, “[...] definidas como aprendizagens mensuráveis em testes” (Sacristán, 2011SACRISTÁN, José Gimeno. Educar por Competências: o que há de novo? Porto Alegre: Artmed , 2011., p. 38).

A lógica das competências busca desenvolver uma linguagem moderna, a fim de destacar o caráter inovador das reformas curriculares e dos instrumentos de avaliação (Méndez, 2011MÉNDEZ, Juan. Avaliar a Aprendizagem em um Ensino Centrado nas Competências. In: SACRISTÁN, José Gimeno. Educar por Competências: o que há de novo? Porto Alegre: Artmed, 2011. P. 233-264.). Essa tendência de valorização do discurso das competências e da avaliação formativa, observada em cenário internacional desde a década de 1980, é perceptível nas reformas curriculares e nos programas de avaliação que seriam desenvolvidos no Brasil a partir da década seguinte.

Sobre essas reformas, Bonamino e Sousa (2012) observaram uma tendência no uso de avaliações centralizadas para mensurar o desempenho escolar dos alunos, sob os mesmos parâmetros curriculares aos quais se considera que todos os estudantes deveriam ter acesso. Esse movimento estaria levando os Estados a definir suas propostas curriculares a partir das matrizes de referência utilizadas em avaliações externas, como a Prova Brasil ou o Exame Nacional do Ensino Médio - Enem e, em alguns casos, sob o risco de ensinar para o teste, o que ocorre quando os professores concentram seus esforços preferencialmente nos tópicos que são avaliados e desconsideram outros aspectos importantes do currículo (Bonamino; Sousa, 2012; Sousa, 2013; Bauer et al., 2015BAUER, Adriana; SOUSA, Sandra Zákia. Indicadores para Avaliação de Programas Educacionais: desafios metodológicos. Ensaio, on-line, v. 23, n.86, p.259-284, 2015. Disponível em: <Disponível em: http://dx.doi.org/10.1590/S0104-40362015000100010 >. Acesso em: 10 out. 2016.
http://dx.doi.org/10.1590/S0104-40362015...
; Bauer e Sousa, 2015; Oliveira, 2016OLIVEIRA, Dalila. A. As políticas para o Ensino Médio na Realidade Brasileira: Uma agenda em disputa. POIÉSIS , Tubarão, Revista do Programa de Pós-Graduação em Educação, Universidade do Sul de Santa Catarina, v. 10, n. 17, p. 187-198, jan./jun. 2016. ; Melo, Cirilo e Pinto, 2016MELO, Savana; CIRILO, Pauliane; PINTO, Samilla. O Ensino Médio e o Trabalho Docente: características de Minas Gerais. POIÉSIS, Tubarão, Revista do Programa de Pós-Graduação em Educação, Universidade do Sul de Santa Catarina, v. 10, n. 17, p. 102-129, jan./jun. 2016. ).

Diante desse contexto, buscou-se analisar o Programa de Avaliação da Aprendizagem Escolar - PAAE, parte constitutiva do sistema padronizado em Minas Gerais no período entre 2005 e 2015. Nesse sentido, considerou-se relevante saber: qual a concepção de educação sob a qual se fundamenta o programa? Os itens de teste adotados atendem os objetivos pedagógicos anunciados? Quais as implicações desse programa de avaliação para o currículo de História no ensino médio?

Quanto à metodologia, o estudo envolveu pesquisa bibliográfica e documental, análise de conteúdo de matrizes curriculares e de itens de teste das provas geradas pelo programa de avaliação instituído pela Secretaria Estadual de Ensino de Minas Gerais - SEE-MG e aplicação de questionário (Bardin, 2011BARDIN, Laurence. Análise de Conteúdo. São Paulo: Edições 70, 2011.).

Considerou-se as contribuições de Afonso (2009AFONSO, Almerindo Janela. Avaliação Educacional: Regulação e Emancipação: para uma sociologia das políticas avaliativas contemporâneas. São Paulo: Cortez, 2009.) no campo das políticas de avaliação educacional. Para o autor, a avaliação não é uma disciplina, mas um “[…] objeto de investigação aberto a diferentes abordagens disciplinares e interdisciplinares” (Afonso, 2009, p. 15). Entretanto, ele defende uma focalização específica da avaliação, uma vez que esta se tornou “[...] um dos eixos estruturantes das políticas educativas contemporâneas desenvolvidas pelo Estado capitalista” (Afonso, 2009, p. 15), o que justifica a adoção de um campo de estudo específico. A sociologia explícita da avaliação “constitui o resultado de diversos esforços teóricos e empíricos, intencionalmente estruturados em torno da avaliação enquanto objeto de investigação” (Afonso, 2009, p. 16).

Origem, Implementação e Influências do PAAE no Âmbito da Escola: algumas implicações

Seguindo a tendência de valorização das avaliações externas observada em cenário nacional (Barreto, 2013BARRETO, Elba Siqueira de Sá. Políticas de Currículo e Avaliação e Políticas Docentes. In: BAUER, Adriana; GATTI, Bernadete (Org.). Vinte e Cinco Anos de Avaliação de Sistemas Educacionais no Brasil: implicações nas redes de ensino, no currículo e na formação de professores. Florianópolis: Insular, 2013. P. 101-116. ; Sousa, 2013SOUSA, Sandra Zákia. Avaliação Externa e em Larga Escala no Âmbito do Estado Brasileiro: interface de experiências estaduais e municipais de avaliação da Educação Básica com iniciativas do governo federal. In: BAUER, Adriana; GATTI, Bernadete (Org.). Vinte e Cinco Anos de Avaliação de Sistemas Educacionais no Brasil: implicações nas redes de ensino, no currículo e na formação de professores . Florianópolis: Insular , 2013. P. 61-85.; Oliveira e Jorge, 2015OLIVEIRA, Dalila Andrade; JORGE, Tiago. As Políticas de Avaliação, os Docentes, e a Justiça. Currículo sem Fronteiras, v. 15, n. 2, p. 346-364, maio/ago. 2015.; Bauer e Sousa, 2015BAUER, Adriana; SOUSA, Sandra Zákia. Indicadores para Avaliação de Programas Educacionais: desafios metodológicos. Ensaio, on-line, v. 23, n.86, p.259-284, 2015. Disponível em: <Disponível em: http://dx.doi.org/10.1590/S0104-40362015000100010 >. Acesso em: 10 out. 2016.
http://dx.doi.org/10.1590/S0104-40362015...
; Oliveira, 2016) e internacional (Ball, 2002BALL, Stephen. Reformar Escolas/Reformar Professores e os Territórios da Performatividade. Revista Portuguesa de Educação, Braga, Portugal, Universidade do Minho, v. 15, n. 2, 2002.; Afonso, 2009AFONSO, Almerindo Janela. Avaliação Educacional: Regulação e Emancipação: para uma sociologia das políticas avaliativas contemporâneas. São Paulo: Cortez, 2009.), observa-se no Estado de Minas Gerais, desde o final da década de 1990, a importância atribuída pelos gestores às políticas de avaliação. Essa importância ganha conotações especiais com a implantação do Sistema Mineiro de Avaliação da Educação Pública - Simave (Minas Gerais, 2000MINAS GERAIS. Resolução SEE nº 14. Institui o Programa de Avaliação da Educação Básica. Belo Horizonte: Secretaria de Estado da Educação, 2000.).

Desde a sua criação, o Simave objetivava realizar diagnósticos a fim de aperfeiçoar as dimensões do sistema de educação do Estado. Dentre as suas funções, destaca-se a ação de desenvolver programas de avaliação integrados, cujos resultados se convertam em melhorias no ensino e no desempenho dos alunos na escola (Minas Gerais, 2000).

Entre 2005 e 2016, o PAAE integrou o Simave em conjunto com o Programa de Avaliação da Educação Básica - Proeb, e o Programa de Avaliação de Alfabetização - Proalfa. Entretanto, diferentemente desses dois últimos, que se constituem como programas de avaliação externa, o PAAE se constitui como um programa misto: externo, porque os itens e o sistema são planejados pela SEE-MG em parceria com o Instituto Avaliar1 1 O Instituto Avaliar é uma organização da sociedade civil com especialidade em pesquisas e processos de avaliação que atua em parceria com a SEE-MG no desenvolvimento do PAAE. , mas com manuseio interno pelos profissionais das escolas.

Constatou-se que o PAAE passou por modificações desde a sua criação em 20052 2 O PAAE foi implementado no período entre 2003 e 2014, na ocasião o Estado de Minas Gerais foi governado por Aécio Neves e Antônio Anastasia, ambos do Partido da Social Democracia Brasileira - PSDB (Bauer; Gatti, 2013). , sendo implementado de forma gradual no 1º ano do ensino médio até o ano de 2009. A partir de 2010, o programa foi institucionalizado em toda rede com adesão significativa das escolas até 2016.

Nas eleições de 2014 ocorreu em Minas Gerais a interrupção da hegemonia do PSDB, com a eleição do candidato do PT, Fernando Pimentel, assumindo o governo do Estado. Na ocasião, o PAAE continuou integrando o Simave como uma das prioridades educacionais. A permanência dos programas de avaliação em governos com orientações políticas distintas revela que o Simave se constituiu como uma política de Estado.

Documentos da SEE-MG atestam que em 2013 o PAAE atingiu mais de 4,9 milhões de alunos avaliados em todas as disciplinas (Minas Gerais, 2013aMINAS GERAIS. Secretaria de Educação de Estado. SIMAVE/PROEB 2013. Revista da Gestão Escolar, Juiz de Fora, Universidade Federal de Juiz de Fora, v. 2, jan./dez. 2013a.). O programa contava com um Banco de Itens, um acervo abrangente de questões objetivas que buscavam contemplar os tópicos e as habilidades do Currículo Básico Comum (CBC) das disciplinas do ensino médio (Arte, Biologia, Educação Física, Física, Filosofia, Geografia, História, Inglês, Língua Portuguesa, Matemática, Química e Sociologia).

De acordo com as orientações do PAAE, cada disciplina deveria aplicar pelo menos cinco provas, sendo uma diagnóstica, três no decorrer do ano letivo, e uma no final do ano. Ressalta-se que a aplicação de cinco provas, multiplicadas pelas 12 disciplinas ofertadas no 1º ano do ensino médio, corresponde ao número total de 60 provas anuais, sem incluir nesse número outras provas aplicadas pelos professores ao longo do ano.

Esses dados evidenciam uma engenharia de testes caracterizada pelo volume de provas aplicadas no âmbito da escola, envolvendo o aluno e o professor especialista, entre outros profissionais. O sistema de avaliação implantado em Minas interferiu na organização do trabalho escolar e provocou reflexões sobre a articulação entre currículo, ensino e avaliação.

O Valor Atribuído aos Itens de Teste: o que revelam?

A análise dos documentos do PAAE no período entre 2005 e 2015 evidencia a política pioneira do Estado na criação do sistema de avaliação, condição fundamental para alcançar “[...] a eficácia de quaisquer medidas do campo educacional” (Minas Gerais, 2013bMINAS GERAIS. Manual do PAAE. Belo Horizonte: Secretaria de Estado de Educação , 2013b. Disponível em: <Disponível em: http://paae.institutoavaliar.org.br/sistema_ava_v2/default.aspx?id_objeto=323389&id_pai=23967&area=atributo >. Acesso em: 10 dez. 2017.
http://paae.institutoavaliar.org.br/sist...
, p. 7).

Nesse estudo, considerou-se relevante a análise pedagógica dos itens de teste, a fim de verificar se o programa atendia às expectativas, pois, na sua elaboração, “[...] o PAAE teria uma abordagem diagnóstico-formativa, identificando o estágio de desenvolvimento do aluno”, possibilitando, portanto, “[...] diagnósticos pontuais e longitudinais, sobre desempenhos individuais” (Minas Gerais, 2013b, p. 9). Composto por três avaliações, a saber: Avaliação Diagnóstica, Aprendizagem Anual, e Avaliação Contínua, o PAAE é considerado por seus idealizadores uma tecnologia educacional eficiente na verificação da “[...] aprendizagem agregada pelo aluno durante o ano” (Minas Gerais, 2013b, p. 13).

Observou-se que o Guia de Elaboração e Revisão de Questões de Múltipla Escolha do PAAE apresenta as orientações consideradas básicas para a formulação de questões objetivas de múltipla escolha, apresentando como justificativa para a utilização dos testes a afirmação de que “[...] a aprendizagem é um processo cognitivo, interno e subjetivo, por isso, para ser avaliada o professor precisa criar situações em que o aluno demonstre seus conhecimentos, habilidades e atitudes” (Minas Gerais, 2015b, p. 8).

Para alcançar os objetivos anunciados, o guia apresenta alguns critérios para a construção de itens de teste de qualidade: criatividade, originalidade, comunicação eficiente, sintonia com o ensino, educabilidade (gerar novas aprendizagens), didática, correção linguística (Minas Gerais, 2015bMINAS GERAIS. Programa de Avaliação da Aprendizagem Escolar (PAAE). Belo Horizonte: Secretaria de Estado de Educação , 2015. Disponível em: <Disponível em: http://paae.institutoavaliar.org.br/sistema_ava_v3/default.aspx?id_objeto=23967&id_pai=23967&area=AREA >. Acesso em: 17 jul. 2015b.
http://paae.institutoavaliar.org.br/sist...
, p. 8).

Ressalta-se que o PAAE permite o uso de vários tipos de questões, com níveis distintos de complexidade, objetivando promover o raciocínio e a compreensão dos alunos, além de permitir a verificação dos níveis de aprendizagem. De acordo com as orientações, o item de teste deve ser capaz de criar um “[...] problema contextualizado, claro e objetivo” (Minas Gerais, 2015b, p. 11).

A análise das orientações nos permite afirmar que a problematização é a principal ação didática anunciada dos itens de teste, e pode ser compreendida como uma situação contextualizada, lógica e objetiva, criada com o uso de um suporte de referência cuja função é estimular a reflexão discente. Os suportes são recursos didáticos visuais, gráficos e textuais, como mapas, desenhos, tabelas, fotos, figuras, textos, entre outros. Integrados ao comando e enunciado do item, mobilizam a cognição dos alunos. Espera-se que, ao ler, interpretar e analisar o enunciado, o comando e o suporte do item, o aluno seja capaz de encontrar, entre as alternativas possíveis, a solução para o problema em pauta.

Com o intuito de analisar a problematização prevista no PAAE, investigou-se o conceito das situações-problema adotado por esse programa de avaliação. Para tanto, considerou-se pertinente saber: Quais são as bases teóricas que fundamentam a adoção dos itens de teste como recurso pedagógico de aprendizagem? Na análise realizada nos documentos do PAAE, no entanto, não há indicação de referência teórica que subsidie uma abordagem de avaliação por meio de situações-problema.

Com base no levantamento realizado, pode-se afirmar que o Manual do PAAE e o Guia de Elaboração e Revisão de Itens concentram-se em informações técnicas. Utilizam o conceito de problematização sem vinculá-lo ao campo epistemológico. Tal procedimento contribui para naturalizar a cultura da avaliação nas escolas, por meio do uso de provas objetivas. Essa constatação demandou outro levantamento a fim de verificar possíveis campos de conhecimento sob os quais se fundamenta a avaliação por meio de situações-problema.

Análise Pedagógica dos Itens do PAAE: avaliar habilidades ou domínio de conteúdo?

Macedo (2002MACEDO, Lino de. Situação-Problema: forma e recurso de avaliação, desenvolvimento de competências e aprendizagem escolar. In: PERRENOUD, Philippe; THURLER, Monica; MACEDO, Lino de; MACHADO, Nilson. Junior; ALLESSANDRINI, Cristina. As Competências para Ensinar no Século XXI: a formação dos professores e o desafio da avaliação. Porto Alegre: Artmed Editora, 2002.) explorou o conceito de problematização adotado em itens de testes de questões objetivas. Para o autor, os recursos de aprendizagem permitem compreender o conceito de problematização utilizados em itens de teste. Embora o PAAE evite teorizar o conceito, ele encontra-se presente com marcas do cognitivismo. Segundo Macedo (2002), a avaliação por meio de situações-problema é um recurso didático importante na abordagem de educação por competências, “[...] principalmente para aqueles que pretendem trabalhar numa perspectiva complexa, relacional, construtivista” (Macedo, 2002, p. 114).

Como recurso didático, a problematização tem por objetivo priorizar os processos gerais de raciocínio superando a simples memorização de conteúdo. Na lógica das habilidades e competências, discurso presente nas reformas educacionais, prioriza-se o procedimental, o saber fazer. O PAAE anuncia essa mudança de ênfase da avaliação tradicional de conteúdos para a avaliação de habilidades. Enquanto os exames e as provas tradicionais aplicadas pelos professores se fundamentavam na avaliação dos conteúdos memorizados pelos alunos, os itens do PAAE têm o propósito de avaliar as habilidades e competências diante de uma situação-problema.

Com o objetivo de investigar se os itens gerados pelo PAAE trazem inovações em relação às questões tradicionais dos exames e das provas, que priorizam a memorização de conteúdo, foram selecionadas 85 questões de História aplicadas para os alunos no ensino médio. Buscou-se verificar se a problematização anunciada pelo PAAE, como um recurso didático voltado para a avaliação das habilidades dos alunos, estava presente nos itens.

Para realizar a análise dos itens, foram selecionadas seis provas de História aplicadas em quatro escolas, no período entre 2011 e 2015, sendo 73 itens aplicados em turmas do 1º ano, e 12 itens na turma de 3º ano do ensino médio, conforme Quadro 1.

Quadro 1:
Seleção de Itens para Análise Pedagógica

O Quadro 1 apresenta as escolas participantes da investigação. Do total de 32 professores que responderam o questionário aplicado na pesquisa, quatro disponibilizaram cópias das provas aplicadas. Foram recolhidas duas provas nas Escolas 1 e 3 e uma nas Escolas 2 e 4.

Optou-se nesse artigo por apresentar análises de cada modalidade previstas no PAAE, a saber: Avaliação Diagnóstica, Aprendizagem Anual e Avaliação Contínua. Na análise pedagógica dos itens, considerou-se os critérios do PAAE com a finalidade de verificar se os itens gerados pelo programa promoveram a problematização anunciada. Em cada questão, buscou-se analisar a instrução, o suporte, o enunciado da situação-problema, o comando de resposta, a alternativa correta e os distratores3 3 Alternativas de resposta são apresentadas na forma de cinco opções, sendo somente uma correta, que é o gabarito. As alternativas que não contemplam a resposta são chamadas de distratores. . Esses dados dos itens possibilitaram a criação de duas categorias de análise: item problematizador e item tradicional.

Quanto aos critérios adotados para se chegar a essas categorias, considerou-se como item problematizador aquele no qual o suporte e o comando de resposta criavam uma situação-problema que orientava o aluno na escolha da opção. Como previsto no Guia de Elaboração e Revisão de Itens do PAAE, textos, figuras, e outros suportes, quando pertinentes, devem ter uma apresentação inteligente para orientar o pensamento do aluno, sem, no entanto, oferecer pistas de respostas. Nesses itens, a resposta do aluno depende de habilidades para além da memorização de conteúdos. Já o item tradicional está centrado apenas na capacidade de memorização e não explora outras habilidades. Definiu-se como item tradicional aquele utilizado em exames, concursos e provas tradicionais. O Quadro 2 apresenta itens extraídos de provas do PAAE e permite visualizar a diferença entre eles.

Quadro 2:
Tipos de Itens Aplicados no Ensino Médio

A análise dos itens do Quadro 2 permite afirmar que a Questão 2 é um exemplo de item problematizador. De acordo com o CBC de História, ele permite aferir a habilidade de Analisar fontes sobre a estrutura social, de produção e cultura dos astecas, maias e incas, referente ao tópico A conquista da América. Além disso, permite explorar informações referentes ao tópico do conteúdo de História. Como se vê, o item apresenta uma situação problema por meio da articulação entre o suporte, o comando, a alternativa correta (B) e os distratores A, C e D.

De acordo com a modalidade formativa de avaliação do PAAE, o item de teste, além de ser um instrumento avaliativo da aprendizagem, se constitui como procedimento pedagógico que prioriza processos gerais de raciocínio em detrimento da memorização de conteúdos. Assim, por meio de uma situação-problema, o item permite a reflexão a partir de conceitos de História. Além disso, pode-se afirmar que o item demanda conhecimento, compreensão e análise crítica das correntes historiográficas recentes, pautadas na desconstrução do eurocentrismo e do positivismo difundidos historicamente. O texto apresenta informações sobre a organização dos povos astecas: construções, comércio e produção de artigos. No relato, o conquistador espanhol se mostra surpreso com a capacidade de organização dos astecas. Como se vê, o item possibilita a interação dos alunos com texto que combate a falsa visão de que os europeus civilizados dominaram povos atrasados no processo civilizatório da América. Conforme previsto no PAAE, este item prioriza habilidades de interpretação, inferência, comparação, análise, superando, deste modo, a simples memorização de conteúdo.

Diferentemente do exemplo anterior, a Questão 8 representa um item tradicional que focaliza a memorização de conteúdos. O item não apresenta um contexto, o aluno terá que indicar apenas o aspecto negativo das mudanças provocadas pela presença da família real no Brasil. A sua análise permite afirmar que cada distrator se constitui como informação isolada que exige do aluno apenas o domínio de conteúdos para confirmar a sua veracidade.

Como se vê, existem diferenças entre os itens apresentados no Quadro 2 acima: enquanto o item tradicional demanda apenas memorização de conteúdos e exigirá do aluno a tarefa de assimilar informações, sem levantar questões acerca da sua origem e desdobramentos; o item problematizador, por sua vez, cria um contexto por meio de uma situação-problema e estimula o desenvolvimento de processos mentais, facilita o desenvolvimento de atitudes críticas e criativas e, portanto, mobiliza o desenvolvimento de habilidades e competências.

Coerente com essa perspectiva, os 85 itens de História selecionados nesse estudo foram analisados e classificados nas categorias item problematizador e item tradicional, conforme descrito no Quadro 3.

Quadro 3:
Classificação dos Itens de História do PAAE

Constata-se no Quadro 3, o predomínio dos itens tradicionais em relação aos problematizadores. Do total de 85 itens, 42% foram classificados como problematizadores e 58% foram classificados como tradicionais. Com exceção da prova aplicada na Escola 4, em 2015, o número de itens tradicionais foi superior ao de itens problematizadores. Na Escola 1, em 2013, os itens tradicionais atingiram 70% da prova e na Escola 3, em 2015, esse percentual chegou a 75%, o que evidencia uma contradição entre o previsto no PAAE e o observado nas provas. Desse modo, a análise dos dados revelou os limites da previsão do programa, uma vez que as questões tradicionais atingiram 58% e, portanto, no conjunto, predominaram nas provas.

Os dados revelaram contradição entre a qualidade das questões do PAAE e o discurso veiculado pelo programa. Como se vê, atribui-se um valor ao item, ou seja, por meio dele é possível verificar habilidades de História incorporadas ou não pelos alunos, contudo, os itens tradicionais não permitem aferir essas habilidades que deveriam ser verificadas por meio da solução de problemas apresentados por estes itens. Como instrumento considerado útil para verificar habilidades, superando a simples memorização, os itens, em sua maioria, se revelaram limitados, reforçando a ênfase dos exames em detrimento de uma prática de avaliação contextualizada e formativa (Gomes, 2014GOMES, Suzana dos Santos. Um Olhar sobre as Práticas de Avaliação na Escola. Belo Horizonte: Mazza Edições, 2014., 2015; Fernandes, 2013FERNANDES, Domingos. Avaliação em Educação: uma discussão de algumas questões críticas e desafios a enfrentar nos próximos anos. Ensaio , Rio de Janeiro, v. 21, n. 78, p. 11-34, jan./mar. 2013, 2015).

Os resultados obtidos nesse estudo provocaram questionamentos sobre a qualidade do item de teste como instrumento de avaliação capaz de permitir a verificação da evolução da aprendizagem dos alunos ao longo do ano letivo. Nesse sentido, torna-se relevante analisar de que modo a resposta de um aluno a um item objetivo, por exemplo, sobre as mudanças na colônia, a partir da chegada da Corte portuguesa, em 1808, aplicado na Avaliação Diagnóstica, e outro item sobre o mesmo tópico aplicado na Avaliação da Aprendizagem Anual, pode indicar a evolução das habilidades alcançadas pelo aluno. Qual é a relevância e o valor do item objetivo? O que o desempenho do aluno na prova fechada pode indicar? O item pode ser visto como indicador da qualidade da metodologia de ensino adotada pelo professor? De acordo com as orientações no Manual do PAAE, compete ao professor utilizar os resultados das avaliações do programa para realizar autoavaliação e verificar se a metodologia adotada por ele contribuiu para agregar conhecimentos em relação aos que foram apresentados no início do ano letivo, por meio da Avaliação Diagnóstica. (Minas Gerais, 2013b). Entretanto, como saber se o acerto ou o erro do aluno em um teste com questões objetivas está associado à metodologia de ensino adotada pelo professor ou se foi um resultado aleatório?

Com o objetivo de problematizar a relevância dos itens do PAAE, como instrumentos de avaliação formativa, optou-se nesse artigo, por analisar dois itens tradicionais. O Quadro 4 a seguir apresenta os itens utilizados na Escola 1 na Avaliação Diagnóstica do PAAE, aplicada no início do ano letivo. Eles foram gerados depois de 60 dias do início das aulas e, portanto, não cumpriram a função prevista no programa de oferecer ao professor diagnóstico para o planejamento das atividades de ensino. Esse exemplo permite questionar os limites da função diagnóstica do programa, uma vez que os itens tradicionais predominantes nas provas não avaliam o que o aluno do 1º ano sabe em relação aos temas, tópicos, habilidades do CBC, mas apenas se eles memorizaram os conteúdos necessários para responder às questões.

Quadro 4:
Análise de Itens Tradicionais do PAAE - Escola 1

Constata-se que as Questões 2 e 14, aferem se os alunos do 1º ano do ensino médio memorizaram ou não conteúdos presentes no livro didático do 7º ano (Questão 2) ou do 8º ano (Questão 14). Embora o PAAE anuncie o caráter inovador dos itens de teste, como recurso didático problematizador das habilidades de História, observou-se que as questões presentes no Quadro 4 não apresentam inovações em relação às questões empregadas em exames tradicionais, utilizados para medir a capacidade de memorizar conteúdo, distanciando-se, sobretudo, do critério problematização anunciado pelo PAAE.

A Questão 2 exige que o aluno saiba a diferença entre rebeliões nativistas e separatistas e identifique entre os distratores o item que corresponde a essa diferença. O item não apresenta uma situação problematizadora, por esse motivo, favorece uma abordagem de avaliação presente no modelo tradicional, também denominado de educação bancária (Freire, 2006FREIRE Paulo. Pedagogia da Autonomia. São Paulo: Editora Paz e Terra, 2006.), restrito ao ensino de conteúdos dissociados das práticas sociais.

Na Questão 14, além dos limites destacados na Questão 2, observou-se problemas de ordem técnica, uma vez que os distratores B e C se repetem. Além disso, há um erro no item, porque a opção correta para a questão, Revolta dos Malês, não consta entre os distratores. Diante disso, questiona-se novamente a relevância de um instrumento que busca diagnosticar em alunos do 1º ano do ensino médio a memorização de conteúdos ministrados no 8º ano do ensino fundamental. Como se sabe, o que é decorado é esquecido, sendo assim, o item perde a razão de ser e não contribui para a formação crítico-reflexiva dos alunos (Luckesi, 2011LUCKESI, Cipriano Carlos. Avaliação da Aprendizagem Escolar: estudos e proposições. 22 ed. São Paulo: Cortez , 2011.).

As questões selecionadas apresentam problemas semelhantes aos itens tradicionais predominantes nas provas do PAAE: ausência de problematização, ênfase na memorização, comprovando, portanto, as limitações do instrumento como recurso formativo. Além desses problemas, os distratores se limitam a informações históricas que trazem poucas contribuições para a formação dos alunos.

Concluindo, a análise de 85 itens permitiu identificar os limites dos itens tradicionais presentes em provas do PAAE que, ao contrário do que fora anunciado, predominaram no programa. Ressalta-se que a amostra, neste estudo, limitou-se a seis provas fornecidas pelos professores participantes da pesquisa. Diante do exposto, levanta-se a hipótese da predominância de itens tradicionais na maior parte das provas geradas pelo PAAE. Questiona-se, portanto, a sua real contribuição para avaliar uma aprendizagem compreensiva e crítica sobre uma habilidade ou competência desenvolvida.

Implicações Pedagógicas do PAAE no Currículo de História

Para a análise das implicações do PAAE no currículo de História utilizou-se como procedimento metodológico, já mencionado anteriormente, a análise documental, o levantamento bibliográfico e a análise de conteúdos dos itens de testes. Os resultados evidenciaram duas implicações pedagógicas do programa de avaliação no currículo de História, que serão analisadas a seguir.

Alinhamento entre os Itens do PAAE e a Matriz do Currículo Básico Comum - CBC

Uma primeira implicação pedagógica está associada à articulação entre avaliação e currículo de História promovida pelo programa. De acordo com as diretrizes curriculares, compete ao professor ensinar e avaliar a partir do CBC. A proposta de integrar avaliação e currículo esteve presente nas origens do PAAE, em 2005, e foi intensificada em 2011, com a proposta de Reordenação dos Tópicos dos CBCs, promovida pela SEE-MG (Minas Gerais, 2011MINAS GERAIS. Secretaria de Estado de Educação. Reordenação dos Tópicos dos CBCs. Readequação dos CBCs à Estrutura Curricular do Reinventando o Ensino Médio. 2011. Disponível em: <Disponível em: http://crv.educacao.mg.gov.br/SISTEMA_CRV/banco_objetos_crv/701D60243C4E4710994A35AA2261231D14112012143506_ReordenacaoCBCdeHistoria.pdf >. Acesso 20 fev. 2015a.
http://crv.educacao.mg.gov.br/SISTEMA_CR...
).

Para que os objetivos do PAAE fossem alcançados, foi necessário alinhar as diretrizes da Proposta Curricular do CBC ao planejamento dos professores. A SEE-MG enviou para as escolas em 2011 o documento de Reordenação, a fim de que se tornasse referência para o planejamento dos professores do ensino médio.

A análise do processo de Reordenação revelou prioridade das habilidades presentes na Proposta Curricular em detrimento de uma concepção de currículo que integrasse procedimentos, metodologias e avaliação no Ensino de História. Para compreender as mudanças e seus limites, torna-se necessário compreender as diferenças entre os documentos.

O CBC foi implantado pela Resolução SEE-MG nº 666/2005 (Minas Gerais, 2005MINAS GERAIS. Resolução nº 666, de 07 de abril de 2005. Estabelece os Conteúdos Básicos Comuns (CBCs) a serem obrigatoriamente ensinados pelas unidades de ensino estaduais. Belo Horizonte: Secretaria de Estado de Educação, 2005. Disponível em: <Disponível em: https://www.educacao. mg.gov.br/images/documentos/%7BA6FF8791-B1D3-4FBB-B4B5-6AFEE169185A% 7D_ resol0033.pdf >. Acesso em: 29 nov. 2017.
https://www.educacao. mg.gov.br/images/d...
), mas foi a Resolução SEE-MG nº 833/2006 que oficializou o documento nas escolas da Rede Pública Estadual de Ensino de Minas Gerais. Para o ensino médio, o documento estabeleceu a concepção de ensino de História, as diretrizes e a proposta curricular. Essa proposta foi dividida em Conteúdos Básicos para os alunos do 1º ano e Conteúdos Complementares para os 2º e 3º anos, nas escolas em que os alunos optassem pela área de Ciências Humanas.

Nesse sentido, considerou-se relevante analisar a concepção de ensino de História para o ensino médio presente no CBC. A proposta de ensino-aprendizagem de História no documento contempla os objetivos presentes na Constituição Brasileira de 1988, na Lei de Diretrizes e Bases da Educação Nacional - LDB 9394/1996 e nos Parâmetros Curriculares Nacionais - PCNs (Brasil, 1999; 2002). No contexto das transformações ocorridas na sociedade no final do século XX e no início do século XXI, esses documentos já indicavam que a educação no ensino médio deveria promover

[...] a construção da cidadania, além do atendimento dos direitos universais e da igualdade formal, uma nova compreensão das identidades sociais e da identidade nacional e das formas de inserção dos indivíduos na vida social e no mundo do trabalho (Minas Gerais, 2007MINAS GERAIS. Conteúdo Básico Comum de História no Ensino Médio. Belo Horizonte: Secretaria de Estado de Educação , 2007., p. 34).

Além dos desafios oriundos das transformações da sociedade, o CBC de História é resultado das mudanças ocorridas nessa disciplina. O documento busca romper com a concepção positivista, que influenciou fortemente o ensino de História no Brasil até o final da década de 1970. Segundo Fonseca (2004FONSECA, Thaís Nívia de Lima. História & Ensino de História. Belo Horizonte: Autêntica, 2004.), a influência francesa da Escola dos Annales e da história social inglesa marcaram as reformas curriculares e a produção de livros e materiais didáticos organizados por professores nas décadas de 1980 e 1990.

Desse modo, pretendia-se estimular os professores no desenvolvimento de mudanças nas práticas curriculares e fazer com que os alunos se envolvessem nos processos de aprendizagem de História que resultassem no desenvolvimento do raciocínio crítico. Para isso, o CBC propôs, como estratégia, o uso do conceito de história-problema, que enfatizava a preocupação em estudar e compreender as relações entre o presente e o passado, e também as construções do conhecimento pelos alunos.

Essa proposta pedagógica demandou uma nova postura docente em sala de aula, que rompesse com o modelo tradicional, centrado na exposição de conteúdos pelos professores e na memorização dos alunos. Na concepção incorporada pelo CBC, a História prevê o ensino por meio dos procedimentos de produção do conhecimento histórico, uma vez que essa ação aumenta as chances de desenvolvimento de raciocínio histórico, compreendido como

[…] a capacidade de identificar permanências e mudanças entre o presente/passado e futuro, a capacidade de relacionar os acontecimentos e seus estruturantes de longa e média duração, a capacidade de identificar simultaneidade de acontecimentos no tempo, a capacidade de relacionar diferentes dimensões da vida social e seus ritmos diferenciados de mudança, a capacidade de elaborar contextos que deem significado aos fatos (Minas Gerais, 2007, p. 44).

Essa concepção de ensino estimula mudanças na sala de aula, que passa a se constituir como espaço-tempo singulares para problematizar as fontes, formular questões, utilizar conceitos, apropriar-se de conhecimentos já acumulados e interagir com fontes de informação histórica (Minas Gerais, 2007).

Portanto, é perceptível que o CBC ampliou o campo de possibilidades de trabalho dos professores com o intuito de possibilitar aos alunos uma formação crítica e autônoma, sem a qual, segundo o documento, não se formam cidadãos participativos que são fundamentais para o fortalecimento da democracia brasileira. Pode-se afirmar o empenho de seus elaboradores para promover o diálogo e a apropriação da concepção de ensino de História presente nas pesquisas e autores ensinados na academia, com destaque para a Escola dos Annales, a História Social Inglesa e a História Cultural, a fim de possibilitar aos alunos o desenvolvimento de habilidades relacionadas a conceitos e procedimentos defendidos por autores vinculados a essas correntes historiográficas.

Entretanto, observou-se que, embora em sua concepção de ensino o CBC estabeleça uma relação com as correntes historiográficas recentes, há ainda inúmeros problemas conceituais na definição de eixos temáticos, tópicos e habilidades agravados pela transformação do CBC como currículo em matriz de referência para a elaboração de itens de teste de aprendizagem do PAAE.

Reitera-se o empenho dos elaboradores do CBC em articular a concepção de ensino de História, evidenciada nos métodos e na finalidade de ensino, com as correntes historiográficas recentes. Ou seja, avalia-se que os autores elaboraram o CBC influenciados muito mais pelas pesquisas no campo do Ensino de História e por historiadores-referência no documento, do que por políticas externas de avaliação (Minas Gerais, 2007). Entretanto, a demanda por uma matriz objetiva para a implementação de uma política educacional de resultados, com uso da avaliação, fez com que o documento Reordenação dos Tópicos do CBC de História permanecesse subordinado aos objetivos do PAAE (Minas Gerais, 2011MINAS GERAIS. Secretaria de Estado de Educação. Reordenação dos Tópicos dos CBCs. Readequação dos CBCs à Estrutura Curricular do Reinventando o Ensino Médio. 2011. Disponível em: <Disponível em: http://crv.educacao.mg.gov.br/SISTEMA_CRV/banco_objetos_crv/701D60243C4E4710994A35AA2261231D14112012143506_ReordenacaoCBCdeHistoria.pdf >. Acesso 20 fev. 2015a.
http://crv.educacao.mg.gov.br/SISTEMA_CR...
).

Diante dessa mudança, optou-se por analisar a Proposta Curricular priorizada na Reordenação dos Tópicos do CBC a fim de destacar os limites impostos com o estreitamento curricular gerado pela valorização de uma política pautada em testes. No referido documento, a SEE-MG redefiniu o CBC de História para o ensino médio. Identificou-se empenho em priorizar os tópicos e as habilidades previstas no PAAE para a elaboração dos itens de teste de aprendizagem.

Constatou-se, também, que a SEE-MG enviou a nova versão do CBC a todas as escolas e passou a orientar os dirigentes e especialistas de educação a acompanharem os planejamentos dos professores de forma a verificar se eles atendiam as exigências previstas no documento. Observou-se a intenção de promover maior articulação entre o que se ensina e o que se avalia. Além do estreitamento da noção de currículo, observou-se uma distorção conceitual na noção de habilidades utilizadas como descritores para a formulação de itens de teste do PAAE. Esses pontos serão analisados a seguir com estudos no campo do currículo.

A Noção de Habilidades e Competências na Matriz do PAAE

Pesquisadores do campo da educação consideram habilidades e competências como termos polissêmicos (Perrenoud, 2001PERRENOUD, Philippe. Ensinar: agir na urgência, decidir na incerteza. Porto Alegre: Artmed Editora , 2001.; Perrenoud, et al., 2002; Demo, 2010DEMO, Pedro. Habilidades e Competências no Século XXI. Porto Alegre: Mediação, 2010.; Sacristán, 2011SACRISTÁN, José Gimeno. Educar por Competências: o que há de novo? Porto Alegre: Artmed , 2011.). Assim, saber relacionar o conteúdo a ser aplicado com as habilidades que se espera que o aluno adquira ao final da etapa é uma competência que o professor deverá adquirir na prática docente. Uma preocupação relevante é como ensinar e como avaliar considerando as competências e habilidades. Essa questão está sendo cada vez mais discutida, em um esforço para que o processo de aprendizagem seja menos conteudista e mais focado no desenvolvimento e na preparação dos alunos para os desafios do mundo atual.

Além do caráter polissêmico das competências e habilidades, existe uma dificuldade em distinguir esses conceitos. Alguns autores atribuem essa dificuldade a uma pobreza teórica ou pobreza epistemológica existente na concepção de educação por competências (Sacristán, 2011SACRISTÁN, José Gimeno. Educar por Competências: o que há de novo? Porto Alegre: Artmed , 2011.). Com uma postura favorável à educação por competências, Perrenoud et al. (2002PERRENOUD, Philippe; THURLER, Mônica; MACEDO, Lino de; MACHADO, Nilson; ALLESSANDRINI, Cristina. As Competências para Ensinar no Século XXI: a formação dos professores e o desafio da avaliação . Porto Alegre: Artmed Editora , 2002.) define o conceito como uma capacidade de agir eficazmente em um determinado tipo de situação, apoiada em conhecimentos, mas sem limitar-se a eles. Já o conceito de habilidade estaria ligado ao princípio da ação, ao saber fazer alguma coisa. Na prática, cada competência é formada por um conjunto de habilidades que são mobilizadas para a execução de uma ação em uma área de conhecimento específica (Perrenoud et al., 2002).

A análise da Reordenação dos Tópicos do CBC permitiu identificar o uso do conceito de habilidades e competências como aprendizagens mensuráveis em teste (Sacristán, 2011SACRISTÁN, José Gimeno. Educar por Competências: o que há de novo? Porto Alegre: Artmed , 2011.). Os objetivos do ensino de História foram reduzidos ao desenvolvimento de habilidades nos alunos, previamente definidas pela proposta curricular. De acordo com as orientações, espera-se que na disciplina de História os professores contribuam para o desenvolvimento das habilidades dos alunos e verifiquem, por meio dos itens de teste gerados pelo PAAE, se de fato tais habilidades foram consolidadas pelos alunos. Caso os itens demonstrem que as aprendizagens não se efetuaram, de acordo com as orientações, o professor deverá retomar o planejamento, a fim de garantir o desenvolvimento dessas habilidades.

Constatou-se distorção de abordagem no modo pelo qual o Documento de Reordenação do CBC apresentou as habilidades de História. Por exemplo, um item construído para aferir as habilidades dos alunos em “Mapear o comércio triangular nas Treze Colônias inglesas” (Minas Gerais, 2011, p. 2) não é capaz de dizer muita coisa para além de informar se o aluno sabe ou não o conteúdo do comércio triangular nas Treze Colônias. Caso o aluno acerte o item, é possível afirmar que ele possui tal habilidade? Ou, caso contrário, se ele errar a proposição, é possível afirmar que o mesmo não possui tal habilidade? O conceito apresentado por autores como Perrenoud ou Sacristán associa a habilidade à capacidade ou disposição para algo, “[...] habilidade intelectual capaz de ser aplicada a atividades e situações diversas” (Sacristán, 2011, p. 37). No entanto, no CBC, grande parte das habilidades adquire um sentido distinto, de memorização, domínio de conteúdos, dificultando a percepção acerca da capacidade do aluno de transpor a habilidade aferida nos itens para outra situação, para além do conteúdo ao qual a habilidade foi relacionada de modo restrito. Para ilustrar, apresenta-se outro exemplo: o aluno pode ter a habilidade de interpretar textos sobre determinados eventos históricos, mas se não tiver estudado a Guerra dos Guaranis, pode não acertar um item tradicional que busque aferir as habilidades de “Interpretar os eventos da Guerra dos Guaranis” (Minas Gerais, 2011, p. 2), o que necessariamente não significa que tal aluno não possua a habilidade de interpretar textos.

Os dados deste estudo revelaram que a proposta de trabalho pautado nas habilidades prevista nos descritores do Documento de Reordenação dos Tópicos do CBC não conseguiu ultrapassar a noção de conteúdos tradicionais presente no ensino de História, o que se configura como uma contradição, uma vez que o CBC se apresentou como uma proposta curricular pautada na abordagem de educação por competências. Como se vê, na proposta da SEE-MG, permaneceram os limites e desafios para romper com o modelo tradicional, que listava um conjunto de conteúdos a ser ministrado pelos professores, não considerado relevante nas habilidades e competências referenciadas por Perrenoud et al. (2002PERRENOUD, Philippe; THURLER, Mônica; MACEDO, Lino de; MACHADO, Nilson; ALLESSANDRINI, Cristina. As Competências para Ensinar no Século XXI: a formação dos professores e o desafio da avaliação . Porto Alegre: Artmed Editora , 2002.); Sacristán (2011SACRISTÁN, José Gimeno. Educar por Competências: o que há de novo? Porto Alegre: Artmed , 2011.).

A Prioridade Atribuída à Avaliação em Função do Currículo

Os documentos do PAAE anunciam a defesa pela modalidade de avaliação formativa. Contraditoriamente, observou-se no PAAE uma distorção da função formativa anunciada pelo programa. Segundo Méndez (2011MÉNDEZ, Juan. Avaliar a Aprendizagem em um Ensino Centrado nas Competências. In: SACRISTÁN, José Gimeno. Educar por Competências: o que há de novo? Porto Alegre: Artmed, 2011. P. 233-264.), o uso de testes padronizados em larga escala distorce o sentido da avaliação formativa, seja na educação tradicional seja na lógica das competências, pois, na modalidade de avaliação formativa, as normas e os critérios de avaliação não são elaborados fora do contexto de aprendizagem (Méndez, 2011). Nesse sentido, pode-se afirmar que uma proposta de avaliação formativa

[…] pressupõe que o ritmo de ensino depende da capacidade para compreender o sujeito que aprende. Apenas falando com ele ou lhe dando a oportunidade para que possa mostrar seu próprio processo poderemos nos dar conta, em profundidade, do caminho percorrido, ao mesmo tempo em que podemos lhe ajudar no que ainda está fazendo (Méndez, 2011MÉNDEZ, Juan. Avaliar a Aprendizagem em um Ensino Centrado nas Competências. In: SACRISTÁN, José Gimeno. Educar por Competências: o que há de novo? Porto Alegre: Artmed, 2011. P. 233-264., p. 254).

Constata-se no pensamento do autor a complexidade intrínseca à função formativa de avaliação que exige atenção às especificidades de cada aluno, posto que são distintos seus ritmos de aprendizagem.

As críticas de Méndez (2011MÉNDEZ, Juan. Avaliar a Aprendizagem em um Ensino Centrado nas Competências. In: SACRISTÁN, José Gimeno. Educar por Competências: o que há de novo? Porto Alegre: Artmed, 2011. P. 233-264.) e Sacristán (2011SACRISTÁN, José Gimeno. Educar por Competências: o que há de novo? Porto Alegre: Artmed , 2011.) direcionadas aos testes padronizados permitem identificar as limitações do PAAE. Em seus estudos, os autores questionam se as questões objetivas, como instrumentos de avaliação, são capazes de garantir a comprovação do desenvolvimento das habilidades e competências:

[…] não podemos assegurar que para tarefas diferentes, em circunstâncias distintas e desconhecidas, em contextos instáveis e imprevisíveis, a resposta que o sujeito possa dar seja acertada, a indicada ou desejada. Faltarão para ele os padrões, o controle, sempre externos, alheios à tomada de decisões que ele mesmo possa empreender. O que entra em questão é a previsível transferibilidade dos conhecimentos e, sobretudo, a capacidade do sujeito de criar respostas novas diante de casos ou situações desconhecidas, característica substantiva da competência (Méndez, 2011MÉNDEZ, Juan. Avaliar a Aprendizagem em um Ensino Centrado nas Competências. In: SACRISTÁN, José Gimeno. Educar por Competências: o que há de novo? Porto Alegre: Artmed, 2011. P. 233-264., p. 235).

De acordo com o autor, não há confiabilidade em testes que buscam verificar determinadas habilidades a partir de situações-problemas, pois o fato de um aluno acertar ou errar um teste não garante que ele possui ou não tais habilidades cognitivas. Assim, os questionamentos do autor são importantes para a compreensão dos limites do programa.

Coerente com essa perspectiva,

Como um aluno pode testar o pensamento crítico e autônomo se não há uma mudança nas formas de entender o ensino e a aprendizagem, que vai além do método? Como o fará se para demonstrar a competência deve se submeter a uma prova padronizada? Como avaliar, e, sobretudo, como qualificar a resposta divergente, crítica, diferente? Como testar a competência criativa diante de um discurso reprodutor, unilateral, uniformizador? (Méndez, 2011MÉNDEZ, Juan. Avaliar a Aprendizagem em um Ensino Centrado nas Competências. In: SACRISTÁN, José Gimeno. Educar por Competências: o que há de novo? Porto Alegre: Artmed, 2011. P. 233-264., p. 242-244).

O autor reitera, ainda, que o discurso das competências, agregado à prática de utilização de testes na educação, desloca o debate epistemológico necessário sobre currículo e avaliação, dos princípios, do marco conceitual para questões de métodos e técnicas. Avaliar se torna uma questão técnica, de elaborar “[…] bons itens para testar habilidades” (Méndez, 2011MÉNDEZ, Juan. Avaliar a Aprendizagem em um Ensino Centrado nas Competências. In: SACRISTÁN, José Gimeno. Educar por Competências: o que há de novo? Porto Alegre: Artmed, 2011. P. 233-264., p. 235).

A ausência de fundamentação conceitual sobre conhecimento foi uma característica observável nos documentos do PAAE, que em muitas vezes se limitou a afirmar que o programa adotava uma concepção formativa de avaliação. De acordo com Méndez (2011MÉNDEZ, Juan. Avaliar a Aprendizagem em um Ensino Centrado nas Competências. In: SACRISTÁN, José Gimeno. Educar por Competências: o que há de novo? Porto Alegre: Artmed, 2011. P. 233-264.), não há sistema de avaliação que utilize a linguagem das habilidades e competências e não adote tal discurso. Entretanto, a ausência de fundamentação teórica atribui ao PAAE um caráter pragmático e programático, que tende a naturalizar o uso dos itens de teste.

As contradições existentes no PAAE, como a predominância de itens tradicionais em detrimento de itens problematizadores, o uso da Teoria Clássica dos Testes para comparação de resultados ao longo do tempo, o modo de abordar habilidades e competências e a permanência dos conteúdos tradicionais na matriz utilizada para elaboração dos itens, evidenciam falta de clareza, lacunas ocultadas por um discurso eficientista.

Constata-se, portanto, que esse deslocamento da epistemologia para o campo da técnica, presente nas reformas inspiradas pela lógica das competências, foi identificada no PAAE. A ênfase na eficiência, tendência operacionalista, reforça o aspecto técnico dos programas de avaliação, estratégia utilizada para garantir legitimidade à autoridade administrativa que os propõem (Méndez, 2011MÉNDEZ, Juan. Avaliar a Aprendizagem em um Ensino Centrado nas Competências. In: SACRISTÁN, José Gimeno. Educar por Competências: o que há de novo? Porto Alegre: Artmed, 2011. P. 233-264.)

Como se vê, para o autor, o que essa “nova linguagem” das competências acompanhadas do uso de testes padronizados em larga escala promove é o retorno do tecnicismo como tentativa de controle do processo de ensino e aprendizagem. Nesse “novo” tecnicismo, há uma forte relação entre a avaliação na “[…] concepção de competência e o positivismo na sua versão psicológica: pedagogia por objetivos” (Méndez, 2011MÉNDEZ, Juan. Avaliar a Aprendizagem em um Ensino Centrado nas Competências. In: SACRISTÁN, José Gimeno. Educar por Competências: o que há de novo? Porto Alegre: Artmed, 2011. P. 233-264., p. 244).

Concluindo, a política de avaliação implementada pela SEE-MG por meio do Simave reforça pressupostos positivistas na versão psicológica. Embora o programa anuncie a função formativa de avaliação como sua marca, o predomínio de itens tradicionais, a opção pela Teoria Clássica dos Testes e o uso excessivo de testes aproximam o programa da concepção tecnicista e, consequentemente, o distanciam da modalidade formativa. Por isso, é pertinente a afirmação de Méndez (2011MÉNDEZ, Juan. Avaliar a Aprendizagem em um Ensino Centrado nas Competências. In: SACRISTÁN, José Gimeno. Educar por Competências: o que há de novo? Porto Alegre: Artmed, 2011. P. 233-264.) de que os testes reforçam a “lógica racional pragmática”, “fragmentada”, “compartilhada”, “binária”, do “certo e do errado”, presentes nas formas tradicionais de se avaliar nas escolas, nas quais se valoriza o produto final em detrimento do processo. Ressalta-se que uma avaliação formativa possibilita o “pensamento crítico”, “o respeito ao ritmo e a produção dos alunos”, “as múltiplas possibilidades”, “o pensamento criativo e divergente”, “as situações complexas, mutantes e instáveis” (Méndez, 2011) e, por isso, promove aprendizagens.

Considerações Finais

Este artigo analisou o PAAE no contexto de valorização dos testes padronizados em Minas Gerais no período entre 2005 e 2015. Observou-se que, apesar do discurso inovador das habilidades e competências anunciadas no programa, predominou a abordagem tradicional da avaliação por objetivos, tecnicista, de caráter cognitivista (Bittencourt, 2009BITTENCOURT, Circe. Ensino de História: fundamentos e métodos. São Paulo: Cortez , 2009.; Méndez, 2009), pautada na racionalidade do processo ensino-aprendizagem.

Pode-se afirmar que o discurso das vantagens e dos benefícios promovidos pelos sistemas e programas de avaliação pautados na abordagem das competências tende a ocultar a complexidade intrínseca da avaliação, parte constitutiva do processo de ensino-aprendizagem, em favor de concepções reducionistas, que desconsideram a pluralidade de conceitos relacionados ao currículo, à avaliação e à Didática. Essa concepção distorce o real sentido da avaliação formativa anunciada pelo programa.

Especificamente em relação ao PAAE, observou-se uma contradição entre o anúncio do caráter inovador dos testes utilizados como recurso pedagógico e a presença hegemônica de itens tradicionais nas provas de História e, consequentemente, o estreitamento da noção de currículo. Trata-se, portanto, de questões centradas na memorização de conteúdos por parte dos alunos.

Finalmente, considerou-se um equívoco o uso excessivo de testes como orientadores privilegiados do processo de ensino no interior das escolas. A complexidade intrínseca do processo ensino-aprendizagem, na perspectiva dialética do conhecimento, não pode ser apreendida apenas pela engenharia de testes padronizados que vêm sendo instituída nas escolas. Há que se buscar maior articulação entre currículo, ensino e avaliação.

Com base nas contribuições de Gomes (2014GOMES, Suzana dos Santos. Um Olhar sobre as Práticas de Avaliação na Escola. Belo Horizonte: Mazza Edições, 2014.), defende-se a apropriação dos resultados das avaliações externas pelos professores que, se bem utilizadas, podem auxiliá-los nas práticas de ensino e de avaliação no âmbito da escola, fornecendo diagnósticos sobre as habilidades e competências alcançadas pelos alunos. Além disso, as avaliações das Políticas Públicas de Educação, em vários níveis, permitem que se verifiquem ações propostas, resultados e impactos educacionais, propiciando que se decida sobre manutenção de ações que se mostraram efetivas e reformulação dos aspectos restritivos ao desenvolvimento dos programas propostos. Lembrando que a avaliação, aconteça ela dentro ou fora da escola, e as discussões em seu torno não se esgotam no ambiente escolar e são pontos de partida para um projeto de escola em construção.

Referências

  • AFONSO, Almerindo Janela. Avaliação Educacional: Regulação e Emancipação: para uma sociologia das políticas avaliativas contemporâneas. São Paulo: Cortez, 2009.
  • BALL, Stephen. Reformar Escolas/Reformar Professores e os Territórios da Performatividade. Revista Portuguesa de Educação, Braga, Portugal, Universidade do Minho, v. 15, n. 2, 2002.
  • BARDIN, Laurence. Análise de Conteúdo. São Paulo: Edições 70, 2011.
  • BARRETO, Elba Siqueira de Sá. Políticas de Currículo e Avaliação e Políticas Docentes. In: BAUER, Adriana; GATTI, Bernadete (Org.). Vinte e Cinco Anos de Avaliação de Sistemas Educacionais no Brasil: implicações nas redes de ensino, no currículo e na formação de professores. Florianópolis: Insular, 2013. P. 101-116.
  • BAUER, Adriana; GATTI, Bernadete. Ciclo de Debates: Vinte e Cinco Anos de Avaliação de Sistemas Educacionais no Brasil. Florianópolis: Insular , 2013. P. 61-85.
  • BAUER, Adriana; PIMENTA, Cláudia Oliveira; HORTA NETO, João Luiz; SOUSA, Sandra Zákia. Avaliação em Larga Escala em Municípios Brasileiros: o que dizem os números? Estudos em Avaliação Educacional, São Paulo, v. 26, n. 62, p. 326-352, maio/ago. 2015. Disponível em: <Disponível em: http://publicacoes.fcc.org.br/ojs/index.php/eae/article/view/3207/3073 >. Acesso em: 22 set. 2016.
    » http://publicacoes.fcc.org.br/ojs/index.php/eae/article/view/3207/3073
  • BAUER, Adriana; SOUSA, Sandra Zákia. Indicadores para Avaliação de Programas Educacionais: desafios metodológicos. Ensaio, on-line, v. 23, n.86, p.259-284, 2015. Disponível em: <Disponível em: http://dx.doi.org/10.1590/S0104-40362015000100010 >. Acesso em: 10 out. 2016.
    » http://dx.doi.org/10.1590/S0104-40362015000100010
  • BITTENCOURT, Circe. Ensino de História: fundamentos e métodos. São Paulo: Cortez , 2009.
  • BONOMINO, Alícia; SOUSA, Sandra Zákia. Três Gerações de Avaliação da Educação Básica no Brasil: interfaces com o currículo da/na escola. Educação e Pesquisa, São Paulo, v. 38, n. 2, p. 373-388, abr./jun. 2012.
  • BRASIL. Parâmetros Curriculares Nacionais: ciências humanas e suas tecnologias. Brasília, 2000. Disponível em: <Disponível em: http://portaldoprofessor.mec.gov.br/linksCursosMateriais.html?categoria=23 >. Acesso em: 09 de ago. 2014.
    » http://portaldoprofessor.mec.gov.br/linksCursosMateriais.html?categoria=23
  • BRASIL. Parâmetros Curriculares Nacionais para o Ensino Médio PCNs Ensino Médio: Orientações Educacionais Complementares aos Parâmetros Curriculares Nacionais. Brasília: Ministério da Educação, 2002.
  • BRASIL. Orientações Curriculares para o Ensino Médio; vol. 3. Ciências Humanas e suas Tecnologias. Brasília: Ministério da Educação , 2006. Disponível em: <Disponível em: http://portal.mec.gov.br/seb/arquivos/pdf/book_volume_03_internet.pdf >. Acesso em 15 ago. 2015.
    » http://portal.mec.gov.br/seb/arquivos/pdf/book_volume_03_internet.pdf
  • DEMO, Pedro. Habilidades e Competências no Século XXI. Porto Alegre: Mediação, 2010.
  • FERNANDES, Domingos. Avaliação em Educação: uma discussão de algumas questões críticas e desafios a enfrentar nos próximos anos. Ensaio , Rio de Janeiro, v. 21, n. 78, p. 11-34, jan./mar. 2013
  • FERNANDES, Domingos. Práticas de Avaliação de Dois Professores Universitários: pesquisa utilizando observações e narrativas de atividades das aulas. Educar em Revista, Curitiba, Brasil, Edição Especial, n. 1, p. 109-135, 2015.
  • FONSECA, Thaís Nívia de Lima. História & Ensino de História. Belo Horizonte: Autêntica, 2004.
  • FREIRE Paulo. Pedagogia da Autonomia. São Paulo: Editora Paz e Terra, 2006.
  • GATTI, Bernadete. Avaliações de Sistemas Educacionais no Brasil. Sísifo. Revista de Ciências da Educação, Lisboa, n. 09. p. 07-18, maio/ago. 2009.
  • GOMES, Suzana dos Santos. Um Olhar sobre as Práticas de Avaliação na Escola. Belo Horizonte: Mazza Edições, 2014.
  • GOMES, Suzana dos Santos. Políticas de Avaliação Externa e Interna: Desafios e Perspectivas. In: GOMES, Suzana dos Santos; QUARESMA, Adilene. Políticas e Práticas na Educação Básica e Superior: Desafios da Contemporaneidade. Belo Horizonte: Fino Traço, 2015. P. 34-360.
  • LUCKESI, Cipriano Carlos. Avaliação da Aprendizagem Escolar: estudos e proposições. 22 ed. São Paulo: Cortez , 2011.
  • MACEDO, Lino de. Situação-Problema: forma e recurso de avaliação, desenvolvimento de competências e aprendizagem escolar. In: PERRENOUD, Philippe; THURLER, Monica; MACEDO, Lino de; MACHADO, Nilson. Junior; ALLESSANDRINI, Cristina. As Competências para Ensinar no Século XXI: a formação dos professores e o desafio da avaliação. Porto Alegre: Artmed Editora, 2002.
  • MELO, Savana; CIRILO, Pauliane; PINTO, Samilla. O Ensino Médio e o Trabalho Docente: características de Minas Gerais. POIÉSIS, Tubarão, Revista do Programa de Pós-Graduação em Educação, Universidade do Sul de Santa Catarina, v. 10, n. 17, p. 102-129, jan./jun. 2016.
  • MÉNDEZ, Juan. Avaliar a Aprendizagem em um Ensino Centrado nas Competências. In: SACRISTÁN, José Gimeno. Educar por Competências: o que há de novo? Porto Alegre: Artmed, 2011. P. 233-264.
  • MINAS GERAIS. Resolução SEE nº 14. Institui o Programa de Avaliação da Educação Básica. Belo Horizonte: Secretaria de Estado da Educação, 2000.
  • MINAS GERAIS. Resolução nº 666, de 07 de abril de 2005. Estabelece os Conteúdos Básicos Comuns (CBCs) a serem obrigatoriamente ensinados pelas unidades de ensino estaduais. Belo Horizonte: Secretaria de Estado de Educação, 2005. Disponível em: <Disponível em: https://www.educacao. mg.gov.br/images/documentos/%7BA6FF8791-B1D3-4FBB-B4B5-6AFEE169185A% 7D_ resol0033.pdf >. Acesso em: 29 nov. 2017.
    » https://www.educacao. mg.gov.br/images/documentos/%7BA6FF8791-B1D3-4FBB-B4B5-6AFEE169185A% 7D_ resol0033.pdf
  • MINAS GERAIS. Conteúdo Básico Comum de História no Ensino Médio. Belo Horizonte: Secretaria de Estado de Educação , 2007.
  • MINAS GERAIS. Secretaria de Estado de Educação. Reordenação dos Tópicos dos CBCs. Readequação dos CBCs à Estrutura Curricular do Reinventando o Ensino Médio. 2011. Disponível em: <Disponível em: http://crv.educacao.mg.gov.br/SISTEMA_CRV/banco_objetos_crv/701D60243C4E4710994A35AA2261231D14112012143506_ReordenacaoCBCdeHistoria.pdf >. Acesso 20 fev. 2015a.
    » http://crv.educacao.mg.gov.br/SISTEMA_CRV/banco_objetos_crv/701D60243C4E4710994A35AA2261231D14112012143506_ReordenacaoCBCdeHistoria.pdf
  • MINAS GERAIS. Secretaria de Educação de Estado. SIMAVE/PROEB 2013. Revista da Gestão Escolar, Juiz de Fora, Universidade Federal de Juiz de Fora, v. 2, jan./dez. 2013a.
  • MINAS GERAIS. Manual do PAAE. Belo Horizonte: Secretaria de Estado de Educação , 2013b. Disponível em: <Disponível em: http://paae.institutoavaliar.org.br/sistema_ava_v2/default.aspx?id_objeto=323389&id_pai=23967&area=atributo >. Acesso em: 10 dez. 2017.
    » http://paae.institutoavaliar.org.br/sistema_ava_v2/default.aspx?id_objeto=323389&id_pai=23967&area=atributo
  • MINAS GERAIS. Programa de Avaliação da Aprendizagem Escolar (PAAE). Belo Horizonte: Secretaria de Estado de Educação , 2015. Disponível em: <Disponível em: http://paae.institutoavaliar.org.br/sistema_ava_v3/default.aspx?id_objeto=23967&id_pai=23967&area=AREA >. Acesso em: 17 jul. 2015b.
    » http://paae.institutoavaliar.org.br/sistema_ava_v3/default.aspx?id_objeto=23967&id_pai=23967&area=AREA
  • MIZUKAMI, Maria da Graça. Ensino: as abordagens do processo. São Paulo: EPU, 2003.
  • OLIVEIRA, Dalila Andrade; JORGE, Tiago. As Políticas de Avaliação, os Docentes, e a Justiça. Currículo sem Fronteiras, v. 15, n. 2, p. 346-364, maio/ago. 2015.
  • OLIVEIRA, Dalila. A. As políticas para o Ensino Médio na Realidade Brasileira: Uma agenda em disputa. POIÉSIS , Tubarão, Revista do Programa de Pós-Graduação em Educação, Universidade do Sul de Santa Catarina, v. 10, n. 17, p. 187-198, jan./jun. 2016.
  • PERRENOUD, Philippe. Ensinar: agir na urgência, decidir na incerteza. Porto Alegre: Artmed Editora , 2001.
  • PERRENOUD, Philippe; THURLER, Mônica; MACEDO, Lino de; MACHADO, Nilson; ALLESSANDRINI, Cristina. As Competências para Ensinar no Século XXI: a formação dos professores e o desafio da avaliação . Porto Alegre: Artmed Editora , 2002.
  • PINKSY, Jaime et al. História da América Através de Textos. São Paulo: Contexto, 2007.
  • SACRISTÁN, José Gimeno. Educar por Competências: o que há de novo? Porto Alegre: Artmed , 2011.
  • SOUSA, Sandra Zákia. Avaliação Externa e em Larga Escala no Âmbito do Estado Brasileiro: interface de experiências estaduais e municipais de avaliação da Educação Básica com iniciativas do governo federal. In: BAUER, Adriana; GATTI, Bernadete (Org.). Vinte e Cinco Anos de Avaliação de Sistemas Educacionais no Brasil: implicações nas redes de ensino, no currículo e na formação de professores . Florianópolis: Insular , 2013. P. 61-85.

1

  • 1
    O Instituto Avaliar é uma organização da sociedade civil com especialidade em pesquisas e processos de avaliação que atua em parceria com a SEE-MG no desenvolvimento do PAAE.

2

  • 2
    O PAAE foi implementado no período entre 2003 e 2014, na ocasião o Estado de Minas Gerais foi governado por Aécio Neves e Antônio Anastasia, ambos do Partido da Social Democracia Brasileira - PSDB (Bauer; Gatti, 2013BAUER, Adriana; GATTI, Bernadete. Ciclo de Debates: Vinte e Cinco Anos de Avaliação de Sistemas Educacionais no Brasil. Florianópolis: Insular , 2013. P. 61-85.).

3

  • 3
    Alternativas de resposta são apresentadas na forma de cinco opções, sendo somente uma correta, que é o gabarito. As alternativas que não contemplam a resposta são chamadas de distratores.

4

  • 4
    The Instituto Avaliar is a civil society organization specialized in research and evaluation processes, which acts in partnership with the SEE-MG for developing the PAAE.

5

  • 5
    The PAEE was implemented between 2003 and 2014, when the State of Minas Gerais was governed by Aécio Neves and Antônio Anastasia, both member of the Partido da Social Democracia Brasileira - PSDB (Bauer; Gatti, 2013BAUER, Adriana; GATTI, Bernadete. Ciclo de Debates: Vinte e Cinco Anos de Avaliação de Sistemas Educacionais no Brasil. Florianópolis: Insular , 2013. P. 61-85.).

6

  • 6
    Answer alternatives are presented in five options, with only one being the correct one, which is the answer. The alternatives that do not have the answer are called distractors.

Datas de Publicação

  • Publicação nesta coleção
    Oct-Dec 2018

Histórico

  • Recebido
    17 Jul 2018
  • Aceito
    26 Set 2018
Universidade Federal do Rio Grande do Sul - Faculdade de Educação Avenida Paulo Gama, s/n, Faculdade de Educação - Prédio 12201 - Sala 914, 90046-900 Porto Alegre/RS – Brasil, Tel.: (55 51) 3308-3268, Fax: (55 51) 3308-3985 - Porto Alegre - RS - Brazil
E-mail: educreal@ufrgs.br