Entre o discurso e a prática docente: interfaces do Programa de Avaliação da Aprendizagem Escolar (Paae)

Between teachers’ discourse and practice: interfaces of the School Learning Evaluation Program (Programa de Avaliação da Aprendizagem Escolar – Paae)

Entre el discurso y la práctica docente: interfaces del Programa de Evaluación del Aprendizaje Escolar (Programa de Avaliação da Aprendizagem Escolar – Paae)

Resumo

Este artigo apresenta resultados de uma pesquisa sobre o Programa de Avaliação da Aprendizagem Escolar (Paae) implementado na Rede Pública Estadual de Ensino de Minas Gerais. Utilizou-se da pesquisa bibliográfica e documental, além de uma pesquisa de campo, que envolveu, na coleta de dados, a aplicação de questionário estruturado junto a professores de História do Ensino Médio. Na organização do texto, descreve-se e analisa-se o processo de implementação do Paae, ocorrido entre 2005 e 2016, as especificidades do programa, a metodologia empregada e a análise crítica das categorias avaliação, currículo e prática docente. Os resultados revelam uma assimetria entre o discurso e a prática. Embora a maioria dos professores utilize o Paae, no papel de política pública de avaliação, ele não tem alcançado os resultados esperados pelos gestores e idealizadores.

Políticas Públicas; Avaliação Educacional; Avaliação Externa; Ensino Médio

Abstract

This work presents results from a research on the School Learning Evaluation Program (Programa de Avaliação da Aprendizagem Escolar – Paae) implemented at the Public State Education System of Minas Gerais, Brazil. This study involved a literature and documental review, and the application of a structured questionnaire to high school History teachers. As to the organization of the article, it is divided in the following sections: description and analysis of the implementation process of Paae, in the period from 2005 to 2016; specificities of the program; methodology used; and the critical analysis of the following categories: evaluation, curriculum and teacher practice. The results revealed an asymmetry between discourse and practice. Even though most teachers use Paae, it has not yet achieved the results expected by its managers and idealizers in terms of its role as an evaluation public policy.

Public Policies; Educational Evaluation; High School

Resumen

Este artículo presenta los resultados de una investigación sobre el Programa de Evaluación de Aprendizaje Escolar (Paae) implementado en la Escuela Pública del Estado de Minas Gerais. Se utilizó la investigación bibliográfica y documental, así como una investigación de campo, que implicó, en la recopilación de datos, la aplicación de un cuestionario estructurado a los profesores de Historia de la escuela secundaria. En la organización del texto, describimos y analizamos el proceso de implementación del Paae, que tuvo lugar entre 2005 y 2016, las especificidades del programa, la metodología empleada y el análisis crítico de las categorías de evaluación, plan de estudios y práctica docente. Los resultados revelan una asimetría entre discurso y práctica. Aunque la mayoría de los maestros usan Paae en el papel de la evaluación de políticas públicas, no ha logrado los resultados esperados por los gestores y creadores.

Políticas Públicas; Evaluación Educativa; Evaluación Externa; Enseñanza Media

1 Introdução

Este artigo apresenta os resultados de uma pesquisa que investigou o Programa de Avaliação da Aprendizagem Escolar (Paae)¹, instituído na Rede Pública Estadual de Ensino de Minas Gerais, a partir de 2005. A implementação desse programa ocorreu no contexto de expansão da avaliação externa no âmbito internacional e nacional, iniciada a partir da década de 1990 (AFONSO, 2009; BALL, 2002; BARRETO, 2013; OLIVEIRA, 2010). Em Minas Gerais, a relevância das avaliações externas ganhou conotações especiais com a implantação do Sistema Mineiro de Avaliação da Educação Pública (Simave)².

As pesquisas sobre políticas educacionais implementadas em Minas Gerais, a partir do final dos anos 1990, vêm demonstrando que a criação do SIMAVE e a importância atribuída às avaliações externas seguem uma tendência mundial, observada em diferentes países que buscaram promover reformas, objetivando o controle dos resultados das escolas (BARBOSA, 2013; FRITSCH et al., 2019; GOMES; MELO, 2018; MELO; CIRILO; PINTO, 2016).

De acordo com a Secretaria de Estado de Educação de Minas Gerais (SEE-MG), o objetivo do Simave é realizar diagnósticos para entender as dimensões do sistema público de Educação do Estado e buscar o seu aperfeiçoamento. Para isso, esse sistema buscou desenvolver programas de avaliação integrados, cujos resultados convertessem-se em ações, nas escolas, junto aos professores, com o intuito de promover melhorias no processo de ensino-aprendizagem (MINAS GERAIS, 2008).

A organização do Simave envolveu vários agentes representantes de grupos nacionais e internacionais: instituições governamentais e acadêmicas, organismos internacionais, além da cooperação do Ministério da Educação, Ciência e Tecnologia da França, que apoiou a elaboração de itens de teste e análises estatísticas (BARBOSA, 2013).

Sob a influência do modelo de Gestão por Resultados (BROOKE; CUNHA, 2011), o Paae integrou o Simave, entre 2005 e 2016, na modalidade de avaliação interna na escola. Trata-se de um programa misto e externo, porque os itens e o sistema são planejados pela SEE-MG em parceria com o Instituto Avaliar³ e aplicados pelos profissionais das escolas.

Atento aos debates no campo da avaliação educacional, e ao contexto de expansão dos programas de avaliação nos estados brasileiros, optou-se, neste artigo, por apresentar os resultados de uma pesquisa que investigou o Paae, priorizando as práticas dos professores de História que atuam no Ensino Médio. A observação das práticas de uso do programa pelos professores demonstra que, como política pública, o Paae promoveu alterações nos tempos e nas práticas docentes, porém, sem alcançar os resultados almejados pelos gestores e pelos idealizadores.

2 Metodologia

No trabalho de análise do Paae e de suas implicações nas práticas docentes, considerou-se a abordagem sócio-histórica, pautada nas contribuições de Afonso (2009), no campo da avaliação educacional. O autor defende estudos que focalizem a avaliação, uma vez que essa se tornou “um dos eixos estruturantes das políticas educativas contemporâneas desenvolvidas pelo Estado capitalista” (AFONSO, 2009, p. 15). Nesse sentido, a sociologia explícita da avaliação “constitui o resultado de diversos esforços teóricos e empíricos, intencionalmente estruturados em torno da avaliação enquanto objeto de investigação” (AFONSO, 2009, p. 16).

Para os estudos no campo da avaliação, Afonso (2009) adota como categoria analítica os eixos diacrônico e sincrônico. No eixo diacrônico, o estudo da avaliação busca estabelecer nexos com os diversos enquadramentos e regulamentações estatais que condicionam a escolha de sistemas, modelos ou formas de avaliação. Nesse caso, as escolhas de modalidades de avaliação estão vinculadas a “concepções pedagógicas, filosóficas”, “antropológicas”, mas também a contextos e “conjunturas políticas, sociais e econômicas” (AFONSO, 2009, p. 17). Por sua vez, no eixo sincrônico, o autor considera que os estudos da avaliação devem considerar as mudanças nas formas de regulação social que ocorrem ao nível do Estado, do mercado e da comunidade, como resultado da interação de fatores internos e externos, que modificam as funções atribuídas às formas e às modalidades da avaliação (AFONSO, 2009).

Em consonância com essa perspectiva, considerou-se, neste estudo, a categoria analítica de Afonso (2009), a fim de compreender e analisar o Paae, identificando a sua concepção, os objetivos, a modalidade de avaliação adotada no programa, bem como as reformas instituídas no estado de Minas Gerais, entre 2003 e 2014, no contexto em que o SIMAVE entrou para a agenda de um governo inspirado no modelo de gestão por resultados (FERNANDES, 2017).

Coerente com essa perspectiva, utilizou-se como procedimento metodológico a pesquisa bibliográfica, documental e de campo, que envolveu aplicação de questionários respondidos por 32 professores de História do Ensino Médio (ALVES-MAZZOTI, 2001; ANDRÉ, 2005).

A revisão bibliográfica ofereceu o arcabouço teórico necessário à problematização das políticas educacionais no campo da avaliação e do currículo no Ensino Médio, no contexto de reformas anunciadas a partir da década de 1990. Além disso, forneceu suporte para a análise de conceitos adotados nessas reformas, entre os quais, a avaliação educacional e a avaliação formativa, em distintas correntes de pensamento, a fim de compreender o contexto de expansão dos sistemas de avaliação e as pesquisas já realizadas acerca do Paae em artigos, dissertações e teses (BRAGANÇA JUNIOR, 2011; GOMIDE, 2014; MATTOS; SIMÕES; MATTOS, 2014; QUEIROZ, 2015).

Por meio da pesquisa documental, foram analisadas as resoluções, portarias, ofícios e outros documentos relacionados ao Paae e ao Currículo Básico Comum (CBC) da disciplina de História, disponíveis nos sites da SEE-MG e do Instituto Avaliar. A análise desses documentos permitiu a compreensão do processo de implementação do CBC e do Paae nas escolas de Ensino Médio da Rede Estadual de Ensino de Minas Gerais, entre os anos de 2005 e 2016. A escolha do período justifica-se porque 2005 foi o ano em que o Paae foi implementado nas escolas de referência do estado de Minas Gerais, e 2016, o ano em que foi realizado uma pesquisa junto aos profissionais que atuam nas escolas.

A pesquisa de campo, como mencionado, envolveu a aplicação de um questionário semiestruturado respondido por 32 professores de História do Ensino Médio da Rede Pública Estadual de Ensino de Minas Gerais. Buscou-se investigar de que modo os objetivos e as finalidades do Paae têm se efetivado nas escolas, as percepções e usos pedagógicos do programa pelos professores e, ainda, as implicações do programa nas práticas docentes.

A seleção dos professores ocorreu por meio de contatos presenciais nas escolas e pelo envio de carta convite por e-mail para cerca de 100 professores, visto que esse número corresponde a média de convites enviados na pesquisa.

O questionário foi respondido na versão on-line; destaca-se que foram priorizados os docentes que lecionaram na rede estadual no período entre 2010 a 2015, época em que o Paae foi utilizado de modo ampliado nas escolas. Do total de 32 participantes, 27 professores pertenciam a Região Metropolitana de Belo Horizonte e 5 eram provenientes da região de Passos de Minas. As respostas dos professores foram organizadas no software editor de planilhas, que gerou percentuais das alternativas de respostas fornecidas pelos docentes.

Como as escolas são marcadas pela diversidade na organização, na estrutura e no planejamento, entre outras, a análise dos dados evidenciou distintos modos de usos dos resultados das avaliações, o que pode corroborar ou refutar premissas anunciadas pelos defensores ou críticos dos sistemas de avaliação. Nesse sentido, a perspectiva das práticas escolares possibilita apreender as dimensões subjetivas, socioculturais e históricas presentes no processo de avaliação, que escapam às prescrições e aos debates ideológicos (GOMES, 2014).

3 As especificidades do Paae e os resultados de pesquisas sobre o programa

O Paae foi implementado nas escolas da rede estadual objetivando realizar diagnósticos da aprendizagem escolar dos alunos, ao longo do ano letivo, fornecendo informações para intervenções pedagógicas, e promovendo avanços na aprendizagem e assegurando, por meio do CBC, um padrão de ensino para os alunos. Segundo os seus idealizadores, a lógica que justifica o programa é a de que os diretores, especialistas, professores e a equipe pedagógica da SEE-MG devem atuar de maneira conjunta, analisando os relatórios das avaliações para reverter seus dados em ações escolares integradas, promovendo, principalmente, melhorias no desenvolvimento das habilidades contempladas nos CBC das disciplinas escolares (MINAS GERAIS, 2008).

Desde sua origem, o Paae buscou contribuir para a consolidação da proposta curricular do Ensino Médio, que, em Minas Gerais, é definida pelo CBC. Esse documento curricular constitui o conjunto de habilidades utilizadas como Matriz de Referência, e consideradas fundamentais e possíveis de serem alocadas em testes de múltipla escolha. Até 2012, o programa avaliava as habilidades dos alunos do 1º ano do Ensino Médio, etapa na qual os índices de reprovação e abandono eram maiores. A partir desse período, as provas geradas pelos professores no sistema on-line passaram a ser aplicadas também nos anos finais do Ensino Fundamental. Outra mudança ocorreu em 2015, quando os alunos do 2º e 3º ano do Ensino Médio também passaram a realizar as provas construídas a partir da matriz de habilidades do CBC e também de simulados preparatórios para o Exame Nacional do Ensino Médio (Enem).

Com vistas à promoção da Avaliação Diagnóstica da aprendizagem dos alunos, o Paae conta com um acervo abrangente do Banco de Itens que é constituído por cerca de 100.000 itens, e propicia a geração de provas on-line para aplicação na modalidade impressa ou digital. Esse Banco de Itens forma um acervo abrangente de questões objetivas que buscam contemplar os tópicos e as habilidades do CBC das disciplinas do Ensino Fundamental e do Ensino Médio.

Pesquisas realizadas sobre o Paae, entre elas, Mattos, Simões e Mattos (2014) destacaram a intencionalidade dos formuladores em oferecer uma tecnologia educacional capaz de acompanhar o uso dos resultados das avaliações existentes em Minas Gerais e ao mesmo tempo contribuir para consolidar a proposta curricular definida pelo CBC. Nesse estudo, as autoras destacaram ainda o potencial do Paae que, segundo elas, impacta na organização do trabalho docente, bem como na melhoria da Educação Básica. Entretanto, para identificar o impacto, considera-se relevante analisar o programa também no interior das escolas.

Também Bragança Junior (2011) analisou o processo de implementação do Paae, nas Escolas de Referência de Uberaba - MG, entre os anos de 2006 a 2008, por meio de entrevistas e observações realizadas com professores e estudantes. O autor destacou contradições observadas entre os objetivos traçados pela SEE-MG e os sentidos atribuídos pelos professores ao Paae.

Entre os problemas apontados pelo autor, destacam-se: sobrecarga de trabalho para os professores responsáveis pela tabulação das respostas e lançamento no sistema; incapacidade técnica nas escolas e ausência de planejamento interno e externo para organizar a aplicação das provas; excesso de avaliações e de itens nas provas; descompasso entre o que se ensina e o que se avalia; responsabilização das escolas pela aplicação dos testes, onerando o caixa escolar com excesso de impressões; desinteresse de muitos estudantes em realizar a prova; dificuldades para acessar os dados na internet, além de morosidade na devolução dos resultados das provas pela SEE-MG (BRAGANÇA JUNIOR, 2011).

Gomide (2014), por sua vez, analisou o uso das avaliações do Paae em sete escolas de Ensino Médio na cidade de Uberlândia - MG, apresentando as causas da rejeição do programa no ambiente escolar pelos profissionais envolvidos no processo das avaliações. Para alcançar os objetivos de sua pesquisa, a autora analisou documentos relacionados ao PAAE, questionários aplicados a 68 professores das disciplinas avaliadas no 1º ano do Ensino Médio, e entrevista semiestruturada com diretores das escolas.

Também Queiroz (2015) analisou a eficácia do Paae, como política pública, no gerenciamento pedagógico e curricular no Ensino Médio, das escolas estaduais do município de Passos - MG. Os resultados apresentados revelaram fragilidades do programa nos seguintes aspectos: diagnóstico para intervenção pedagógica, autoavaliação dos profissionais e ausência de monitoramento do currículo.

Como se vê, esses estudos evidenciaram os limites do Paae na geração de dados sobre os níveis de aprendizagem dos alunos.

4 Sobre os objetivos do Paae

A aplicação das provas do Paae envolve a participação da direção, de especialistas e de professores. Nesse processo, espera-se que haja planejamento coletivo. Sendo assim, o projeto prevê ações de capacitação dos professores, garantindo as condições estruturais para aplicação das provas e o estabelecimento de metas a partir dos resultados obtidos pelos alunos (MINAS GERAIS, 2013).

Espera-se que o professor participe dos encontros, divulgue o Paae nas turmas, participe da definição do cronograma de aplicação das provas, responda às questões da avaliação, antes de apresentá-las aos alunos, aplique as provas de acordo com o cronograma, avalie os itens das provas, respondendo o Questionário on-line de Pesquisa da Qualidade dos Itens. Além disso, espera-se que ele insira as respostas dos alunos no sistema, analise os relatórios e os gráficos de desempenho dos alunos em parceria com os especialistas escolares, planeje as atividades didáticas adequadas aos conteúdos do CBC que não foram aprendidos pelos alunos e defina procedimentos de intervenção, tendo em vista a melhoria do desempenho dos alunos (MINAS GERAIS, 2013).

Constata-se, nessas atribuições do professor, uma atenção especial aos resultados dos alunos nos testes, além de habilidades no manuseio de tecnologias digitais em prol da aprendizagem dos alunos, o que aproxima essas novas exigências do conceito de performatividade anunciada por Ball (2002) e das mudanças na profissão docente referidas por Oliveira (2010). Verifica-se, desse modo, um novo estilo de gestão introduzido na organização escolar responsável por mudanças na identidade docente.

Considerou-se relevante, neste estudo, verificar se os professores de História do Ensino Médio compreendem os objetivos do Paae e de que forma eles têm se apropriado do programa. A maioria (65%) afirmou conhecer apenas parcialmente os objetivos, a matriz de referência e a concepção de avaliação do Paae. De acordo com os documentos oficiais, os parâmetros que conduziram à formulação do programa consideraram o fato de a aprendizagem demandar acompanhamento e regulação. O programa tem sua origem associada a questões relevantes do processo ensino-aprendizagem, tais como: O que é relevante aprender? Como ensinar? Com que grau de aprofundamento? Com que abrangência? Que habilidades são recomendadas? (MATTOS; SIMÕES; MATTOS, 2014).

Pode-se afirmar que o Paae se assenta no pressuposto de que o conhecimento importante de ser ensinado é o que consta no CBC. Espera-se que, ao avaliar esse conhecimento, o PAAE auxilie o professor no planejamento e na reorganização do trabalho escolar. Desse modo, para que o programa alcançasse os resultados esperados, seria necessário que os professores tivessem uma ampla compreensão do Paae, o que não foi confirmado por eles, uma vez que apenas dois professores afirmaram conhecer amplamente a matriz utilizada.

Os dados coletados também revelaram falta de comunicação entre os profissionais. Dos 32 professores participantes, apenas 14 responderam que outros professores também utilizavam o Paae na escola em que atuavam à época da pesquisa; cinco responderam que nenhum professor da escola utilizava o programa e 13 disseram não ter conhecimento. Tendo em vista que um dos objetivos principais do Paae é a geração de relatórios acerca do desempenho dos alunos para análise da equipe docente, a falta de envolvimento coletivo compromete o uso pedagógico do programa.

Nesse sentido, o conhecimento apenas parcial, sinalizado pelos professores, pode ser um indício de que as informações da SEE-MG relacionadas ao Paae não têm chegado aos professores de forma adequada. No questionário, perguntou-se aos professores se haviam recebido alguma orientação de como utilizar o programa. Observou-se que 56% dos respondentes afirmaram ter recebido orientação na própria escola e 37,6% afirmaram não ter recebido orientação sobre o funcionamento do programa. Com base nesses dados, pode-se afirmar que a ausência de formação docente compromete a qualidade desse programa de avaliação.

Observou-se, ainda, que nenhum dos docentes que responderam ao questionário informou fazer uso dos resultados do PAAE para reorientar o planejamento, com o intuito de retomar habilidades não consolidadas pelos alunos. Pode-se afirmar que essa atitude, assumida por alguns professores, distancia, na prática, o programa das intencionalidades almejadas.

4.1 A percepção dos professores sobre o Paae

Nesse estudo, considerou-se relevante apreender a percepção dos professores acerca do uso do Paae como ferramenta de apoio no processo de ensino dos conteúdos e habilidades da disciplina de História predefinidas no CBC. No questionário, utilizou-se a Escala de Likert⁴, assim, nas questões propostas, cada participante poderia escolher uma entre cinco alternativas de respostas: discordo fortemente (DF); discordo parcialmente (DP); concordo parcialmente (CP); concordo fortemente (CF); não concordo, nem discordo (NC/ND).

Na sistematização e análise dos dados, considerou-se como percentual concordante a soma dos CP ou CF, e discordantes o somatório das respostas dos DP ou DF. As respostas assinaladas na opção NC/ND foram consideradas como neutras, sendo excluídas do percentual concordante e discordante.

Verificou-se, por meio dos dados do questionário, que 53% dos professores consideram o Paae útil na consolidação da proposta da disciplina de História presente no CBC, e que 72% avaliam que os itens de teste do programa estão alinhados às habilidades prescritas no currículo. Entretanto, as respostas dos professores evidenciam que a maioria não utiliza os resultados do Paae no planejamento de ensino, visto que apenas 37,5% consideraram o programa como referência importante para essa finalidade. Além disso, de acordo com o questionário, apenas 37,5% dos docentes ensinam os conhecimentos aferidos nas provas do Paae, o que revela um descompasso entre o que é avaliado e o que se ensina na sala de aula.

Entre os respondentes, 62,5% discordaram da afirmativa de que o Paae modifica o modo de ensinar dos professores, o que também demonstra a baixa apropriação dos resultados dos alunos nos testes para reorganizar o planejamento. A baixa interferência do programa nas práticas docentes evidencia, também, na constatação de que 66% dos respondentes consideraram que as provas do Paae não modificam o modo de avaliar dos professores.

Torna-se relevante destacar que, até 2016, o programa se apresentava como um instrumento a serviço da gestão de aprendizagens, como um subsídio para que os professores promovessem melhorias no desempenho dos alunos. Para cumprir a função formativa anunciada, o programa previa três momentos de avaliação, com o intuito de fornecer aos professores as informações necessárias sobre as aprendizagens dos alunos: a avaliação diagnóstica, a avaliação contínua, e a avaliação da aprendizagem anual. Nesse caso, a comparação dos resultados das avaliações seria uma forma dos profissionais envolvidos no uso do programa (gestores da SEE-MG, especialistas, diretores, professores) perceberem o valor agregado pela escola e, mais especificamente, pelos professores, em relação à aprendizagem dos alunos.

Entretanto, as informações colhidas no questionário evidenciaram que os objetivos do Paae não têm sido alcançados, já que a maioria dos professores não utiliza, pedagogicamente, os resultados das avaliações, não orienta o planejamento a partir dos resultados e também não acompanha o desenvolvimento das habilidades por meio dos testes gerados pelo programa.

A fim de compreender os motivos desse descompasso, solicitou-se aos participantes da pesquisa que respondessem à seguinte questão: Quais desafios/problemas você identifica no uso do Paae? Entre os principais problemas aparecem o desinteresse dos alunos, seguido pela falta de apoio da SEE-MG e a falta de envolvimento dos professores. É interessante observar que, do total de 32 respondentes, apenas cinco afirmaram descrédito pessoal em relação ao Paae, o que evidencia o interesse da maioria dos professores pelo programa.

A Tabela 1 apresenta a posição docente sobre o Paae. Destaca-se que 50% dos professores consideram que o programa dá um retorno satisfatório às demandas de aprendizagens dos alunos, além de 56,2% afirmarem que o Paae é apropriado e benéfico para os alunos.

Tabela 1
– Posicionamento dos professores sobre o Programa de Avaliação da Aprendizagem Escolar

Questionário do professor	DF %	DP %	CP %	CF %	NC ND %	C %	D %	Total %
O Paae dá um retorno satisfatório para as demandas de aprendizagem dos alunos?	-	9,0	16,0	-	7,0	50,0	28,1	32,0
O Paae contribui para melhorar as práticas de avaliação dos professores?	-	8,0	18,0	1,0	5,0	59,4	25,0	32,0
O Paae é um programa apropriado e benéfico para os alunos?	-	5,0	17,0	1,0	9,0	56,2	18,7	32,0
O Paae deve continuar como programa de avaliação na Rede Estadual de Ensino?	1,0	5,0	16,0	5,0	5,0	65,6	18,7	32,0

Fernandes (2017)
• PAAE: Programa de Avaliação da Aprendizagem Escolar; DF: Discordo Fortemente; DP: Discordo Parcialmente; CP: Concordo Parcialmente; CF: Concordo Fortemente; NC/ND: Não concordo, nem discordo; Concordam C %: inclui CP e CF; Discordam D %: inclui DF e DP.

Apesar de um percentual significativo de professores discordarem parcialmente das afirmativas favoráveis ao Paae, na Tabela 1, os percentuais de concordância registrados são evidências de que a maioria dos professores de História não oferecem resistência ao programa. Assim, 65,6% consideraram o Paae como programa de avaliação relevante na rede estadual. Entretanto, a concordância observada nos resultados é parcial, ou seja, os docentes informaram concordar parcialmente, o que pode ser um indício de que, na percepção dos professores, o programa demanda aprimoramento.

Como se vê, os dados evidenciam que a função formativa da avaliação anunciada pelo Paae adquire uma conotação diferente no interior das escolas. A análise da organização e das finalidades do Paae, assim como do CBC de História, permitiu a constatação de que, coerentemente com a concepção de ensino-aprendizagem preconizada no CBC, o programa se estrutura a partir de uma concepção de avaliação formativa. Essa abordagem busca, ao mesmo tempo, oferecer um diagnóstico das aprendizagens dos alunos e possibilitar a sua formação por meio de indicadores apresentados como habilidades do ensino de História, tais como: aspectos cognitivos de leitura, interpretação, lógica, memorização, inferências, entre outras habilidades, que são utilizadas para a elaboração dos itens de teste de aprendizagem.

Ressalta-se que, assim como o Paae, o CBC defende uma proposta de avaliação que, além de identificar o desempenho final dos alunos, possa diagnosticar suas dificuldades e acompanhar o percurso para a superação delas. Observa-se, desse modo, a intencionalidade do programa em superar as formas tradicionais de avaliação utilizadas pelos professores.

Nesse sentido, a análise dos objetivos, das finalidades e dos instrumentos do Paae permitiu constatar semelhanças em relação ao sistema de ensino proposto por Tyler⁵, assim como a metodologia de Bloom⁶, pois, na sua concepção, o programa tinha como foco o processo de aprendizagem, possibilitando ao professor acompanhar a evolução das habilidades dos alunos ao longo do ano e, a partir dos diagnósticos gerados, reorientar a gestão curricular, oferecendo atendimento aos alunos a partir de suas necessidades. Ou seja, a intenção do programa era tornar-se uma ferramenta capaz de oferecer ao professor possibilidades de reorientação, a partir de diagnósticos e demandas reais dos alunos, superando, assim, a pedagogia tradicional dos exames pela concepção formativa de avaliação.

Verificou-se que, assim como apontam os estudos de Bragança Junior (2011), Gomide (2014) e Queiroz (2015), os dados da pesquisa evidenciam um descompasso entre as intenções do programa e as práticas de avaliação nas escolas. Para os professores de História participantes da pesquisa, o Paae não assume a função de avaliação formativa anunciada.

A avaliação formativa é interpretada de forma distinta entre os pesquisadores do campo. Na visão de Gomes (2014), esse conceito demanda o reconhecimento da avaliação interna realizada pelo professor no âmbito da sala de aula, a partir das lacunas no desenvolvimento dos alunos. Em Luckesi (2011), a avaliação formativa tem função diagnóstica, pois constitui-se num momento dialético do processo de avançar o desenvolvimento da ação, do crescimento para a autonomia e do crescimento para a competência. Como diagnóstico, ela será um momento dialético de senso do estágio em que se está e de sua distância em relação à perspectiva que está colocada como ponto a ser atingido à frente.

Coerente com essa perspectiva, Afonso (2009) e Fernandes (2006) destacaram a complexidade do conceito de avaliação formativa, que não se limita à intenção de alcançar o sucesso por meio de testes padronizados, ou à discussão de gestão de aprendizagens a partir de matrizes curriculares prescritas, elaboradas fora do contexto escolar, conforme ocorre com o Paae.

Os dados da pesquisa atestam que, apesar de utilizarem as provas geradas pelo Paae, os professores de História não têm se apropriado dos resultados das avaliações para o planejamento das atividades docentes. Assim, é possível afirmar que, na esfera micro, da sala de aula, onde se efetiva a prática de ensino, o modelo de avaliação predominante é o tradicional, representado pela valorização dos resultados da aprendizagem em detrimento do processo de ensino-aprendizagem (FERNANDES, 2017).

4.2 A autonomia docente e as práticas de avaliação

No que diz respeito à autonomia do trabalho docente, pesquisadores do campo destacam possíveis limites que os testes padronizados estariam impondo aos currículos e ao professor (AFONSO, 2009; BALL, 2002). Considerando a quantidade de provas geradas pelo Paae, buscou-se apreender a percepção dos professores sobre a relação entre os testes padronizados, o currículo prescrito (CBC) e a autonomia. Nesse sentido, procurou-se investigar junto aos professores se a existência do Paae e do CBC afeta, por um lado, a autonomia docente ou, por outro lado, a formação crítica e autônoma dos estudantes.

Constatou-se que, na percepção da maioria dos professores, a existência de testes padronizados e de uma proposta curricular prescritiva para o ensino de História não afeta a autonomia do trabalho docente, uma vez que 72% discordaram da afirmativa de que o Paae contribui para a perda de autonomia dos professores. Além disso, 60% discordaram da afirmativa de que o Paae exige que os professores ensinem de um modo contrário a suas crenças e 66% discordaram da afirmativa de que a predefinição, no CBC, das competências e habilidades, a cada ano, retira a autonomia do professor. Também outros 63% dos professores discordaram da afirmativa que as provas geradas pelo Paae dificultam a formação crítica e autônoma dos alunos (BITTENCOURT, 2009).

Nesse sentido, a percepção dos professores é coerente com a avaliação positiva apontada por eles em relação ao Paae. Destaca-se que, segundo a maioria dos professores de História participantes da pesquisa, não há incompatibilidade entre os testes padronizados e a autonomia docente. Considerando que, assim como o Paae, as avaliações externas são compostas de itens de teste padronizados, chama a atenção o posicionamento favorável dos professores em relação à existência desses testes, o que, de certo modo, demonstra que, na opinião deles, não há incompatibilidade, uma vez que, como comprovado por outras pesquisas, os docentes não abrem mão da autonomia, embora aceitem a existência de testes padronizados nas avaliações.

Entretanto, é necessário considerar que o conceito de autonomia é plural e complexo, e o fato de os professores não se apropriarem do Paae, na forma como o programa foi planejado pela SEE-MG, pode justificar o posicionamento docente em relação às avaliações. Como os professores não utilizam os resultados e os relatórios gerados para replanejamento das atividades, é provável que não identifiquem no Paae uma ameaça à autonomia docente.

Segundo Nóvoa (1991), o conceito de autonomia docente, entre outros elementos, envolve o domínio da concepção, da execução das atividades e condições de liberdade no exercício profissional. Nesse caso, torna-se interessante observar que o fato de o Paae e o CBC definirem o que e como ensinar e avaliar, sem a participação docente, não é considerado, pelo menos para a maioria dos participantes dessa pesquisa, como uma ameaça. Essa percepção diverge das considerações de Nóvoa (1991) e Oliveira (2010), que identificaram nos modelos de regulação, sob os quais os programas e sistemas de avaliação se fundamentam, a diminuição de poder e controle dos profissionais diante da interferência de outros sujeitos externos à escola e da prestação de contas do que é realizado no espaço escolar.

4.3 Entre o discurso e as práticas do Paae

Os dados fornecidos pelos professores demonstraram que, embora a maioria utilize o Paae e não ofereça resistência ao programa, como política pública, ele não tem alcançado os resultados esperados pelos gestores e por seus idealizadores. Os dados, ora apresentados, demonstram que a maioria dos professores desconhece os objetivos do programa. Constata-se, também, que os participantes não tiveram acesso a formações oferecidas pela SEE-MG e, de modo precário, acessam as tecnologias oferecidas pelo sistema. Nesse sentido, considera-se que a ausência de participação dos professores nas políticas públicas de avaliação é um dos motivos da assimetria entre o anunciado pela SEE-MG e as práticas do Paae nas escolas.

Segundo Freitas et al. (2014), existem no Brasil duas grandes políticas públicas em disputa na Educação: neoliberais e democráticas participativas. Nas políticas neoliberais, as mudanças são vistas como parte de ações gerenciais administrativas desde um centro pensante, técnico, que fica encarregado de pensar a Educação, enquanto a outra ponta do sistema, a escola, ou, mais especificamente, os profissionais que nela atuam, assume a responsabilidade pela execução das políticas formuladas.

Já no contexto das políticas de tendência democrático-participativas é fundamental estimular e promover o envolvimento dos profissionais que atuam nas escolas, de modo a criar condições favoráveis à participação desses sujeitos, não apenas na execução, mas também na formulação e avaliação das políticas públicas educacionais (FREITAS et al., 2014).

Nesse sentido, posicionando-se de modo crítico em relação ao “extensionismo⁷” típico das políticas neoliberais, que tem caracterizado as políticas públicas no campo da avaliação, Freitas et al. (2014) defendem as políticas de tendência democrático-participativa, a partir da proposta de que “qualquer conhecimento externo a uma rede de ensino depende, para ser bem-sucedido de associação com o conhecimento interno, local, presente no âmbito das redes” (FREITAS et al., 2014, p. 39). Ainda, segundo os autores, o não reconhecimento dessa premissa simples nas políticas de tendência neoliberal impede que estas alcancem os resultados esperados no sentido de melhorar a qualidade da Educação.

Constata-se que as políticas públicas de avaliação desenvolvidas em Minas Gerais, com o Simave e, de modo mais específico, com o Paae, objeto deste estudo, seguem a tendência neoliberal. Uma das características dessa tendência, observada nos dados obtidos, é a ausência de participação efetiva dos professores, que são chamados a utilizar o Paae sem a devida preparação.

Assim, os problemas detectados na implementação do Paae, entre eles, a falta de compreensão dos objetivos do programa pelos professores, a ausência de formação oferecida pela SEE-MG, a falta de apropriação dos resultados e dos relatórios gerados pelo sistema, a baixa interferência dessa tecnologia educacional nas práticas dos professores que, apesar de utilizarem as provas, não levam em consideração os resultados dos testes no planejamento das aulas, revelaram um descompasso entre o que se ensina e o que se avalia. Assim, esses problemas evidenciam o distanciamento docente no que diz respeito às intenções dos gestores e o que foi postulado pelos formuladores dessa política avaliativa.

Os dados registrados pelo Índice de Desenvolvimento da Educação Básica (Ideb) e também pelo Simave, acerca do desempenho dos estudantes da Rede Estadual de Minas Gerais revelaram que “as mudanças não são significativas e os resultados permanecem insatisfatórios” (SIMAVE, 2017). Ainda permanece elevado o percentual de alunos que apresentam baixo nível de desempenho em Língua Portuguesa e, especialmente, em Matemática, assim como permanece baixo o percentual no nível recomendado.

Embora os resultados apresentados não permitam atribuir ao Paae os motivos de possíveis variações nos desempenhos dos alunos, uma vez que não foram realizados estudos de correlação, pode-se observar que a Política de Resultados implantada em Minas Gerais, sob a qual se fundamenta o Simave, não foi acompanhada de mudanças significativas em relação aos resultados dos alunos. Constata-se que, além da inefetividade do programa nas escolas, a Política de Resultados, na qual o Paae se insere, não vem apresentando os resultados satisfatórios esperados para o Ensino Médio.

5 Considerações finais

Pretendeu-se, com este artigo, apresentar os resultados de uma pesquisa sobre o Paae, implementado na Rede Pública Estadual de Ensino de Minas Gerais. Verificou-se que, no período entre 2003 e 2014, as políticas educacionais da rede estadual foram influenciadas pelo modelo de Gestão por Resultados. Destacam-se nesse contexto, as avaliações externas implementadas pelo Simave.

Entretanto, os estudos sobre esses programas vêm demonstrando que, no âmbito das práticas, os objetivos e a intencionalidade não têm se efetivado do modo como são planejados. Além disso, os resultados fundamentados nos instrumentos de avaliação, que são priorizados no modelo de gestão assumida, demonstram os limites dessa política na superação dos problemas vividos no Ensino Médio. Apesar dessa assimetria entre o dito e o feito, e dos resultados insatisfatórios, percebem-se mudanças no cotidiano das escolas, impulsionadas pela valorização dos testes padronizados, cada vez mais presentes nas práticas avaliativas dos professores.

Em relação à percepção docente, como resultado deste estudo, constatou-se que a maioria dos professores de História utiliza as provas do Paae sem conhecer os objetivos, a matriz de referência e a concepção de avaliação adotada pelo programa, o que não favorece a mudança nas formas tradicionais de avaliação. Os professores não se apropriaram dos resultados para planejar ou reorientar as práticas de ensino no sentido de consolidar as aprendizagens dos alunos, constatação confirmada pelos participantes da pesquisa. A baixa interferência do programa nas práticas docentes se evidencia, também, pela constatação de que a maioria (66% dos respondentes) considerou que as ferramentas do Paae, entre as quais os itens de testes, não modificaram o modo de avaliar dos professores.

Pode-se afirmar que os limites observados nas práticas avaliativas dos professores têm origem histórica, nas tradições escolares, na formação inicial, na ausência de formação continuada e nas precárias condições do trabalho docente que, entre outros problemas, inviabilizam tempos e espaços de estudo (LUCKESI, 2011). Desse modo, os obstáculos relacionados às práticas inadequadas de avaliação podem ser superados com ações concretas, entre as quais, a garantia de formação continuada para os docentes na busca pela Educação de qualidade.

Torna-se relevante destacar a importância das avaliações externas como instrumentos de regulação necessários ao acompanhamento das redes de ensino e ao fornecimento de informações para os gestores que as utilizam na formulação de políticas educacionais, com dados acerca das aprendizagens dos alunos (GOMES, 2014). Desse modo, defende-se que a avaliação externa pode trazer contribuições para as escolas monitorarem os resultados das aprendizagens dos alunos.

Finalmente, considera-se um equívoco o uso dos instrumentos de avaliação externa (itens padronizados) como orientadores privilegiados do processo formativo no interior das escolas (FERNANDES, 2017). Nesse sentido, defende-se que as avaliações internas integrem a tarefa educativa a cargo dos professores que estão inseridos no contexto complexo do processo de ensino e de aprendizagem. Reafirmam-se os problemas de políticas públicas para o Ensino Médio de tendência gerencialista e de viés tecnicista, que desconsideram a relevância dos sujeitos docentes e discentes na sua elaboração e execução.

Pode-se afirmar que os resultados desta pesquisa e de outros estudos vêm demonstrando os limites dos programas neoliberais, bem como a demanda pela valorização da autoria local dos sujeitos – professores e alunos, e, por isso, defende-se o protagonismo juvenil, a autonomia, o reconhecimento da diversidade e da ação mediadora da didática na perspectiva dialética que concebe a Educação, o ensino e a aprendizagem um processo de interação entre sujeitos, no qual a linguagem exerce papel de destaque.

Entretanto, deve-se destacar que os resultados apresentados evidenciam tendências observadas numa amostra restrita de professores frente ao percentual de docentes que utilizaram as provas do Paae na Rede Pública Estadual de Ensino de Minas Gerais. Dessa forma, os limites impostos pela amostra e pela pesquisa qualitativa impedem que os resultados apresentados sejam generalizados. Nesse sentido, recomendam-se novas pesquisas, com uma amostra mais ampla de professores e de escolas.

Referências

• AFONSO, A. J. Avaliação educacional: regulação e emancipação: para uma sociologia das políticas avaliativas contemporâneas. São Paulo: Cortez, 2009.
• ALVES-MAZZOTTI, A. J. Relevância e aplicabilidade da pesquisa em educação. Cadernos de Pesquisa, São Paulo, n. 113, p. 39-50, jul. 2001. https://doi.org/10.1590/S0100-15742001000200002
  » https://doi.org/10.1590/S0100-15742001000200002
• ANDRÉ, M. E. D. A. Estudo de caso em pesquisa e avaliação educacional. Brasília, DF: Liberlivro, 2005.
• BALL, S. J. Reformar escolas/reformar professores e os territórios da performatividade. Revista Portuguesa de Educação, Braga, v.1 5, n. 2, 2002.
• BARBOSA, L. C. M. O uso dos resultados do SIMAVE e suas possíveis implicações para gestores escolares e professores: o caso das escolas públicas de Formiga. 2013. Dissertação (Mestrado em Educação) – Faculdade de Educação, Universidade Federal de Minas Gerais, Belo Horizonte, 2013.
• BARRETO, E. S. S. Políticas de currículo e avaliação e políticas docentes. In: BAUER, A.; GATTI, B. A. (orgs.). Vinte e cinco anos de avaliação de sistemas educacionais no Brasil: implicações nas redes de ensino, no currículo e na formação de professores. Florianópolis: Insular, 2013. v. 2, p. 101-116.
• BITTENCOURT, C. M. F. Ensino de História: fundamentos e métodos. 3. ed. São Paulo: Cortez, 2009.
• BRAGANÇA JUNIOR, A. O Estado e as políticas educacionais do Governo Aécio Neves (2003-2010): uma análise a partir da reforma do Ensino Médio mineiro. 2011. Dissertação (Mestrado em Educação) – Faculdade de Educação, Universidade Federal de Uberlândia, Uberlândia, 2011.
• BROOKE, N.; ALVES, M. T. G.; OLIVEIRA, L. K. M. (orgs.). A avaliação da Educação Básica: a experiência brasileira. Belo Horizonte: Fino Traço, 2015.
• BROOKE, N; CUNHA, M. A. A. A avaliação externa como instrumento da gestão educacional nos estados. In. FUNDAÇÃO VICTOR CIVITA. Estudos e pesquisas educacionais. São Paulo: Fundação Victor Civita, 2011. v. 2.
• FERNANDES, A. O. O Programa de Avaliação da Aprendizagem Escolar (PAAE) em Minas Gerais: interfaces pedagógicas entre práticas avaliativas e currículo de História no ensino médio. 2017. Dissertação (Mestrado em Educação) – Faculdade de Educação, Universidade Federal de Minas Gerais, Belo Horizonte, 2017.
• FERNANDES, D. Para uma teoria da avaliação formativa. Revista Portuguesa de Educação, Braga, v.19, n. 2, p. 21-50, 2006.
• FREITAS, L. et al. Avaliação educacional: caminhando pela contramão. Petrópolis: Vozes, 2014.
• FRITSCH, R. et al. Percursos escolares de estudantes do ensino médio de escolas públicas do município de São Leopoldo, RS: desempenho escolar, perfil e características. Ensaio: Avaliação e Políticas Públicas em Educação, Rio de Janeiro, v. 27, n. 104, p. 543-567, jul./set. 2019. https://doi.org/10.1590/s0104-40362019002701306
  » https://doi.org/10.1590/s0104-40362019002701306
• GOMES, S. S. Um olhar sobre as práticas de avaliação na escola. Belo Horizonte: Mazza, 2014.
• GOMES, S. S.; MELO, S. D. G. Políticas de avaliação e gestão educacional: articulações, interfaces e tensões. Educação & Realidade, Porto Alegre, v. 43, n. 4, p.1199-1216, out./dez. 2018. https://doi.org/10.1590/2175-623688386
  » https://doi.org/10.1590/2175-623688386
• GOMIDE, M. A. G. O uso das avaliações do PAAE no primeiro ano do ensino médio nas escolas estaduais da Superintendência Regional de Ensino e Uberlândia – MG. 2014. Dissertação (Mestrado Profissional em Gestão e Avaliação da Educação Pública) – Faculdade de Educação, Universidade Federal de Juiz de Fora, Juiz de Fora, 2014.
• LIKERT, R. A technique for the measurement of attitudes. Archives of Psychology, [s. l.], n. 140, p. 1-55, Jun. 1932. Disponível em: https://legacy.voteview.com/pdf/Likert_1932.pdf Acesso em: 10 out. 2015.
  » https://legacy.voteview.com/pdf/Likert_1932.pdf
• LUCKESI, C. C. Avaliação da aprendizagem escolar: estudos e proposições. 22 ed. São Paulo: Cortez, 2011.
• MATTOS, L.; SIMÕES, M.; MATTOS, T. PAAE: uma política que articula avaliação e currículo para a melhoria da educação básica. In: CONGRESSO LUSO BRASILEIRO DE POLÍTICAS E ADMINISTRAÇÃO DA EDUCAÇÃO, 27., Porto, 2014. Anais [...] Goiânia: ANPAE, 2014. Disponível em http://www.anpae.org.br/IBERO_AMERICANO_IV/GT1/GT1_Comunicacao/LuciaMattos_GT1_integral.pdf Acesso em: 14 ago. 2014.
  » http://www.anpae.org.br/IBERO_AMERICANO_IV/GT1/GT1_Comunicacao/LuciaMattos_GT1_integral.pdf
• MELO, S. D. G.; CIRILO, P. R; PINTO, S. N. S. O ensino médio e o trabalho docente: características de Minas Gerais. Poiésis, Tubarão, v. 10, n. 17, p. 102-129, jan./jun. 2016. https://doi.org/10.19177/prppge.v10e172016102-129
  » https://doi.org/10.19177/prppge.v10e172016102-129
• MINAS GERAIS. Secretaria de Estado de Educação. Simave, 2008. Disponível em: https://www.educacao.mg.gov.br/politica-de-privacidade/page/15115-simave Acesso em: 07 jun. 2016.
  » https://www.educacao.mg.gov.br/politica-de-privacidade/page/15115-simave
• NÓVOA, A. (org.). Profissão Professor. Porto: Porto Editora, 1991.
• OLIVEIRA, D. A. Os trabalhadores da educação e a construção política da profissão docente no Brasil. Educar em Revista, Curitiba, n. esp. 1, p. 17-35, 2010. Disponível em: http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0104-40602010000400002&lng=pt&nrm=iso&tlng=pt Acesso em: 20 maio 2018.
  » http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0104-40602010000400002&lng=pt&nrm=iso&tlng=pt
• QUEIROZ, E. M. A utilização do Programa de Avaliação da Aprendizagem Escolar (PAAE) nas escolas estaduais de Passos: Reflexões sobre avaliação diagnóstica do ensino médio. 2015. Dissertação (Mestrado Profissional em Gestão e Avaliação da Educação Pública) – Centro de Políticas Públicas e Avaliação da Educação, Universidade Federal de Juiz de Fora, Juiz de Fora, 2015.
• SIMAVE 2013: Sistema Mineiro de Avaliação da Educação Pública. Juiz de Fora: Faculdade de Educação, Universidade Federal de Juiz de Fora, v. 3, jan./dez. 2013. Disponível em: http://www.simave.caedufjf.net/wp-content/uploads/2014/07/SIMAVE-RS-MR-AMOSTRAL-WEB2.pdf Acesso em 07 jun. 2017.
  » http://www.simave.caedufjf.net/wp-content/uploads/2014/07/SIMAVE-RS-MR-AMOSTRAL-WEB2.pdf

• 1
  Pesquisa realizada com o apoio do Conselho Nacional de Desenvolvimento Científico e Tecnológico.
• 2
  Em 2016 houve uma alteração no nome do SIMAVE, passando a ser Sistema Mineiro de Avaliação e Equidade da Educação Pública (SIMAVE, 2017).
• 3
  O Instituto Avaliar é uma organização da sociedade civil com especialidade em pesquisas e processos de avaliação que atua em parceria com o SIMAVE no desenvolvimento do PAAE.
• 4
  A escala Likert é um tipo de escala de resposta psicométrica utilizada em questionários. Ao responder as questões, os participantes especificam seu nível de concordância com as afirmativas (LIKERT, 1932).
• 5
  Com a finalidade de superar a pedagogia tradicional dos exames, Ralph Tyler teria proposto, na década de 1930, o “ensino por objetivos”, uma prática pedagógica que garantisse uma aprendizagem eficiente ao estabelecer com precisão o que o educando deveria aprender e, como consequência, o que o professor necessitava fazer para que o aluno efetivamente aprendesse (LUCKESI, 2011).
• 6
  Nessa metodologia, a ideia central é a de que os comportamentos esperados dos alunos podem ser previamente definidos em objetivos organizados numa hierarquia do menos para o mais complexo que podem ser medidos por meio de testes referenciados a critério (BROOKE; ALVES; OLIVEIRA, 2015).
• 7
  Para os autores, o extensionismo é uma característica das reformas na Educação de forte tendência tecnicista que pensa a mudança como produto de um centro difusor que a transfere para as escolas sem a participação efetiva dos agentes que nelas atuam.

Datas de Publicação

• Publicação nesta coleção
  30 Mar 2020
• Data do Fascículo
  Apr-Jun 2020

Histórico

• Recebido
  07 Fev 2018
• Aceito
  08 Nov 2019