Uso das avaliações de larga escala na formulação de políticas públicas educacionais

Use of large scale assessments in the formulation of educational public policies

Uso de evaluaciones a gran escala en la formulación de políticas públicas educativas

Resumo

O objetivo do estudo é analisar os usos dos resultados das avaliações de larga escala na formulação de políticas públicas educacionais no Brasil, com base no Sistema de Avaliação da Educação Básica (Saeb). A pesquisa foi desenvolvida em três etapas: pesquisa documental; aplicação de um questionário sobre o uso dos resultados; e entrevistas com representantes estaduais, aprofundando as informações coletadas na etapa anterior. Apresenta-se, como resultado uma matriz classificatória na qual as políticas educacionais identificadas estão relacionadas, principalmente, ao uso dos dados como instrumento de gestão, à formação de professores, à disseminação de informações sobre o sistema educacional, à produção de materiais pedagógicos, a critérios de distribuição de recursos e a políticas de incentivo salarial. Conclui-se que os resultados gerados estão sendo, de fato, utilizados na formulação de políticas educacionais. Contudo, é necessário ampliar o uso das informações disponibilizadas para além do desempenho dos alunos nos testes cognitivos.

Políticas Públicas; Políticas Educacionais; Avaliação Educacional; Saeb

Abstract

The purpose of the study is to analyze the uses of the results of large scale evaluations in the formulation of public educational policies in Brazil, based on the Basic Education Assessment System (Saeb). The research was developed in three stages: documentary research; application of a questionnaire on the use of results; and interviews with state representatives, deepening the information collected in the previous stage. As a result, a classification matrix in which the educational policies identified are related mainly: to the use of data as a management tool; to the training of teachers; to the dissemination of information about the educational system; and to the production of pedagogical materials based on the distribution of resources and on salary incentive policies. It is concluded that the results generated are actually being used in the formulation of educational policies; however, it is necessary to increase the use of the information available in addition to the performance of the students in the cognitive tests.

Public Policies; Educational Policies; Educational Evaluation; Saeb

Resumen

El propósito del estudio es analizar los usos de los resultados de las evaluaciones a gran escala en la formulación de políticas públicas educativas en Brasil, basadas en el Sistema de Evaluación de la Educación Básica (Saeb). La investigación se desarrolló en tres etapas: investigación documental; aplicación de un cuestionario sobre el uso de los resultados; y entrevistas con representantes estatales, profundizando la información recolectada en la etapa anterior. El resultado es una matriz clasificatoria en la que las políticas educativas identificadas se relacionan, principalmente, con el uso de datos como herramienta de gestión, con la formación de docentes, con la difusión de información sobre el sistema educativo, con la producción de materiales pedagógicos, a discreción distribución de recursos y políticas de incentivos salariales. Se concluye que los resultados generados, de hecho, están siendo utilizados en la formulación de políticas educativas. Sin embargo, es necesario ampliar el uso de la información disponible además del desempeño de los estudiantes en las pruebas cognitivas.

Políticas Públicas; Políticas Educativas; Evaluación Educativa; Saeb

1 Introdução

O acompanhamento das políticas públicas surge como tendência no final dos anos 1970, diante das crises econômicas e sociais enfrentadas por alguns países como Inglaterra e Estados Unidos, as quais geraram questionamentos sobre a organização e o funcionamento dos Estados (LOUREIRO et al. , 2010). Esse movimento foi acompanhado pela crise do modelo burocrático, o que gerou novas propostas de organização da Administração Pública, dentre as quais se destaca o modelo de administração pública gerencial, que apresenta características baseadas em eficiência, em eficácia e em competitividade ( SECCHI, 2009 ). Nesse contexto, esse estudo mirou verificar se resultados gerados a partir das avaliações educacionais nacionais são utilizados como evidências empíricas na formulação de políticas públicas. A concepção de avaliação adotada a considera como um fenômeno técnico e político, que abarca diferentes interesses, normas institucionais e tensões que surgem das relações de poder entre atores políticos (KELLAGHAN et al ., 2011).

As avaliações educacionais de larga escala surgiram na pauta política brasileira no final dos anos 1980, influenciadas pelo processo de redemocratização do país e por tendências internacionais ( COELHO, 2008 ). Nesse contexto, o Brasil passou a desenvolver avaliações para mensurar a qualidade da Educação ofertada nas escolas públicas e privadas e, em 1990, implementou o Sistema Nacional de Avaliação da Educação Básica (Saeb), o qual foi pensado, inicialmente, para avaliar três dimensões dos sistemas de Ensino por meio de, respectivamente, indicadores educacionais, indicadores da escola e indicadores do sistema de gestão educacional. Apesar dos objetivos do Saeb preverem a utilização dos dados para subsidiar políticas públicas, há um debate importante sobre o uso efetivo dos resultados produzidos na formulação de políticas públicas educacionais. Algo considerado, em alguns estudos, como um desafio para Estados e gestores (KELLAGHAN et al ., 2011). Rosistolato et al . (2018) corroboram essa análise ao apontarem que a formação dos gestores para compreensão e uso dos dados é uma das principais dificuldades para a implementação de avaliações de larga escala.

Diante desse cenário, essa pesquisa tem como principal objetivo analisar os usos dos resultados do Saeb na formulação de políticas públicas educacionais no Brasil, mostrando de maneira crítica como essas informações vêm sendo empregadas tanto no desenvolvimento de ações administrativas e pedagógicas quanto na promoção de accountability na área educacional.

2 Políticas Públicas de Avaliação Educacional

A formulação de políticas públicas pode ser entendida como o processo de identificar o problema público e o que fazer a partir dessa investigação (HOWLETT et al ., 2013). Thomas (2001) identificou quatro fases da formulação de políticas: a apreciação, o diálogo, a formulação e a consolidação. A fase de apreciação chama a atenção, pois, segundo o autor, é nela que serão considerados os dados e as evidências. Wiseman (2010) contribuiu para essa análise ao discutir sobre o uso de evidências nas políticas públicas, especificamente no campo educacional. O autor apresentou três abordagens macroteóricas para explicar como as evidências são utilizadas no processo de elaboração política: a perspectiva técnica-funcional, na qual se utilizam evidências em busca da forma mais adequada ou eficaz de solucionar problemas educacionais; a perspectiva sociopolítica, que é considerada mais complexa, pois nessa perspectiva as agendas políticas e sociais ditam as decisões e as maneiras em que serão resolvidos os problemas educacionais; e, por fim, a perspectiva institucional ou organizacional, que pressupõe que os modelos racionalmente legitimados para a elaboração de políticas já existentes, e que são lentamente institucionalizados como parte dos sistemas organizacionais, incluindo os sistemas educacionais.

Especificamente, sobre o campo da Educação, entende-se que as políticas educacionais são consideradas uma subárea do campo de políticas públicas, inserida no escopo das políticas sociais. Elas correspondem a uma área de estudo multidisciplinar que ainda está em fase de expansão e de consolidação ( SCHNEIDER, 2014 ). No Brasil, considera-se que as pesquisas nessa área ganharam força a partir da década de 1980, em decorrência de um processo maior, que engloba a redemocratização do país, a reestruturação do Estado e a consolidação da pós-graduação.

Considerando o avanço identificado referente ao acesso, que foi praticamente universalizado no Brasil no Ensino Fundamental ( OLIVEIRA, 2007 ), as pesquisas e as políticas educacionais passaram a discutir a qualidade da Educação ofertada nas escolas. Uma das tendências de aferição dessa qualidade foram as avaliações de larga escala, que possuem longa trajetória no cenário internacional. Influenciado por um contexto social e econômico que exigia maior qualificação dos trabalhadores, o contexto educacional passou a ter de medir a eficiência dos processos de Ensino-aprendizagem realizados nas escolas, e é nesse contexto que, na década de 1980, começam as primeiras ações que deram origem ao Saeb, foco do presente estudo.

No período em que esse Sistema de Avaliação foi estudado, tinha como público alvo os anos iniciais e finais do Ensino Fundamental e o Ensino Médio (3º, 5º e 9º anos do Ensino Fundamental e 3ª série do Ensino Médio) e contava com três avaliações: Avaliação Nacional da Educação Básica (Aneb), Avaliação Nacional do Rendimento Escolar (Anresc) – ou, como é mais conhecida, Prova Brasil –, e Avaliação Nacional da Alfabetização (ANA). As avaliações realizadas em diferentes etapas possuem objetivos específicos, mas, de maneira geral, são aplicados testes de Língua Portuguesa e de Matemática e questionários a alunos, professores, diretores e o da escola¹ .

O presente estudo destaca uma das avaliações desse sistema, a Prova Brasil, que foi criada em 2005 e inovou ao possibilitar a divulgação dos resultados por escola. Antes disso, os dados eram coletados de forma amostral e permitiam apenas um diagnóstico da situação nos âmbitos estadual, regional e federal. Após a aplicação e a finalização do processamento e da análise dos dados, cada escola, município e unidade federativa (UF) recebe os resultados da avaliação por meio de boletins ou de sistemas informáticos específicos. Nesse estudo, adota-se o termo Saeb para abarcar tanto a parte amostral (Aneb) quanto a parte censitária (Prova Brasil), deixando de fora a avaliação de alfabetização, cuja utilização dos dados não foi explorada nessa pesquisa. Discutir o uso de avaliações permite verificar o efeito que a avaliação tem trazido para a política educacional e identificar de que maneira os governos têm tomado decisões com base nos resultados dessas avaliações ( PESTANA, 2016 ).

3 Uso das avaliações em políticas públicas

Weiss (1998) descreve que o conceito de uso das avaliações diz respeito a como os resultados são utilizados no processo de tomada de decisões e apresenta quatro classificações para esse uso. O primeiro deles é o instrumental, que pode ser compreendido como um uso para a tomada de decisão. A avaliação, nesse sentido, pode contribuir na produção de descobertas que influenciam a ação investigada e indicam quais decisões serão tomadas a partir dessas descobertas ( WEISS, 1998 ). O segundo é chamado de uso conceitual, no qual os resultados oriundos da avaliação podem mudar a concepção do que é o programa e por qual motivo ele existe. É classificado por Faria e Filgueiras (2007) como uma função educativa da avaliação. O uso como instrumento de persuasão é o terceiro descrito pela autora. Neste caso a avaliação é utilizada para legitimar determinada posição ou ganhar novos defensores. Por fim, o quarto tipo é o uso para o esclarecimento, no qual o uso influencia instituições e agentes que não estão relacionados ao programa ou a política diretamente.

No contexto específico das avaliações educacionais, Kellaghan et al . (2011), ao defenderem que a avaliação pode ser um instrumento de esclarecimento sobre acesso, qualidade, eficiência e equidade, descrevem que há cinco pontos de destaque para o real aproveitamento dos resultados: capacidade institucional para absorver e utilizar as informações; confiabilidade e relevância das informações; procedimentos para identificar políticas ou ações adequadas após uma avaliação; determinação de uma intervenção que abranja todo o sistema; e complexidade da formação de políticas e tomada de decisões.

Outra importante classificação sobre o uso dos resultados de avaliações externas foi a realizada por Brooke et al . (2011), que propuseram uma matriz classificatória chamada de “A Avaliação Externa como Instrumento da Gestão Educacional: Classificações”. Os autores fundamentaram o trabalho na análise inicial de Shepard (1997), que listava sete propósitos para políticas governamentais de Educação. Com base nessa lista, em dados empíricos e em devidas adaptações, o sistema classificatório apresentou os seguintes usos: (1) para avaliação de programas, monitoramento, planejamento e pesquisa; (2) para as escolas sobre a aprendizagem dos alunos e a definição de estratégias de formação continuada; (3) para o público; (4) para alocação de recursos; (5) para políticas de incentivos salariais; (6) como componente da política de avaliação docente; e (7) para a certificação de alunos e escolas. Essas duas macroclassificações, juntamente com o estudo de Silva et al . (2013), fundamentaram a análise dos resultados desse estudo.

4 Método

O presente estudo, de recorte temporal transversal, caracteriza-se por ser uma pesquisa empírica e descritiva. Quanto à abordagem, se apresenta uma proposta de pesquisa qualitativa, dividida em três fases: coleta e análise de dados por meio de uma pesquisa documental; coleta de informações com base em questionário fechado; e, por fim, realização de entrevistas semiestruturadas com uma amostra dos respondentes dos questionários.

A 1ª etapa consistiu em uma pesquisa documental, que teve como objetivo identificar nos Planos Estaduais de Educação (PEE) ações desenvolvidas nas unidades federativas do Brasil que descrevessem o uso dos resultados da avaliação para formulação de políticas públicas. Para análise dos dados foram estabelecidos conceitos-chave de busca: Saeb, Prova Brasil e Índice de Desenvolvimento da Educação Básica (Ideb)² , com o objetivo de identificar a frequência da citação desses termos.

Na 2ª etapa, foi empregada a técnica de survey , com o objetivo de identificar as políticas educacionais vigentes, o processo em que elas foram formuladas e o uso dos resultados da avaliação investigada nessas políticas. Os dados foram coletados a partir de um questionário autoaplicável, de natureza quantitativa-qualitativa e transversal, composto por 32 itens e disponibilizado na internet, por meio da plataforma SurveyMonkey . Como critério de participação dessa etapa, foi estabelecido como principal público-alvo os 27 Interlocutores de Avaliação da Educação Básica (IEAEB) existentes no Brasil. Tais atores são servidores das Secretarias Estaduais de Educação, indicados como representantes de avaliação pelos secretários estaduais de Educação e nomeados em portaria específica do Inep. Além dos IEAEB, o questionário foi aplicado a técnicos que atuam nas Secretarias Estaduais de Educação que trabalhavam em departamentos vinculados ao planejamento de políticas educacionais. Essa participação complementar foi importante para conhecer, a partir de uma perspectiva diferente da dos IEAEB, o uso de resultados da avaliação como subsídio para as políticas educacionais. Diante desses critérios, o grupo de respondentes dessa etapa totalizou 42, sendo 26 interlocutores e 16 técnicos. Porém, o instrumento foi respondido por 34 participantes, o que significa uma taxa de resposta de aproximadamente 80%. Não foi registrada resposta em apenas quatro unidades federativas (UFs): Alagoas, Espírito Santo, Paraná e Rio Grande do Norte.

Os itens do questionário foram elaborados pelos autores com base no referencial teórico de formulação de políticas públicas e políticas educacionais, nas evidências encontradas na análise documental e em questões identificadas em pesquisas anteriores. Para conferir validade de face ao instrumento, foi escolhida a técnica de validação de conteúdo ( TURNER, 1979 ). A análise de dados do questionário foi dividida em duas etapas: para os itens fechados, foram realizadas análises exploratórias e de estatística descritiva (média, frequência, percentual e desvio padrão); para os itens abertos, foi utilizada a técnica de análise de conteúdo categorial temática a posteriori, que consiste na criação de unidades de categoria com base nos textos informados ( BARDIN, 2009 ).

Após aplicação do questionário e análise dos dados, a última etapa de coleta da pesquisa consistiu em selecionar uma amostra por conveniência dos respondentes para a realização de nove entrevistas, realizadas entre agosto e setembro de 2017, visando complementar e aprofundar as questões identificadas nos questionários. A coleta de informações foi feita por meio de ligação telefônica e uma delas de forma presencial. Para definição dos participantes da entrevista, foram selecionados dois itens do questionário quantitativo que abordavam a importância e a frequência de uso dos resultados da avaliação. O objetivo nessa etapa de pesquisa foi coletar informações de diferentes participantes, de acordo com três categorias oriundas da análise de dados do questionário: pouco uso, médio uso ou muito uso. Com base nos três grupos, foi selecionada uma amostra por acessibilidade, para realização das entrevistas, o que totalizou três representantes de cada grupo. Apesar da não intencionalidade, a amostra contou com pelo menos um representante de cada região do país (três estados do Norte, dois do Centro-Oeste, dois do Sul, um do Nordeste e um do Sudeste). Como instrumento de pesquisa, foi elaborado um roteiro de perguntas que norteou a realização das entrevistas. Os dados foram analisados seguindo as etapas de análise de conteúdo, descritas por Bardin (2009) .

5 Resultados

A pesquisa documental consistiu na análise dos PEE, em que foram utilizadas como palavras-chave da busca os termos: Saeb, Prova Brasil e Ideb. Nessa análise foi possível identificar que nove UFs registraram informações específicas sobre o Saeb ou sobre a Prova Brasil e a maioria delas (24) registra algum tipo de informação sobre o Ideb, ficando apenas um estado sem nenhuma menção ao índice. Verificou-se também uma tendência de replicar a Meta 7 do PNE, que diz respeito ao fomento da qualidade da Educação Básica, mas seguindo as metas estabelecidas para cada unidade da federação pelo Compromisso Todos pela Educação (BRASIL, 2007).

A maioria das UFs (21) estabeleceu alguma estratégia em que o Ideb ou o Saeb foi citado explicitamente. Identifica-se que os casos são majoritariamente de replicação da legislação nacional, mas cabe destaque para 10 UFs que registraram diferentes estratégias. O estado do Acre, por exemplo, estabelece a previsão de bônus para os profissionais das escolas que alcançarem as metas do Ideb (índice que tem entre seus componentes o Saeb) e do indicador estadual, o que indica uma política de incentivo salarial com base nos resultados da avaliação. Outro exemplo diz respeito ao estado de Alagoas, que registra a exigência para as escolas disponibilizarem em suas entradas principais uma placa com a nota do Ideb. Com base nessa análise, destaca-se a relevância dada ao Ideb como indicador de qualidade da Educação Básica. Tais apontamentos corroboram os estudos de Brooke et al . (2011) e Silva et al . (2013), que mostraram que os resultados das avaliações são utilizados para o monitoramento, o planejamento e o estabelecimento de metas.

Os dados coletados por meio do questionário indicaram que, na maioria das UFs, há setores específicos para condução do processo de formulação das políticas educacionais. Referente aos atores participantes desse processo, foi possível identificar seis categorias: gestão, escolas, sociedade civil, entidades representativas, meio acadêmico e poder legislativo. A categoria predominante foi a de gestão, correspondendo a 46% das citações dos respondentes, e está de acordo com o explicitado por Wu et al . (2014), que descrevem a formulação de política como uma atividade frequentemente realizada por um grupo restrito de dirigentes. A categoria dois, que se refere ao grupo das escolas, foi a 2ª mais citada pelos respondentes (28%). Esse dado aponta para a participação de professores, de alunos e de diretores na formulação de políticas, sugerindo um processo mais participativo. Porém, essa inferência não foi explorada no presente estudo, sendo um tópico importante para pesquisas futuras.

Na questão que procurou identificar quais são as etapas presentes no processo de formulação das políticas públicas, 25 respostas foram registradas e classificadas de acordo com as etapas descritas por Thomas (2001) , a saber: apreciação, diálogo, formulação e consolidação. A fase mais citada é a de apreciação, descrita por 18 respondentes (72%), seguida pela fase formulação, com 12 (48%). Em geral, identifica-se que os representantes estaduais realizam primeiramente um diagnóstico, com base em evidências, seguido de discussões com diferentes atores, conforme já apresentado nas análises anteriores.

O terceiro bloco de questões foi intitulado “O Saeb e as políticas educacionais estaduais”. Nesse campo, todos os participantes afirmaram conhecer o resultado de seu estado na avaliação e foram solicitados a sinalizar em uma escala do tipo Likert de 11 pontos (0 a 10) – ancorada nas pontas, onde 0 = “Nada importante” e 10 = “Muito importante” – a utilidade do Saeb para as políticas educacionais do estado. O item teve como média de resposta 9,26 e desvio padrão 1,09. Não foram registradas informações entre os níveis 0 e 5, além disso, a maioria dos respondentes (61%, n = 19) marcou o maior ponto da escala, indicando extrema importância da avaliação. Outro ponto de análise significativa se refere ao baixo valor do desvio padrão do item, apontando valores bem próximos da média, o que demonstra a relevância dada pelos participantes à avaliação estudada.

As perguntas seguintes também foram associadas a uma escala do tipo Likert de 11 pontos (0 a 10), ancorada nas pontas, onde 0 = “Nunca” e 10 = “Sempre”. O objetivo do item foi identificar a intensidade do uso com base nos dois componentes da avaliação: os testes de proficiência e os questionários. Os dados indicam maior utilização dos testes (média 8,32 e desvio padrão 1,42) em relação aos questionários (média 7 e desvio padrão 2,29). Apesar da pequena diferença nos dados quantitativos, a diferença de uso ficou evidente nas entrevistas, que serão analisadas mais adiante. A nota mínima atribuída para o uso do teste é 6, com predomínio de respondentes que afirmaram que sempre utilizam os resultados, assinalando a maior pontuação na escala (32%, n = 10). Já em relação aos questionários, as notas variam do menor ponto da escala até o maior, com relativo predomínio da nota 8 (23%, n = 7). O cenário de utilização dos resultados dos testes, em detrimento dos dados contextuais, já foi discutido em estudos anteriores, como o de Bonamino (2016) , que problematiza a questão da excessiva ênfase nos resultados dos testes cognitivos em detrimento das demais medidas sociais, escolares e pedagógicas, que são mensuradas com base nos questionários da avaliação. Os dados apresentados reforçam essa tese ao indicarem que os testes são mais utilizados do que os questionários.

Outra evidência coletada no questionário foi o uso de dados para formulação dos Planos Estaduais de Educação, apontada por 96% dos respondentes (n = 30). Os participantes afirmaram que os resultados foram utilizados para o estabelecimento de metas e de estratégias e para o planejamento da gestão das redes de Ensino, achados compatíveis com os da pesquisa documental. Identifica-se que esse tipo de uso da avaliação é a que apareceu com maior frequência entre os demais usos, inclusive foi mencionada nas três etapas da coleta de dados, e está associada a uma concepção mais gerencial de políticas públicas, que visa à maior eficácia, efetividade e competitividade ( SECCHI, 2009 ).

As questões finais buscaram identificar os usos específicos apontados por cada unidade da federação. Conforme explicado anteriormente, os itens listados foram baseados no estudo de Silva et al . (2013), que identificaram distintos usos da avaliação ao investigarem quatro redes de Ensino. Os usos mais citados referem-se à divulgação de informações para sociedade (90%), bem como para a formação continuada de professores (90%). Em seguida, verifica-se o uso para o estabelecimento de metas de desempenho nos testes (83%), corroborado pelos resultados da pesquisa documental e da análise acima realizada, que constatou esse tipo de uso nos Planos Estaduais de Educação. Também foram significativamente assinalados o uso para monitoramento do desempenho escolar (79%) e o para revisão ou para criação de orientações curriculares (79%).

Em contrapartida, os itens com menor frequência são aqueles relacionados às políticas do tipo high stake . Essas ações podem ser entendidas quando há associação direta entre os resultados da avaliação e as consequências específicas (BROOKE et al ., 2011). Alguns exemplos são os incentivos salariais com base nos resultados, citados por três respondentes (10%), e os prêmios para escolas com bom desempenho, citados por oito respondentes (28%). Identifica-se que a temática das avaliações do tipo high stake está, geralmente, relacionada ao conceito de accountabilty , gerando opiniões diversas em relação aos efeitos positivos ou negativos dessas atividades. Em recente estudo, Bastos (2019) aponta efeitos perversos e limitações das avaliações de larga escala, sendo a acentuação de desigualdades educacionais e a limitação do currículo decorrências desse tipo de avaliação.

Considerando as ponderações sobre o tema e as respostas dadas pelos participantes, verifica-se que, em relação ao Saeb, o predomínio do uso das avaliações está mais relacionado à divulgações de informações, de maneira geral, e à formação continuada de professores, sendo as ações mais rígidas as de responsabilização, citadas em menor escala. Apenas dois estados informaram que os resultados do Saeb são utilizados para políticas de remanejamento de professores e três para o pagamento de bonificação a esses profissionais. É importante destacar que esse cenário se limita à identificação do uso em relação ao Saeb, não sendo possível identificar quais são as consequências atreladas às avaliações estaduais.

Dado que as informações sobre quais atores participam do processo de formulação de políticas já haviam sido coletadas no questionário, a 1ª pergunta da etapa de entrevistas teve como objetivo identificar, de forma mais detalhada, a forma pela qual esse processo ocorre nas UFs e foi elaborada da seguinte forma: “Considerando os atores citados como participantes da formulação de políticas públicas no seu estado, explique, por favor, como ocorre essa participação”. As respostas obtidas na 1ª questão trouxeram um elemento novo para a discussão: trata-se das mudanças no cenário político, que influenciam a organização e o procedimento em que as políticas são desenvolvidas nos estados. Dos nove entrevistados, quatro relataram que estão passando ou passaram por processos recentes de mudança, que geraram novas estruturas e processos nas ações desenvolvidas. As demais falas revelam como os processos de formulação são permeados pelo contexto político de cada Secretaria, o que vai ao encontro do que Howlett et al . (2013) assinalaram, isto é, que os atores e os processos desenvolvidos na formulação das políticas públicas dependem das estruturas políticas, econômicas e sociais do contexto em que estão imersas.

A 2ª questão – “Outros setores governamentais, além da Secretaria de Educação, participam das discussões relacionadas à formulação das políticas educacionais?” – visou identificar se esse processo fica restrito à Secretaria de Educação ou envolve departamentos afins. Os entrevistados relataram que a participação de demais secretarias acontece dependendo do programa ou ação. Por exemplo, se há um projeto de prevenção à violência e ao uso de drogas, o Ministério Público e a Secretaria de Segurança Pública são envolvidos. Além disso, foi citado o envolvimento de setores da própria Secretaria de Educação, vinculados ao planejamento estratégico, logístico, pedagógico e orçamentário, entre outros.

Duas questões, centrais para o presente estudo, tiveram como objetivo identificar e aprofundar, de forma qualitativa, o conhecimento sobre como os entrevistados utilizam os resultados dos testes de proficiência e dos questionários do Saeb/Prova Brasil. Essa informação foi gerada a partir de uma medida quantitativa fornecida pelo questionário, referente às questões empregadas para selecionar os participantes das entrevistas, a saber: Em relação ao Saeb, de que forma os resultados dos testes de desempenho são utilizados na formulação de políticas educacionais? Em relação ao Saeb, de que maneira os dados dos questionários são utilizados na formulação de políticas educacionais?

Sobre os testes cognitivos, foi possível verificar usos semelhantes aos encontrados no questionário e na literatura estudada. Nesse item, identificou-se o uso da avaliação para o estabelecimento de metas, como já apontando anteriormente na pesquisa documental e nos questionários. Além disso, um elemento novo surge nas entrevistas, que é a comparação das metas estabelecidas no Saeb com as das avaliações estaduais próprias e outros mecanismos de avaliação internos aos estados, tais como avaliações institucionais, avaliações processuais, indicadores específicos de desempenho, entre outros. Em relação a esse tipo de uso, Klein (2019) registra uma importante análise de como as metas já estabelecidas no Saeb necessitam de ajustes. Nesse sentido, ao invés de apenas replicar as metas estabelecidas nacionalmente, é preciso problematizá-las de acordo com a realidade de cada estado e de cada contexto educacional. Outras falas evidenciaram o uso como política de formação, corroborando o estudo de Brooke et al . (2011), para quem tal uso é significativo, uma vez que possibilita a realização de feedback para a comunidade escolar, principalmente para os professores, e auxilia no diagnóstico e na busca de soluções para o aprimoramento do processo de aprendizagem.

Referente ao uso de dados dos questionários do Saeb para os alunos, para os professores, para o diretor e para a escola, as respostas indicaram um cenário diferente em relação ao uso informado dos testes cognitivos. Os representantes estaduais relataram a dificuldade de utilização das informações devido ao formato e à complexidade para manipulação e para entendimento dos dados contextuais. Atualmente, o Inep divulga tais informações apenas no formato de microdados, que são os dados referentes à menor unidade de agregação da coleta e exigem pacotes estatísticos próprios para sua manipulação e análise, os quais requerem conhecimento especializado em estatística para garantir a qualidade das informações geradas a partir deles. Essa dificuldade contribui para que os resultados dos testes sejam mais explorados do que o dos questionários, além de fomentar um debate recorrente na área educacional, como já citado pela análise de Bonamino (2016) .

6 Discussão

O cenário evidenciado na pesquisa vai ao encontro dos achados da literatura recente da área de políticas públicas, relativas ao debate sobre formulação de políticas e tomada de decisões baseada em evidências ( evidence-based decision making ). Campbell e Levin (2009) discutem essa tendência do ponto de vista da Educação e apresentam que o crescimento do uso de evidências em políticas públicas está relacionado ao aumento de um público mais informado, à quantidade e à disponibilidade de dados existentes, bem como aos processos de accountability governamentais.

Nesse sentido, verifica-se que as informações propiciadas pela pesquisa corroboram os estudos sobre o uso de evidências na formulação de políticas públicas, mas é preciso ponderar as limitações desse processo. Percebe-se um crescimento do uso de indicadores no ciclo de formulação e avaliação de políticas públicas no Brasil, e essa tendência está atrelada às transformações da administração pública que enfatiza um maior planejamento e controle das ações do Estado ( JANNUZZI, 2005 ). No entanto, deve-se observar o uso adequado desses indicadores, aproveitando suas potencialidades e respeitando seus limites.

O estudo também visou identificar políticas educacionais existentes e como as UFs utilizam os dados do Saeb na formulação de políticas. Os resultados indicam a existência de ações de diversos tipos, que vão desde o simples acompanhamento das escolas, por meio dos indicadores existentes, até a formalização de programas específicos, estruturados com base em diagnóstico e metas de acompanhamento. Essa dinamicidade de processo faz parte da análise de políticas públicas, em que cada Secretaria de Educação e suas respectivas organizações internas se constituirão e promoverão ações de acordo com o contexto político, social e econômico em que estão inseridas.

A pesquisa documental também apontou a relevância dos dados da avaliação estudada nos Planos Estaduais de Educação. Nesse sentido, essa etapa permitiu identificar políticas e programas que utilizam os resultados da avaliação, com destaque para três tipos de uso: para planejamento das ações das Secretarias de Educação, para o estabelecimento de metas e para formação de profissionais da Educação. Tais usos foram encontrados expressamente nos planos estaduais e identificados, também, nas respostas dos participantes das etapas de questionário e de entrevistas.

Diante do cenário investigado, os resultados sugerem que os dados das avaliações de larga escala são, de fato, utilizados de forma direta e indireta na formulação de políticas educacionais no Brasil. Considera-se como forma direta quando o dado da avaliação é um insumo indispensável para a política, por exemplo, no caso do estado do Maranhão, que desenvolveu um programa educacional com base nas matrizes da avaliação nacional e com objetivos específicos relacionados ao aumento da proficiência dos alunos nas disciplinas avaliadas. Toma-se como forma indireta quando os resultados da avaliação servem de insumos ou ponto de partida para pensar as políticas estaduais; isso ocorre, por exemplo, quando um estado utiliza os resultados da avaliação para apresentar um diagnóstico da Educação em uma rede de Ensino específica. Percebe-se que, de maneira geral, a utilização mais frequente é a de forma indireta.

Além de identificação dessas políticas, o presente estudo propôs qualificar o uso dos resultados na formulação das políticas segundo as principais contribuições dadas pelas pesquisas de Kellaghan et al . (2011), Brooke et al . (2011) e de Silva et al . (2013). Tais pesquisas possuem uma riqueza de informações e de dados sobre o uso dos resultados das avaliações, com uma descrição aprofundada das ações desenvolvidas, constituindo subsídios indispensáveis para a análise dos dados obtidos.

Sendo assim, com base nesses estudos anteriores e nas evidências encontradas nessa pesquisa, foi possível delinear seis tipos de uso dos resultados do Saeb nas UF brasileiras. A categorização proposta a seguir ( Figura 1 ) apresenta-se como um complemento da matriz classificatória descrita por Brooke et al . (2011). A intenção de uma nova classificação visa contemplar os demais estudos que foram subsequentes à pesquisa desses autores, bem como agregar o resultado dessa pesquisa. Além disso, a proposta de representação que usa uma pirâmide invertida, mostra os resultados encontrados de maneira mais intuitiva, que vai da maior para menor utilização dos dados. No entanto, ressalta-se, essa classificação possui limitações, pois visa identificar o uso especificamente em relação ao Saeb, não sendo possível generalizá-la para uso de outras avaliações.

Figura 1
Dimensões dos usos do Saeb na formulação das políticas estaduais

A 1ª dimensão de uso foi denominada Gestão e congrega ações relacionadas ao planejamento de políticas, de programas e de ações nas Secretarias Estaduais de Educação. Essa categoria também contempla a utilização como diagnóstico da situação educacional da rede; insumo no processo de formulação de políticas; monitoramento das escolas; criação de indicadores de qualidade da Educação; e a avaliação de programas desenvolvidos pelas redes. Nesse sentido, a dimensão da gestão é o tópico de mais destaque e maior frequência nas informações oriundas das três fontes da pesquisa, e, dentro desse tipo de uso de dados, o estabelecimento de metas de desempenho como instrumento gerencial de acompanhamento das escolas ficou evidente.

A 2ª dimensão, nomeada Formação, contempla todo o uso que é feito com o objetivo de promover a formação de profissionais envolvidos no processo educacional, em especial os professores, com foco de intervenção mais pedagógica a partir das evidências trazidas pelos dados. Tal dimensão também foi uma das mais citadas pelos respondentes dos questionários e novamente identificada na etapa de entrevistas. Essa classificação é importante e merece destaque por estar vinculada a um propósito indispensável da avaliação: a retroalimentação do processo educativo, com o objetivo de melhorar a aprendizagem dos alunos. Pode-se dizer que a dimensão de formação se encaixa na classificação de uso conceitual de Weiss (1998) , que pressupõe a avaliação com o objetivo de gerar aprendizado para novas ações.

A 3ª dimensão foi designada como uso Informativo e, mais uma vez, foi uma das mais citadas pelos respondentes do questionário. Essa dimensão também ficou clara na pesquisa documental, no qual a análise dos sites das Secretarias Estaduais evidenciou esse tipo de uso da avaliação. Nesse caso, está relacionada com as premissas de transparência e de controle social, em que os resultados são fontes de informações para os diferentes atores envolvidos no processo educacional. As demais categorias identificadas e citadas com menor frequência, foram: a dimensão Materiais Pedagógicos, identificada nos questionários e na pesquisa documental, que utiliza a avaliação como parâmetro de revisão dos conteúdos e referência para elaboração dos materiais didáticos utilizados na prática pedagógica; a dimensão Recursos, que consiste no uso para alocação de recursos financeiros ou materiais para as escolas; e, por fim, a dimensão de Políticas Salariais, na qual os resultados são utilizados como parâmetros para pagamento de incentivos, como bônus salarial decorrentes dos resultados da avaliação.

7 Considerações finais

As conclusões da presente pesquisa tendem a contribuir tanto do ponto de vista social quanto acadêmica. Sob a ótica social, sua contribuição consiste em mostrar que o uso tem sido feito com as avaliações de larga escala. Identifica-se que os princípios gerenciais da administração pública, que pressupõem maior controle social e monitoramento das políticas públicas, ganharam espaço no cenário educacional. Nesse sentido, a avaliação passa a ser um instrumento da melhoria do processo educacional quando ela é analisada e se traduz em uma reflexão acerca do processo pedagógico desenvolvido nas escolas, fato que pode ser atingido apenas se os instrumentos disponibilizados dialogarem mais com os agentes escolares.

Da perspectiva acadêmica, o estudo agrega conhecimento aos produzidos por outras pesquisas sobre o processo de formulação de políticas públicas e o uso de dados em tal processo. Uma contribuição significativa é a proposição de um modelo classificatório dos usos das avaliações, que se baseou em pesquisas anteriores, mas ampliou a abrangência da investigação para a maioria dos estados brasileiros. O modelo proposto acrescenta também uma análise sobre a intensidade do tipo de uso, classificando as diferentes dimensões a partir dessa gradação, com destaque para o uso de dados como instrumento de gestão, de formação e de informação nas políticas educacionais.

Apesar de seus avanços, há que se destacar os limites da pesquisa. O 1º deles se refere ao perfil dos respondentes do questionário, que ficou restrito ao ponto de vista de apenas dois sujeitos – técnicos e interlocutores de avaliação –, sendo necessário ampliar a consulta a outros atores participantes das políticas educacionais. Outro limite se refere à amostra das entrevistas, que utilizou um critério de distinção de grupos, com base na intensidade de utilização dos resultados dos questionários e testes, fator que não se mostrou preditivo na efetivação da coleta.

Por fim, com base nos resultados obtidos na análise da literatura e nos limites apresentados, sugere-se que estudos futuros investiguem de maneira mais aprofundada as implicações desses usos e os efeitos reais que trazem para o processo educacional, considerando os distintos atores envolvidos no contexto das redes de Ensino. Admite-se que as classificações de uso estão mapeadas e bem identificadas no cenário nacional. Porém, é preciso dar um passo à frente, investigando se os usos identificados estão contribuindo, ou não, para a qualidade da Educação brasileira.

Referências

• BARDIN, L. Análise de conteúdo . 6. ed. Lisboa: 70, 2009.
• BASTOS, R. M. B. O papel dos testes padronizados na política educacional para o ensino básico nos Estados Unidos. Ensaio: Avaliação e Políticas Públicas em Educação , Rio de Janeiro, v. 26, n. 99, p. 418-444, abr./jun. 2018. https://doi.org/10.1590/S0104-403620180026000993
  » https://doi.org/10.1590/S0104-403620180026000993
• BONAMINO, A. A evolução do SAEB: desafios para o futuro. Em Aberto , Brasília, v. 29, n. 96, p. 113-126, maio/ago. 2016. https://doi.org/10.24109/2176-6673.emaberto.29i96.%25p
  » https://doi.org/10.24109/2176-6673.emaberto.29i96.%25p
• BRASIL. Decreto nº 6.094, de 24 de abril de 2007. Dispõe sobre a implementação do plano de metas compromisso todos pela educação, pela união federal, em regime de colaboração com municípios, Distrito Federal e estados, e a participação das famílias e da comunidade, mediante programas e ações de assistência técnica e financeira, visando a mobilização social pela melhoria da qualidade da educação básica. Diário Oficial da União , Brasília, DF, 24 abr. 2007.
• BROOKE, N.; CUNHA, M. A. A.; FALEIROS, M. A avaliação externa como instrumento da gestão educacional dos estados . São Paulo: Fundação Victor Civita, 2011.
• CAMPBELL, C.; LEVIN, B. Using data to support educational improvement. Educational Assessment, Evaluation and Accountability , London, v. 21, n. 1, p. 47-65, dez. 2009. https://doi.org/10.1007/s11092-008-9063-x
  » https://doi.org/10.1007/s11092-008-9063-x
• COELHO, M. I. M. Vinte anos de avaliação da educação básica no Brasil: aprendizagens e desafios. Ensaio: Avaliação e Políticas Públicas em Educação , Rio de Janeiro, v. 16, n. 59, p. 229-258, abr./jun. 2008. https://doi.org/10.1590/S0104-40362008000200005
  » https://doi.org/10.1590/S0104-40362008000200005
• FARIA, C. A. P.; FILGUEIRAS, C. A. C. As políticas dos sistemas de avaliação da educação básica do Chile e do Brasil. In: HOCHMAN, G.; ARRETCHE, M.; MARQUES, E. (org.). Políticas públicas no Brasil . Rio de Janeiro: Fundação Oswaldo Cruz, 2007. p. 327-368.
• FERNANDES, R. Índice de desenvolvimento da educação básica (IDEB): metas intermediárias para a sua trajetória no Brasil, estados, municípios e escolas. Brasília, DF: Ministério da Educação, 2007. Disponível em: http://download.inep.gov.br/educacao_basica/portal_ideb/metodologias/Artigo_projecoes.pdf Acesso em: 24 mar. 2017.
  » http://download.inep.gov.br/educacao_basica/portal_ideb/metodologias/Artigo_projecoes.pdf
• HOWLETT, M.; RAMESH, M.; PERL, A. Política pública: seus ciclos e subsistemas; uma abordagem integral. Rio de Janeiro: Elsevier, 2013.
• JANNUZZI, P. M. Indicadores para diagnóstico, monitoramento e avaliação de programas sociais no Brasil. Revista do Serviço Público , Brasília, v. 56, n. 2, p. 137-160, abr./jun. 2005. https://doi.org/10.21874/rsp.v56i2.222
  » https://doi.org/10.21874/rsp.v56i2.222
• KELLAGHAN, T.; GREANEY, V.; MURRAY, T. S. O uso dos resultados da avaliação do desempenho educacional . Brasília, DF: World Bank, 2011. (Pesquisas do banco mundial sobre avaliações de desempenho educacional, v. 5).
• KLEIN, R. Uma solução para a divergência de diferentes padrões no SAEB. Ensaio: Avaliação e Políticas Públicas em Educação , Rio de Janeiro, v. 27, n. 103, p. 229-249, abr./jun. 2019. https://doi.org/10.1590/S0104-40362019002702060
  » https://doi.org/10.1590/S0104-40362019002702060
• LOUREIRO, M. R.; ABRUCIO, F. L.; PACHECO, R. S. Burocracia e política no Brasil: desafios para o estado democrático no século XXI. Rio de Janeiro: Fundação Getúlio Vargas, 2010.
• OLIVEIRA, R. P. Da universalização do ensino fundamental ao desafio da qualidade: uma análise histórica. Educação & Sociedade , Campinas, v. 28, n. 100, p. 661-690, out. 2007. https://doi.org/10.1590/S0101-73302007000300003
  » https://doi.org/10.1590/S0101-73302007000300003
• PESTANA, M. I. Trajetória do SAEB: criação, amadurecimento e desafios. Em Aberto , Brasília, v. 29, n. 96, p. 71-84, maio/ago. 2016. https://doi.org/10.24109/2176-6673.emaberto.29i96.%25p
  » https://doi.org/10.24109/2176-6673.emaberto.29i96.%25p
• ROSISTOLATO, R.; PRADO, A. P.; MARTINS, L. R. A “realidade” de cada escola e a recepção de políticas educacionais. Ensaio: Avaliação e Políticas Públicas em Educação , Rio de Janeiro, v. 26, n. 98, p. 112-132, jan./mar. 2018. https://doi.org/10.1590/S0104-40362018002601074
  » https://doi.org/10.1590/S0104-40362018002601074
• SCHNEIDER, M. P. Pesquisa em política educacional: desafios na consolidação de um campo. Revista de Educação , Campinas, v. 19, n. 1, p. 5-13, jan./abr. 2014. https://doi.org/10.24220/2318-0870v19n1a2610
  » https://doi.org/10.24220/2318-0870v19n1a2610
• SECCHI, L. Modelos organizacionais e reformas da administração pública. Revista de Administração Pública , Rio de Janeiro, v. 43, n. 2, p. 347-369, abr. 2009. https://doi.org/10.1590/S0034-76122009000200004
  » https://doi.org/10.1590/S0034-76122009000200004
• SHEPARD, L. A checklist for evaluating large-scale assessment programs . Kalamazoo: Western Michigan University, 1977.
• SILVA, V. et al. Uso da avaliação externa por equipes gestoras e profissionais docentes: um estudo em quatro redes de ensino público. São Paulo: Fundação Carlos Chagas, 2013.
• THOMAS, H. G. Towards a new higher education law in Lithuania: reflections on the process of policy formulation. Higher Education Policy , Paris, v. 14, n. 3, p. 213-223, set. 2001. https://doi.org/10.1016/S0952-8733(01)00015-0
  » https://doi.org/10.1016/S0952-8733(01)00015-0
• TURNER, S. P. The concept of face validity. Quality & Quantity , Cham, v. 13, n. 1, p. 85-90, fev. 1979. https://doi.org/10.1007/BF00222826
  » https://doi.org/10.1007/BF00222826
• WEISS, C. H. Have we learned anything new about the use of evaluation? The American Journal of Evaluation , Washington, v. 19, n. 1, p. 21-33, jan. 1998. https://doi.org/10.1177/109821409801900103
  » https://doi.org/10.1177/109821409801900103
• WISEMAN, A. W. The uses of evidence for educational policymaking: global contexts and international trends. Review of Research in Education , Washington, v. 34, n. 1, p. 1-24, mar. 2010. https://doi.org/10.3102/0091732X09350472
  » https://doi.org/10.3102/0091732X09350472
• WU, X. et al. Guia de políticas públicas: gerenciando processos. Brasília, DF: Escola Nacional de Administração Pública, 2014.

• 1
  O Saeb passou por novas reformulações e as diretrizes vigentes estão estabelecidas nas Portarias nº 564, de 19 de abril de 2017 e Portaria nº 366, de 29 de abril de 2019.
• 2
  O Ideb, criado em 2007, fornece resultados para as etapas avaliadas pelo Saeb e é calculado com base em duas informações: proficiência média dos alunos na série avaliada e a taxa média de aprovação da respectiva etapa de ensino avaliada. A partir desses dados, multiplica-se a proficiência média pela taxa de aprovação, fornecendo resultado em uma escala que varia de 0 a 10, para cada escola, município, unidade federativa e país ( FERNANDES, 2007 ).

Datas de Publicação

• Publicação nesta coleção
  06 Ago 2021
• Data do Fascículo
  Apr-Jun 2022

Histórico

• Recebido
  21 Jul 2019
• Aceito
  15 Jun 2021