O futuro das políticas de responsabilização educacional no Brasil

The future of educational accountability policies in Brazil

OUTROS TEMAS

O futuro das políticas de responsabilização educacional no Brasil

The future of educational accountability policies in Brazil

Nigel Brooke

Grupo de Avaliação e Medidas Educacionais, Faculdade de Educação da Universidade Federal de Minas Gerais, [e-mail]

RESUMO

O artigo trata do surgimento da política em que a escola e seus dirigentes são responsabilizados pelos resultados dos alunos (accountability), e descreve os contornos e prováveis conseqüências das primeiras experiências no Brasil. Discute o contexto em que se produziram os exemplos mais conhecidos da política de responsabilização, na Inglaterra e nos Estados Unidos, com o propósito de avaliar se os resultados obtidos até agora no Brasil indicam a existência de condições para que ela se torne elemento central dos sistemas de gestão educacional nos estados. Os exemplos estudados são o Prêmio Educacional Escola do Novo Milênio – Educação Básica de Qualidade no Ceará, o Programa Nova Escola da Secretaria de Educação do Estado do Rio de Janeiro, e o Boletim da Escola da Secretaria de Educação do Estado de Paraná. A análise utiliza principalmente dados dos sistemas estaduais de avaliação de desempenho nas fórmulas empregadas para o cálculo das conseqüências para as equipes escolares, e chega à conclusão de que as condições políticas na maioria dos estados representam um empecilho à adoção extensiva dessa forma de responsabilização em um futuro próximo.

POLÍTICAS EDUCACIONAIS – AVALIAÇÃO DA APRENDIZAGEM – AVALIAÇÃO DA EDUCAÇÃO

ABSTRACT

The article covers the rise of policies of accountability in which the school and its managers are held responsible for the attainment levels of their students and describes the probable consequences of the first examples of this type of policy in Brazil. The context in which the best known examples of the policy in England and the United States were created is the subject of discussion with the purpose of elucidating whether the first examples of accountability in Brazil show signs that the policy is likely to become a central element in the management of state education systems. The examples studied are the Education Prize New Millennium School – Basic Education of Quality in Ceará, the New School Program of the State Secretariat of Education of Rio de Janeiro and the School Bulletin of the State Secretariat of Education of Paraná. The analysis dwells principally on the use of the state education assessment systems in the calculation of outcomes for school personnel and reaches the conclusion that current political conditions in most states represent an impediment to the widespread adoption of accountability in the near future.

EDUCATIONAL POLICIES – LEARNING EVALUATION – COURSE EVALUATION

A disputa entre as nações ricas por um lugar competitivo no mercado global tem levado os governos a se preocuparem cada vez mais com os resultados dos seus sistemas de educação. Ao mesmo tempo, o grande volume de recursos destinados à educação suscita questões relativas à eficácia dos investimentos neste setor e impõe uma aferição cada vez mais detalhada da qualidade da educação oferecida (Anderson, 2005). Essa exigência por maiores informações sobre os resultados dos sistemas escolares tem sido respondida pela implementação de políticas de accountability, ou seja, de responsabilização, mediante as quais se tornam públicas as informações sobre o trabalho das escolas e consideram-se os gestores e outros membros da equipe escolar como co-responsáveis pelo nível de desempenho alcançado pela instituição.

Os dois exemplos mais citados dessa nova política, implementada para induzir melhorias nos resultados escolares a partir dos anos 1980, são a Inglaterra e os Estados Unidos. Com a reforma da educação inglesa empreendida pelo Partido Conservador de Margaret Thatcher, envolvendo a criação de um currículo comum nacional e um sistema de avaliação de desempenho dos alunos ao final de cada etapa curricular, foi possível, pela primeira vez, fazer comparações entre as escolas em termos da aprendizagem demonstrada por todos seus alunos. Porém, os exageros dos primeiros "ranqueamentos" das escolas, que não levaram em consideração as diferenças socioeconômicas e de aprendizagem prévia entre os alunos, provocaram reações negativas e perda de entusiasmo pela política de responsabilização por parte da comunidade acadêmica e das autoridades educacionais locais.

Nos Estados Unidos, ao contrário, o entusiasmo pelas medidas de responsabilização só tem aumentado ao longo das últimas décadas. O estímulo inicial foi a publicação em 1983 do relatório Uma nação em risco (Gardner et al., 1983), que desenhou um quadro alarmante de perda de competitividade provocada por um declínio nos padrões educacionais. Os esforços dos estados pioneiros no estabelecimento de políticas de responsabilização ao longo da década seguinte foram reconhecidos pelo governo federal, que as tornou obrigatórias a partir da promulgação, pelo governo Bush, da lei "Nenhuma criança deixada para trás", em 2001. Hoje, todos os estados norte-americanos têm leis que estipulam novos padrões curriculares, estabelecem novos testes alinhados com esses padrões, novas regras para a promoção e graduação de estudantes e novas metodologias para a publicação dos resultados dos testes e a comparação de escolas. Em vários estados existem ainda sistemas de incentivos e sanções que regem a oferta de recompensas e prevêem o fechamento de escolas que não alcançam sistematicamente o desempenho considerado mínimo. Apesar de grandes diferenças entre os padrões dos estados e entre esses e o padrão nacional, estabelecido pela Avaliação Nacional de Progresso Educacional (National Assessment of Educational Progress) do Departamento de Educação (Ravitch, 2005), é inegável a convicção e a velocidade com que se vem adotando a responsabilização como eixo central da política de gestão dos sistemas públicos de ensino.

Para além das promessas dos políticos, alguns estudos indicam que os sistemas de responsabilização podem trazer benefícios para a aprendizagem e a progressão educacional dos alunos naquele país. Avaliando todas as informações disponíveis, Carnoy, Loeb e Smith (2001) mostram que o sistema de responsabilização do Estado do Texas melhorou o desempenho dos alunos nos exames locais e nacionais ao longo da década de 1990, sobretudo em Matemática, e que a redução nas taxas de evasão associada ao aumento nos resultados dos testes foi maior em escolas com clientelas de baixa renda. Esse resultado, de grande relevância para o contexto brasileiro, foi confirmado em estudo mais recente dos mesmos autores, em que classificam os sistemas de responsabilização de todos os estados conforme a ênfase dada aos resultados das escolas e analisam os impactos na aprendizagem dos alunos. Eles constataram que quanto mais explícita a conexão entre resultados e conseqüências, maior é o rendimento em Matemática na 8ª série para todos os grupos raciais/étnicos e maior é o rendimento de alunos negros e hispânicos na avaliação de 4ª série (Carnoy, Loeb, 2004).

Os ingredientes básicos dos sistemas de responsabilização implantados durante as últimas décadas, tanto nos Estados Unidos quanto em outros países, são quatro: 1. a decisão por parte das autoridades de tornar públicas as diferenças de nível de desempenho das escolas (ingrediente autoridade); 2. o uso de testes ou procedimentos padronizados para fornecer este tipo de informação (ingrediente informação); 3. os critérios para analisar esta informação e para determinar quais escolas têm melhor desempenho (ingrediente padrões); 4. os critérios para a aplicação de incentivos ou sanções conforme os padrões estabelecidos (ingrediente conseqüências). Isso não significa, no entanto, que essa modalidade mais recente de responsabilização pelos resultados da escola seja a única. Historicamente, é possível distinguir três formas ou modalidades de responsabilização que se diferenciam de acordo com as instituições que as aplicam e com o comportamento exigido. A primeira é a burocrática, em que se procura a conformidade com as normas legais ditadas pela rede de ensino na qual o professor trabalha, e portanto ele é responsabilizado pelo cumprimento das leis perante a burocracia que o contratou. A segunda é a exigência de um comportamento profissional em conformidade com as normas formais e informais estabelecidas pelos colegas de profissão, ou seja, o professor é responsabilizado pela manutenção dos padrões da profissão perante seus pares. Apenas na terceira modalidade a responsabilização tem como base os resultados da escola, em que o educador é responsabilizado perante as autoridades e o público em geral pela aprendizagem dos alunos, e as conseqüências, reais ou simbólicas, são associadas às medidas usadas para aferir o desempenho dos alunos (Anderson, 2005).

Para os objetivos desta discussão, vou me restringir à terceira e mais recente modalidade de responsabilização, com o objetivo de averiguar se no Brasil haveria as mesmas condições e a mesma necessidade que em outros países de implantação de sistemas de responsabilização. Sem subestimar a diversidade ou a dinâmica própria de evolução da política educacional de cada país, há evidência de que a responsabilização vem se disseminando como alternativa de política educacional na Europa e na América Latina. Nossa hipótese é que existe uma migração de políticas educacionais de um país para outro – pela atuação difusora das agências internacionais e pela circulação cada vez mais livre de informações – que justificaria a adoção da política da responsabilização pelas autoridades educacionais brasileiras. Porém, deve-se prever que isso depende da existência de condições educacionais e políticas semelhantes às dos países de origem, e de que as premissas que sustentavam a formulação original da política de responsabilização encontrem eco em solo brasileiro. A transferência dessa política para o Brasil pode inclusive se mostrar inviável em razão das diferenças quanto ao nível de desenvolvimento. Por isso, vamos primeiramente comparar essas condições para só depois fazer uma análise das conseqüências que alguns estados brasileiros vêm criando para as escolas com base nos resultados dos seus sistemas de avaliação educacional. A partir dessa análise e de um exame preliminar dos métodos utilizados, espera-se chegar a conclusões sobre a probabilidade de se implantarem políticas de responsabilização no país e sobre os tipos de adaptação previsíveis, levando em conta as especificidades do sistema educacional brasileiro.

AS CONDIÇÕES

Apesar das inúmeras diferenças entre os contextos políticos e econômicos da Inglaterra e dos Estados Unidos nas décadas de 1980 e 1990, observam-se algumas semelhanças na motivação dos dois países para adotar políticas de responsabilização. Ambos os governos, na época, expressaram sua crença na relação entre competitividade econômica internacional e eficiência e qualidade dos seus sistemas educacionais. Aliás, a idéia de que existe uma relação entre produtividade econômica e educação é antiga nesses países, com raízes na teoria de capital humano, e era de se esperar que, com a progressiva globalização da economia, o argumento que relaciona a qualidade da educação ao processo de inovação e à conquista de mercados os levasse a questionar sua capacidade de formar as competências necessárias para a competição global.

O que mais serviu de estímulo para estas discussões foram os resultados dos programas patrocinados pela Associação Internacional para a Avaliação do Progresso Educacional – IEA. O primeiro estudo foi realizado no início da década de 1960, envolvendo 13 países. Ao longo das décadas seguintes, o IEA organizou o Estudo de Seis Matérias em 19 países (1973-1974); o Segundo Estudo Internacional de Matemática em 20 países (1981-1982); o Estudo de Língua Escrita em 13 países (1984); o Segundo Estudo Internacional de Ciências em 24 países (1984); e o Estudo de Capacidade de Leitura em 31 países (1991-1992).

A esses projetos, dos quais a maioria teve a participação do Reino Unido e dos Estados Unidos, foram agregados os estudos promovidos pela Avaliação Internacional de Progresso Educacional – Iaep. O primeiro deles, sobre o desempenho em Matemática e Ciências, foi realizado em 1988, em 6 países, e reproduzido em 1991, inclusive no Brasil. A primeira evidência da mediocridade do sistema educacional dos Estados Unidos – citada no relatório Uma nação em risco, já mencionado – foi a performance inferior à de outras nações em 19 comparações internacionais, que ficou em último lugar em 7 delas. A divulgação desses dados foi um sinal de alerta e serviu para desencadear um amplo processo de debate sobre as deficiências do sistema educacional norte-americano.

Outra motivação, mais nítida na Inglaterra, onde o governo é unitário e tem responsabilidade constitucional pela educação em todos os níveis, estava relacionada à ausência de um currículo nacional. Com a implantação desse currículo e o estabelecimento de um sistema nacional para a avaliação da aprendizagem após cada fase, tornou-se factível comparar os resultados das escolas e das autoridades educacionais locais. Por trás dessa medida estava também a vontade do governo conservador de reduzir o poder das autoridades locais, quase todo nas mãos da oposição trabalhista nessa época, e de determinar os parâmetros legais para o trabalho dos professores. Responsáveis pelo dia-a-dia da administração educacional, com base em poderes delegados e recursos descentralizados, essas autoridades locais resistiram às investidas conservadoras, mas acabaram vencidas. Significativamente, as reformas instituídas em favor de um currículo nacional com padrões de desempenho para cada etapa curricular não foram abandonadas quando o Partido Trabalhista voltou ao poder.

Também nas críticas do público e dos políticos aos sistemas de educação nos dois países transparecia a impressão generalizada de uma "queda" nos padrões de qualidade e nos resultados das escolas. Na Inglaterra, a crítica era dirigida de modo genérico aos métodos de ensino mais progressistas e à falta de atenção aos padrões básicos. Nos Estados Unidos, era mais específica, pois havia evidências de declínio. O relatório Uma nação em risco fazia referência a 23 milhões de adultos analfabetos funcionais (sendo 13% jovens de 17 anos); à queda no nível de desempenho dos alunos de ensino médio em testes padronizados; ao declínio quase constante entre 1963 e 1980 dos resultados do Teste de Aptidão Escolar usado no processo de seleção para o ensino superior; ao declínio uniforme dos resultados em Ciências dos alunos de 17 anos nos testes nacionais de 1969, 1973 e 1977; e ao aumento de 72%, entre 1975 e 1980, do número de cursos de recuperação em Matemática para os novos alunos na universidade. No conjunto, essas estatísticas pareciam indicar falhas graves e difíceis de compreender, tendo em vista o aumento nos recursos materiais e financeiros das escolas nesse período.

A própria natureza dos governos centrais na Inglaterra e nos Estados Unidos e o grau de poder e autoridade que exerciam sobre os setores organizados do magistério e de outros grupos profissionais da área de educação tiveram um peso importante. A primeira vitória eleitoral da Margaret Thatcher foi atribuída à insatisfação generalizada com os movimentos grevistas dos sindicatos, e ninguém ignorava a tendência centralizadora da primeira ministra. Nos Estados Unidos, embora a comunidade pudesse influir nos rumos da política educacional local, o governo central republicano não hesitou em contrariar os interesses da classe de professores em nome de uma opção doutrinária pelo controle dos sistemas estaduais de educação. É preciso salientar que os professores norte-americanos não revelam a mesma unidade e combatividade dos professores brasileiros, e não foram necessárias longas negociações para legislar em favor de uma política de maior controle sobre suas atividades.

No caso do Brasil, há uma clara preocupação com os dados fornecidos pelo Sistema de Avaliação da Educação Básica – Saeb. Ainda que não sejam amplamente divulgados pela imprensa, nem mesmo debatidos nas faculdades de educação, os resultados do Saeb sobre o nível de desempenho dos alunos brasileiros em Matemática e Língua Portuguesa publicados a cada dois anos têm gerado dúvidas sobre a capacidade da escola pública de garantir padrões mínimos de aprendizagem. A evidência vem do próprio MEC, que utilizou dados do Saeb 2003 para demonstrar que 59% dos alunos de 4ª série eram incapazes de qualquer leitura ou só conseguiam ler frases mais simples, e que apenas 4,8% um nível de leitura considerado adequado para sua idade (Brasil, 2003). Outros dados, incluindo o número de adolescentes com oito anos ou mais de estudo que apresentavam dificuldades de leitura, parecem justificar a preocupação em torno dos resultados, sobretudo do sistema público.

Apesar das críticas generalizadas à qualidade da educação pública no Brasil, não parece haver aqui o mesmo tipo de preocupação quanto aos resultados desfavoráveis nas comparações com outros países. A participação do país em projetos internacionais de avaliação educacional começou em 1990-1991, com a segunda Avaliação Internacional do Progresso Educacional de Matemática e Ciências para alunos de 9 e 13 anos. Posteriormente, integrou-se ao projeto da Oficina Regional de Educação para a América Latina e o Caribe – Orealc – que comparou 14 países da América Latina e, em 2000 e 2003, fez parte do Programa Internacional de Avaliação de Alunos – Pisa –, junto com os países da Organização para a Cooperação e Desenvolvimento Econômico– OCDE –, ficando na 37ª posição entre o total de 41 países participantes da prova de leitura, e na 40ª posição nas provas de Ciências e Matemática. O mal-estar manifestado quando da divulgação desses resultados não chegou a provocar a mesma polêmica desencadeada, por exemplo, na Alemanha ou nos Estados Unidos diante de seu desempenho insatisfatório.

Os meios de comunicação não têm dado destaque a esses resultados ou por considerar irrelevante a comparação internacional ou por não acreditar que a metodologia adotada reflita o nível real de desempenho do aluno brasileiro. Por exemplo, critica-se muito a comparação envolvendo resultados de alunos de 15 anos por não levar em conta o atraso escolar da média dos jovens brasileiros, que, por esse motivo, não dominam o mesmo currículo que alunos da mesma idade de outros países. Esse argumento é totalmente espúrio na medida em que a comparação existe justamente para identificar as defasagens na aprendizagem em função das diferenças entre os países. Outro resultado do Pisa, que também mereceria maior destaque, mostra que os alunos das escolas privadas brasileiras não têm desempenho suficiente para competir com os alunos pior classificados nos países com melhor desempenho.

Quanto às preocupações com a eficácia dos investimentos na educação, ou às possíveis críticas aos níveis absolutos de recursos alocados ao setor, pode-se dizer que o movimento no Brasil é o inverso do que se observa nos países ricos. Além da crítica histórica aos investimentos do governo federal na educação superior em detrimento do financiamento da educação básica, não se percebe um questionamento ativo dos níveis e modalidades dos gastos em educação. Ao contrário, o que se observa é um consenso que o Brasil está longe de alcançar o nível de investimento necessário para oferecer uma educação de qualidade e, portanto, precisa encontrar novos métodos e fontes de financiamento para aumentar os recursos disponíveis. Mas pouco se discute sobre a eficiência dos investimentos atuais, ou sobre a possibilidade de métodos alternativos para o uso dos recursos públicos, já que na situação de insuficiência em que se vive, tudo que se gasta em educação é considerado bem gasto.

Falta a esse debate a mobilização dos contribuintes, tal como existe nos Estados Unidos, que faz da política educacional uma arena de discussão pública com participação garantida da comunidade. No Brasil, a conexão entre os impostos e o funcionamento da escola pública é indireta e opaca, e a classe média, que teria condições de exercer alguma pressão pela melhoria dos resultados, não está interessada pois fez sua opção pela escola particular. Nesse cenário, a criação do Fundo de Manutenção e Desenvolvimento da Educação Básica – Fundeb – e a pressão por mais investimentos na educação parecem estar na contramão da preocupação com a eficácia dos investimentos e da exigência de responsabilização pelos gastos na educação pública.

Entretanto, a criação de parâmetros curriculares nacionais e de mecanismos homogeneizadores da educação nacional, como o Fundef, o Saeb e a Avaliação Nacional do Rendimento no Ensino Escolar – Anresc –, pode ser interpretada como uma tentativa de atenuar a grande diversidade de padrões e de garantir os níveis mínimos de qualidade previstos na Constituição e na Lei de Diretrizes e Bases da Educação Nacional. Esses esforços, tanto no sentido de eliminar as grandes disparidades de financiamento como de propor conteúdos básicos para todas as matérias e séries, parecem indicar a mesma tendência a estabelecer padrões de qualidade que acompanharam a criação dos projetos de responsabilização nos Estados Unidos e na Inglaterra.

Nesses países, o argumento era que as instâncias governamentais locais e as escolas precisavam assegurar que a autonomia dos professores estivesse a serviço da aprendizagem dos alunos mediante a aferição e a cobrança de resultados. Mesmo não existindo a mesma autonomia escolar e mesmo não sendo tão explícita a pressão do governo, a política do MEC de implantar um currículo comum e a utilização de um sistema nacional de avaliação extensiva a todas as escolas parecem indicar a vontade de exercer maior controle sobre as autoridades educacionais, a escola e o ensino. Resta saber se essa vontade se converterá em pressão em favor de sistemas de responsabilização.

AS EXPERIÊNCIAS BRASILEIRAS

Apesar das grandes diferenças no nível de mobilização social e da preocupação com os efeitos da baixa qualidade da escola no futuro do país, encontram-se exemplos de políticas de responsabilização que correspondem, em linhas gerais, à definição oferecida neste texto. Ou seja, há sistemas oficiais que aplicam testes ou procedimentos padronizados para avaliar a aprendizagem e empregam critérios para determinar que escolas apresentam desempenho melhor os quais têm conseqüências para os membros da equipe escolar mesmo quando estas são simbólicas e até imprevisíveis.

Contudo, há também sistemas oficiais de avaliação de desempenho, como nos estados de Minas Gerais e São Paulo, que não se configuram como sistemas de responsabilização e que não se enquadram nesta análise. No caso de Minas Gerais, o sistema de avaliação não foi desenhado para fazer comparações entre as escolas e, na sua versão atual, o Sistema de Avaliação da Educação Pública – Simave –, a legislação proíbe explicitamente a utilização dos resultados com o objetivo de "classificar as escolas ou outros componentes do Sistema de Educação de Minas Gerais com vistas a modificar o processo educativo" (art. 216). Sua finalidade sempre foi diagnóstica (Souza, 1999), e quando se menciona a responsabilidade pelo melhoramento dos resultados da educação, esta recai sobre a Secretaria da Educação que, de posse de informações mais precisas sobre o desempenho dos alunos, estaria em condições de adotar políticas mais eficazes para a melhoria da qualidade do ensino.

Os três exemplos de responsabilização que pretendo analisar são:

• Prêmio Educacional Escola do Novo Milênio – Educação Básica de Qualidade no Ceará, em conjunto com o Sistema Permanente da Avaliação da Educação Básica do Ceará – SPAECE.

• Programa Nova Escola, da Secretaria de Educação do Estado do Rio de Janeiro.

• Boletim da Escola, da Secretaria de Educação do Estado do Paraná.

Ceará

De 1992 até 1996, a avaliação anual do desempenho dos alunos de 4ª e 8ª séries em Português e Matemática foi feita de maneira tradicional, sob a égide do SPAECE. Em 1996, o intervalo entre as aplicações passou a ser bienal para não mais coincidir com o Saeb. Em 2001, a metodologia da prova foi radicalmente alterada para se tornar um Computer Assisted Testing – CAT –, e o programa renomeado como SPAECE-Rede. Pelo novo sistema, foram realizadas três avaliações anuais (2001, 2002 e 2003). Ainda em 2001, estabeleceu-se uma conexão entre o SPAECE e o Projeto de Melhoria da Escola, com a criação do Prêmio Educacional Escola do Novo Milênio-Educação Básica de Qualidade no Ceará. Com isso, a média do desempenho na 4ª e na 8ª séries passou a ser considerada como o indicador da qualidade de escola.

Conforme a lei que criou o prêmio, os membros das equipes das 100 melhores escolas recebem uma recompensa em dinheiro quando suas médias alcançam a nota cinco ou mais (até dez). Para as 50 melhores escolas o prêmio é de 100% do valor especificado, e para as demais, de 50%. O prêmio é concedido a todos os membros da equipe da escola e, em março de 2002, correspondia R$800 para os docentes temporários e permanentes em tempo integral e a R$300 para o pessoal administrativo. Há prêmios também para os melhores alunos.

O pressuposto do programa é que os profissionais da educação se mostram mais dispostos a cooperar para obter resultados coletivos quando está em jogo um incentivo financeiro baseado nesse desempenho. O programa teria de ser submetido a uma aferição externa para determinar se essa hipótese está correta, mas algumas questões saltam aos olhos. A primeira diz respeito à comparabilidade de escolas em regiões e com populações estudantis bastante diferentes. Na medida em que se utiliza a média de desempenho como critério único e não se consideram grupos de referência baseados nas características socioeconômicas dos alunos, pode-se prever que as escolas vitoriosas serão sempre as da capital, independentemente da contribuição de cada escola ao progresso dos alunos com base no cálculo de valor agregado. A rotatividade de pessoal, a impossibilidade da escola de decidir sobre contratação e dispensa de professores e a dificuldade mais geral de criar um incentivo para o grupo, e não para o indivíduo, também deixam dúvidas quanto à eficácia do prêmio no fomento de um clima de colaboração em prol da melhoria da qualidade.

Rio de Janeiro

O Programa Nova Escola, criado pelo Decreto n. 25.959 de 12 de janeiro de 2000, é uma tentativa de melhorar a gestão das escolas estaduais e de responsabilizar seus diretores e funcionários pelos resultados dos alunos. Pretende igualmente estabelecer métodos mais democráticos na gestão da escola, integrar as ações governamentais, melhorar as condições de trabalho dos professores e racionalizar o uso de recursos. Seu principal mecanismo de operacionalização é o Sistema de Avaliação Permanente das Escolas Públicas, projetado para aferir tanto a gestão quanto os processos educativos de cada escola. No entanto, as inúmeras modificações nesse sistema e no próprio Programa Nova Escola desde sua criação dão uma idéia da dificuldade de se chegar a um consenso em torno dos objetivos e métodos de um programa de responsabilização.

Em 2000, avaliou-se o desempenho dos alunos da 3ª e 6ª séries do ensino fundamental e do 1º ano do ensino médio. Na época, a esperança era que essa avaliação marcasse o início de um estudo longitudinal que permitisse separar os efeitos do nível socioeconômico e da aprendizagem anterior dos alunos e os efeitos da escola propriamente dita. Com esse objetivo, em 2001 foram testadas as 4ª e 7ª séries e o 2º ano do ensino médio. Porém, em 2002 não houve coleta de dados, e em 2003 a instituição responsável pela gestão técnica do programa, a Fundação Cesgranrio, propôs novos instrumentos, utilizando alguns dos itens e a escala do Saeb para comparar o desempenho das escolas do Rio de Janeiro com as médias nacionais. O estudo longitudinal foi abandonado e, nesse ano, foram avaliados 180 mil alunos de 4ª e 8ª séries e do 3º ano do ensino médio por aplicadores externos.

Ainda em 2003, foram desenvolvidos os índices de Gestão Escolar, de Eficiência Escolar e de Aprendizagem, e se estabeleceram grupos de referência pela média das notas padronizadas de cada índice a fim de evitar comparações entre escolas com alunos de nível socioeconômico muito diferente. Foram criados cinco grupos de referência de acordo com a renda familiar dos alunos. Diferentemente do caso de Ceará, isto significava que só se poderiam comparar escolas que tivessem um nível socioeconômico similar.

Apesar desses avanços, em 2004 transferiu-se o contrato de gestão para o Centro de Políticas Públicas e Avaliação da Educação – Caed –, e o programa foi reformulado para se concentrar na avaliação das escolas por desempenho, fluxo escolar e gestão. Os grupos de referência foram abandonados, e as 1.830 escolas avaliadas foram distribuídas em cinco níveis de qualidade com base nas notas atribuídas pelas três áreas de atuação, conforme a Tabela 1.

Pela lei da Nova Escola, a cada nível corresponde uma gratificação de valor diferente, com o nível cinco, o melhor, perfazendo um teto de R$500 para professores de tempo integral e de R$250 para pessoal de apoio. Em 2004, foram pagos R$16 milhões em gratificações, sendo R$8 milhões pela classificação geral das escolas e R$8 milhões pelo progresso alcançado entre 2003 e 2004. Foram beneficiados no total 58.008 professores, 19.843 funcionários de apoio e 9.425 concursados que começaram a atuar em 2004.

Por sua importância como modelo pioneiro de responsabilização, vale a pena examinar mais de perto o sistema de classificações do Programa Nova Escola. A principal vertente desse sistema é a avaliação da aprendizagem, e o número máximo de pontos é atribuído à escola que apresenta uma proporção superior a 80% de alunos com desempenho considerado satisfatório, conforme a escala empregada pelo Saeb. Na 4ª série, a escala Saeb classifica como satisfatório o desempenho acima de 175 em ambas as matérias. Na 8ª série o desempenho satisfatório é de 225, e de 250 na 3ª série do ensino médio. O Quadro 1 mostra a pontuação recebida pela escola de acordo com a proporção dos alunos que atingiram o nível satisfatório de desempenho.

A segunda vertente é a avaliação do fluxo escolar, medido pelo percentual de alunos que permanecem matriculados ao longo do ano letivo, apresentada no Quadro 2. Nesse caso, valoriza-se implicitamente a escola que se esforça para evitar as faltas e a evasão de seus alunos.

Já a avaliação da gestão combina vários critérios para medir a eficácia administrativa e o desempenho da escola como instituição. Esses critérios são: transparência, que avalia a capacidade da escola de prestar contas corretamente e nos prazos previstos; integração com a comunidade, que avalia a participação da comunidade; assiduidade, que avalia a freqüência dos professores e de outros servidores; gestão da matrícula, que avalia o esforço da escola no combate a evasão. Em 2004, este último critério não foi utilizado por depender da atuação de grupos de visitadores que ainda não foram instituídos. O Quadro 3 resume os critérios empregados e a pontuação atribuída às três dimensões aferidas.

Além da complexidade do sistema de avaliação, que tem de ser negociado a cada ano e requer uma legião de avaliadores treinados, o Programa Nova Escola enfrenta pesadas críticas. As mais contundentes são dos professores: em agosto de 2005, o Sindicato Estadual dos Profissionais da Educação – Sepe – movia cinco ações contra o governo do Rio de Janeiro, três das quais referentes ao programa: 1. Mandado de Segurança Coletivo contra o Secretário de Educação do Estado e a Governadora, requerendo a abstenção (e restituição) dos descontos nos contracheques dos servidores da diferença da gratificação Nova Escola; 2. Ação Civil Pública requerendo a extensão aos inativos da gratificação Nova Escola; 3. Mandado de Segurança Coletivo contra o Decreto n. 37.706 de 30/05/2005, que exige freqüência de 335 dias-ano para permitir ao servidor receber a gratificação "Nova Escola" em 2006.

A primeira crítica de ordem técnica diz respeito à classificação de escolas que é principalmente normativa, dada a ausência de referências ou padrões que poderiam indicar se as escolas mais bem colocadas alcançaram de fato um nível de qualidade. Porém, o procedimento adotado pelo Programa Nova Escola tem lógica, na medida em que ele é entendido mais como um plano de incentivos, em que a motivação advém da competição e da melhoria, e não somente do programa de responsabilização, em que a motivação decorreria da necessidade de alcançar determinados padrões mínimos. Outra crítica refere-se à utilização de dados de desempenho do ano anterior ao da gratificação. Considerando a alta rotatividade de professores e a conseqüente volatilidade no desempenho da escola, o ideal seria avaliar e gratificar durante o mesmo período escolar. Porém, a aplicação de testes mais perto do começo do ano escolar mediria os resultados do ano anterior e conservaria, portanto, a mesma injustiça de gratificar professores que não foram necessariamente os responsáveis pela classificação da escola. Outras dúvidas dizem respeito à dificuldade de explicar o significado dos testes apesar de publicações recentes tentarem explicar as escalas Saeb e as características dos itens empregados.

A crítica mais política se expressa da seguinte maneira:

O Estado não está dando as condições objetivas para que o trabalho seja equiparado ao que ele espera. Então, ao chegar ao final de um ano, ao se fazer esta avaliação, o que vai se ter é um descompasso muito grande entre o que é pedido na prova e que os professores não trabalham, ou às vezes trabalham na semana na prova, à luz de exames já realizados em anos anteriores. É óbvio que os meninos não estão treinados para aquilo, nem têm a concentração adequada. Isso favorece para que não se tenha um resultado diferente do que está aí. (Gama, 2004, p. 16)

Refletindo uma opinião dos professores, essa afirmação pressupõe a existência de um padrão segundo o qual há como medir o descompasso entre as condições reais da escola e o desempenho exigido.

Há também as críticas doutrinárias, que rejeitam o programa por pretender instituir a competição entre as escolas e por refletir valores neoliberais voltados para o mercado:

O Nova Escola é um grande empobrecimento da educação. E mais do que isto, ele é uma atenção imediata às demandas do mercado produtivo. Na década de 60 já se tentou trabalhar com isso. Na época falava-se em objetivos, a partir da taxonomia de Bloom. Isso agora vem com novo significado nos anos 90, no bojo de todas as reformas educacionais feitas na Europa, na América e até mesmo no Oriente, portanto, numa ligação direta com as políticas neoliberais de reforma dos estados. Isto tem uma intenção clara de atender às demandas de mão-de-obra, o que representa empobrecimento intelectual. A formação é muito voltada para o ter, muito para o mercado, muito para as questões imediatas, enquanto estamos abrindo mão de determinados elementos mais importantes, ou mais consistentes para o ser. (Gama, 2004, p.16)

Sem dúvida, o Programa Nova Escola tem suas dificuldades. As conseqüências da avaliação das escolas segundo as gratificações oferecidas são bastante significativas, seja em termos absolutos, seja em termos das diferenças que introduzem num ambiente até agora dominado pela idéia da isonomia salarial. Por gerarem tanta animosidade, essas mudanças acabam por ofuscar o propósito da avaliação, que é oferecer informação aos membros da equipe escolar e permitir um diagnóstico do funcionamento da escola.

Elas também limitam a participação da comunidade, na medida em que a avaliação não requer a opinião dos pais nem a sua presença para a discussão dos resultados. O fato de que a metade das gratificações não leva em conta as características específicas da escola e de sua clientela é outro motivo de preocupação. A eliminação dos grupos de comparação não foi compensada por cálculos alternativos do valor agregado da escola, de modo que a metodologia atual permite comparações entre escolas que estão em situações distintas. Somente a gratificação com base na progressão da escola de um ano para o outro ficaria livre de contaminação pelo nível socioeconômico dos alunos e possibilitaria algum otimismo quanto à assimilação dos resultados pela escola.

Paraná

Um sistema de responsabilização alternativa foi oferecido pela Secretaria de Educação do Estado do Paraná na forma do Boletim da Escola. Criado em 2001, o Boletim representou mais um componente de uma estratégia maior de apoio e fortalecimento das associações de pais de todo o Estado do Paraná. Foi projetado para ter uma influência positiva na qualidade da educação e para contrabalançar o poder, considerado excessivo, do Sindicato de Professores do estado. Seus idealizadores imaginavam que a disseminação de informações quantitativas e qualitativas sobre a atuação da escola poderia contribuir para um processo de melhoria sem que houvesse uma política explícita de conseqüências na forma de gratificações ou outras vantagens para as escolas mais bem colocadas. Pressupunha-se que a pressão dos pais e a vontade da escola de atender às demandas da comunidade agiriam como mecanismos de responsabilização leves ou low-stakes¹.

O boletim possuía três blocos de informação. O primeiro bloco continha os resultados do programa de avaliação em Matemática e Português para 4ª e 8ª séries do ensino fundamental das escolas estaduais. Ao lado das médias da escola para cada matéria e série, eram apresentadas as médias das escolas do mesmo município e do estado. Para tornar essas informações mais inteligíveis, os escores foram localizados numa escala – sendo 250 a média do estado – e classificados conforme quatro níveis de desempenho, do nível I ao nível IV. Em um anexo, esses quatro níveis eram interpretados em termos das competências em Matemática e Português associadas a cada um.

A segunda versão do Boletim, distribuída em 2002, incorporou uma inovação importante: o cálculo do nível de desempenho esperado de cada escola com base no nível socioeconômico dos alunos. Uma vez determinada para todo o estado a relação entre a educação dos pais, a renda familiar e o desempenho do aluno, foi possível calcular a expectativa de desempenho de cada escola, considerando as características socioeconômicas dos estudantes, e mostrar se a escola estava acima ou abaixo deste nível de expectativa. Essa medida de "valor agregado" permitia comparações que anteriormente eram impossíveis, devido às grandes diferenças entre as escolas quanto ao perfil do seu corpo discente.

Para classificar o nível de desempenho esperado das escolas ("Escola X"), utilizaram-se as abreviações conforme mostra a Figura 1. O Boletim 2002 não incorporou novos dados de desempenho, e as médias basearam-se na mesma avaliação feita em 2000. Os dados das figuras a seguir foram consultados no site do governo do Estado do Paraná (www.pr.gov.br/cie/boletim/boletim.htm).

O segundo bloco de informações, apresentado na Figura 2, tem como referência o Censo Escolar, e contém dados de aprovação, reprovação e abandono, também em comparação com o município e o estado.

O terceiro bloco de informações, coletadas por meio de questionários, trata da avaliação subjetiva de facetas diferentes da escola e das famílias que poderiam ser consideradas relevantes para uma avaliação global da escola. A escolha de quais opiniões dos alunos, diretor e pais seriam incluídas nesta parte do Boletim obedeceu ao critério de que a informação deveria ser útil na interpretação dos resultados de desempenho da escola (Ayres, 2003). As opiniões de alunos quanto ao ensino do Português e Matemática, extraídas do questionário do estudante, aplicado simultaneamente ao AVA 2000 (programa da Secretaria para avaliação de desempenho), são um exemplo desse princípio, pois facilitam a interpretação dos resultados de desempenho dos alunos da mesma escola (Figura 3).

As opiniões do diretor sobre a participação de pais, o desempenho dos alunos e o trabalho do conselho da escola também foram extraídos do questionário do AVA 2000. Para obter as opiniões de pais, foi necessário um novo procedimento de coleta de dados. Em junho de 2001, solicitou-se que preenchessem um questionário e que atribuíssem à escola uma nota de um a dez. Embora 53 mil pais aproximadamente tenham respondido a essa primeira convocação, muito mais do que se previra, não houve empenho em obter uma amostra representativa de pais para cada escola. Quando o mesmo procedimento foi repetido em 2002, ainda sem pretensões estatísticas, o número de respondentes aumentou para 79 mil. Como mostra a Figura 4, além de perguntas sobre a qualidade do ensino, os pais também tiveram que responder outras questões importantes, tais como a segurança da escola e a comunicação entre a escola e as famílias.

Em 2001, foram impressas mais de 1,3 milhões de cópias do Boletim, para assegurar que cada pai e professor de 1.963 escolas estaduais, como também das 3.647 escolas municipais, recebesse um exemplar. Mas a experiência não foi tão low-stakes quanto se pensava. Por parte dos diretores, havia sempre a preocupação de que a avaliação da escola pudesse influenciar o processo de seleção de diretores e, seguramente, essa preocupação introduziu um viés no preenchimento dos questionários dos pais. Em outras palavras, mesmo não havendo qualquer intenção explícita da Secretaria de Educação de fixar vantagens individuais ou institucionais, os diretores atribuíram ao Boletim um valor especial e acabaram criando conseqüências imprevistas.

Por trás dos esforços da Secretaria para disseminar o uso do Boletim entre as associações de pais estava o pressuposto de que estes poderiam exercer uma pressão benéfica em favor da melhoria das escolas. Essa tese ainda precisa ser demonstrada empiricamente, pois depende, antes de tudo, do tipo da relação entre escola e comunidade, do grau de participação dos pais nas discussões sobre as atividades da escola e da sensibilidade dos professores às opiniões dos pais. No caso do Paraná, um movimento organizado de associações de pais foi fundamental para a implementação da política, mas não foi suficiente para impedir o abandono do Boletim com a mudança de governo em 2003.

CONCLUSÕES

A lógica de estabelecer uma associação entre as atividades e os resultados da escola é clara: se os membros profissionais da comunidade escolar podem ser considerados responsáveis pela qualidade da experiência educativa sob seu controle direto, e se os resultados dessa experiência podem ser medidos objetivamente, então a avaliação do desempenho do aluno pode se tornar parte de um sistema de responsabilização que visa estimular a melhoria mediante a divulgação dos resultados da escola. Porém, por mais transparente que seja a lógica, são poucos os exemplos de políticas de responsabilização no Brasil, e os casos do Rio de Janeiro e do Paraná mostram a dificuldade de legitimar os procedimentos escolhidos para fazer a conexão entre o sistema de informação e as conseqüências para os profissionais da educação.

O fato de existirem poucos exemplos de programas de responsabilização sugere a ausência de algumas das condições indispensáveis para que sejam implementados. Comparando-se as condições existentes na Inglaterra e nos Estados Unidos à época da formulação da política, parece que falta aqui tanto a disseminação ampla de informações comparativas sobre o desempenho das escolas quanto a mobilização política em favor de mudanças. Há razão para acreditar que o tipo de poder exercido pelos governos daqueles países também tem sua importância. Em nenhum dos dois casos havia necessidade de conseguir o apoio do magistério para a própria sustentação do governo, e não havia risco de perda de governabilidade no setor educacional pela criação de políticas baseadas na avaliação do desempenho dos alunos. No Brasil, ao contrário, a resistência do magistério a este tipo de política é conhecida, e são poucos os governos que podem abrir mão do apoio dos movimentos sindicais organizados, incluídos os dos professores, para sua sustentação política.

A sobrevivência do Programa Nova Escola e a morte prematura do Boletim da Escola dão pistas adicionais sobre essa hipótese acerca das condições para a implantação e o desenvolvimento dos programas de responsabilização. A preservação do primeiro parece estar relacionada à existência de um governo estadual cuja legitimidade e sustentação não advêm do apoio do magistério e que, portanto, pode formular e persistir na execução de uma política para o setor educacional que encontra resistências significativas entre os setores sociais organizados. Já o abandono do Boletim da Escola com a mudança de governo em 2003 e a nomeação de um novo Secretário de Educação com relações estreitas com o magistério indica a dinâmica inversa. O sacrifício da política de responsabilização foi o preço que se pagou pelo apoio dos professores à nova gestão.

A resistência dos profissionais aos sistemas de responsabilização fundamenta-se no argumento de que a escola não pode ser responsabilizada por seus resultados se as secretarias não assegurarem as condições indispensáveis para um trabalho de qualidade. Parece inegável que qualquer sistema de responsabilização também precisa determinar o papel da entidade mantenedora e o nível de desempenho esperado. Essa entidade é um componente essencial para a construção da qualidade das escolas, e não somente uma instância de avaliação, e deve ser considerada central em qualquer programa de responsabilização. Um sistema que cria um ônus para a escola, seja em termos de gratificações não recebidas ou de medidas administrativas, sempre será visto como injusto em um ambiente em que a burocracia é tida como ineficiente ou até inoperante. É igualmente desejável combinar o diagnóstico da escola com sistemas de apoio e capacitação de acordo com os problemas identificados, para assegurar que as escolas com pontuação menor recebam ajuda necessária para interpretar seus resultados e empreender mudanças.

A ausência de um número maior de experiências na área de responsabilização também é fruto da própria incipiência da idéia da avaliação de desempenho e da utilização dos resultados da aprendizagem cognitiva dos alunos como peça-chave da política educacional. Mesmo havendo alguma familiaridade com a avaliação educacional, não existe uma cultura de avaliação que permita utilizar a aprendizagem cognitiva como o principal indicador das atividades e produtos da escola. Se é evidente que a escola tem responsabilidade pela formação integral do aluno, ainda é necessário chegar a um consenso mais amplo sobre a legitimidade da responsabilização e sobre os indicadores da qualidade na educação.

Recebido em: março 2006

Aprovado para publicação em: abril 2006

• ANDERSON, J. A. Accountability in education In: IAE,IIEP,UNESCO. Paris, 2005. (Education Policy Series). Disponível em: http://www.unesco.org/iiep/ Acesso em: nov.2005.
• AYRES, S. Boletim da escola: diagnóstico multidimensional das escolas do Paraná. Ensaio Rio de Janeiro, v.11, n. 38, p.33-44, jan./mar. 2003.
• BRASIL. Ministério da Educação. Qualidade da educação: uma nova leitura do desempenho dos estudantes da 4ª série do ensino fundamental.Brasília: Inep, abr. 2003.
• CARNOY, M.; LOEB. S. A Responsabilidade externa tem efeito nos indicadores educacionais dos alunos? Uma análise entre os estados dos EUA. Documento n. 29 de Preal, abr.2004.
• CARNOY, M.; LOEB. S.; SMITH, T. Do higher state test scores in Texas make for better high school outcomes? CPRE, nov.2001. Consortium for Policy Research in Education: University of Pennsylvania. (Research Report Series RR-047)
• GAMA, Z. J. Nova Escola: erros e acertos do programa. Folha Dirigida, 18.3.2004. Disponível em: http://www2.uerj.br/~clipping/marco04/d18/dirigidanovaescola.htm Acesso em: 8.10.2005.
• GARDNER, D. P. et al. A Nation at risk: the iperative for educational reform. An open letter to the American people. A report to the Nation and the Secretary of education. Washington: National Commission on Excellence in Education, Superintendent of Documents, Government Printing Office, apr.1983.
• RAVITCH, D. Every state left behind. The New York Times, late ed. final, sec.A, p.23, col.3, nov.7, 2005.
• RIO DE JANEIRO (Estado) Secretaria de Estado de Educação. Informativo 1: avaliação do fluxo e da gestão escolar. Caed, s.d. (Programa Nova Escola)
• ____________. (Estado) Secretaria de Estado de Educação. Metas, procedimentos e critérios: avaliação 2004. Caed, set. 2004. (Programa Nova Escola)
• SOUZA, M. A. de. A Experiência de avaliação educacional em Minas Gerais: 1992-1998. Estudos em Avaliação Educacional São Paulo, n.19, p. 57-76, jan./jun. 1999.

1

Uma avaliação high-stakes, por sua vez, tem conseqüências significativas para os envolvidos.

Datas de Publicação

• Publicação nesta coleção
  27 Set 2006
• Data do Fascículo
  Ago 2006

Histórico

• Aceito
  Abr 2006
• Recebido
  Mar 2006