Controvérsias sobre políticas de alto impacto

TEMAS EM DEBATE

RESPONSABILIZAÇÃO E PRESTAÇÃO DE CONTAS NA AVALIAÇÃO

Controvérsias sobre políticas de alto impacto

Nigel Brooke

Professor convidado do Grupo de Avaliação e Medidas Educacionais da Faculdade de Educação da Universidade Federal de Minas Gerais – Game/FaE/UFMG. [e-mail]

Com mais um pouco de tempo para pensar, preparei estes comentários adicionais sobre o importante depoimento do professor Luiz Carlos de Freitas em 30 de novembro de 2012, em evento organizado pela Fundação Carlos Chagas. Naquela ocasião, Luiz Carlos reformulou uma fala previamente preparada para responder à minha exposição do dia anterior, aceitando o convite ao diálogo que lhe havia proposto. Logo a seguir, fui convidado a responder e algumas das minhas respostas recebem um detalhamento maior neste texto. Agora, como um tempo a mais para olhar a transcrição da fala do Luiz Carlos, pude extrair com mais precisão o significado dos seus argumentos.

Com essa troca de ideias, conseguimos estabelecer um diálogo bastante incomum em se tratando de assunto polêmico, a accountability. Para localizar esse debate no terreno da gestão pública, deixamos de lado algumas das nossas crenças mais doutrinárias e focalizamos os elementos que determinarão se a política de accountability trará benefícios ou prejuízos para a educação brasileira. Espero que estes novos comentários ajudem a esclarecer as diferenças de opinião que estão subjacentes à nossa discussão.

AS OBSERVAÇÕES

Concordo com Luiz Carlos que estamos vivendo um aumento de exemplos de políticas de accountability, sobretudo na forma de sistemas de bonificação para escolas. Discordo, no entanto, que haja uma inevitabilidade nesse processo a ponto de nossos modelos de accountability serem os mesmos e terem as mesmas consequências que os dos Estados Unidos. Retornarei a este assunto. Discordo também que as decisões das Secretarias de Educação – SEEs – de formular políticas de accountability, notadamente de bonificação, estão sendo tomadas sob a pressão ou influência da indústria da avaliação que, segundo Luiz Carlos, ocupa um mercado de 1,4 trilhão de dólares nos Estados Unidos e está em plena expansão no Brasil. Penso que os gestores estão propensos a introduzir essas políticas em razão da urgência ditada por prazos políticos, pela distância que separa nossos sistemas dos sistemas educacionais mais bem-sucedidos no mundo e também pela tese de que, por diversos vícios da estrutura do serviço público e da profissão de magistério, faltam incentivos para as escolas darem prioridade à aprendizagem. No princípio desse processo, na década de 1990, não havia sequer especialistas para atender às demandas das Secretarias no campo da avaliação e muito menos empresas de avaliação e assessoria para compelir os gestores a agirem de certa maneira. E como explicar a diversidade de políticas, incluindo os estados que não querem a bonificação de jeito nenhum? O avanço mecanicista das políticas de accountability, devido aos ditames do mercado sugerido por Luiz Carlos, retira dos gestores a sua autonomia política e minimiza a influência da cultura organizacional na formulação de política educacional.

Não há dúvidas de que houve grande expansão na constituição de fundações e empresas de prestação de serviços educacionais aos órgãos públicos, tanto na aplicação dos instrumentos de avaliação quanto na oferta de produtos voltados para a melhoria do ensino. Na verdade, a reformulação do Sistema Nacional de Avaliação da Educação Básica – Saeb – em meados da década de 1990, em razão da falta de capacidade técnica dos órgãos governamentais, exigiu a abertura de concorrência pública destinada à contratação de fundações e empresas especializadas do setor privado, acendendo, assim, uma luz verde para o mercado. Nada indica que o resultado desse processo de expansão tenha sido pernicioso; ao contrário, a consequência desse novo modelo, seguido por todos os instrumentos federais e estaduais posteriores, foi o desenvolvimento de metodologias avaliativas que em muito contribuíram para a posição de destaque do Brasil nesse campo.

Se olharmos para a descrição do mercado de avaliação e assessoria na Inglaterra, a diversidade e volume assustam um pouco (BALL, 2008). Mas, mesmo nesse contexto, o prejuízo é mais filosófico, pela perda do monopólio do Estado na prestação de serviços educacionais, do que prático, em termos de uma deturpação dos propósitos e resultados da educação pública. Ou seja, todos estão vendo sinais do crescimento de um mercado de serviços educacionais, e lamentar não ter previsto isso sugere que o avanço desse mercado seja um problema. Sei que a própria palavra "mercado" pode ser um sinal de perigo para alguns. Contudo, nesse caso, pode ser exatamente o que precisávamos para incentivar, agilizar e sofisticar os serviços de apoio às escolas e aos professores. Portanto, acho que o pessimismo perante esses avanços não procede.

Voltando à questão da accountability e suas origens no avanço do mercado, Luiz Carlos admite que possam existir diversas formas dessa política. A forma não aprovada é a accountability verticalizada, fruto da chamada cultura de auditoria, em que há uma relação hierárquica entre quem cobra e quem é cobrado pelo sistema de accountability. Nesse momento, Luiz Carlos não entra em detalhes sobre as outras formas de accountabilty, mas deixo a minha concordância enfática em relação ao fato de que é impossível resolver os problemas do enorme passivo educacional brasileiro com soluções de curto prazo, incluídas políticas improvisadas de accountability. Uma parte da minha argumentação é justamente sobre a necessidade de refletir e aprimorar os modelos de política pública e de não implantar novas políticas sem critérios. Uso o exemplo da bonificação para mostrar que há diversas maneiras de estabelecer o desempenho da escola, de calcular a contribuição da equipe escolar, de eliminar as possíveis tendências ao centro¹ e de criar mecanismos que possam promover tanto a equidade quanto a colaboração entre escolas. Falo também da importância crucial do próprio instrumento de medição que pode fazer toda a diferença entre efeitos positivos e efeitos perversos. Argumento que isto leva tempo pela necessidade de acompanhar as políticas em implantação e de pesquisar suas consequências. Argumento ainda que a eficácia da política de accountability depende dessa pesquisa, na medida em que os resultados são consequência da qualidade técnica da política implantada.

Se as outras formas da accountability forem as mesmas defendidas recentemente por Afonso (2012), em publicação editorada por Luiz Carlos, dá para entender sua observação sobre a necessidade de um tempo maior para a implantação dessa política. Tanto a proposta de Accountability Inteligente como a de Accountability Democraticamente Avançada, defendidas por Afonso, requereriam, para a escola, uma reengenharia social e institucional de tal tamanho que a obra ficaria eternamente incompleta. Haveria necessidade de instrumentos avaliativos diversos com abordagens mais inclusivas e deliberativas, abrangendo grupos de discussão e fóruns públicos, tempos mais longos e mudanças nos valores de todos os grupos sociais envolvidos para atenuar as desigualdades de poder e outras assimetrias. Por mais que se queira fugir das soluções de curto prazo, sugerir como alternativa à accountability baseada na avaliação quantitativa, um mundo novo, hipotético, sem exemplos conhecidos, e cuja viabilidade prática parece duvidosa, mais uma vez, retira a discussão do campo das políticas públicas.

A crítica à accountability verticalizada com base na metáfora da cultura da auditoria transmite a ideia de uma fiscalização intrusiva sem aviso prévio contra alguma suspeita de malversação de fundos. Eis o problema com metáforas – a gente nem sempre sabe qual o significado exato! Mas se a auditoria for definida como:

Exame sistemático das atividades de uma empresa ou organização, ou dos resultados de uma ação governamental, visando estabelecer se determinados objetivos estão sendo atingidos de forma adequada, segundo normas ou padrões preestabelecidos. (–FERREIRA, 2010)

Estaríamos pedindo demais? No caso do setor educacional brasileiro, a "auditoria" proposta pela accountability não vai tão longe. Apesar de conter todos os elementos de avaliação, prestação de contas e responsabilização, o que ela realmente fornece ao gestor é um contexto para a comparação de escolas.

Esta pode ser uma das questões centrais. Deve existir ou não o uso dos resultados das avaliações para efeitos de comparação de escolas? Para alguns, a premissa fere a autonomia e sujeita a escola a um processo de checagem inevitavelmente imperfeito. Desenvolver políticas com base nessa comparação, geralmente restrita a poucos elementos quantitativos, é um equívoco, pela impossibilidade de criar mecanismos acurados e justos, compatíveis com a seriedade das consequências. Para outros, entre os quais me incluo, a comparação de escolas não está fora dos limites, nem filosoficamente nem em termos práticos. A comparação de escolas é um procedimento legítimo na tentativa de identificar tanto aquelas instituições com dificuldade de desempenhar seu trabalho com eficácia quanto aquelas que possam servir como fonte de aprendizagem para as outras. Na sua tarefa de monitorar as escolas, a comparação permite que o gestor identifique imediatamente aquelas que estão com resultados destoantes ou, simplesmente, abaixo da média. A média pode não ser a medida ideal, por ser meramente normativa, mas no esforço de melhorar a qualidade da rede como um todo, ela serve como parâmetro. Poder contar com o valor agregado da escola ou de grupos de alunos dentro dela permitiria comparações ainda melhores. Num mundo futuro de critérios de desempenho prefixados e expectativas de aprendizagem já consagradas, a comparação de escolas deixaria de ser um instrumento tão importante, mas, enquanto não existirem esses consensos, limitar o uso do método comparativo prejudica o trabalho do gestor.

O uso de comparações não significa necessariamente o ranqueamento de todas as escolas na mesma escala. Primeiro, a comparação só agrega informação para o gestor quando feita entre escolas em situação igual ou parecida, em termos de alunos e também em termos de condições de funcionamento. Portanto, a comparação/ranqueamento de todas as escolas deixa de ter propósitos de gestão. Segundo, mesmo entre escolas iguais, a publicação dos resultados das comparações precisa cumprir alguma função ligada aos planos/projetos de desenvolvimento das escolas. (Penso em nosso contexto, no qual não há nenhuma pretensão de influenciar as escolhas dos pais com base na divulgação dos resultados das escolas). Sem as considerações sobre as possíveis causas das diferenças, o ranqueamento pouco contribui e pode até atrapalhar as relações entre a escola e seu entorno.

A outra questão central é se é legitimo usar a experiência dos Estados Unidos como mapa para prever o desenvolvimento da versão brasileira de accountability. O argumento de Luiz Carlos tem lógica, pois, como se originou nos Estados Unidos a nossa accountability, nada melhor que examinar as consequências da política lá para saber seus efeitos aqui. Minha posição é que não só existem diferentes modalidades de accountability, com diferentes histórias e condicionantes, como também, ao adotar certo tipo de accountability, iniciamos um novo processo de internalização e adaptação que pode levar a política a formatos inteiramente novos. Além do mais, o contexto cultural do seu novo lar também influenciará os resultados.

No entanto, minha proposta de que se faça uma distinção entre a accountability no Brasil e a accountability nos Estados Unidos foi interpretada como uma expressão de fé, sendo livre, portanto, da obrigação de apresentar evidências. Ao sustentar a existência de diferenças nos contextos brasileiro e americano e prever que a forma e os impactos das políticas de accountability também seriam diferentes, eu estaria partindo para um exercício de fé. Mas, sustentar o contrário, ou seja, que a assimilação da política de accountability do modelo americano é inevitável e seus efeitos já predeterminados, parece-me uma "petição de princípio" bem maior. Considero que, se olharmos para a história, as diversas reformas ao longo dos últimos cinquenta anos que tiveram componentes "importados", incluindo as reformas curriculares da década de 1960, a reforma universitária de 1968 e a da escola profissionalizante com a Lei n. 5.692/71, a versão brasileira sempre se mostrou bastante diversa da sua original. Portanto, não é uma questão de idade, e sim uma questão cultural, de diferenças fundamentais nos critérios que regem a cultura organizacional do sistema educacional e do serviço público e o grau de autonomia do gestor público. O fato de existirem propostas de emendas e outras peças de legislação que favorecem o avanço da accountability não significa que vamos criar uma cópia local do No Child Left Behind – NCLB – de 2001.^* A conclusão a que chego é que não devemos ficar impedidos de exercer um processo legítimo de monitoramento e responsabilização dentro dos limites e parâmetros fixados pelos gestores brasileiros porque uma versão desvairada dessa política ultrapassou os limites em outro lugar. Resta saber, no entanto, se a versão brasileira terá saldo positivo.

Sobre as evidências dos efeitos da accountability, concordo plenamente com Luiz Carlos em relação aos trabalhos enviesados dos think tanks e à necessidade de estudos do tipo metapesquisa para poder discernir as tendências. E foi exatamente isso que fiz ao apresentar a metapesquisa mais completa que encontrei sobre os efeitos da bonificação, a do Comitê do Conselho Nacional de Pesquisa sobre Incentivos e Accountability, baseada em testes (HOUT; ELLIOTT, 2011). Os estudos que passaram pelo crivo rigoroso dos autores americanos foram poucos. Desses, os estudos localizados nos Estados Unidos mostraram resultados quase insignificantes. Os resultados dos estudos que atenderam aos critérios de metapesquisa em outros países, especificamente Israel, Índia e Quênia, foram distintos. Não separei aleatoriamente dois ou três estudos – citei os que satisfizeram os critérios de validade e representatividade e mostrei que fora dos Estados Unidos esses estudos demonstram resultados bem mais positivos. Ainda sustento a minha conclusão original: o fato de as pesquisas mostrarem ganhos de aprendizagem em razão da política de bonificação somente fora dos Estados Unidos se deve fundamentalmente às diferenças entre os países nos modelos de accountability adotados e na cultura organizacional das instituições educacionais.

Sobre a necessidade de que se evidencie a eficácia da nova política de accountability antes da sua aplicação, o argumento de Luiz Carlos é que, com tanto em jogo, ela precisa vir recomendada por estudos preliminares, igual aos estudos de campo usados para testar a eficácia de novos medicamentos. E justamente pela importância dos efeitos, aplicar a política na ausência desses dados seria uma falta de ética. Meu argumento é que, se olharmos para o conjunto de pesquisas em países comparáveis ao Brasil e para as poucas pesquisas que temos no Brasil, a tendência é positiva. Se olharmos para os Estados Unidos, a conclusão é outra, e é nisso que Luiz Carlos está fixado. De fato, se fosse a nossa única fonte, teríamos de proceder com muita cautela, mesmo não estando predestinados ao mesmo roteiro. Mas, de modo geral, diria que as evidências nos autorizam a ir em frente. Se, no entanto, qualquer nova política educacional precisa ser precedida de evidências, testes ou versões-piloto, pelo seu poder de alterar a vida das pessoas, incluindo os professores, é algo que não precisa ser discutido neste momento. As escolas sempre foram palco de experimentações, com resultados nem sempre tão benéficos, mas não é por isso que se deve cassar o direito de um governo eleito de propor uma mudança na política educacional.

Citando pesquisa do Centro de Estudos e Pesquisas em Educação, Cultura e Ação Comunitária – Cenpec (ÉRNICA; BATISTA, 2011), em São Miguel Paulista (SP), Luiz Carlos questiona como o efeito de território das escolas da periferia de São Paulo contribui para o aprofundamento das desigualdades escolares provocadas pelas diferenças nos recursos culturais das famílias. Pelo contexto da discussão, deve-se entender que, de alguma forma, a accountability contribui para esse desfecho. No entanto, a explicação dada pelos autores sobre o processo de concorrência/especialização, em que algumas escolas exercem certa seletividade para ficar com os alunos melhores, enquanto outras precisam receber os alunos mais problemáticos, tem a ver com o modelo de escola dominante e com a busca por alunos que melhor satisfazem as exigências acadêmicas e comportamentais desse modelo. Ou seja, apesar do uso, pelos autores, do conceito de "quase-mercado", não há conexão aparente com os processos de avaliação externa ou com o sistema de bonificação daquele estado. Em trabalho recente, argumento que a bonificação poderia levar em consideração a clientela das escolas e, dessa forma, se converter em incentivo para atrair docentes melhores para as escolas em áreas mais vulneráveis (BROOKE, 2012).

Luiz Carlos também aborda a questão principal, que é sobre os efeitos colaterais da accountability na definição e execução do currículo. Ele argumenta que a comprovação da existência de estreitamento curricular já seria motivo suficiente para descartar a política. Não acho que seja tão fácil assim. Em primeiro lugar, não sabemos a extensão e profundidade do prejuízo causado pelo estreitamento no Brasil. Mesmo com mais de dez anos de políticas de accountability no Estado do Ceará, por exemplo, não se conhece nenhuma tentativa de documentar suas consequências ou de medir seus possíveis efeitos sobre o currículo. Isso se deve à falta de pesquisa de modo geral, mas pode também indicar que a versão brasileira de accountability simplesmente não provoca os impactos colaterais que ocorrem em outros lugares. Em segundo lugar, precisamos lembrar que o próprio currículo básico, oficial, é por si só um estreitamento perante a infinidade de matérias, temas e tópicos do nosso mundo passado e presente. O estreitamento adicional provocado pela accountability pode ser exatamente o que os gestores estejam querendo ao orientar os professores para determinados conteúdos. Em livro sobre os paradoxos dos testes high stakes,² Madaus, Russell e Higgins (2009) lembram que os proponentes desses testes acreditam que, quando usados os instrumentos certos, os testes podem ter efeitos benéficos por clarear os objetivos do ensino e motivar tanto alunos quanto professores. Outros lembram que, em um contexto de deficiências na formação de professores e de alunos, a definição de um currículo básico por meio dos testes high stakes pode ser a única garantia de uma aprendizagem dos conteúdos essenciais. A verdade deve estar em algum ponto entre dois extremos.

Apesar de não existirem nem agências nem critérios para aplicar no campo da educação as mesmas avaliações usadas para testar novos remédios, Madaus, Russell e Higgins usam trecho de um relatório médico para sumarizar sua posição em relação aos impactos positivos e negativos dos testes high stakes:

Não se pode tomar boas decisões (sobre o uso do tratamento) sem a avaliação dos fatos relevantes. Esta avaliação deveria levar em consideração a probabilidade de resultados favoráveis e os benefícios e malefícios para o paciente de todos os resultados. Deveria haver franqueza não só sobre o que se sabe, mas também sobre o que não se sabe. (2009, p.164, tradução do autor)

Luiz Carlos caracteriza a política educacional do Chile como exemplo de accountability e fala dos problemas de desigualdade do "sistema mais segregado do mundo". Implícita nessas observações é a ideia de que a accountability chilena provoca efeitos perversos que estão na raiz das desigualdades educacionais. Independentemente de se o sistema chileno é ou não o mais desigual do mundo, é preciso lembrar que o sistema de accountability do Chile é complexo, composto de diversos elementos, como publicização, certificação, avaliação de desempenho, bonificação e, mais importante de todos, vouchers. O sistema de vouchers implantado naquele país durante a ditadura é uma variante muito particular da accountability, que funciona, em princípio, mediante a liberdade concedida aos pais para escolheram a escola dos filhos, presumivelmente com base nas informações sobre o nível de desempenho médio das escolas medidas pelo Sistema de Medición de Calidad de la Educación – SIMCE. O primeiro ponto é que não há nenhum sistema de "escolha de escola" equivalente no Brasil e não há razão para imaginar que a vertente da accountability adotada aqui tenha efeitos iguais ao do conjunto chileno. O segundo ponto, que é o que os estudantes chilenos mais reclamam, é a incapacidade de os municípios melhorarem a educação devido às suas deficiências administrativas, o que tem provocado todo um movimento em favor da desmunicipalização. O terceiro ponto, o que mais tem contribuído para a segregação social, é a expansão das escolas subvencionadas, seu direito de cobrar dos pais um adicional de até 100% do valor do voucher e a sua aparente liberdade, apesar de estar a escola proibida de fazer uso de processos seletivos. O problema de fundo, portanto, é o rebuscado sistema de financiamento da educação por meio de vouchers, o que faz com que as escolas se comportem bem mais como escolas privadas do que públicas. Os outros aspectos do sistema de accountability não são considerados vilões.

Em resumo, o sistema de vouchers não tem provocado as mudanças pretendidas por seus idealizadores em termos da livre competição entre as escolas como meio para alavancar melhorias na qualidade do ensino. No entanto, seus efeitos hoje se confundem com as políticas simultâneas de municipalização e de privatização, de modo que atribuir toda a culpa pela desigualdade ao sistema de vouchers seria um exagero. Afinal, a desigualdade do sistema brasileiro, tanto entre as escolas privadas e públicas quanto entre as escolas de cada setor, é amplamente conhecida, sem que haja um sistema de vouchers ou de publicização dos resultados das escolas. O que é comum aos dois sistemas é a tendência de as escolas usarem o nível socioeconômico do aluno como proxy da sua capacidade de aprendizagem.

Neste ponto, a discussão volta para a questão do tipo de –accountability que temos no Brasil e a insistência em dizer que, ao associarmos consequências aos resultados das escolas, estamos fazendo exatamente a mesma coisa que foi feita nos Estados Unidos, o que vale dizer que o que temos aqui é accountability, sim, e não uma mera política de "pagamento por resultados". A razão para esse comentário reside em minha afirmação de que a versão brasileira de accountability por incentivos se assemelha bem mais às práticas dos empregadores do setor privado, que acreditam em criar um elo direto com a produtividade do trabalhador e sua remuneração, do que à accountability dos Estados Unidos. Lá, a decisão de estabelecer um vínculo entre o esforço dos professores e os resultados dos alunos nasce da proposta de tornar transparente o trabalho do servidor público, de cobrar responsabilidade pelo bom uso do dinheiro público e garantir que haja uma preocupação pelos resultados, algo que possa ficar relegado a um segundo plano perante tantas outras cobranças.

Minha afirmação sobre o "pagamento por resultados" se deve à quase ausência no Brasil de uma série de precondições para o funcionamento da accountability. Primeiro, há pouco ou nenhum esforço por parte dos gestores em publicizar os resultados. A contrário, ouve-se muito mais sobre a preocupação em não publicar nada que possa levar a alguma comparação ou ranqueamento de escolas. Em segundo lugar, as consequências das bonificações brasileiras são todas positivas. Pode-se dizer que não ganhar o bônus é equivalente a um castigo, mas esse argumento tenta criar uma equivalência entre a não bonificação e o fechamento da escola, o remanejamento do professor, o não avanço na carreira ou a perda do emprego, que são alguns dos castigos de verdade do sistema americano, principalmente a partir do NCLB, de 2001. A versão brasileira é light, sim.

Foram essas as razões que me levaram a especular as diferenças culturais entre os Estados Unidos e o Brasil que poderiam explicar a criação de modelos tão diversos. Uma parte dessa explicação reside nas diferenças no trato da coisa pública, havendo uma cultura de –accountability naquele país que antecede e ultrapassa sua versão educacional e que advém da identidade do americano como pagador de impostos e cobrador de bons serviços dos governantes e dos provedores de serviços públicos. O segundo elemento nessas especulações diz respeito à história e cultura do magistério público no Brasil, que se mostra bastante impermeável a influências ou cobranças externas pelas normas monolíticas que regem o serviço público e protegem o servidor contra a interferência externa, incluindo a do seu empregador. Nesse ambiente, a accountability americana não teria como prosperar. Os pais sabem que sua pressão tem alcance limitado, as Secretarias conhecem os limites da sua autoridade e os professores sabem que sua imunidade é grande.

Também pesquisei um pouco para ver se o "pagamento por resultados" seria mesmo a melhor forma de caracterizar a bonificação brasileira e se a experiência dos empregadores com esse sistema poderia oferecer alguma luz. O que achei foi o livro Teachers, performance pay and –accountability, o primeiro de uma série sobre sistemas de compensação alternativos para professores (ADAMS; HEYWOOD; ROTHSTEIN, 2009). Na primeira parte do livro, os autores mostram que, em geral, a incidência de esquemas de pagamento por resultados no setor privado é bem menor do que se poderia imaginar, sendo mais prevalente onde existem medidas claras de output por trabalhador, como unidades vendidas ou vendas em dólares. Contudo, eles observam que há crescimento no uso de esquemas de bônus ou prêmios, alcançando talvez 1 em cada 7 trabalhadores, mas que a proporção da remuneração dessa fonte continua pequena. Diferentemente dos estudos sobre os bônus individuais, são poucos os estudos sobre os efeitos em nível de grupo, mesmo quando incluídos nessa categoria todos os esquemas de divisão de lucros. Nesses casos, fica claro que o tamanho do grupo é um fator relevante devido à capacidade de o grupo menor lidar melhor com o problema dos caroneiros [free-riders]. Também há evidência de que prêmios para pequenos grupos aumentam a produtividade dos que estão com produtividade mais baixa, o que acaba reduzindo a variação entre os membros, ao mesmo tempo em que aumenta a produtividade agregada do grupo. No entanto, os autores sempre avisam que o setor público não vende produtos em mercados competitivos e não procura a maximização de lucros. Portanto, esses resultados podem não ter relevância nenhuma para a melhor compreensão dos sistemas públicos de pagamento de bônus (ADAMS; HEYWOOD, 2009).

A segunda parte do livro se concentra nos perigos do que os autores chamam de Accountability Quantitativa do Desempenho, que seriam as diferentes fórmulas baseadas em medidas objetivas ou quantitativas para determinar o nível de desempenho da pessoa. Aqui encontramos referências ao mesmo Donald Campbell, citado por Luiz Carlos, por ser a pessoa que cunhou a "lei de medição de desempenho" na década de 1970. Esta lei foi formulada mediante a observação das mudanças no comportamento dos trabalhadores sob os regimes de prêmios e castigos, que estimulam as pessoas a tentarem parecer mais competentes, mesmo com o uso da enganação e fraude: "quanto mais se usa um indicador social quantitativo para a tomada de decisões sociais, mais ele estará sujeito a pressões corruptoras e mais ele distorcerá e corromperá os processos sociais que devia monitorar" (CAMPBELL, 1979, p. 85, apud ROTHSTEIN, 2009, p. 70, tradução do autor).

Seguem numerosos exemplos das diferentes maneiras encontradas ao longo dos anos para burlar diversos métodos de estabelecer metas ou quotas de produção por meio de medidas quantitativas de insumos ou de produtos. Gostei da anedota sobre a siderúrgica soviética fabricante de pregos que encontrou a melhor forma de cumprir sua quota por peso de pregos produzidos forjando pregos gigantes do tamanho da fábrica. As dificuldades do setor público começam com os problemas para definir os produtos desejados, dada sua variedade e complexidade que nem sempre se prestam à quantificação. A consequência é a simplificação extrema que leva à distorção de objetivos, como na realocação de recursos e tempo da escola de uma área do currículo para outra. Outra dificuldade, especialmente para as escolas, reside na dificuldade em ajustar as expectativas de desempenho de acordo com as características dos insumos – no caso, os alunos. Além disso, sempre há os riscos de seletividade, mesmo entre alunos dos mesmos subgrupos.

Apesar dessas dificuldades, sempre agravadas pela falta de confiabilidade dos próprios dados quantitativos, o autor tem de reconhecer que os efeitos negativos não são incompatíveis com a conclusão que tais sistemas podem melhorar o desempenho médio nas dimensões medidas.

Diversas análises feitas por economistas, especialistas em gestão e sociólogos concluem que esquemas rígidos de incentivos têm, às vezes, melhorado bastante o desempenho médio de serviços de atendimento e formação profissional de médicos e outros agentes do setor privado. A documentação sobre as consequências perversas não indica que, em determinados casos, os prejuízos superam os benefícios da accountability quantitativa. (ROTHSTEIN, 2009, p. 97, tradução do autor)

O que não se deve permitir aos gestores que promovem o uso de accountability por meio de incentivos, nem aos estudiosos que analisam suas políticas, é o desconhecimento desse extenso campo de pesquisa em economia e teoria da administração, onde estão documentadas as formas em que os indicadores quantitativos são corrompidos, junto com outras consequências perversas dos incentivos de desempenho. Por desconhecerem os ensinamentos dessa literatura, os gestores públicos podem não avaliar adequadamente a matriz de custos e benefícios e deixar de desenhar as políticas de modo a minimizar seus efeitos colaterais.

As perguntas que precisam ser encaradas são as do tipo custo/benefício. Quanto se deve avançar na aprendizagem de matemática e língua portuguesa para justificar a perda de atenção para arte, música, ciência, história etc.? Quais os custos de incorporar medidas, como a expansão da avaliação para outras áreas curriculares, necessárias para debelar os efeitos do estreitamento curricular? Que tipo de instrumento reduz os efeitos negativos do ensino de "preparação para o teste"? O ganho em produtividade do professor justifica a gradual perda de credibilidade do instrumento de avaliação?

Recebido em: JANEIRO 2013

Aprovado para publicação em: MARÇO 2013

• ADAMS, S. J.; HEYWOOD, J. S. Performance pay in the U.S. private sector. In: ______ et al. (Ed.). Teachers, performance pay and accountability, 1. Washington, D.C.: Economic Policy Institute, 2009. p. 13-59.
• ADAMS, S. J.; HEYWOOD, J. S.; ROTHSTEIN, R. Teachers, performance pay and accountability: what education should learn from other sectors. Washington, D.C.: Economic Policy Institute, 2009. (Alternative teacher compensation systems, n. 1).
• AFONSO, A. J. Para uma concetualização alternativa de accountability em educação. Educação e Sociedade, Campinas, v. 33, n. 119, p. 471-484, abr./jun. 2012.
• BALL, S. J. The legacy of ERA, privatization and the policy ratchet. Educational Management Administration and Leadership, v. 36, n. 2, p. 185-199, 2008.
• BRASIL. Presidência da República. Lei n. 5540, de 28 de novembro de 1968 Fixa normas de organização e funcionamento do ensino superior e sua articulação com a escola média, e dá outras providências. Brasília, 1968.
• ______. Lei n. 5.692, de 11 de agosto de 1971 Fixa diretrizes e bases para o ensino de 1º e 2º graus, e dá outras providências. Brasília, 1971.
• BROOKE, N. Sobre a equidade e outros impactos dos sistemas de incentivos monetários para professores. In: COLÓQUIO LUSO BRASILEIRO DE SOCIOLOGIA DA EDUCAÇÃO, 3., 25-27 jul. 2012, Rio de Janeiro; UFRJ.
• ÉRNICA, M.; BATISTA, A. A. G. Educação em territórios de alta vulnerabilidade social na metrópole: um caso na periferia de São Paulo. São Paulo: Cenpec, 2011. (Informe de Pesquisa, n. 3)
• FERREIRA, Aurélio Buarque de H. Novo dicionário Aurélio eletrônico: versão 7.0. Curitiba: Positivo, 2010.
• HOUT, M.; ELLIOTT, S. W. (Ed.). Incentives and test-based accountability in education: national research Council Committee on Incentives and Test-Based Accountability in Public Education. Washington, D.C.: The National Academies, 2011.
• MADAUS, G.; RUSSELL, M.; HIGGINS, J. The paradoxes of high stakes testing Charlotte, N.C.: Information Age, 2009.
• ROTHSTEIN, R. The perils of quantitative performance assessment. In: ADAMS, S. J.; HEYWOOD, J. S.; ROTHSTEIN, R. Teachers, performance pay and accountability: what education should learn from other sectors. Washington, D.C.: Economic Policy Institute, 2009. p. 67-100. (Alternative teacher compensation systems, n. 1)
• UNITED STATES. Congress. No child left behind act Washington, 2001. Disponível em: <http://www.state.nj.us/education/grants/nclb/>. Acesso em: 15 abr. 2013.

*

O

No Child Left Behind (ou NCLB) é uma lei federal americana que incide sobre a educação, proposta originalmente por George Bush, em 2001, e aprovada como ato em 2002, com o objetivo de melhorar o desempenho das escolas americanas, propiciando que todos os alunos possam alcançar os padrões estaduais de conhecimento acadêmico, desenvolvendo amplamente suas potencialidades, principalmente em leitura e matemática (UNITED STATES, 2001). N. do E.

1

Luiz Carlos discorda quando afirmo que a tendência ao centro pode prejudicar os alunos mais fracos. Ele tem toda razão em dizer que temos de nos preocupar com todos os alunos. O que eu argumentava é que a tendência ao centro só acontece quando se usa um critério do tipo ponto de corte (por exemplo, passar/não passar), quando o esforço do professor é para conseguir que o número máximo de alunos atinja o critério. Em contraste com isso, quando o critério é a média do grupo, ou, melhor ainda, quando é a proporção de alunos em cada faixa de desempenho, como no caso de São Paulo, o esforço do professor precisa estar distribuído entre todos os alunos. Nesse caso, a

accountability estará contribuindo para a equidade pela redução da diferença nos resultados dos diferentes grupos de alunos.

2

Testes com consequências significativas, na forma de prêmios ou punições, associadas aos resultados.

Datas de Publicação

• Publicação nesta coleção
  25 Jun 2013
• Data do Fascículo
  Abr 2013