Políticas de responsabilização: entre a falta de evidência e a ética

TEMAS EM DEBATE

RESPONSABILIZAÇÃO E PRESTAÇÃO DE CONTAS NA AVALIAÇÃO

Políticas de responsabilização: entre a falta de evidência e a ética

Luiz Carlos de Freitas

Professor titular da Faculdade de Educação da Universidade Estadual de Campinas – FE/Unicamp. [e-mail]

É uma grande satisfação ter sido convidado para participar dos debates que estão acontecendo aqui na Fundação Carlos Chagas. Não pude participar nos outros momentos, e fiz questão de comparecer para dar uma possível contribuição a essas temáticas, que, acertadamente, a Fundação tem pautado.

Tenho, na realidade, dois caminhos que tentarei combinar. Por um lado, ensaiamos um texto inicial, que tem alguns pontos em relação aos quais nem eu mesmo tenho tranquilidade. Por outro lado, temos o diálogo proposto pelo professor Nigel Brooke ontem. Então, vou tentar transitar entre os desafios que o Nigel nos traz e o texto que foi elaborado. Não sei se vai dar certo. Vou ter de improvisar um pouco na trajetória.

Gostaria de antecipar uma percepção. Não tenho nenhuma esperança de que escaparemos de passar pelo que países como os Estados Unidos estão passando hoje. Acho que passaremos por isso. A razão é que passar ou não por isso não está na dependência da vontade das pessoas aqui reunidas. Por mais que possamos concordar ou não com as políticas de avaliação associadas à acccountability, não está nesta sala e nem na Academia o foco das decisões. É claro que precisamos nos posicionar sobre isso; temos o dever, como profissionais da área, de alertar para os caminhos que a Nação vai seguir nos próximos anos. E acho que estamos num momento de definições sobre isso. Então, é muito importante que seminários como este pautem a temática e que possamos, cada um de acordo com sua visão, difundir seus alertas técnicos e políticos das mais variadas formas.

Minha reticência quanto à nossa capacidade de afetar as decisões que estão acontecendo no campo da política pública educacional deve-se ao fato de que essas formulações estão ligadas à –accountability forte. Ontem, o Nigel tentava estabelecer uma distinção entre uma –accountability light e uma –accountability dura, pesada. Uma distinção que ele faz entre a –accountability do Brasil e a dos Estados Unidos. Os Estados Unidos teriam uma –accountability dura, enquanto o Brasil teria uma –accountability aculturada e, portanto, mais light. Vou voltar a isso mais adiante. O fato é que, por trás dessa questão de –accountability, existe um mercado educacional. Esse mercado hoje, nos Estados Unidos, é da ordem de 1,4 trilhão de dólares. E é isso que sustenta a –accountability americana. É isso que está na base da –accountability americana: uma grande engenharia de faturamento. Daí a dificuldade de discutirmos academicamente e de pesarmos as decisões.

No Brasil, não temos uma estimativa do dinheiro envolvido. Mas acho que se chutarmos que já passamos da casa do bilhão não estaremos muito equivocados. E o mercado ainda está se constituindo, ou seja, as grandes empresas internacionais só agora começam a olhar para esse mercado nascente. Portanto, deveremos ter um crescimento dessa atividade empresarial no campo da avaliação e da consultoria, que são duas áreas que operam articuladas. Há uma gama de empresas que avaliam e uma gama de empresas que se dispõem a "consertar" aquilo que foi encontrado na avaliação; elas representam dois segmentos do mercado. Não tenho nada contra as pessoas ganharem dinheiro na nossa sociedade fazendo consultoria, tendo empresa, tudo isso é legal, não existe nenhuma irregularidade. Mas, obviamente, constitui-se em um poder dentro da sociedade que costuma "falar com o chefe" e não com técnicos etc.; em suma, tem um poder real. E, obviamente, tem seus interesses também, independentemente até das consequências que algumas políticas possam gerar.

Quando digo que éramos ingênuos, é porque não lidávamos com isso no começo dos anos 1990, quando queríamos ter uma metodologia quantitativa que pudéssemos aplicar nas redes, que nos possibilitasse retirar informações mais sintéticas e de larga escala e, com isso, contribuir para a política pública. Ninguém estava pensando que isso fosse virar um mercado com esse volume de implicações de decisão.

Então, acho que seremos vencidos por isso. Mas acho também que temos de fazer nossa parte, analisar, colocar as implicações, pelo menos para que não nos acusem de não termos apontado os caminhos possíveis. Não temos somente o caminho da –accountability. E, mais, de uma –accountability verticalizada. Há outras concepções de –accountability, e é preciso desmistificar isso, porque as pessoas que discordam da –accountability verticalizada são automaticamente enquadradas como contrárias à responsabilidade educacional – como se quem não aceitasse a responsabilidade da –accountability desresponsabilizasse os gestores pela condução dos processos educacionais e a melhoria das redes. Obviamente, não se trata de desresponsabilização, mas de outras formas de responsabilização que existem, não tão verticalizadas, mas combinadas com ações horizontalizadas. Mesmo porque, temos, na própria lógica de medição que valorizamos, com tecnologia de ponta, dentro do próprio Pisa, no topo do Pisa, países que são muito bem avaliados e que não adotam uma política de –accountability. Então, não estamos condenados a uma política de –accountability verticalizada. Há outras –opções, e elas têm sido bem avaliadas também dentro do próprio Pisa.

Mas sou cético quanto às possibilidades de conseguirmos controlar isso, porque acho que, além da questão econômica, de mercado, isso também faz ponte com a área política. E os políticos hoje vivem o tempo de dois anos. Isso é tudo o que eles têm de horizonte, porque este país tem eleição a cada dois anos. Então, a cada dois anos o governo tem de demonstrar que fez alguma coisa. Nada melhor do que mostrar que uma curva oscilou para cima. Se tiver o azar de oscilar para baixo, é um desastre. E, muitas vezes, os governos ficam enroscados: como divulgar isso, em que momento, por que, como divulgar na boca da eleição que a curva caiu? Então, retrocede-se um pouco até o ano x e se traça uma curva de lá para cá para mostrar que, de fato, a curva não caiu tanto assim. Ficam enroscados nessas questões de prestação de contas nos processos eleitorais.

Ora, nós temos um passivo educacional brutal, e esse passivo não pode ser resolvido em dois ou quatro anos. Para resolvê-lo nessa velocidade, é preciso adotar a responsabilização verticalizada, porque com isso se consegue balançar essa curva positivamente por algum tempo. Todos sabemos que, quando se pega um sistema educacional desorganizado e o organiza minimamente, algum resultado positivo virá. A questão colocada ontem pela Professora Elba Siqueira de Sá Barretto é: "queimada essa gordura, quem mantém essa curva na ascendente?". Aí começam os problemas: empaca, vira paralela e as explicações mínguam.

Quero dizer também que temos feito críticas à –accountability, não à avaliação – vamos separar bem. Uma coisa é a cultura de avaliação que defendemos, outra coisa é a cultura de auditoria que a –accountability traz. São duas coisas diferentes. Sou favorável à cultura da avaliação, mas não sou favorável à cultura da auditoria – auditoria pesada em cima da escola, dos profissionais, das redes. Há outras maneiras de nos relacionarmos com esses profissionais. Não precisa ser pela via da auditoria. Então, o embate é este: recusamos a cultura de auditoria, mas aceitamos a cultura de avaliação. São duas formas diferentes de ver a questão.

Não sou avesso aos métodos quantitativos. Sou pedagogo e não tenho nenhum problema com isso. Todo dia levanto, olho no espelho e falo: "Espelho, espelho meu, existe alguém que gosta mais da TRI do que eu?". E o espelho insiste em me dizer: "Sim, existe". Indago, irritado: "Quem é esse?". Ele me responde: "O Dalton". E eu replico: "Ok, o Dalton pode".¹ Não tenho a capacidade que tem o Dalton, ou o Ruben,² de manejar essas coisas, porque entendo que isso não é uma necessidade. É uma questão interdisciplinar, e não disciplinar. Não temos por que nos tornar especialistas em TRI, especialistas em modelos lineares e hierárquicos. Podemos trabalhar juntos nesse processo. É assim que deve ser.

Então, não tenho nenhum problema com essas questões. Acho que a educação está em falta com os métodos quantitativos. Cometemos um erro brutal ao abandonarmos o estudo desses métodos, e hoje pagamos um preço caríssimo: somos obrigados a ver economistas nos dando lições de ler tabela.

O Nigel trouxe ontem o dossiê "Políticas públicas de responsabilização na educação", que publicamos na revista Educação e Sociedade.³ Ele foi montado na seguinte lógica: hoje, no Brasil, estamos fazendo uma série de recomendações de política pública educacional, pois aqui não há apenas uma discussão sobre bonificação, e sim uma proposta de política educacional. Essa proposta traz em si a questão da bonificação que o Nigel separou para a análise aqui, que é de interesse dele. Isso está no bojo de uma política educacional muito mais ampla. Se as raízes dessa proposta de política educacional de –accountability estão nos Estados Unidos – país que a gerou e utilizou mais amplamente –, nada melhor que examinarmos as consequências dessa política no local de origem. Hoje temos ferramentas para fazer estudos comparativos e para verificar o que aconteceu em outros países com a utilização dessas ideias. Até porque, no Brasil existe, sim, a indicação de que essas políticas são transferidas dos Estados Unidos para cá. Lembro de um estudo da Fundação Itaú Social, intitulado "A reforma educacional de Nova York: possibilidades para o Brasil", dos pesquisadores Norman Gall e Patrícia Mota Guedes (2009), em que justamente se defende essa transferência – como fica explícito no subtítulo.

Há evidências de que o desenho dessa política educacional baseada em –accountability tem origem nos Estados Unidos e, portanto, produziu efeitos lá dentro. E hoje há uma farta literatura naquele país que examina as consequências dessa política.

O Nigel faz uma radiografia das críticas expostas no dossiê citado, dividindo-as em críticas doutrinárias e efeitos colaterais e enfatizando a questão de se ela funciona ou não. E pede que não condenemos essas políticas a priori. Não vamos, de antemão, ser contra essas políticas, pede ele. A lógica do argumento dele é que as políticas de responsabilização ou de –accountability no Brasil seriam diferentes das políticas de –accountability americanas. Isso é uma petição de princípio. Ou seja, ele pede que acreditemos que as políticas do Brasil são diferentes das políticas americanas. No entanto, além do estudo da Fundação Itaú Social, há outras evidências que poderíamos trazer para mostrar que há um vínculo, sim, e que as ideias têm uma origem muito clara dentro da política educacional americana.

O Nigel separa as críticas em três blocos. Analisa cada um deles, mas depois continua raciocinando somente em relação ao último. Ou seja, o que ele faz é dividir as críticas, retirar aquelas relativas ao funcionamento do modelo e apagar as outras na sequência de sua análise. Ele passa por todas, mas abandona os dois primeiros blocos e segue trabalhando com a última crítica, que se refere à questão da eficácia. Considera que seria legítimo, em nome de possíveis benefícios, usar uma política – que ele restringe à bonificação. O Professor indaga se podemos compartilhar essa lógica das políticas de –accountability e se ela pode produzir algum efeito positivo para a educação. Ele pergunta: por que não podemos usar? Indagação semelhante foi feita pelo economista Claudio de Moura Castro em artigo na revista Veja. Ele dizia algo assim: "Que culpa temos se os empresários desenvolveram melhor a teoria das organizações? Se eles desenvolveram melhor a teoria das organizações, temos de usar a teoria das organizações onde existe organização". Na visão dele, se a escola é uma organização, por que não usar o conhecimento top de linha que temos sobre organizações?

E, novamente, o Nigel nos diz: "Temos de pesquisar e verificar se ela é boa ou não, e contornar as consequências indesejáveis". Ele cita o caso das tendências de centro encontradas por Neal e Schanzenbach (2010) estudar a responsabilização em Chicago. Ele estava numa posição privilegiada porque pegou a rede de ensino antes da entrada das políticas de –accountability e depois da entrada das políticas de –accountability. Processou os dados longitudinalmente e mostrou que, quando essas políticas entram em cena, provocam um afunilamento em direção ao centro. Ou seja, o professor passa a se preocupar com os estudantes que estão próximos da média – como o Nigel já explicou ontem – e isso significa lançar ao mar tanto os que já estão muito distantes da média para cima quanto os que estão muito abaixo da média, por uma questão de esforço e tempo do professor. Na medida em que tem 20, 30 alunos dentro da sala de aula, o professor sozinho não tem como dar atendimento individualizado a todos, e é obrigado a fazer escolhas. Nessa escolha, ele concentra as atenções nos que estão próximos do nível da proficiência. Esse é um estudo bonito de Neal.

O Nigel diz: "O problema não seria tanto lançar ao mar os que estão acima da média, mas os que estão abaixo da média". E começa a nossa discordância. O problema é com os dois lados, porque não posso dizer que, por a pessoa estar acima da média, eu não preciso ter tanta preocupação com ela. Essa postura remete à defesa de que o importante é garantir o básico; garantindo o básico, o resto é optativo. E esse é um problema, um dilema da educação no Brasil. Pedimos pouco para as escolas. Graduamos por baixo as escolas. Nossas exigências às escolas são pelo mínimo. E sabemos que, pedindo o mínimo, vai sair menos do que o mínimo.

É diferente, por exemplo, quando se conversa com o pessoal da Finlândia, com os técnicos. Há inúmeras entrevistas divulgadas a que se pode ter acesso. Os técnicos dizem que discordam dessa visão americana de pedir o básico, o mínimo. Eles pedem às suas escolas o máximo. Depois, se não der, eles estudam por que não está acontecendo. Mas eles não partem de pedir o menos, porque, se pedirem pouco, terão pouco.

Outro exemplo que o Nigel cita para contornar consequências indesejáveis é o Índice de Desenvolvimento da Educação do Estado de São Paulo – Idesp – em relação ao Índice de Desenvolvimento da Educação Básica – Ideb. É claro que o Idesp é melhor que o Ideb. Sem dúvida nenhuma. Mas temos o estudo do Cenpec⁴ que nos mostra que, além das consequências para as escolas individualmente, quando se implantam políticas de –accountability, há consequências territoriais para conjuntos de escolas. E essas consequências levam à especialização de escolas em certas funções. Por exemplo, a função de atender os piores alunos de um conglomerado de escolas é deslocada para uma delas especificamente, que passa a cumprir, no conjunto daquele território, a função de acolher aqueles alunos que atrapalham o desempenho médio das outras escolas. Isso é São Miguel Paulista. Isso é Brasil. Não é Nova York.

Acho que, muitas vezes, temos a ideia de que a questão é melhorar a fórmula, de que, se melhorarmos a fórmula, vamos ter lá na frente o resultado que queremos. Esse é um raciocínio típico da área empresarial, e faz sentido lá. Porque os processos empresariais são padronizáveis. Eu posso padronizar. Se eu posso padronizar, posso controlar o processo. Porém, o fluxo da aprendizagem e da formação na educação não é padronizável. Essa é a diferença fundamental. Eu não tenho como padronizar o fluxo. Até posso padronizar os resultados no sentido de desejar resultados. Posso desejar uma meta. Mas não há como estabelecer essa padronização no processo. E é isso que leva ao apostilamento, que é uma tentativa de controlar o processo: como o professor varia, ponho um monte de folhinhas nas mãos dele e digo: "hoje é a folhinha 1, amanhã é a folhinha 2, depois a folhinha 3..." E assim vai. Tenta-se, portanto, padronizar o processo. É muito duvidoso se obtenham resultados dessa maneira na educação.

Quais são, então, as considerações que podemos colher da fala do Nigel? Primeiro, ela está eivada de petição de princípio. Na realidade, ele não nos trouxe dados que sustentassem ou suportassem as apreciações. Ele nos pede de que acreditemos que o Brasil poderá seguir um caminho diferente dos Estados Unidos. É um desejo. Mas está no campo da fé, não está no campo da ciência. Eu acredito em certos princípios, daí o termo "petição de princípio", e peço que acreditem que criaremos um caminho diferente aqui no Brasil, que não é o americano. Mas o Professor não mostrou nenhuma evidência empírica tendencial que nos apontasse essa direção. Mais grave, a evidência já disponível aponta em outra direção.

E o mundo caminha hoje muito mais para uma política pública baseada em evidência empírica. Ainda não fazemos essa política no Brasil, mas seremos levados a fazê-lo. E isso vai provocar um debate no país sobre o que é evidência empírica. E eu adianto pelo negativo que evidência empírica não é apresentar um estudo, dois estudos, mas é uma meta-avaliação. Se quisermos, é só escolher uma base empírica para justificar tudo; basta recorrer à literatura para encontrar dois, três estudos. É por isso que a meta-avaliação é o instrumento fundamental da política pública: ela junta uma grande quantidade de estudos e mede a consistência de uma determinada proposta ao longo do tempo considerando o que deu certo e o que não deu, e aquilo de que não se pode dizer absolutamente nada porque o estudo tem problemas metodológicos, ou então porque não se chegou a nenhuma conclusão.

Na nossa área, isso é frequente, porque não existe experimento crucial. Não temos como testar certas ideias de forma definitiva, algo como: "agora vamos tirar a limpo essa história do bônus com um experimento controlado, e, no final, saberemos se o bônus funciona ou não". No máximo, podemos dizer: nesse experimento, nesse contexto as coisas aconteceram assim. A meta-avaliação é importante porque reúne uma coleção grande de estudos e vai dizendo: em média as coisas seguem tal tendência. Ou seja, ela cria uma tendência. Então, interessam-nos, em política pública, evidências empíricas tendenciais que persistam numa certa lógica para podermos ter algum elemento. Quando se fazem estudos isolados, qualquer coisa se justifica.

O discurso do Nigel separa a questão da eficácia dos efeitos colaterais. Até entendo que deixássemos de lado os problemas doutrinários, pois não é tão crucial discuti-los, embora tenham consequências. Mas os efeitos colaterais não podem ser separados da pergunta sobre se funciona ou não; eles são parte componente desse estudo. Na outra ponta, não vi a apresentação de dados tendenciais que pudessem sugerir que estamos no caminho correto.

O Nigel nos diz: "Precisamos de pesquisa, ainda não sabemos bem. Portanto, temos de pesquisar mais". Ou seja, deixem em suspenso essa política para trabalharmos. Mas aí temos um problema lógico, porque a proposta dele é: façamos política pública de –accountability. Ele afirma isso. E ao mesmo tempo diz: não me julguem, esperem, deixem os dados aparecerem. O que significa isso? Que essa política não tem dados? Se tivesse, ele não precisava pedir que esperássemos. Ele poderia arrolá-los de imediato: estas são as minhas bases empíricas e é aqui que estou sustentando minha proposta de política pública. Mas ele não tem dados.

O Professor pegou um estudo com onze casos, separou dois, Israel e Índia, países onde certamente a –accountability pode ter um diferencial porque seus sistemas educacionais são pouco elaborados. Aplicar na Índia a –accountability é muito provável, assim como no Brasil é provável que encontremos algum resultado nesse processo. Mas isso não é tendencial. Então, existe aí um problema de lógica. O Nigel diz: tem de fazer política pública de –accountability. Ao mesmo tempo em que afirma isso, ele diz: aguardem por minha evidência empírica antes de me julgar. E os estudos que nos traz não são estudos tendenciais. Ao contrário, os dois casos dele, destacados de um conjunto reunindo outros 13 casos, mostram que não têm efeito.

Esse é outro problema. Imagine que estamos no campo da saúde, Nigel, e o senhor é Secretário de Saúde do Município. Eu chego e digo: "Tenho uma cura para o câncer. Não me julgue imediatamente. Aguarde. Nós aplicaremos o procedimento nos postos de saúde e vamos ver. Mas acredite. Teremos bons resultados. Já apliquei. Eu me curei de um câncer, portanto, acredite em mim. E nós vamos obter dados que comprovem a nossa teoria na prática". Ora, isso implicaria um problema ético grave, porque estamos lidando com a vida de pessoas com uma proposta de política pública para a qual não temos uma evidência empírica consistente, com uma mera petição de princípios: "Acredite no princípio porque pode ser que obtenhamos uma evidência empírica favorável e, se obtivermos, aí se justifica ainda mais aplicarmos".

Então, há um problema lógico e ético no meio disso. Não sou contra fazer estudos sobre bonificação. Liberdade acadêmica! Sou contra transferir para redes inteiras propostas que não estão bem documentadas e entendidas – e o Nigel reconhece isso. Os estudos tendenciais também reconhecem isso, como da National Academy of Science,⁵ que ele mesmo nos trouxe. O estudo, intitulado Pay for –performance: evaluating performance appraisal and merit pay, chega exatamente a estas conclusões: não sabemos como fazer bonificação; os resultados são praticamente nulos. Há outros estudos apontando dificuldades, e mesmo assim queremos aplicar isso a redes inteiras. Não. Lamento muito. Há um problema ético. Não posso mexer com a vida de milhares de escolas, milhares de professores, milhares de alunos, pais de alunos com uma ideia que não tem suporte tendencial. No mínimo, o que posso reconhecer, Nigel, é que vale a pena investigar. Façam estudos, sem dúvida nenhuma. Não tenho nada contra. Estudos controlados, estudos localizados, para entendermos bem como isso funciona. E no dia em que tivermos um entendimento de como isso funciona, podemos tentar passos maiores.

Mas o problema ético de pesquisa é insolúvel: não podemos aplicar procedimentos duvidosos a redes inteiras com base em uma petição de princípio: pede-se que se acredite, que se tenha fé de que se alcançarão bons resultados. Nisso não posso acompanhá-lo, embora compartilhe da liberdade acadêmica que todos temos em nossas universidades e instituições para fazermos as pesquisas que acharmos convenientes, desde que respeitadas também as repercussões nos sujeitos. A questão da ética na pesquisa é importante.

O Nigel faz uma análise das várias críticas à teoria da –accountability e algumas ele aceita. Por exemplo, a questão de estreitamento curricular. Não o ouvi argumentar que isso não seria uma realidade. Ele até mostra o estreitamento em vários níveis: curricular etc. Só por isso, já haveria motivos suficientes para descartamos essa política até novo exame. Porque estreitamento curricular não é pouco.

No entanto, há um fenômeno novo aparecendo na área de produção de evidência empírica que precisamos analisar. É que institutos independentes e algumas fundações empresariais produzem evidência empírica sem revisão de pares acadêmicos. Porque, até agora, evidência empírica é aquela que passou por revisão de um par. Ou seja, eu tenho uma pesquisa que quero publicar, mando para uma revista, ela encaminha para um parecerista competente na área que analisa a proposta e verifica se a metodologia e o estudo são consistentes, se é possível publicar. Então, há uma revisão de par que valida o estudo. Institutos e fundações privadas, empresariais, como têm muito dinheiro, fazem relatórios vultosos, bonitos, bem impressos e dão um aspecto de verdade científica a eles. Não pode ser assim.

O Centro de Política Nacional de Educação da Universidade do Colorado em Boulder derruba um relatório desses por mês de fundações privadas – inclusive do Bill Gates. É um trabalho excepcional. Precisamos de algo assim no Brasil. Acho que a Fundação Carlos Chagas poderia fazer esse papel, ser um lugar de pesquisadores independentes que pegam relatórios de governo, relatórios de empresas, e fazem uma análise da metodologia, dos resultados etc. E que criticam quem tiver de ser criticado: "isso não tem fundamento", "está errado", "não tem metodologia adequada" etc. Há capacidade aqui dentro para isso. E tem de ser pesquisadores independentes mesmo. As universidades também podem e deveriam cumprir esse papel de independência em relação ao vasto material que circula como verdade. O relatório da McKinsey,⁶ de repente, vira verdade – e na versão resumida, em seis páginas, tal como circula nas redes. Não dá. Temos de discutir o que é evidência empírica. E temos de discutir o que é fazer pesquisa com revisão de pares, porque as coisas estão escapando de controle.

Não dá para pôr a política na praça e só depois ir atrás da evidência empírica – é isso que eu quero dizer. Então, Nigel, não dá para concordar com sua proposta, com sua solicitação de que aguardemos para julgar as políticas. Do ponto de vista acadêmico, até posso entender e concordar: vamos dar uma chance para as políticas de –accountability mostrarem sua eficácia – do ponto de vista acadêmico, dentro da universidade, usando o direito à liberdade de pesquisa. Como política pública, que mexe com a vida das pessoas, não dá, tem um problema ético nisso. Aí não tem jeito. É a questão do cigarro: mata ou não mata? Se perguntar para quem vende, diz que não. Se for ver o que acontece com quem fuma, diz que sim. Quem tem razão? São esses os problemas de evidência empírica. Não é fácil encontrar evidência empírica. Falar muito tempo no celular "cozinha o cérebro" ou não? Quem vende celular diz que é uma bobagem. Quem está do outro lado "pesquisando corpos" se pergunta: teremos de esperar aparecerem mais corpos sobre a mesa para acreditar que celular faz mal? É uma interrogação que está no ar. Portanto, não dá para fazer a política primeiro e só depois medir a consequência, examinar e dizer: "é bom", "não é bom". Porque já se produziram efeitos. E a ética tem a ver com os efeitos que produzimos ao fazer política pública.

Temos de aprender com a experiência dos outros, sim. Qual o problema de a –accountability brasileira ser diferente da –accountability americana? Idade. Só isso. A americana tem 30 anos ou mais. A brasileira começou outro dia. A –accountability americana só foi se instalar de fato em 2001, mas surgiu em 1983, com o relatório A nation at risk.⁷ Ela ganhou corpo com a Lei de Responsabilidade Educacional americana No Child Left Behind,⁸ que tem mais de mil páginas e estabelece todas as regras da –accountability dura nos Estados Unidos. Está tudo legislado. Quando se fecha uma escola, está na lei que pode ser fechada.

A nossa Lei de Responsabilidade Educacional ainda está tramitando no Congresso.⁹ Não está pronta. Estamos apenas no começo. Não é que seja diferente, mas é que os estágios de desenvolvimento da –accountability têm idades diferentes. E se não aprendermos com a experiência das políticas de –accountability mais velhas, se entendermos que isso não é conosco, que os erros dos americanos são só deles e que nós faremos certo, que garantia temos? Dá para acreditar numa petição de princípio de que nossa –accountability será diferente da americana? Pode ser que sim, pode ser que não. E se não? E se sim? Quais serão as consequências? Novamente, os problemas éticos se apresentam. Então, acho que temos de aprender com a experiência dos outros, sim. Porque não existe uma grande diferença de procedimentos, mas apenas uma questão de idade. Estamos começando. Agora, por exemplo, temos a PEC 82,¹⁰ que eu chamo de PEC da Meritocracia. Ela vai fazer uma alteração na Constituição brasileira para introduzir o princípio da meritocracia entre os outros princípios que regem o serviço público, como independência e impessoalidade.

Note-se, então, que estamos em processo de criação desses instrumentos legais. Além da PEC 82 e do PL 7.420, temos os Arranjos de Desenvolvimento Educacional – ADE –, que o Conselho Nacional de Educação já aprovou. Trata-se de uma engenhosa articulação entre a iniciativa privada no campo horizontal com a iniciativa pública no campo vertical – que também é um componente fundamental da proposta de –accountability. Isso ainda está sendo produzido. Lembro que a análise que se faz hoje da Lei de Responsabilidade Educacional americana indica que um fator decisivo da aprovação da lei no Congresso americano foi a experiência do Texas quando George Bush era governador do estado. E o Texas produziu resultados sensacionais com a –accountability. Hoje, a –accountability texana é conhecida como o "milagre do Texas". E hoje sabemos porque aqueles resultados eram milagrosos: fraude. O Texas é uma fraude. Mas uma fraude que convenceu cada um dos republicanos e democratas a contrariar seus próprios princípios unindo-se à aprovação da Lei de Responsabilidade Educacional americana.

Temos a nossa lei no Congresso. Vamos ver a que vem e o que está dizendo. Ela saiu do ministério não incluindo responsabilização por metas acadêmicas. Tentava controlar o gestor. Hoje, foram apensados a essa lei 14 projetos que estavam em tramitação na Câmara e já se discute incluir a responsabilização por metas acadêmicas. Veja-se o caso americano. A lei diz: em 2014 todos os estudantes americanos serão proficientes. Não é um ou outro. Não é uma escola ou outra. São todos. Todos serão proficientes. Durante dez anos, tentou-se convencer os sucessivos governos de que isso era uma idiotice, que não havia como garantir nem implementar a meta de "todos os alunos dos Estados Unidos proficientes até 2014". Não adiantou. Ela foi mantida. Até que, no início de 2012, o Ministro da Educação americano foi aos jornais dizer que, numa análise otimista das escolas americanas, 50% não conseguirão cumprir a lei em 2014. O Presidente Obama ficou numa situação complicada e resolveu instituir um "perdão" aos estados porque eles não vão conseguir. Nos Estados Unidos, quem não respeita a lei sofre as consequências, deixa de obter recursos. Para evitar a falência, Obama está concedendo o perdão. Mas o perdão é condicionado à aceitação da sua política educacional. Ele diz aos estados: concedo-lhes perdão, mas vocês usam a minha política na sua política educacional. Alguns estados aceitaram, outros estão batendo o pé e não querem aceitar. Essa é a situação que se criou dentro dos Estados Unidos com uma lei irrealista, sem nenhum fundamento, tirada da cabeça do Sr. Bush.

Tem mais. Eu não vi menção ao Chile. O Chile sumiu. O Chile, que sempre é lembrado por uma política de –accountability na América Latina – antiga filial dos americanos. Nós temos o Chile aqui pertinho. O que aconteceu com as políticas de –accountability dentro do Chile? Criaram um dos sistemas mais segregados do mundo. Um problema seríssimo de equidade. Cem mil pessoas na rua, entre pais e alunos, protestando. Criaram um sistema em que se tem escola pública para pobre, escola subvencionada para remediado e escola –privada para rico. Observe-se o resultado do Pisa e se verá que o nível socioeconômico acompanha o tipo de escola. A escola subvencionada chilena não é outra coisa senão reflexo da escola charter¹¹ americana. E o Chile? Sumiu?

Com o bônus em São Paulo foi a mesma coisa. Primeiro, o bônus individual não funcionou. Nova York mudou, passou de individual para escola. O Estado de São Paulo fez a mesma coisa. Nova York, então, fechou a política de bônus. O Estado de São Paulo mantém a política de bônus. Ou seja, a evolução da ideia de bônus em São Paulo é a mesma daquela de Nova York. Como estamos fazendo diferente de Nova York? Como é essa diferença de Nova York? Eles também fazem cálculo de nível socioeconômico. Não fomos nós que inventamos isso. Nível socioeconômico é básico em qualquer pesquisa da área educacional. Não é uma inovação brasileira. Aliás, nós aprendemos isso com os americanos.

Não existe para mim essa ideia de meia responsabilização e responsabilização plena ou responsabilização light e responsabilização dura. Até porque o conceito de responsabilização, segundo Kane e Staiger (2002), três elementos: testes para os estudantes e eventualmente também professores; divulgação pública do desempenho; e recompensa e sanções. Esses são os três elementos de um sistema de –accountability. O núcleo da definição está na existência de teste e na existência de recompensa. A divulgação pode ser tácita, indireta – como alguém apontava aqui ontem: "se eu divulgo só quem recebeu bônus, eu divulguei quem não recebeu". Aliás, se eu entrar no site do Inep, saberei o Ideb das escolas. Os elementos estão presentes. Que a idade da nossa –accountability não nos faça nos reconhecer plenamente na –accountability americana não significa que não a tenhamos aqui. Temos, sim. E mais, não acho que se possa destacar da –accountability a questão dos resultados e converter isso num pagamento de resultado diferente de –accountability. Os três elementos continuam presentes. O resultado sozinho, isolado, não cumpre efeito nenhum. E não há, inclusive, como estabelecer o resultado sem ter uma aferição. Então, não há como separar. Visto que não há como separar a questão da meritocracia, ela está imbricada nisso. Está automaticamente envolvida nesse processo.

Agora, uma coisa curiosa. Donald Campbell advertiu sobre tudo isso antes das políticas de –accountability, em 1976. Ele dizia: se você associa um indicador a recompensas ou consequências determinadas, vai gerar provavelmente uma corrupção do próprio indicador. Isso foi dito lá atrás. Nós não queremos dar ouvidos à advertência de Campbell, mas foi muito clara.

Voltamos ao exemplo do Chile. Estive lá há alguns anos e a discussão no Congresso era a seguinte: as escolas subvencionadas não queriam pobre, a menos que o Estado pagasse mais – porque pobre era mais caro para ensinar. Então, ninguém queria pobre. O Estado teve de flexibilizar pagamentos e pagar mais por alunos de risco. São aspectos que a política pública vai gerando. E o Chile está aí para ser analisado, com todas as repercussões. E no Brasil já temos também consequências proporcionais à idade da responsabilização que existe obviamente.

Tenho algumas outras observações a fazer no pouco tempo que me resta.

A primeira é: por que tudo isso? Por que a –accountability chega neste momento com essa força? Por que a cultura da auditoria se sobrepõe à cultura da avaliação, modulando-a, aprisionando-a? Essa mistura de –accountability com avaliação, a meu ver, vai ser danosa para a área de avaliação, porque, inclusive, não entrará na área da educação. Continuará fora da área da educação se for colocada dessa maneira. Na área da educação não existe ganhador e perdedor. A área da educação é área de direito, e área de direito não tem ganhador e perdedor. A área do mercado, sim. Eu jogo na bolsa, sei que posso ganhar e posso perder. E se perder, não tenho direito de reclamar, assinei até um contrato. Se eu investir 100 e cair para 70, o problema é meu. Faz parte do jogo. O mercado lida dessa forma. Na área da educação, não pode haver perdedor. O problema começa aí: a lógica de funcionamento não se adapta à lógica da área educacional porque não podemos conviver com perdedores.

A questão é como evitar os perdedores, como não gerar perdedores. Isso vale para o aluno, para o professor, para a escola, para todo o sistema. O que mais nos choca é levantar uma placa de Ideb na porta da escola. Mas há outras coisas muito mais duras do que isso e que são feitas no interior das escolas em nome das avaliações. Alguém me dizia outro dia que houve aumento em 100% de crianças com déficit de atenção – há indicação disso nas avaliações. Como é que aumenta assim em 100% a indicação de crianças com TDAH? Temos de investigar isso, pois parece um efeito de política. As escolas sustentam que o problema está na criança, que é ela que tem distúrbio. Um médico americano, em uma entrevista recente, dizia que não concordava muito com essa história de medicalizar os problemas das crianças, mas a sociedade americana havia optado por não gastar onde era necessário para resolver o problema. Então, só lhe restava medicar. E ele medicava. Houve uma explosão de medicalização.

Precisamos examinar por que tudo isso, entender o momento pelo qual estamos passando. Eu resumiria da seguinte maneira: o Brasil foi escolhido, ao longo dos últimos dez anos, como plataforma de investimento internacional. Hoje faz parte dos Brics, ao lado da Índia, China, Rússia e África do Sul, todos países com alta densidade de mão de obra. E sabemos que, para manter um negócio rentável, é preciso encontrar mão de obra barata. Há outras formas: introduzir inovações para reduzir custos. Mas o grosso da tropa é que conta, e é preciso dar um jeito de diminuir o custo médio salarial. Por isso, em Nova York, uma empresa que faz avaliação cardíaca prefere mandar o resultado por internet para ser examinado em Taiwan, onde um médico ganha a metade do que ganha um médico americano. Feito o diagnóstico, ele é remetido de volta a Nova York onde é impresso e entregue ao paciente. O que importa é reduzir custo.

Há implicações gravíssimas para a área da educação quando se coloca a lógica empresarial dentro da escola, dentro da área educacional. O que significa para uma empresa educacional manter-se no mercado? Ela tem de derrubar custos. Como é que está a discussão americana? Hoje o problema das escolas charters passou para outro patamar. Uma escola charter – que em Washington responde por 43% da rede pública e em Nova York por quase 50% – está se virtualizando para poder ser competitiva. Há 500, 600 alunos dependurados em um professor on-line. Ela virtualizou porque a única maneira de ser competitivo na área educacional é aumentar o tamanho de turmas e precarizar o professor.

São essas duas lógicas que permitem ser competitivo. Então, tem consequência quando se diz que vamos introduzir a lógica privada dentro da área educacional, porque teremos de seguir as regras do mercado, e elas são implacáveis: ou as seguimos ou vamos à falência. Para não falir, introduz-se essa lógica dentro das empresas educacionais, porque se as empresas administrarem as escolas públicas precisarão ter maior número de turmas e precarizar o professor. A Teach for America joga 10 mil professores precarizados no mercado americano, com cinco semanas de treinamento – em cinco semanas tem um professor pronto para jogar no mercado. Joga 10 mil deles durante o ano para abastecer o mercado, reduzir custo e poder sustentar isso.

Voltando à questão econômica, o fato é que o Brasil, nesses últimos dez anos, por uma questão de conceito de desenvolvimento e posição internacional, terminou sendo plataforma de investimento e recebeu mais de 70 bilhões de investimentos produtivos diretos, que é mais do que recebeu nos últimos 60 anos. Esse dinheiro que entra tem de ser valorizado. E há um problema: a estratégia que o Brasil seguiu foi de crescer gerando elevação salarial. Daí termos jogado 40 milhões de novos consumidores no mercado – que alguns chamam de nova classe média, mas há uma discussão muito grande sobre isso. Então, há 40 milhões de novos consumidores que tiveram seu salário melhorado. Os economistas chamam isso de armadilha da renda média. Por que armadilha da renda média? Porque, obviamente, quando se eleva a renda média, perde-se competitividade internacional, porque o salário fica mais caro e não se consegue ganhar da China, ganhar da Rússia, onde a mão de obra é mais barata, a média salarial é menor.

O Brasil fez esse movimento e não é possível dar marcha a ré, porque isso causaria um problema sério: provavelmente perda de eleição. Qual a saída? Aumento de produtividade – não tem jeito. Para –aumentar a produtividade, tem de introduzir tecnologia e tem de mexer com a educação do trabalhador, com a formação dele. Muito provavelmente, hoje a questão educacional mudou de status. Se até agora podíamos rolar com a barriga a questão da educação, porque as estratégias de valorização do capital eram outras, agora só resta a produtividade, já que os bolsões de miséria, que poderiam ser usados, estão escasseando. O campo só tem 16% de pessoas, a mulher já está incorporada na produção, cerca de 75%. Portanto, não tem mais como empurrar com a barriga. Está aí o ensino médio explodindo. Isso significa que os empresários consideram hoje que a educação é algo muito sério para ficar só na mão de educadores profissionais. E eles vão pôr a mão nisso, e já estão pondo a mão nisso com a ótica deles. E na ótica da empresa é –accountability que faz funcionar, porque precisa de resultados rápidos, inclusive.

Então, temos aí um fechamento de interesses entre os políticos, que precisam de respostas rápidas a cada dois anos para a eleição. Na outra ponta, temos o movimento na economia que precisa acelerar os processos de formação – não sou contra, não estou falando a favor ou contra, estou constatando. Acho que os empresários têm direito a influenciar as políticas educacionais. Mas não têm direito de fazer política só para eles, porque tem mais gente na sociedade além dos empresários. Obviamente, eles são legítimos participantes dessa política – mas não para defini-la sozinhos, porque assim não é democrático. Se colocarmos a educação nas mãos de um fragmento, de uma facção da sociedade, que são os empresários, não é democrático. Não podemos deixar que uma facção da sociedade defina qual a política pública. Ele pode participar desse processo. Mas, além de preparar para a empresa, para a indústria, para as necessidades da indústria, existem outras necessidades do país para a sua juventude, outros objetivos que temos de garantir na formação da nossa juventude. Portanto, temos de abrir um debate muito maior do que só essa questão da implicação econômica. Temos de discutir o que entendemos por uma boa educação.

No texto,¹² faço uma sugestão. A alternativa à pressão é aquela que Bryk¹³ ensaiava em Chicago nos anos 1990; é a saída pela "confiança relacional" – um conceito criado por ele que envolve vários elementos e implica lidar com as relações do interior das organizações. Ou seja, se não cuidarmos das relações que acontecem no interior das escolas entre alunos, entre professor e alunos, entre professor e professor, entre diretor e professor, diretor e aluno – relações muito complexas para serem administradas pura e simplesmente pela incidência de pressão –, se isso não for adequadamente tratado, não se liberam forças positivas, consistentes e duradouras no interior da escola.

Querem partir para a pressão, querem colocar a –accountability em cima de um sistema falido? Porque ninguém discute o "professor horista" neste país. Eles estão no ensino médio e no fundamental da 5ª à 9ª série. Professor horista é uma invenção pela qual um professor atende 700 alunos em uma semana. O que se pode fazer com ele? Envolvê-lo em quê? Só se for na pressão mesmo. Mas isso impede que se faça um trabalho dentro da escola. Isso não é discutido no Brasil. O professor horista é uma excrescência que é aceita. Dados que o professor Neto e outros¹⁴ trazem sobre a infraestrutura das escolas são alarmantes. Aliás, achei fantástico o estudo. Só o Neto para inventar uma "proficiência de infraestrutura" – acho genial isso. Fantástico. Eles mostram que há 48% das escolas no nível de infraestrutura elementar. E na hora de fazer a política, esquecemos tudo isso, colocamos pressão no sistema. Os estudos mostram que 50% a 60% das variáveis que afetam a proficiência dos alunos são externas às escolas. Resta quanto para elas: 40%, 50%? Desse total, 17% a 20% dizem respeito ao professor. Queremos atuar em 17% ou 20% – sendo generoso – dos efeitos que definem a aprendizagem, e deixamos os outros 60% debaixo do tapete. Reconhece-se que é assim, os estudos disponíveis dizem que é assim, mas, na hora de fazer a política, aumenta-se a pressão sobre o professor.

Nessa linha, temos a definição do pagamento do professor pelo resultado do aluno nos testes, algo que o Brasil não faz ainda, por uma questão de idade de –accountability, mas que os americanos estão aplicando mesmo contra o parecer dos melhores estatísticos e avaliadores do país, os quais se manifestaram no New York Times, em uma carta pública, denunciando que não há estabilidade dos modelos de cálculo de valor agregado para efeitos de pagamento de professor. Mas os estados implementam porque têm fé. Não é evidência empírica, é fé. Em Nova York, decidiu-se agora que 60% do pagamento dos professores do estado – posso estar confundindo porque cada estado tem um número, vai de 40 a 60% – serão baseados nos testes dos alunos. O salário do professor é definido a partir dos testes dos alunos, com os melhores estatísticos e teóricos de medida do país, nos jornais, dizendo que não há base para se fazer esse cálculo estável.

Há ainda o escândalo de Los Angeles, onde os professores foram ranqueados no jornal Los Angeles Times – essa história de governo não ranquear não é invenção brasileira também, é cópia de lá. Por que eu vou ranquear e levar pancada se posso disponibilizar para o jornal ranquear? O Los Angeles Times fez isso, publicou a lista dos 8 mil professores de Los Angeles com sua avaliação. O pessoal de Colorado partiu do modelo de análises deles e mostrou que havia variações brutais no sistema que mudavam radicalmente a posição dos professores.

Nova York não se contentou, pegou seus 18 mil professores, ranqueou e publicou no New York Times. E destruíram de novo o ranqueamento feito em Nova York. Mas não adianta. É fé. Não é ciência. Sabe como isso é conhecido lá? Junk science, é lixo, garbage.

Então, nós temos de ter cuidado com as políticas que estamos implantando por aqui. Não é porque é bom para os americanos que é bom para o Brasil. Até porque nem é tão bom assim nem para eles. Acho que essa fase já passou há algum tempo.

Recebido em: JANEIRO 2013

Aprovado para publicação em: MARÇO 2013

• BARBER, Michel; MOURSHED, Mona. How the world's best-performing schools systems come out on top McKinsey & Company, set. 2007.
• CAMPBELL, Donald T. Assessing the impact of planned social change 1976. Disponível em: <http://portals.wi.wur.nl/files/docs/ppme/Assessing_impact_of_planned_social_change1.pdf>. Acesso em: 15 fev. 2011.
• ÉRNICA, Mauricio; BATISTA, Antônio A. Gomes. Educação em territórios de alta vulnerabilidade social na metrópole: um caso na periferia de São Paulo: Cenpec, 2011. (Informe de Pesquisa, n. 3)
• FREITAS, Luiz Carlos (Org.). Dossiê Políticas públicas de responsabilização na educação. Educação & Sociedade, Campinas, v. 33, n. 119, abr./jun. 2012.
• GALL, Norman; GUEDES, Patrícia Mota. A reforma educacional de Nova York: possibilidades para o Brasil. São Paulo: Fundação Itaú Social, 2009. Disponível em: <http://pt.braudel.org.br/noticias/arquivos/downloads/a-reforma-educacional-de-nova-york-possibilidades-para-o-brasil.pdf>. Acesso em: 14 fev. 2011.
• KANE, Thomas J.; STAIGER, Douglas O. The promise and pitfalls of using imprecise school accountability measures. Journal of Economic Perspectives, v. 16, n. 4, p. 91-114, 2002.
• MILKOVICH, George T.; WIGDOR, Alexandra K. (Org.). Pay for performance: evaluating performance appraisal and merit pay. Committee on Performance Appraisal for Merit Pay, National Research Council, Washington: The National Academies Press, 1991.
• NEAL, Dreak; SCHANZENBACH, Diane W. Left behind by design: proficiency counts and test-based accountability. Review of Economics and Statistics, Cambridge, v. 92, n. 2, p. 263-283, 2010.
• UNITED STATES. Congress. No child left behind act Washington, 2001. Disponível em: <http://www.state.nj.us/education/grants/nclb/>. Acesso em: 15 abr. 2013.
• UNITED STATES. The Commission on Excellence in Education. A nation at risk: the imperative for educational reform. Washington, D.C, 1983.

1

Menção ao professor Dalton Francisco de Andrade, que foi titular do Departamento de Informática e Estatística da Universidade Federal de Santa Catarina, conhecido por sua atuação em relação aos métodos estatísticos para avaliação educacional, área na qual se tornou referência por seu interesse e conhecimento sobre a Teoria da Resposta ao Item – TRI –, os modelos lineares hierárquicos e a análise de dados longitudinais. (Nota da Apresentadora.)

2

Menção ao doutor Ruben Klein, consultor da Fundação Cesgranrio com ampla experiência e atuação na área de estatística e que tem exercido um papel fundamental na consolidação dos sistemas de avaliação em larga escala no Brasil. (N. da A.)

3

Ver

Educação & Sociedade (2012).

4

O autor se refere ao estudo "Educação em territórios de alta vulnerabilidade social na metrópole: um caso na periferia de São Paulo», de Érnica e Batista (2011). (N. da A.)

5

Ver Milkovich e Wigdor (1991).

6

Trata-se do relatório

How the world's best-performing schools systems come out on top (BARBER; MOURSHED, 2007). (N. da A.)

7

Ver United States (1983).

8

Ver United States (2001).

9

Trata-se do Projeto de Lei n. 7.420, de 2006, da professora Raquel Teixeira, que "dispõe sobre a qualidade da educação básica e a responsabilidade dos gestores públicos na sua promoção". (N. da A.)

10

Referência à Proposta de Emenda à Constituição n. 82, de 2011, de autoria de Edmar Arruda (PSC/PR), em tramitação no Congresso, que propõe a alteração do artigo 206 da Constituição Federal para inserir o inciso IX prevendo a meritocracia como um dos princípios norteadores do ensino público no Brasil. (N. da A.)

11

As escolas

charter são construídas e geridas por entidades privadas, mas o Estado arca com as despesas relativas a matrícula e mensalidades dos alunos e se responsabiliza por monitorar seu desempenho. (N. da A.)

12

Referência do autor ao texto que enviou como base de sua fala no

Ciclo de debates. O texto, intitulado "Caminhos da avaliação de sistemas educacionais no Brasil: o embate entre a cultura da auditoria e a cultura da avaliação" será publicado brevemente em livro. (N. da A.)

13

Referência ao pesquisador Antony Bryk, presidente da The Carnegie Foundation e ex-docente da Universidade de Chicago e da Universidade de Stanford. (N. da A.)

14

Referência à pesquisa realizada por Joaquim José Soares Neto, Girlene Ribeiro de Jesus, Camila Akemi Karino, da Universidade de Brasília – UnB –, e Dalton Francisco de Andrade, da Universidade Federal de Santa Catarina – UFSC –, intitulada

Estudos de fatores associados que

influenciam o aprendizado

estudantil,que tem como um dos seus produtos a escala mencionada. (N. da A.)

Datas de Publicação

• Publicação nesta coleção
  25 Jun 2013
• Data do Fascículo
  Abr 2013