Pressupostos educacionais e estatísticos do Ideb

Ideb's educational tenets and statistics

Présuppositions scolaires et statistiques d'Ideb

ARTIGOS

Pressupostos educacionais e estatísticos do Ideb

Ideb's educational tenets and statistics

Présuppositions scolaires et statistiques d'Ideb

José Francisco Soares^I; Flávia Pereira Xavier^II

^IFaculdade de Educação da Universidade Federal de Minas Gerais (UFMG). Belo Horizonte (MG) – Brasil. Contato com os autores: <[e-mail]>

^IIFaculdade de Educação da Universidade Federal de Minas Gerais (UFMG). Belo Horizonte (MG) – Brasil

RESUMO

O Índice de Desenvolvimento da Educação Básica (Ideb) assume que as escolas devem ser avaliadas não só pelos seus processos de ensino e gestão ou pelos recursos disponíveis, mas também pelo aprendizado de seus alunos sobre as capacidades básicas e pela sua trajetória escolar. O primeiro objetivo deste artigo é, através da descrição dos algoritmos do Ideb, explicitar sua concepção de qualidade e de equidade de escolas. Isso permite identificar os efeitos diretos e indiretos que seu uso induz nas escolas e que reorientam suas políticas e práticas, buscando sua maximização. Em seguida, mostra-se que algumas opções feitas na sua concepção têm consequências indesejáveis. Diante disso, o artigo traz sugestões de aperfeiçoamento, junto com propostas de mudanças na forma de divulgação e uso, que tornam o Ideb mais relevante pedagogicamente.

Palavras-chave: Ideb. Educação básica. Indicadores educacionais.

ABSTRACT

IDEB (Basic Education Quality Indicators) regards that schools should be evaluated not only by their teaching and management processes or by the resources available to them, but also by the success of their students on learning the basic skills as well as their schooling trajectories. The first objective of this article, achieved by describing IDEB's algorithms, is to present the concepts of quality and equity of schools, latent in IDEB's definition. This allows the identification of the direct and indirect effects of IDEB's use in schools that reorient their policies and practices, seeking their maximization. Then it is shown that some choices made in its design have undesirable pedagogical consequences. Lastly, this paper presents suggestions on how to make IDEB more pedagogically relevant, along with proposals for improving its dissemination and use.

Key words: Ideb. Basic Education. Educational indicators.

RÉSUMÉ

L'Index de Développement de l'Education de Base (Ideb) considère que les écoles devraient être évaluées non seulement par l'enseignement et par la gestion ou les ressources disponibles, mais aussi par l'apprentissage des compétences de base des élèves et leurs parcours scolaire. Le premier but de cet article est celui d'expliciter, par la description des algorithmes de l'Ideb, sa conception de qualité et d'équité d'écoles. Cela permet d'identifier les effets directs et indirects provoqués par son utilisation dans les écoles qui réorientent leurs politiques et leurs pratiques, en cherchant sa maximisation. Ensuite, on montre que certains choix faits dans sa conception ont des conséquences indésirables. Finalement, cet article présente des suggestions d'amélioration, ainsi que des propositions de modification de la forme de divulgation et d'utilisation qui rendent l'Ideb plus pertinent du point de vu pédagogique.

Mots-clés: Ideb. Éducation de base. Indicateurs de l'éducation.n.

Introdução

A União, os estados e os municípios brasileiros estão usando, cada vez com mais frequência, o desempenho de seus alunos em avaliações externas da aprendizagem para orientar suas políticas educacionais. Esses resultados, por sua vez, têm sido sintetizados em indicadores globais de qualidade da educação, entre os quais o mais importante é o Índice de Desenvolvimento da Educação Básica (Ideb), introduzido pelo Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep) em 2006.

O Ideb tornou-se a forma privilegiada e frequentemente a única de se analisar a qualidade da educação básica brasileira e, por isso, tem tido grande influência no debate educacional no país. Sua introdução colocou no centro desse debate a ideia de que hoje os sistemas educacionais brasileiros devem ser avaliados não apenas pelos seus processos de ensino e gestão, mas principalmente pelo aprendizado e trajetória escolar dos alunos. A valorização dos resultados estava ausente nas análises até então dominantes da educação básica brasileira, que eram centradas na questão de expansão dos sistemas. Nessas abordagens a solução para os problemas educacionais era sempre a expansão de algum aspecto dos sistemas educacionais: mais horas-aula, mais etapas obrigatórias, mais recursos, mais escolas e mais professores. O Ideb, sem questionar a necessidade de novos recursos e expansões, coloca o aprendizado e a regularidade na trajetória escolar dos alunos como elementos essenciais de um sistema educacional.

A importância da consideração de resultados para a análise dos sistemas educacionais ficou ainda mais evidente com a introdução do Plano de Metas Compromisso Todos pela Educação, estabelecido pelo Decreto n. 6.094, de 24 de abril de 2007 (BRASIL, 2007), cuja primeira diretriz é "estabelecer como foco a aprendizagem, apontando resultados concretos a atingir".

A ideia de que o sistema educacional deve ser analisado pelos seus resultados tem origem nas análises educacionais realizadas com os dados coletados nos censos demográficos. Rigotti (2004) mostra como estão redigidas as questões relativas à educação nos diferentes censos. O trabalho de Fletcher e Ribeiro (1989) mostra, usando dados censitários, que a repetência era a grande característica do sistema brasileiro de educação básica e não a evasão. Esses autores cunharam o termo "pedagogia da repetência", conceito que teve profundo impacto nas políticas para a educação fundamental. Uma dessas influências foi a reformulação do Censo Escolar, hoje um refinado sistema de coleta de dados sobre cada aluno matriculado. Com os dados, obtidos nos censos demográfico e escolar, calculam-se indicadores de analfabetismo, de acesso e cobertura, resultados fundamentais para a análise de um sistema de educação básica. Um indicador especialmente importante para o conhecimento de um sistema educacional, mas que exige análises específicas, é o fluxo de seus alunos (KLEIN, 2006).

Com a introdução do Sistema de Avaliação da Educação Básica (Saeb),¹ a ideia de que, além dos indicadores de rendimento, uma medida de aprendizado dos alunos deveria ser usada para o monitoramento do sistema foi ganhando espaço. Isso culminou, em 2005, na criação da Prova Brasil e, em 2006, na introdução do Ideb. Uma justificativa nunca explicitada para o uso de resultados de rendimento e aprendizado no monitoramento de sistemas de educação básica é que apenas dessa forma o Estado fica sabendo se o direito à educação de seus cidadãos está sendo atendido. Na ausência de um sistema como esse, o direito público subjetivo estabelecido no texto constitucional não pode ser monitorado e, eventualmente, exigido.

O objetivo deste artigo é explicitar as opções metodológicas feitas na construção do Ideb, bem como os efeitos diretos e indiretos que ele induz quando a escola decide buscar, por meio de políticas e práticas internas, a sua maximização. Como qualquer indicador, o Ideb faz um recorte e uma redução do foco de análise e, assim, é importante identificar e discutir como esse indicador define a qualidade e a equidade dos sistemas educacionais brasileiros. Como será mostrado, se o Ideb, como definido atualmente, for o único indicador usado para guiar as políticas educacionais de educação básica e, no caso otimista de que suas metas sejam atingidas, podemos ainda assim não ter um sistema educacional que garanta o direito constitucional de educação. Essa constatação é importante, principalmente, no momento em que se discute o novo Plano Nacional de Educação (PNE).

Este artigo está organizado da seguinte maneira. Na primeira seção mos–tram-se as opções metodológicas usadas para tratar estatisticamente os indicadores de rendimento e aprendizado usados para a definição do Ideb. A segunda seção introduz uma interpretação normativa desse índice. Na terceira seção discute-se a forma como o Ideb trata a questão da exclusão educacional. Finalmente, conclui-se com uma resenha das principais críticas que o Ideb tem recebido. A abordagem deste artigo é empírica. Os dados dos quatro ciclos de cálculo do Ideb são utilizados para descrever e refletir sobre as características desse índice.

O Índice de Desenvolvimento da Educação Básica (Ideb)

O objetivo desta seção é explicitar as opções metodológicas feitas na construção do Ideb e os respectivos algoritmos. O entendimento desses algoritmos é essencial para se construir uma análise crítica do indicador.

Os componentes do Ideb

O Ideb de uma escola ou de uma rede de ensino é definido como o produto de um indicador de desempenho, tomado como o nível médio da proficiência dos alunos da escola ou sistema, obtido na Prova Brasil, por um indicador de rendimento, definido como o valor médio das taxas de aprovação da escola ou sistema, obtido no Censo Escolar. O valor do Ideb cresce com melhores resultados do aprendizado dos alunos e cai se as taxas de aprovação também caem. Um dos motivos da grande respeitabilidade que o Ideb obteve é o fato de agregar, em um único indicador, uma medida de desempenho e outra de rendimento, dimensões fundamentais para uma análise relevante de sistemas de educação básica.

a) O indicador de desempenho

O desempenho de uma escola é definido, para o cálculo do Ideb, como a média das proficiências em Leitura e Matemática, obtidas pelos seus alunos na Prova Brasil. Como as escalas das medidas das duas competências são diferentes, faz-se uma padronização dessas medidas antes de se calcular a sua média. A metodologia do Ideb assume que, para tornar comparáveis as proficiências de Leitura e Matemática, basta fazer com que variem no mesmo intervalo. Para isso, utiliza o seguinte algoritmo:

Onde os limites inferiores e superiores, apresentados na Tabela 1, são os valores situados a três desvios-padrão acima e abaixo da proficiência média de todos os alunos que fizeram o Saeb de 1997, ano em que a escala foi definida.

Consideremos uma escola que oferece apenas as primeiras séries do ensino fundamental e cujos alunos da 4ª série (5º ano) obtiveram na Prova Brasil de 2011 proficiência média de 206,92 e 184,52 em Matemática e Leitura, respectivamente. A proficiência padronizada dessa escola é obtida da seguinte maneira:

A multiplicação por 10 coloca a proficiência padronizada no intervalo 0 a 10, usado habitualmente para atribuição de notas em trabalhos escolares.

Pode-se mostrar que, aritmeticamente, a proficiência padronizada da escola é a média das proficiências padronizadas de seus alunos. Ou seja, para se obter a proficiência padronizada de cada escola, pode-se primeiramente padronizar, usando-se o algoritmo apresentado na equação (1), a proficiência de cada um de seus alunos e, em seguida, tomar a média dos valores resultantes como a proficiência padronizada da escola.

Como as médias variam muito menos do que observações individuais, embora as proficiências padronizadas dos alunos assumam valores entre 0 e 10, as proficiências padronizadas das escolas estão concentradas em um intervalo mais restrito. Assim, do ponto de vista empírico, é incorreto dizer que o Ideb varia de 0 a 10, já que a proficiência padronizada de uma escola atinge o valor máximo de 10 apenas em uma situação muito improvável: aquela em que todos os seus alunos tiveram, em Leitura e em Matemática na Prova Brasil, proficiências iguais aos limites superiores apresentados na Tabela 1. Analogamente, uma escola tem proficiência padronizada igual a 0 apenas se todos os seus alunos tiverem a mesma proficiência, desde que esta seja igual ao limite inferior da Tabela 1.

Usando-se os dados da Prova Brasil de 2011, as proficiências padronizadas das escolas de quinto ano variam de acordo com o histograma do Gráfico 1. Como previsto, essas proficiências cobrem apenas uma parte do intervalo [0, 10].

O Gráfico 1 mostra que não se pode usar, para a interpretação da proficiência padronizada, a experiência adquirida com a escala de atribuição de notas em trabalhos escolares. Nessa situação, sabe-se que notas acima de oito são boas e abaixo de quatro são ruins. Aqui os valores acima de oito não ocorrem e, entre valores abaixo de quatro, há valores possíveis e outros quase impossíveis.

Uma consequência menos conhecida e mais intrigante do processo de padronização utilizado na construção do Ideb é que as proficiências padronizadas em Matemática das escolas são, frequentemente – em 2011 foram 94,8% –, muito maiores do que as proficiências padronizadas em Leitura. Isso é fruto do conhecido fato de que, na Prova Brasil, as proficiências em Matemática são expressas por números maiores do que aqueles usados para Leitura. O algoritmo de padronização, principalmente no nono ano (antiga oitava série), não leva esse fato em consideração, pois prescreve valores iguais, como se pode observar na Tabela 1.

Assim, as proficiências padronizadas de Matemática são, em geral, maiores que as de Leitura. Como consequência, a proficiência média, usada na construção do Ideb, é mais influenciada pela proficiência em Matemática. Em outras palavras, o indicador de aprendizado do Ideb assume, equivocadamente, que os alunos brasileiros de ensino fundamental sabem mais Matemática do que Leitura. Esse diagnóstico não é um retrato fiel da realidade educacional, quando esta é considerada sob o prisma da interpretação pedagógica dos testes da Prova Brasil ou dos resultados de outras avaliações.

Mesmo depois de se colocar as duas proficiências variando no mesmo intervalo, as escalas de Leitura e Matemática não são completamente comparáveis. Existem muitos algoritmos que poderiam ser usados para tornar as duas proficiências, de fato, comparáveis e, portanto, dar sentido ao cálculo de um valor médio. Por exemplo, o método denominado "Equipercentil" cria uma tabela de equivalência dos escores entre as duas escalas, equalizando os valores dos percentis de cada uma. O leitor interessado encontra a descrição desse método em Petersen, Kolen e Hoover (1989).

b) O indicador de rendimento

O conceito de rendimento é usado no âmbito das estatísticas educacionais para sintetizar a experiência de aprovação dos alunos de uma escola ou sistema de ensino. Ao fim de um ano letivo, cada aluno matriculado, que não foi formalmente transferido ou faleceu, é colocado em uma de três categorias. Na categoria de aprovados são classificados os alunos que, ao final do ano letivo, preencheram os requisitos mínimos de desempenho e frequência, previstos em legislação. Os reprovados são os alunos que, ao final do ano letivo, não preencheram os requisitos mínimos de desempenho e/ou frequência previstos em legislação. Os alunos que deixaram de frequentar a escola, tendo sua matrícula cancelada, são classificados na categoria de abandono.

A taxa de aprovação é definida como a razão entre o número de aprovados e a soma dos alunos nas três categorias. Detalhes podem ser encontrados na nota técnica do Inep (BRASIL, 2009a). A soma das taxas de aprovação, reprovação e abandono é 100%. Portanto, se a taxa de abandono é alta, tanto a taxa de aprovação quanto a de reprovação podem ser baixas, ao mesmo tempo.

O indicador de rendimento usado no Ideb pode ser interpretado como a razão entre o número de anos da etapa e o número de anos letivos que um aluno típico da escola gasta para completar uma série. Em uma situação ideal, onde não haja nem reprovação nem abandono, esse valor seria, naturalmente, igual a 1, ou seja, apenas um ano letivo seria gasto para que os alunos completassem cada série ou ano escolar. No entanto, na maioria das situações reais há reprovações e abandonos. Diante disso, o número de anos letivos para que o aluno típico de uma escola complete uma série é sempre maior que 1. Isso ocorre porque os reprovados e os que abandonaram a escola deverão repetir a série, aumentando-se, assim, a média de anos letivos de estudo necessários para que todos os alunos da escola completem cada série ou ano escolar.

Pode-se mostrar matematicamente que o número de anos letivos necessários para que um aluno típico de uma escola complete cada série é dado pelo inverso da taxa de aprovação da respectiva série. Diante disso, usa-se o inverso da média aritmética dos inversos das taxas de aprovação para sintetizar o rendimento da escola. No jargão da Estatística, o rendimento de uma escola no Ideb é a média harmônica das taxas de aprovação dos quatro ou cinco anos que compõem cada uma das etapas do ensino fundamental. Embora essa escolha seja completamente adequada, o uso da média harmônica, opção raramente usada em análises estatísticas, torna o entendimento do processo de cálculo do rendimento mais difícil.

Novamente, o estudo de um caso particular é necessário para o completo entendimento das opções feitas. Na Tabela 2, apresentamos o cálculo para uma escola com cinco séries.

Considerando-se a taxa de aprovação do primeiro ano – 0,824 –, são necessários 1/0,824 = 1,21 anos para que um aluno típico dessa escola complete o primeiro ano. A aplicação desse algoritmo aos outros anos escolares produz os valores da última linha da tabela. O número de anos letivos de estudo necessários para completar as cinco séries é: (1,21+1,26+1,28+1,03+1,13) = 5,91. Finalmente, o indicador de rendimento é obtido pela divisão do número de séries ou anos letivos que seriam necessários, caso a aprovação fosse total, pelo número de anos realmente necessários para completar a etapa (taxa de aprovação): 5/5,91 = 0,8453.

O indicador de rendimento é sempre um número entre 0 e 1 e a média utilizada no cálculo do rendimento não é ponderada. Ou seja, não considera no cálculo do indicador que cada uma das taxas utilizadas referentes a distintos anos escolares é baseada em diferentes números de alunos.

Cálculo do Ideb

O Ideb sintetiza os indicadores de rendimento e desempenho em um único número, através do produto dos dois indicadores. Ou seja:

Como o indicador de rendimento é um número menor que 1, o Ideb é sempre menor que o indicador de desempenho. Ou seja, o Ideb penaliza a escola que usa a reprovação como estratégia pedagógica, atribuindo-lhe valores mais baixos.

Como consequência da agregação dos dois indicadores em um único número, cria-se, implicitamente, uma equivalência entre diferentes combinações dos indicadores de desempenho e rendimento. A Tabela 3 mostra possíveis combinações dos dois indicadores para se obter um Ideb de valor 6. Por exemplo, a coluna 5 mostra que uma taxa média de reprovação de 14% com um desempenho de 6,98 é equivalente a um desempenho de 6, se a taxa de reprovação for zero.

O raciocínio de que um resultado pode compensar o outro está presente na metodologia do Ideb em vários pontos: um melhor aprendizado de um aluno compensa o pior aprendizado de outro aluno na mesma escola; um melhor desempenho em Leitura compensa um aprendizado insuficiente em Matemática; e um melhor aprendizado de alguns compensa a reprovação de outros. Essas substituições são criticáveis do ponto de vista do direito à educação, referencial teórico implícito deste texto, que considera o aprendizado como um direito de todos e de cada um dos alunos, não de alunos típicos ou médios.

Interpretação normativa

Em muitos textos sobre o Ideb, principalmente os publicados na grande mídia, é recorrente a ideia de que se trata de um indicador de fácil compreensão, já que usa valores entre 0 e 10. Com isso, assume-se que vale para o Ideb o bom senso acumulado nas avaliações escolares, em que notas acima de 9 são excelentes e abaixo de 5 são muito ruins. Entretanto, como visto na seção sobre O indicador de desempenho, o valor do Ideb está concentrado em uma parte menor do intervalo de 0 a 10.

Na realidade, a escala do Ideb tem características difíceis de serem apreciadas, em um primeiro momento, por um não especialista. Por exemplo, um Ideb de 4,5 é um valor médio, não baixo, e está longe e não perto do valor 6. Isso é consequência do fato de que os valores extremos da escala, acima de 6 e abaixo de 3, são raros e valores acima de 8 e abaixo de 2 são quase impossíveis.

O valor 6 foi escolhido como valor de referência para o Ideb. A heurística dessa escolha está descrita na nota técnica do Inep (BRASIL, 2009b). Sucintamente, com algumas hipóteses, esse seria o valor que o Ideb deveria ter se os alunos brasileiros estivessem todos no nível 3 do Programa Internacional de Avaliação de Alunos (Pisa) e o indicador de rendimento fosse fixado em 0,96. Esse fato tem sido descrito como se um Ideb igual a 6 significasse uma escola de "primeiro mundo". Todavia, isso só seria correto se o currículo brasileiro, cujo aprendizado é verificado pela Prova Brasil, fosse equivalente ao currículo dos países da Organização para a Cooperação e Desenvolvimento Econômico (OCDE), o que não ocorre atualmente.

O problema de se escolher um valor de referência para o Ideb é equivalente ao de determinar uma distribuição de referência para as proficiências dos estudantes de uma escola. Delgado et al. (2013), também usando os resultados do Pisa, mas com opções metodológicas diferentes, criaram uma distribuição de referência que, se usada para calcular o Ideb, com o indicador de rendimento também fixado em 0,96, resultaria em um Ideb de 6,5. Essa distribuição de referência reproduz as metas do "Todos Pela Educação".² No entanto, a existência de metas diferentes, baseadas nos mesmos resultados da Prova Brasil, tem criado dificuldades, pois os dois conjuntos de metas são amplamente divulgados, sendo um mais exigente do que outro.

Faixas do Ideb

Para se interpretar pedagogicamente um valor específico do Ideb, é preciso mostrar como seus valores estão associados com os níveis das proficiências dos alunos para os quais existem interpretações pedagógicas. Estas interpretações expressam o que conhecem e sabem fazer os alunos alocados nos diferentes níveis. Soares (2009), partindo dos valores definidos pelo movimento "Todos pela Educação", estabeleceu quatro níveis de desempenho apresentados na Tabela 4.

Para se transformar esses níveis de desempenho em valores do Ideb, é preciso primeiro observar que a maior nota de um aluno que está no nível abaixo do básico é 150 em Leitura e 175 em Matemática. Assumindo-se que todos os alunos de uma escola tenham essas notas e que seu indicador de rendimento seja 0,96, o mesmo valor usado por Fernandes (2007) para fixar as metas do Ideb, podemos obter o valor do Ideb para essa escola.

Com hipóteses similares, criaram-se cinco faixas para o Ideb da seguinte maneira: o nível "baixo" para o Ideb foi escolhido para retratar a situação em que o desempenho dos alunos da escola é inferior ao limite escolhido para o nível básico dos alunos, tanto em Leitura quanto em Matemática (Tabela 5). As outras faixas foram escolhidas fixando-se a média das proficiências dos alunos nos seguintes valores: para a faixa "médio baixo", nos valores iguais aos limites inferiores do nível básico na Tabela 5; para a faixa "médio", em valores situados no meio do nível básico; para a faixa "médio alto", nos valores correspondentes ao limite inferior do nível adequado e, finalmente, para o nível "alto", em valores que estão no meio do nível "adequado". A Tabela 6 sintetiza essas escolhas.

A Tabela 6 mostra a grande evolução do valor do Ideb das escolas públicas ao fim da primeira etapa do ensino fundamental (quinto ano). Pode-se notar que, ao longo dos anos, há um forte decréscimo de escolas na faixa mais baixa e um crescimento na faixa média do Ideb.

A criação dessas faixas do Ideb permite verificar também que a ocorrência de valores altos do Índice é compatível com um número muito alto de alunos com desempenhos medíocres, ou seja, nos níveis abaixo do básico e no básico, como mostrado pela Tabela 7.

Apenas valores do Ideb acima de 6,5 (Alto) não são compatíveis com muitos alunos de desempenho medíocre.

Análise crítica do Ideb

A criação do Ideb significou uma grande e positiva mudança no debate educacional brasileiro. Só a partir da sua criação é que a ideia de que as escolas devem também ser avaliadas pelo aprendizado de seus alunos, expresso pelo desempenho, entrou definitivamente nesse debate. Em outras palavras, com o Ideb a expressão concreta do direito a aprender passa a ser a evidência fornecida pelo resultado da Prova Brasil. Rapidamente, o Ideb tornou-se o único indicador da qualidade do sistema de ensino fundamental brasileiro, passou a orientar políticas públicas educacionais, impactou a cobertura da mídia dos assuntos educacionais e, ainda que mais lentamente, trouxe novas dimensões na pesquisa educacional.

O sucesso do Ideb foi de tal ordem que a maldição da Lei de Campbell passou a se aplicar a ele: "Um indicador quantitativo, ao ser usado para a tomada de decisões, fica mais sujeito a manipulações e assim sua própria existência distorce e corrompe os processos que pretendia monitorar" (CAMPBELL, 1976, p. 49, tradução nossa).³

Ou seja, o uso de um indicador como medida única da qualidade da escola e dos sistemas fará, naturalmente, com que as escolas busquem maximizá-lo e, como isso, pode ser feito de maneiras pouco adequadas pedagogicamente, pode levar a um sistema educacional disfuncional.

O Ideb tem sido muito usado e às vezes criticado, mas poucas vezes analisado. Esta seção pretende suprir em parte tal lacuna.

a) Só alunos presentes ao teste são considerados

Uma limitação séria dos dados usados para cálculo do indicador de desempenho é o fato de que apenas os alunos presentes na escola no dia da Prova Brasil são considerados. O Inep aceita apenas 50% de presença para divulgar o Ideb da escola (BRASIL, 2011). A Prova Brasil envia para cada escola um teste para cada aluno matriculado, usando para isso a base do Censo Escolar que registra informações de cada aluno. Ao longo dos últimos anos, este Censo tem se consolidado como uma excelente descrição do número de alunos em cada escola brasileira.

No entanto, nem todos os alunos para os quais os testes são enviados fazem as provas. No ano de 2011, voltaram sem resposta 14% dos testes do quinto ano e 22% dos testes do nono ano. São porcentagens expressivas e que, se correspondentes aos alunos mais fracos, fazem com que os valores do Ideb das escolas com muitas ausências sejam superestimados. A portaria do MEC sobre cálculo do Ideb diz que o indicador é calculado desde que mais de 50% dos alunos da escola tenham comparecido. Isso quer dizer que, mantendo-se dentro da lei, as escolas podem escolher seus melhores alunos e assim ter um melhor valor do Ideb.

b) Proficiência em Matemática tem mais peso do que proficiência em Leitura

Como consequência dos algoritmos usados para padronizar as proficiências, está implícito no Ideb o fato de que o domínio da competência matemática pelos alunos brasileiros é maior do que o domínio da compreensão leitora. Essa idiossincrasia estatística pode ser usada como estratégia para melhorar o Ideb, bastando para isso enfatizar o ensino de Matemática para alguns alunos.

c) Assume substituições questionáveis entre os diferentes componentes

Como o numerador do Ideb é uma média, implicitamente, o indicador aceita que o bom desempenho de um aluno compensa o mau desempenho de outro. Também assume que um melhor desempenho compensa uma taxa de reprovação mais alta. Essas duas características deixam aberta a possibilidade de exclusão educacional, pois, para obter melhores valores do indicador, pode-se escolher com cuidado os alunos nos quais a escola deve concentrar seus esforços instrucionais.

d) Não se pode usar a metáfora da nota escolar para analisar o Ideb

Como o Ideb é apresentado como um indicador simples, variando de 0 a 10, é muito frequente interpretá-lo em termos de conceitos escolares. Em algumas situações chega-se a dizer que o nível 6 é baixo e que o Brasil deveria almejar valores muito mais altos no Ideb. Como se viu, esses valores muito altos só ocorrem em situações raras. Um Ideb em torno de 7 – um excelente resultado – é, por outro lado, uma nota escolar mediana.

e) Naturaliza baixos desempenhos de muitos alunos

A Tabela 3 mostra que o Ideb igual a 6, a meta nacional, é compatível com um grande número de alunos com desempenhos medíocres. Com o uso isolado do Ideb, as dificuldades educacionais desses alunos não terão nenhuma relevância, considerando o fato de que o indicador de qualidade está em um nível tido como adequado.

f) O Ideb é muito correlacionado com o nível socioeconômico da escola

O nível socioeconômico (NSE) é uma medida resultante da agregação de indicadores, obtidos nos questionários contextuais da Prova Brasil, a partir do nível de escolaridade dos pais, da posse de bens de consumo duráveis e da contratação de serviços domésticos. A agregação é feita através de um modelo da Teoria de Resposta ao Item (TRI), conforme descrito por Alves e Soares (2009). O modelo da TRI transforma as informações em uma escala que, para facilitar o seu uso, foi transformada para o intervalo entre 0 e 10. Essa medida do nível socioeconômico dos alunos foi validada, entre outras formas, por meio da verificação da correlação de Pearson entre a renda per capita dos municípios e o NSE médio dos municípios – obtido pela agregação do NSE médio das escolas de cada município. O coeficiente de correlação foi igual a 0,91. Esse alto valor comprova que o NSE capta de maneira adequada as condições econômicas dos municípios, o que justifica seu uso nas análises estatísticas para a caracterização das escolas. Outras validações são apresentadas em Alves, Soares e Xavier (2013).

Uma grande e sólida literatura mostra que o desempenho dos alunos está muito associado ao seu nível socioeconômico. Assim, não surpreende o fato de que a associação entre o Ideb e o NSE das escolas seja alta. O Gráfico 2, construído com o Ideb das escolas públicas do município de São Paulo que oferecem a primeira etapa do ensino fundamental, aponta uma associação de 0,694 entre o Ideb de 2011 e o respectivo NSE das escolas. Ou seja, isoladamente, o Ideb é também um indicador das condições socioeconômicas das escolas.

As correlações entre o NSE e o Ideb são sempre positivas, mas o valor é mais alto entre escolas de um mesmo município do que entre municípios. Diante disso, a identificação de escolas com projetos pedagógicos exemplares não pode ser feita apenas com o Ideb, que, como visto, identifica também escolas que têm bons resultados apenas porque atendem a alunos que trazem muito do capital cultural de suas famílias. Um esforço nesse sentido foi feito recentemente por Soares e Alves (2013).

g) Algumas limitações

Outras limitações do Ideb já foram apresentadas por outros autores. Por exemplo, Daniel Cara, para a revista Educação, diz que "o Ideb é um termômetro que revela se o aluno está ou não assimilando informações fornecidas pelo sistema educacional, mas não considera aspectos que têm impacto sobre a qualidade, como a valorização dos profissionais e a infraestrutura" (AVANCINI, 2008). Embora muito veiculada, não se trata exatamente de uma crítica ao indicador, mas a seu uso isolado. A sensata advertência do autor indica que a avaliação de escolas e redes de ensino não deve se restringir ao Ideb, e que o indicador de resultados deve ser contextualizado por indicadores que descrevam as condições reais de oferta do ensino.

João Batista de Oliveira, na mesma reportagem (AVANCINI, op. cit.), diz: "Ao agregar coisas diferentes, o Ideb dá algumas indicações sobre qualidade, mas ele não sinaliza claramente o que precisa ser melhorado". De fato, como qualquer indicador-síntese, um Ideb baixo apenas diz que há algo ruim acontecendo, mas nada diz sobre o que fazer. Análoga a essa crítica, aparece com frequência outra, apontando que faltam esclarecimentos sobre o que significam os números. Ou seja, qual tipo de intervenção escolar um dado valor do Ideb sugere. Além disso, como as políticas públicas para conter o abandono e a repetência não são necessariamente as mesmas a serem usadas para aumentar o indicador de desempenho, não é claro como passar do diagnóstico para a proposição de políticas. Essas são reflexões sólidas que precisam merecer mais espaço nos esforços de análise do Ideb.

Outras críticas

O Ideb tem, no entanto, recebido críticas que um debate educacional mais plural e substantivo já poderia ter respondido. Ultrapassa o objetivo deste artigo nomear e refletir sobre cada uma delas. Citam-se algumas consideradas típicas na literatura.

A primeira crítica, por exemplo, formulada por Vieira (2010, p. 3), considera "a Prova Brasil como um dispositivo de controle que atua nos poros das práticas curriculares cotidianas dos/as docentes, agindo de forma a limitar cada vez mais as suas alternativas em relação à sua autonomia". Esse tipo de pensamento conflita com os termos do artigo 210 da Constituição Federal, que estabelece: "Serão fixados conteúdos mínimos para o ensino fundamental, de maneira a assegurar formação básica comum" (BRASIL, 1988). Ou seja, a discussão que precisa ser feita é se a Prova Brasil é uma forma adequada de verificar se os conhecimentos que asseguram a formação básica comum estão de fato sendo aprendidos pelos alunos das escolas brasileiras de educação básica. Nesse sentido, o uso na Prova Brasil apenas de testes de Leitura e Matemática é uma clara limitação.

Outra crítica centra-se na questão federativa. Através do Ideb, o governo federal evidencia as fortalezas e limitações das escolas dos sistemas de ensino estaduais e municipais. Essa interferência direta nos sistemas pode ter consequências indesejáveis, na visão de Vera Maria Vidal Peroni: "Esse processo de centralização pode impactar na gestão democrática que havia sido construída em alguns estados e municípios".⁴ No entanto, não fica claro se a ausência do indicador contribuiria de forma positiva para a solução da questão colocada.

Um terceiro grupo de críticas contempla o fato de o Ideb ser um indicador único e sintético. Por um lado, essas características ajudam e mesmo viabilizam o monitoramento de um sistema tão grande e heterogêneo como o sistema brasileiro de educação básica. Por outro lado, levam imediatamente ao uso de hierarquizações como forma de análise da realidade educacional. Grande parte da cobertura da imprensa se limita a isso. Analisar as escolas por uma hierarquização é uma opção metodológica muito pobre. Essa não é, entretanto, uma limitação do indicador. A solução é produzir e divulgar interpretações alternativas.

Discussão

Existem vários outros indicadores usados em diferentes estados e municípios para monitorar os resultados das escolas. As limitações do Ideb mostradas anteriormente são, em maior ou menor grau, compartilhadas por esses indicadores. O Índice de Desenvolvimento da Educação do Estado de São Paulo (Idesp) merece uma menção especial. Ao produzir a medida de desempenho da escola através da síntese de níveis, o Idesp não é tão vulnerável à concentração do esforço educacional em poucos alunos e não tem o defeito do desequilibro entre Leitura e Matemática presente no Ideb. Mas estão igualmente presentes a associação com o nível socioeconômico e a taxa de substituição não justificada. Além disso, o Idesp não tem também uma forma de tratar os alunos ausentes.

Um conjunto de indicadores é uma forma de descrever o sistema e não uma ferramenta de gestão da escola. Para isso, é preciso considerar cada processo da escola – administrativo, interação com a sociedade e de ensino/aprendizagem – e escolher as informações de estrutura e resultado adequadas para o monitoramento de cada processo (BRYK; HERMANSON, 1993).

Diante disso, e considerando que o Ideb está completamente integrado às políticas educacionais, e considerando também suas imperfeições aqui apresentadas, sugere-se como síntese deste artigo o panorama a seguir.

O Ideb deve ser divulgado de forma contextualizada, que contenha pelo menos uma descrição do nível socioeconômico das escolas ou dos municípios. Idealmente, outras características das escolas, como sua infraestrutura, devem também ser consideradas. Isso não advoga que as expectativas relativas ao aprendizado dos alunos devem ser diferentes em diferentes municípios, mas apenas que, para atingir os aprendizados necessários, alguns cenários sociais são mais adversos do que outros.

Além disso, junto com o Ideb, cada escola ou rede deve receber também uma descrição de quantos alunos estão em níveis de desempenho medíocres. Claro que escolas e redes com Ideb maiores do que 6,5 estão em uma situação privilegiada, pois esse valor não permite que muitos estudantes tenham aprendido muito pouco.

Finalmente, e talvez o mais importante, é transformar o Ideb em um primeiro passo para o processo de reflexão interna nas escolas, na busca de melhores e mais efetivas práticas pedagógicas que vão permitir aos seus alunos aprender o que precisam para uma vida digna e feliz.

Notas

Recebido em 9 de junho de 2013.

Aprovado em 17 de julho de 2013.

• ALVES, M.T.G.; SOARES, J.F. Medidas de nível socioeconômico em pesquisas sociais: uma aplicação aos dados de uma pesquisa educacional. Opinião Pública, Campinas, v. 15, p. 1-30, 2009.
• ALVES, M.T.G.; SOARES, J.F.; XAVIER, F.P. O nível socioeconômico das escolas de educação básica brasileiras: versão 2. Belo Horizonte: GAME; São Paulo: Instituto Unibanco, 2013. 64p. (Relatório técnico).
• AVANCINI, M. Afogados em números. Revista Educação [online], Reportagens, set. 2008. Disponível em: <http://revistaeducacao.uol.com.br/textos/136/artigo234432-1.asp>. Acesso em: 1ş maio 2013.
• BRASIL. Constituição (1988). Constituição da República Federativa do Brasil Brasília, DF: Senado Federal, 1988. 292p.
• BRASIL. Decreto n. 6.094, de 24 de abril de 2007. Dispõe sobre a implementação do Plano de Metas Compromisso Todos pela Educação, pela União Federal, em regime de colaboração com municípios, Distrito Federal e estados, e a participação das famílias e da comunidade, mediante programas e ações de assistência técnica e financeira, visando à mobilização social pela melhoria da qualidade da educação básica. Diário Oficial da União, Brasília, DF, 25 abr. 2007. Disponível em: <http://www.planalto.gov.br/ccivil_03/_ato2007-2010/2007/decreto/d6094.htm>. Acesso em: 29 abr. 2013.
• BRASIL. Ministério da Educação. Instituto Nacional de Estudos e Pesquisas Educacionais (Inep). Taxas de aprovação, reprovação e abandono: censo escolar da Educação Básica 2007 (nota técnica 003/2009). Brasília, DF: MEC/Inep, 2009a. Disponível em: <http://download.inep.gov.br/download/censo/2009/NT_003_2009.pdf>. Acesso em: 30 abr. 2013.
• BRASIL. Ministério da Educação. Instituto nacional de Estudos e Pesquisas Educacionais (Inep). Nota metodológica sobre a compatibilização de desempenhos do Pisa com a escala do Saeb Brasília, DF: MEC/Inep, 2009b. Disponível em: <http://download.inep.gov.br/educacao_basica/portal_ideb/o_que_sao_as_metas/Nota_Tecnica_n3_compatibilizacao_PISA_SAEB.pdf>. Acesso em: 29 abr. 2013.
• BRASIL. Ministério da Educação. Instituto nacional de Estudos e Pesquisas Educacionais (Inep). Portaria n. 149, de 16 de junho de 2011 Brasília, DF: MEC/Inep, 2011. Disponível em: <http://download.rj.gov.br/documentos/10112/588340/DLFE-39105.pdf/INEPPORTARIAPROVABRASILN149DE16DEJUNHODE2011.pdf>. Acesso em: 30 abr. 2013.
• BRYK, A.S.; HERMANSON, K.L. Educational indicator systems: observations on their structure, interpretation and use. Review of Research in Education, Itasca, v. 19, p. 451-484, 1993.
• CAMPBELL, D.T. Assessing the impact of planned social change New Hampshire: The Public Affairs Center, Dartmouth College, 1976. Disponível em: <https://www.globalhivmeinfo.org/CapacityBuilding/Occasional%20Papers/08%20Assessing%20the%20Impact%20of%20Planned%20Social%20Change.pdf>. Acesso em: 29 abr. 2013.
• DELGADO, V.M.S.; MIRANDA-RIBEIRO, A.; SOARES, J.F. Desigualdade escolar e desempenho. In: FAHEL, M. et al. (Org.). Desigualdades educacionais e pobreza Belo Horizonte: PUC-Minas, 2013. p. 163-208.
• FERNANDES, R. Índice de Desenvolvimento da Educação Básica (Ideb) Brasília, DF: Inep, 2007. (Série documental. Textos para discussão, 26). Disponível em: <http://www.publicacoes.inep.gov.br/arquivos/%7B9C976990-7D8D-4610-AA7C-FF0B82DBAE97%7D_Texto_para_discuss%C3%A3o26.pdf>. Acesso em: 30 abr. 2013.
• FLETCHER, P.R.; RIBEIRO, S.C. Modeling education system performance with demographic data: an introduction to the Profluxo Model. Paris: Unesco, 1989.
• KLEIN, R. Como está a educação no Brasil? O que fazer? Ensaio: Avaliação e Políticas Públicas em Educação, Rio de Janeiro, v. 14, n. 51, p. 139-172, jun. 2006.
• PETERSEN, N.S.; KOLEN, M.J.; HOOVER, H.D. Scaling, norming, and equating. In: LINN, R.L. (Ed.). Educational measurement 3. ed. New York: American Council on Education; Macmillan, 1989. p. 221-262.
• RIGOTTI, J.I.R. Variáveis de educação dos censos demográficos brasileiros de 1960 a 2000. In: RIOS-NETO, E.L.G.; RIANI, J.L.R. (Org.). Introdução à demografia da educação Campinas: Abep, 2004. p. 129-142.
• SOARES, J.F. Índice de desenvolvimento da educação de São Paulo Idesp: bases metodológicas. São Paulo em Perspectiva, São Paulo, v. 23, n. 1, p. 29-41, jan./jun. 2009.
• SOARES, J.F.; ALVES, M.T.G. Efeito e eficiência de escolas e sistemas de ensino fundamental Belo Horizonte, 2013. (Não publicado).
• VIEIRA, I.S. Prova Brasil como dispositivo de controle da prática curricular. In: COLÓQUIO INTERNACIONAL EDUCAÇÃO E CONTEMPORANEIDADE, 4., 2010, Laranjeiras, SE, 2010. Disponível em: <http://www.educonufs.com.br/IVcoloquio/cdcoloquio/eixo_02/e2-92.pdf>. Acesso em: 1ş maio 2013.

1

. O Sistema de Avaliação da Educação Básica (Saeb) foi criado no início da década de 1990, tendo como objetivo medir o desempenho acadêmico dos alunos da educação básica e os fatores associados a esse desempenho e que nele interferem (fatores intra e extraescolares). O sistema é composto por duas avaliações: 1) Avaliação Nacional da Educação Básica (Aneb) – divulgada com o nome de Saeb, aplicada a uma amostra de estudantes das redes públicas e privadas do país, localizados na área rural e urbana e matriculados no 5º e 9º anos do ensino fundamental e também no 3º ano do ensino médio; 2) Avaliação Nacional do Rendimento Escolar (Anresc) – divulgada e conhecida com o nome de Prova Brasil –, é aplicada censitariamente a alunos de 5º e 9º anos do ensino fundamental público, nas redes estaduais, municipais e federais, de área rural e urbana, em escolas que tenham no mínimo vinte alunos matriculados na série avaliada. Outras informações e resultados do Saeb podem ser encontrados em: <

http://portal.inep.gov.br/web/prova-brasil-e-saeb/prova-brasil-e-saeb>

2

. Criado em setembro de 2006, o "Todos Pela Educação" é um movimento financiado exclusivamente pela iniciativa privada, congregando sociedade civil organizada, educadores e gestores públicos, que têm como objetivo contribuir para que o Brasil garanta a todas as crianças e jovens o direito à educação básica de qualidade. O movimento trabalha para que sejam garantidas as condições de acesso, alfabetização e sucesso escolar, além de lutar pela ampliação e boa gestão dos recursos públicos investidos na educação. Esses grandes objetivos foram traduzidos em cinco metas, com prazo de cumprimento até 2022, ano do bicentenário da Independência do Brasil.

3

. "The more any quantitative social indicator used for social decision-making, the more subject it will be to corruption pressures and the more apt it will be to distort and corrupt the social processes it is intended to monitor".

4

. Reportagem do Portal Aprendiz, "Avaliações devem oferecer diagnóstico do sistema educacional", de 7 de outubro de 2009. Disponível em: <

http://aprendiz.uol.com.br/content/shiricumug.mmp>.

Datas de Publicação

• Publicação nesta coleção
  01 Out 2013
• Data do Fascículo
  Set 2013

Histórico

• Recebido
  09 Jun 2013
• Aceito
  17 Jul 2013