Qualidade da educação fundamental: integrando desempenho e fluxo escolar

Calidad de la Educación primaria integrando el rendimiento (logro) y el flujo de los alumnos

Quality of primary education: integrating achievement and promotion

Qualidade da educação fundamental: integrando desempenho e fluxo escolar

Quality of primary education: integrating achievement and promotion

Calidad de la Educación primaria integrando el rendimiento (logro) y el flujo de los alumnos

Fátima Alves

Doutora em Educação, PUC-Rio. E-mail: [e-mail]

RESUMO

Este artigo investiga a evolução da qualidade da educação considerando, conjuntamente, o desempenho dos alunos ao longo do tempo e a mudança na composição dos alunos que chegam a 4ª série do Ensino Fundamental, decorrente da melhoria do fluxo escolar. A análise envolveu o desenvolvimento de uma abordagem para compor a distribuição de desempenho de sucessivas gerações de crianças de 10 anos de idade a partir das informações disponíveis sobre amostras de alunos de 4ª série do SAEB e de alunos de outras séries em avaliações estaduais. Os resultados enfatizam que cerca da metade da queda observada no desempenho médio dos alunos da 4ª série deveu-se à mudança no perfil dos alunos que a esta chegavam nesta no período 1995-2003.

Palavras-chave: Qualidade da educação. SAEB. Fluxo escolar. Ensino Fundamental.

ABSTRACT

This paper deals with the issue of the quality of the Brazilian primary education, considering jointly the students performances along the time and the change in the social profile of students who reached the 4^th grade of primary education. The analysis involved the development of an approach to compose the performance distribution of successive generations of 10 years old children based on available information of student samples of SAEB 4^th grade (National Assessment of Primary Education System) and of students of other grades of state level evaluations. The results emphasize that about half of the observed decrease in average achievement of 4^th grade students are due to the change of the social composition of students who reached 4^th grade within 1995-2003.

Keywords: Quality of education. SAEB. Educational Flux. Primary education.

RESUMEN

El artículo investiga la evolución de la calidad de la educación brasileña considerando al mismo tiempo el logro de los alumnos a lo largo del tiempo y el cambio en la composición de los alumnos que llegan al cuarto curso de la enseñanza primaria como consecuencia de la mejora del flujo escolar. El análisis incluye el desarrollo de una estrategia para estimar la distribución del logro en sucesivas generaciones de alumnos de 10 años de edad, obtenida a partir de muestras de alumnos de cuarto curso procedentes del Centro Nacional Brasileño de Evaluación del Progreso (SAEB), y de muestras de alumnos de otros grados obtenidas en evaluaciones estatales. Los resultados ponen de manifiesto que cerca de la mitad del descenso del rendimiento medio observado en los alumnos de cuarto curso se debe a cambios en la composición social de los alumnos de dicho curso a lo largo del periodo 1995-2003.

Palabras clave: Calidad de la educación. Centro Nacional Brasileño de Evaluación del Progreso (SAEB). Flujo escolar. Enseñanza primaria.

Introdução

No Brasil, entre 1992 e 1998, houve uma expressiva alteração no fluxo escolar com o decréscimo significativo das taxas de não promoção. O Gráfico 1 ilustra esta situação, evidenciando que, desde 1999, há estabilidade na faixa de 26%, patamar ainda extremamente elevado, sendo que nos últimos anos há uma tendência de aumento na porcentagem de alunos não promovidos.

Uma das conseqüências desta alteração no fluxo escolar foi a modificação, ao longo do tempo, do perfil de alunos que atingem a 4ª série do Ensino Fundamental. A partir de 1995 o Sistema de Avaliação da Educação Básica – SAEB, passou a utilizar a Teoria de Resposta ao Item, em lugar da Teoria Clássica dos Testes, viabilizando a comparação do desempenho médio entre os anos de avaliação. Isto ocorreu precisamente no período em que a mudança no fluxo alterava a composição do alunado que chegava às séries avaliadas pelo SAEB. Nesse contexto, a análise da qualidade da educação não pode deixar de considerar simultaneamente dois aspectos: o desempenho dos estudantes nas avaliações nacionais e a grande alteração do fluxo escolar.

No Brasil, os sistemas de avaliação de desempenho como o SAEB e o Prova Brasil são estruturados para avaliar os alunos que estão em determinadas séries, por exemplo, na 4ª série do Ensino Fundamental. Caso a avaliação acompanhasse o desempenho de uma coorte etária, independentemente da série freqüentada pelos alunos, a evolução da qualidade da educação poderia ser feita a partir da comparação do desempenho médio das crianças de determinada idade em diferentes anos. A participação do Brasil no Programme for International Student Assessement –PISA, que é aplicado a alunos de 15 anos, é um exemplo de avaliação neste formato, mas, por se tratar de um estudo comparativo entre vários países, o resultado é representativo apenas para o Brasil como um todo. Como os atuais sistemas de avaliação avaliam o desempenho dos alunos em determinadas séries, a investigação da qualidade da educação em uma perspectiva integradora é uma tarefa que envolve cuidados metodológicos adicionais.

Até 2002, nenhum trabalho tinha contemplado este aspecto, ainda que os relatórios do SAEB alertassem para o problema da comparação direta de resultados da série histórica. Face aos resultados do desempenho dos alunos brasileiros do SAEB, 1999 e 2001, alguns pesquisadores realizaram estudos considerando a mudança da composição social dos alunos que chegavam até as séries avaliadas pelo SAEB. Adianto que uma solução metodológica adotada, tanto em alguns desses trabalhos como na minha investigação, está relacionada com a releitura dos dados de desempenho escolar em uma perspectiva de acompanhamento de sucessivas gerações, ao invés de alunos de uma determinada série, como é feita pelo SAEB.

Recentemente o tema de monitorar a qualidade, a partir de uma visão integrando estes dois indicadores (desempenho e fluxo escolar), tornou-se foco dos debates educacionais com a divulgação do Índice de Desenvolvimento da Educação Básica – IDEB, pelo Governo Federal, no contexto do Plano de Desenvolvimento da Educação Básica – PDE. Além de propor o indicador, o PDE definiu metas para 2022. Uma análise mais detalhada destas metas vai além do objetivo deste artigo, mas sinalizo que, para atingi-las, é necessário quase total regularização do fluxo escolar e que o desempenho das escolas brasileiras melhore sensivelmente. Cabe ressaltar que o IDEB não segue o caminho metodológico de transformar os resultados do SAEB de série para uma determinada geração. Propõe um indicador baseado na idéia de "taxa de troca", ou seja, "o quanto se está disposto a perder na pontuação média do teste padronizado para se obter determinado aumento na taxa média de aprovação" (FERNANDES, 2007, p. 8).

A despeito das vantagens e desvantagens das diversas propostas, é importante salientar que o atual contexto é particularmente propício para se discutir a qualidade da educação na perspectiva de integrar desempenho e fluxo escolar, seja para compreender como a qualidade da educação evolui até hoje, seja para estabelecer aonde queremos chegar. É neste sentido que o artigo pretende contribuir. Seu principal objetivo é avaliar a evolução do desempenho escolar de sucessivas gerações de crianças de 10 anos, a partir da reconstituição da distribuição de desempenho, utilizando os resultados do SAEB em matemática da 4ª série do Ensino Fundamental e de avaliações estaduais para os anos inicias e finais desse Ensino Fundamental.

Neste artigo, inicialmente faço uma revisão dos trabalhos nacionais que analisaram até que ponto a queda de desempenho dos estudantes brasileiros na 4ª série do Ensino Fundamental no SAEB podia ser explicada pela mudança na composição social. Em seguida, apresento a minha abordagem metodológica para este problema, bem como os resultados obtidos sobre a evolução do desempenho das gerações de crianças de 10 anos. Por fim, discuto, à luz dos resultados encontrados, como está a qualidade da educação hoje, bem como os desafios colocados pelo PDE, tanto para a melhoria do fluxo escolar quanto para o aumento do desempenho escolar para os próximos anos.

Integrando desempenho e fluxo escolar: primeiros estudos

No Brasil, a evolução do desempenho em matemática para a 4ª série do Ensino Fundamental apresenta uma tendência de queda desde 1997, com relativa estabilidade nos resultados a partir de 2001 (Gráfico 2).

A divulgação dos resultados pouco promissores do SAEB 1999 e 2001 trouxe desconforto para o Governo Federal e preocupação para todos que se interessam pelo acompanhamento da evolução de indicadores educacionais. O Ministro Paulo Renato Souza ocupava a pasta desde 1995 e sua gestão era caracterizada pela implementação de uma série de medidas voltadas para a melhoria da qualidade da educação. Em um contexto marcado pela estabilidade política e por importantes mudanças na educação brasileira, qual era a explicação para a queda no desempenho dos estudantes avaliados pelo SAEB? O discurso oficial justificava a tendência de queda a partir da expansão das matrículas ocorrida nos anos anteriores às avaliações do SAEB, que trouxe, para o sistema educacional, um contingente de alunos com um perfil socioeconômico inferior e de famílias menos instruídas. Com isso, a evolução negativa no desempenho dos estudantes brasileiros entre 1995 e 1999 deveria ser interpretada como positiva, uma vez que

os novos integrantes do sistema estão muito melhores do que estavam antes de ingressarem na escola, pois estão aprendendo. Seu desempenho inicial, porém, é inferior em relação aos demais alunos que já estavam na escola e que provêm de famílias mais educadas. Como conseqüência, a média do novo conjunto de estudantes é menor do que a existente antes da incorporação maciça dos novos alunos (SOUZA, 2006).

As explicações oficiais não foram bem recebidas pelos especialistas da área e pela mídia em geral. O centro do debate era que o governo estava falhando em promover a qualidade da educação, pois, apesar de ampliar o acesso e reduzir a reprovação, o ensino das escolas brasileiras era ruim. Em suma, trocava-se a qualidade pela quantidade.

Apesar de o governo não ter evidências empíricas para basear suas explicações, o respaldo vinha da literatura internacional. Os trabalhos de Hanushek (1996) e Jacob (2002) apontam para uma redução do desempenho de estudantes americanos em testes padronizados nos períodos de expansão da matrícula e de aumento do percentual de concluintes.

Os relatórios do SAEB de 1999 e de 2001, ao lado da apresentação dos resultados de desempenho escolar, apontavam para a evolução dos indicadores de matrícula e de fluxo escolar, indicando a preocupação dos dirigentes do MEC com a interpretação isolada dos resultados de desempenho. No âmbito acadêmico, diversos pesquisadores buscavam alternativas que sintetizassem os dois temas, o desempenho mensurado nas séries avaliadas pelo SAEB e a mudança ao longo do tempo do perfil demográfico dos alunos que freqüentavam as séries testadas pelo SAEB. Neste contexto, o MEC comissionou, em 2002, uma série de estudos sobre o tema da qualidade da educação básica, sob a coordenação do Professor Aloísio Araújo, da EPGE/FGV. Entre esses estudos, três focalizaram diretamente o tema deste capítulo: Os resultados do SAEB em perspectiva longitudinal, de Franco e outros (2003); Seletividade e medidas de qualidade da educação brasileira 1995-2001, de Neri e Carvalho (2002) e A evolução recente do rendimento escolar das crianças brasileiras, de Fernandes e Natenzon (2003).

O estudo de Franco e outros (2003) investiga a qualidade da educação brasileira para as três séries avaliadas pelo SAEB no período de 1995 e 2001, a partir de ajustes de modelos de regressão que assumiam como variáveis explicativas o nível de escolaridade dos pais dos alunos, a localidade geográfica e a dependência administrativa. O trabalho mostra que o período 1995-2001 caracterizou-se pela melhoria do fluxo escolar e pelo aumento do nível educacional da população brasileira. Em especial, houve grande expansão da oferta no ensino médio e o aumento significativo da proporção de jovens brasileiros que chegaram à 8ª série do Ensino Fundamental.

Os autores estimaram modelos de regressão utilizando como variáveis explicativas o nível de escolaridade do pai, a dependência administrativa e a localização geográfica, bem como termos de interação entre essas variáveis. Os resultados apontaram para a diminuição da proficiência média ao longo do tempo, ainda que a estimativa pontual para a diferença fosse pequena e estatisticamente não significativa entre 1999 e 2001. Para os níveis de escolaridade mais baixos, os termos de interação são negativos e estatisticamente significativos, indicando que os alunos cujos pais são menos educados têm queda maior.

Do ponto de vista metodológico, o trabalho privilegia a análise do impacto do perfil social dos alunos – medido pelo nível educacional dos pais – sobre a evolução do desempenho médio do SAEB, mostrando que, aproximadamente 60% da queda do desempenho em matemática da 4ª série do Ensino Fundamental entre 1997¹ e 2001 é explicada por mudanças na origem social dos alunos. A despeito da contribuição deste trabalho para a melhor compreensão do tema da queda do desempenho médio ao longo dos anos, ele apresenta a limitação de tratar de modo indireto e parcial do tema da mudança da composição etária dos alunos, ocorrida pela melhoria do fluxo escolar. Destaco três aspectos. Primeiro, o controle por nível de educação dos pais captura apenas de modo parcial a mudança na composição etária; o segundo aspecto refere-se ao fato de que o trabalho pressupõe que o número de anos de escolaridade dos pais é um indicador estável do perfil socioeconômico das famílias, o que pode ser um pressuposto forte face ao aumento da escolaridade da população brasileira. A última razão é que o trabalho assume implicitamente que as mudanças na composição social dos alunos podem ser capturadas por características observáveis, como o nível de escolaridade dos pais, mas talvez o que caracterize os alunos não avaliados nos primeiros ciclos do SAEB seja justamente o fato de não terem chegado à 4ª série do Ensino Fundamental.

O trabalho de Neri e Carvalho (2002) avalia os impactos dos problemas de seletividade e do efeito de composição sobre a evolução do desempenho nacional nas avaliações do SAEB. A idéia é que a crescente expansão da matrícula e a melhoria do fluxo escolar introduziram um viés de seleção que tornam imprecisas a comparação dos resultados dos indicadores de desempenho educacional e, conseqüentemente da qualidade da educação, ao longo dos anos.

O estudo utiliza dados do SAEB e da Pesquisa Nacional por Amostra de Domicílios – PNAD, para estimar uma medida de desempenho médio para diversos grupos que não são avaliados pelo SAEB, visando a chegar a estimativas do desempenho da geração. Para isto, os autores interessam-se em estimar o desempenho de dois grupos: (a) crianças que, se não estivessem atrasadas ou adiantadas, estariam na 4ª série, mas que cursam outras séries; e (b) crianças que não freqüentam a escola, mas que estariam na 4ª série caso freqüentassem a escola e não estivem atrasadas ou adiantadas. A estratégia metodológica envolve dois momentos complementares. Inicialmente os autores estimam um modelo de regressão linear com as variáveis independentes de sexo, cor, escolaridade do pai, escolaridade da mãe e unidades da federação, para os dados do SAEB 2001. Como um dos objetivos do trabalho é verificar a diferença no desempenho de diversos grupos etários, o modelo de regressão foi estimado para cada um dos grupos considerados, a saber: crianças de 9 a 14 anos, em conjunto e grupos de crianças em cada uma das idades em separado. O passo seguinte envolveu a imputação de uma medida de desempenho para grupos que não são avaliados pelo SAEB (crianças da geração que freqüentam outras séries e crianças fora da escola). O procedimento utiliza as informações da PNAD para imputar, a partir dos coeficientes estimados no modelo de regressão anteriormente mencionado, o desempenho de cada subgrupo delimitado por idade e pelas variáveis independentes do modelo de regressão.

Em contraste com a queda registrada pelos alunos de 4ª série do Ensino Fundamental (14 pontos na escala do SAEB), o trabalho de Neri e Carvalho (2002) aponta uma leve melhora do desempenho das coortes etárias, estimando para a geração com 10 anos de idade em 2001 um desempenho médio em matemática, 3,7 pontos maior do que o desempenho da geração que tinha 10 anos em 1995. Este trabalho tem o mérito de enfatizar a importância de considerar-se o tema da variação na composição social do corpo discente que cursa as séries avaliadas pelo SAEB, e de integrar bases de dados do INEP/MEC e do IBGE para tratar deste tema.

Em comparação com o trabalho de Franco e outros (2003), anteriormente comentado, o trabalho de Neri e Carvalho (2002) apresenta a clara vantagem de tratar explicitamente do tema da mudança do perfil etário dos alunos da 4ª série do Ensino Fundamental, aspecto tratado de modo indireto e parcial pelo primeiro trabalho. As demais limitações já mencionadas no comentário ao trabalho de Franco e outros (2003) também se aplicam ao estudo de Neri e Carvalho². Em especial, Neri e Carvalho usam características observáveis para estimarem o desempenho de grupos de alunos da geração não observados pelo SAEB. Na medida em que os alunos da geração não observados – tipicamente atrasados – podem ser menos hábeis do que os observados e esta menor habilidade pode não ser redutível a características observadas dos alunos, não se pode descartar a possibilidade de que Neri e Carvalho estejam superestimando o desempenho da geração. Mais à frente, volto ao tema das implicações destas limitações sobre os resultados. Antes disso, é comentado um terceiro trabalho que contribui para o aprimoramento do entendimento dos resultados do SAEB em perspectiva longitudinal.

O trabalho de Fernandes e Natenzon (2003) analisa a mudança na qualidade da educação a partir da comparação do desempenho de diferentes gerações na mesma idade, especificamente, crianças de 10 anos. Similarmente a Neri e Carvalho (2002), o argumento dos autores para adotar esta estratégia de análise é tratar a variação do efeito de seleção introduzido pela alteração na composição social das crianças avaliadas ao longo dos anos devido à mudança do fluxo escolar. Para avaliar o desempenho escolar para as gerações de crianças de 10 anos, o trabalho fez uso das informações da PNAD para estimar o desempenho do aluno mediano ao longo dos anos do SAEB³.

O estudo considera como uma geração os alunos que completam 10 anos entre julho de t-1 e junho de t, sendo t o ano de avaliação do SAEB. Caso não houvesse entrada tardia na escola e sucessivas reprovações, todos os alunos da geração estariam na 4ª série do Ensino Fundamental nos respectivos anos do SAEB. Na realidade, uma parcela da geração freqüenta séries abaixo da 4ª série do Ensino Fundamental (fora da escola ou atrasados) e outra está acima da 4ª série (adiantados). Com base neste critério, os autores calculam, via PNAD, a porcentagem de crianças da geração que estão atrasadas, em fase (na 4ª série do Ensino Fundamental) e adiantadas. Posteriormente selecionam os alunos da geração presentes em cada base do SAEB. Somente os alunos pertencentes à geração em um determinado ano (por exemplo, os nascidos entre julho de 1986 e junho de 1987 para o ano de 1995), foram considerados para a análise, desprezando-se os demais.

Com estas informações e com dois pressupostos adicionais, discutidos um pouco mais à frente, é possível encontrar o aluno com desempenho mediano da geração de 10 anos a partir da fração da geração que foi observada pelo SAEB (isto é, os alunos de 10 anos que freqüentavam a 4ª série), a partir da fórmula:

P = (50 - Pa) x 100

Pc

onde P corresponde ao percentil da distribuição na escala de desempenho das crianças em fase observadas pelo SAEB, Pa é a porcentagem de crianças da geração com atraso e Pc é o percentual de crianças da geração na série "correta" (isto é, em fase). Por exemplo, o desempenho do aluno mediano da geração que possui 20% das crianças atrasadas (P_A) e 75% em fase (Pc) corresponde ao percentil 40 da distribuição de desempenho das crianças em fase. Em verdade, Fernandes e Natenzon (2002) fizeram uso de uma generalização da fórmula acima, de modo a determinar não apenas o aluno com desempenho mediano da geração, mas o aluno com desempenho correspondente aos diversos percentis da geração. Ainda que a fórmula acima seja geral, sua aplicabilidade prática depende do percentual de atrasados. Por exemplo, quando o percentual de atrasados é maior do que 50%, o primeiro termo da fórmula acima (50 – Pa) levaria à situações que não podem ser resolvidas, pois o aluno correspondente ao percentil cujo desempenho se quer determinar não teria sido observado pelo SAEB.

As análises foram realizadas para o Brasil, para as grandes regiões e para as unidades da federação. Para garantir a confiabilidade das estimativas, a metodologia foi aplicada somente quando o primeiro termo da fórmula acima (ou sua generalização para o caso de qualquer percentil) fosse maior do que 10 e, com isso, para o Brasil, somente o desempenho correspondente ao percentil 70 foi determinado para todo o período. Para o Brasil, os resultados apontam para o aumento do desempenho das gerações de crianças de 10 anos entre 1995 e 2001. Em matemática o aumento foi de 28,5 pontos, indicando que a piora no desempenho dos alunos observada para a série deve-se à correção no fluxo escolar. A magnitude do aumento é significativa, correspondente a 0,6 de um desvio padrão da distribuição de desempenho.

Devo registrar que enquanto Neri e Carvalho (2002) assinalavam que a diferença entre seus resultados e o obtido por meio da comparação direta dos dados das avaliações do SAEB situavam-se entre cerca de 16 pontos da escala do SAEB, Fernandes e Natenzon (2003) reportaram resultados, que diferiam em 39 pontos do resultado obtido por meio da comparação direta dos dados das avaliações do SAEB para o 7º decil.

A abordagem metodológica proposta por Fernandes e Natenzon (2003) equaciona bem a já comentada limitação referente à utilização de características observadas (educação e demais variáveis independentes mencionadas nos modelos ajustados nos dois trabalhos acima comentados) para capturar o efeito da mudança da composição do corpo discente matriculado em cada ano nas séries avaliadas no SAEB. No entanto, isto os obriga a assumir dois pressupostos que, como os próprios autores assinalam, precisam ser referendados empiricamente. O primeiro, é que todas as crianças que se encontram atrasadas tenham desempenho abaixo do percentil de interesse (no caso do trabalho por eles realizado, os percentis 50, 60 ou 70). O segundo, de que todas as crianças que se encontram adiantadas tenham desempenho acima do percentil de interesse. Estes pressupostos provavelmente estão bem sintonizados com a realidade de uma unidade escolar que tenha, digamos, 25% de alunos atrasados e 15% de alunos adiantados: é muito provável que os alunos que cursam a série inferior tenham desempenho abaixo do mediano e que os alunos adiantados tenham desempenho acima do mediano. Já quando os mesmos pressupostos são aplicados à realidade nacional, a probabilidade de violação dos pressupostos pode não ser desprezível: há alunos atrasados em boas escolas particulares, provavelmente com desempenho superior ao desempenho mediano ou de outro percentil mais elevado que se considere; por outro lado, há redes de ensino medíocres nas quais alunos adiantados têm alta probabilidade de estar aquém da mediana ou de percentil mais alto que se considere.

Como quase todas as avaliações realizadas no Brasil são baseadas em séries, e não em idade, não há muitas oportunidades de teste empírico dos pressupostos. Uma exceção oportuna é o PISA⁴, que avalia o desempenho de alunos na faixa dos 15 anos. Os dados de 2000 mostram que dentre os alunos que estão na 8ª série do Ensino Fundamental, ou seja, com um ano de defasagem, 15% apresentam desempenho acima do percentil 60 da distribuição de desempenho dos alunos em fase. Para os alunos da 2º ano do Ensino Médio, adiantados um ano, 41% estão abaixo do percentil 60, indicando que os pressupostos assumidos podem ser excessivamente fortes, o que se relaciona com o resultado obtido, que parece superestimar a evolução da qualidade da educação no período considerado.

A despeito deste problema, a abordagem proposta por Fernandes e Natenzon (2003) possui o inegável mérito de desenvolver uma proposta para lidar com o efeito composicional sem precisar pressupor que este possa ser explicado por variáveis sociodemográficas observadas. Volto a este aspecto em breve.

A revisão dos trabalhos evidencia que a análise da qualidade da educação brasileira não pode prescindir do efeito da composição social e etária, sob o risco de produzir estimativas enviesadas. Face à importância do tema, na seção seguinte apresento uma estratégia adicional à já desenvolvida pelos autores aqui resenhados.

Metodologia

De modo sintonizado com a abordagem proposta por Fernandes e Natenzon (2003), o objetivo deste artigo é o de encontrar a posição das crianças das coortes etárias não observadas pelo SAEB na distribuição de desempenho da coorte etária e, adicionalmente, ter uma estimativa para o desempenho das crianças não testadas. Para isto, estimo o desempenho das crianças da geração que não foram testadas pelo SAEB a partir do desempenho de crianças testadas e de estimativas sobre o aprendizado entre diferentes séries, como será mais detalhado adiante. Por esta via, não foi preciso assumir os mesmos pressupostos feitos por Fernandes e Natenzon, ainda que outros pressupostos sobre a quantidade de aprendizagem entre as séries tenham sido realizados.

Para compor a distribuição de desempenho de gerações de crianças de 10 anos, a metodologia proposta compatibiliza informações do SAEB, da PNAD e de avaliações estaduais de desempenho discente. Para o Brasil, as análises envolveram dados da 4ª série de matemática do SAEB para os anos de 1995, 1997, 1999, 2001 e 2003. O estudo considerou como uma geração os alunos que completaram 10 anos entre julho de t-1 e junho de t, sendo t o ano de avaliação do SAEB, similarmente ao realizado por Fernandes e Natenzon (2003).

De forma geral, o procedimento pode ser descrito através dos seguintes passos básicos:

1) Definição do percentual da geração de crianças de 10 anos que freqüentam séries inferiores à 4ª série do Ensino Fundamental ou que estão fora da escola (atrasados); que freqüentam a 4ª série do Ensino Fundamental (em fase) e que freqüentam séries acima da 4ª série do Ensino Fundamental (adiantados);

2) Definição do ganho médio no desempenho de estudantes entre diferentes séries do Ensino Fundamental;

3) Composição da distribuição de desempenho da geração de crianças de 10 anos.

Para o Brasil, calculei o percentual da geração de crianças de 10 anos adiantadas, em fase e atrasadas utilizando os dados disponíveis na PNAD no período de 1995 a 2004. Os dados mostram que em 1995, 57% da geração de 10 anos estavam atrasadas ou fora da escola. Já em 2004, esta porcentagem cai para 33,3%, uma redução de 24 pontos percentuais (Gráfico 3).

Tipicamente, nas avaliações de desempenho que seguem o desenho por série obtêm-se informações sobre o nível de habilidade para diferentes grupos etários. No caso do SAEB, pode-se calcular o desempenho médio para alunos de diferentes idades, por exemplo, 11 anos (indicando atraso) e de 9 anos (indicando adiantamento) que estão freqüentando a 4ª série do Ensino Fundamental. Se o SAEB fosse realizado para todas as séries do Ensino Fundamental, bastaria selecionar os alunos pertencentes à geração em cada uma das séries para compor a distribuição de desempenho da geração⁵. No entanto, a única informação disponível sobre desempenho da geração refere-se às crianças de 10 anos que estão em fase, ou seja, na 4ª série do Ensino Fundamental.

Para obter mais informações sobre o nível de habilidade das crianças da geração que não estão na 4ª série do Ensino Fundamental, utilizei dados do programa de avaliação discente da rede estadual do Rio de Janeiro, o Nova Escola, que testa alunos em diferentes séries do Ensino Fundamental com a medida de proficiência comparáveis entre as séries e também com o SAEB.

Com os dados do Nova Escola de 2004 foi apurada a aprendizagem entre diferentes séries do Ensino Fundamental, a partir da diferença entre o desempenho médio de determinados grupos de idade. Para exemplificar o procedimento, vamos considerar os alunos de 10 anos na 2ª série do Ensino Fundamental testados pelo Nova Escola. O desempenho médio deste grupo foi de 141 pontos. Qual seria a idade destes alunos na 4ª série? 12 anos. O Nova Escola também testou alunos de 12 anos na 4ª série e o desempenho médio foi de 164,7. Desta forma, a aprendizagem entre a 2ª série e a 4ª série do Ensino Fundamental para alunos com dois anos de defasagem é, em média, de 24 pontos na escala de desempenho. O procedimento foi aplicado para todas as séries do Ensino Fundamental avaliadas pelo Nova Escola. Os resultados são apresentados na Tabela 1.

Espósito e Davis (1999) e Espósito, Davis e Nunes (2000) analisam o nível de aprendizagem alcançado por alunos em diferentes séries a partir dos dados do Sistema de Avaliação de Rendimento Escolar do Estado de São Paulo – SARESP. Da forma como o SARESP é estruturado, entre 1996 e 1998 é possível avaliar o desempenho dos estudantes da 3ª série do Ensino Fundamental ao 1º ano do Ensino Médio. Para Língua Portuguesa, os resultados indicam acréscimo de 12,2 pontos na média obtida pelos alunos da 4ª série comparativamente aos de 3ª série do Ensino Fundamental. Entre a 7ª e a 8ª séries, o acréscimo foi de 8 pontos. Os resultados são convergentes aos encontrados a partir do Nova Escola, devendo-se considerar que a aprendizagem apurada entre as séries refere-se a grupos de alunos defasados um ou mais anos. A aprendizagem entre a 4ª e a 5ª séries foi pouco expressiva. Uma das possíveis explicações deve ser pelo fato de o Programa Nova Escola avaliar somente a rede estadual do Rio de Janeiro. Em geral, os municípios são responsáveis pelo atendimento de alunos no primeiro segmento do Ensino Fundamental, sendo maior a participação da rede estadual nos níveis de ensino subseqüentes. Face à entrada de um contingente de alunos oriundos da rede municipal na 5ª série, os resultados da aprendizagem entre estas duas séries poderiam estar sendo influenciados pela mudança no perfil de alunos que freqüentam a rede estadual. O estudo de Espósito, Davis e Nunes (2000) aponta que entre a 8ª série do Ensino Fundamental e o 1º ano do Ensino Médio praticamente não houve acréscimo no desempenho médio. Para minimizar este aspecto, aplicamos procedimento análogo nos dados da avaliação de escolas municipais do Rio Grande do Sul realizada em 2005 para a 5ª série do Ensino Fundamental para verificar o ganho de aprendizagem entre a 4ª e a 5ª série. O desempenho médio dos alunos de 9 anos da 4ª série do Ensino Fundamental foi obtido via SAEB 2003 para os estratos de escolas municipais. A aprendizagem entre estas séries foi de 6 pontos na escala de proficiência do SAEB, resultado mais próximo ao esperado. Cabe ressaltar que a aprendizagem entre a 4ª e a 6ª séries apurada a partir do Nova Escola também é afetada pela mudança de perfil dos alunos. No entanto, face à indisponibilidade de dados não foi possível verificar a aprendizagem entre as séries a partir de outras avaliações estaduais.

Para compor o nível de habilidade da geração de 10 anos fez-se uso dos dados de desempenho do SAEB. Os alunos de 10 anos que cursam a 4ª série do Ensino Fundamental são observados diretamente pela amostra do SAEB. Para que distribuição do desempenho da coorte etária de 10 anos possa ser reconstituída, faz-se necessário estimar o desempenho dos alunos não observados pelo SAEB. Esta estimativa envolveu assumir que alunos de 10 anos da 3ª série podem ser representados por alunos de 11 anos da 4ª série (logo, observados pelo SAEB), desde que descontado o aprendizado médio entre a 3ª e 4ª séries, como mostrado acima. Procedimento análogo é efetuado para estimar a proficiência dos alunos de 10 anos na 2ª série. No caso de alunos adiantados, soma-se ao desempenho dos alunos que estavam na 4ª série e possuíam 9 ou 8 anos de idade o aprendizado entre a 4ª e a 5ª séries ou entre a 4ª e a 6ª séries, respectivamente. Finalmente, considera-se que o desempenho dos alunos de 10 anos que tinham um ano ou menos de escolarização é equivalente ao desempenho médio dos alunos da 2ª série. Observe-se que este último procedimento não superestima o desempenho médio deste grupo de alunos porque o desempenho médio dos alunos de 2ª série já era muito próximo ao desempenho de alunos que respondiam aleatoriamente aos testes. O Quadro 1 resume os procedimentos acima descritos.

Os procedimentos descritos acabam por levar as informações do SAEB baseadas na 4ª série para informações de desempenho da geração de 10 anos. Da mesma forma que o SAEB utiliza pesos para expandir as estimativas da amostra para a população de alunos brasileiros, o último passo da metodologia envolveu calcular o peso de expansão da amostra da geração para a população da geração, a partir número total de crianças da geração atrasada, em fase e adiantada obtido via PNAD. Os detalhes deste procedimento estão descritos em Alves (2007). A próxima seção apresenta os resultados do desempenho médio, do 1º quartil e do 3º quartil da distribuição de desempenho das sucessivas gerações analisadas.

Resultados

Para o Brasil, os resultados mostram que o desempenho médio em matemática das sucessivas gerações de crianças de 10 anos apresentou queda de 7,5 pontos entre o período de 1995 e 2003 (Gráfico 4). Para a geração a queda é menor do que a observada para a 4ª série do Ensino Fundamental, que é de 13,5 pontos na escala de desempenho. Isto indica que, cerca da metade da queda diagnosticada diretamente pelo SAEB, é conseqüência da variação na composição da população que freqüenta a 4ª série do Ensino Fundamental Os Gráficos 5 e 6 apresentam os resultados para o 1º e o 3º quartis da distribuição de desempenho. Para o 1º quartil da distribuição de desempenho houve queda nos indicadores de desempenho para as gerações de 11 pontos na escala. Já os resultados do 3º quartil indicam estabilidade no desempenho da geração.

Um outro ponto que merece destaque é o resultado obtido para 2003. Enquanto o desempenho médio da geração é menor do que em 2001, o desempenho da série é superior. Este movimento é conseqüência do aumento da taxa de reprovação: menos crianças de 10 anos chegando à 4ª série do Ensino Fundamental, diminuição no desempenho da geração (mais alunos com atraso) e aumento do desempenho da série (retenção dos alunos mais fracos). Os mesmos resultados também são encontrados no 1º e no 3º quartis da distribuição de desempenho. Com efeito, para o Brasil, entre 2002 e 2004 a taxa de reprovação para a 4ª série do Ensino Fundamental aumentou 1,6 pontos percentuais.

Conclusões

A evolução da qualidade da educação considerando, conjuntamente, o desempenho escolar e a mudança na composição dos alunos que chegam à 4ª série do Ensino Fundamental é um tema que apenas recentemente tem despertado interesse entre os pesquisadores. Como o SAEB está organizado para avaliar determinadas séries, considerar a evolução da qualidade da educação nesta perspectiva integradora leva a uma discussão não só dos resultados encontrados, mas também dos procedimentos metodológicos envolvidos.

O presente trabalho enfrentou o desafio de examinar o tema do desempenho dos alunos que chegavam à 4ª série do Ensino Fundamental, levando em conta o contexto de grande alteração no fluxo escolar. Para isso, desenvolvi a perspectiva de acompanhamento de sucessivas gerações de crianças de 10 anos de idade, ao invés de sucessivos alunos de 4ª série. Meus resultados apontam para pequena queda na qualidade do desempenho das crianças de 10 anos de idade ao longo do período considerado. A magnitude desta queda foi cerca da metade da queda observada para a média de desempenho da 4ª série do Ensino Fundamental no mesmo período. Outros trabalhos usaram a mesma perspectiva de acompanhamento das sucessivas gerações de crianças de 10 anos. Neri e Carvalho (2002) estimaram uma melhora muito pequena no período, e Fernandes (2004) estimou melhoria expressiva. Sob o ponto de vista do método, a principal diferença entre os trabalhos refere-se aos pressupostos de cada um deles. Fernandes (2004) assume que todos os alunos atrasados – logo, não observados pelo SAEB – têm desempenho abaixo do percentil de interesse e que os alunos adiantados – também não observados pelo SAEB – têm desempenho acima do percentil de interesse. Neri e Carvalho (2002) assumem que o desempenho dos alunos não observados pode ser obtido a partir dos alunos observados com características demográficas semelhantes. Neste trabalho, utilizo dados adicionais de duas avaliações estaduais baseadas em diversas séries para estimar o desempenho dos alunos não observados pelo SAEB. Ao fazer isso, assumo que, em média, os ganhos entre séries dos alunos não observados pelo SAEB são equivalentes ao ganho médio entre séries nas avaliações estaduais que considerei. Ao usar informações adicionais, pude assumir pressupostos mais fracos do que os utilizados nos demais trabalhos. Ainda que o tema deva ser mais investigado em contexto de dados mais favoráveis à determinação do desempenho médio de sucessivas gerações, o presente trabalho inova por basear-se em avaliações que envolvem diversas séries e, por esta via, fazer estimativas com menos pressupostos.

A análise da evolução do desempenho de sucessivas gerações de crianças de 10 anos mostra como esta é uma ferramenta importante para compreender a qualidade da educação em um contexto marcado pelas mudanças no fluxo escolar. Desta forma permanece a questão: como a qualidade da educação fundamental evoluiu no período analisado? O cenário é de um moderado declínio, indicado por diminuição do desempenho médio dos alunos, mesmo após considerar o efeito devido à mudança na composição dos alunos. Mas quais fatores explicam este declínio? Ainda sabemos muito pouco e a identificação destes fatores vai além dos objetivos deste artigo. Por ora, apenas sinalizo a hipótese – que merece ser aprofundada – de que a municipalização das matrículas das séries iniciais esteja associada ao declínio da qualidade. De fato, analisando o crescimento das matrículas por rede, no Brasil, observa-se que enquanto a rede municipal praticamente dobrou de tamanho, passando de 1.286.175 matrículas em 1995 para 2.581.000 matrículas em 2003; a rede estadual decresceu em 58%, com uma diminuição no número de matrículas de 2.092.910 para 1.212.000. Na 4ª série do Ensino Fundamental, o desempenho médio das escolas públicas no SAEB apresenta tendência de queda e, durante todo o período analisado, a rede municipal tem resultado inferior ao da rede estadual. A queda de desempenho na rede pública na 4ª série é composta, portanto, pela queda no desempenho médio dos alunos que freqüentam a rede estadual e a rede municipal e pelo aumento relativo da rede municipal.

Alguns autores (ANDRADE, 1996; SOUZA, 2001; FRANCO et al., 2002) assinalam o grau de diferenciação, principalmente, no que se refere à capacidade financeira e administrativa entre os governos estaduais e municipais. O argumento é de que os municípios em que a estrutura de gestão educacional era incipiente - necessitando, portanto, de maior assistência técnica - também eram aqueles em que estão os alunos com maior risco de fracasso na escolarização. Como no processo de municipalização das matrículas não houve uma sistemática de assistência técnica por parte do Governo Federal e dos Governos Estaduais, uma parte do declínio da qualidade pode estar associada à forma como ocorreu o processo de municipalização. Este e outros temas precisam ser investigados com mais detalhes, não só no sentido de compreender quais fatores estão associados à qualidade da educação, mas também para subsidiar a formulação de novas propostas.

O período de 1992 a 1998 foi caracterizado por alterações profundas no fluxo escolar, repercutindo no desempenho médio dos alunos nos anos subseqüentes. No entanto, desde 1999 há uma estabilidade na faixa de 26% da taxa de não promoção. Com isto, diferentemente do período anterior, o efeito composicional na evolução do desempenho dos alunos nos anos mais recentes é quase desprezível. Em outras palavras, a estabilidade na taxa, mesmo que em um patamar elevado, faz com que o perfil dos alunos que chegam à 4ª série do Ensino Fundamental não se esteja modificando. Em um cenário no qual permanece esta estabilidade, a questão do efeito composicional introduz um viés que torna imprecisa a comparação dos resultados dos indicadores de desempenho educacional e, conseqüentemente, a qualidade da educação não mais se coloca. No entanto, este não deve ser o cenário para os próximos anos.

A divulgação do IDEB e a definição de metas para serem cumpridas por estados e municípios até 2022 coloca o tema do efeito composicional novamente em voga. As metas são demandantes, uma vez que estão relacionadas com a superação de dois dos maiores problemas da educação brasileira: elevada taxa de não-promoção e baixo desempenho escolar. Para que o Brasil consiga atingir um IDEB igual a 6,0 até 2002, é necessário a quase total regularização do fluxo escolar e que o desempenho das escolas brasileiras melhore sensivelmente, de modo que, em 2021, a escola brasileira mediana tenha desempenho equivalente a de escolas que, em 2003, estavam em torno do percentil 86. É bem provável que os esforços dos governantes para dar conta das exigências impostas pelas metas tenham efeitos em momentos diferenciados. Provavelmente, nos próximos anos, os primeiros resultados das políticas implementadas para a regularização do fluxo começarão a aparecer. Somente em um segundo momento, com o fluxo escolar quase regularizado (ou estável em patamares baixos), é que os resultados sobre o desempenho escolar serão percebidos. Desta forma, em um futuro próximo, possivelmente teremos novamente uma acentuada queda nas taxas de não-promoção, sem que haja alterações na melhoria do desempenho escolar. Como conseqüência, teremos que lidar, mais uma vez, com o efeito de composição sobre a evolução do desempenho nacional nas avaliações.

Referências

ALVES, F. Qualidade na educação fundamental pública nas capitais brasileiras: tendências, contextos e desafios. 2007. 243 f. Tese (Doutorado em Educação) – Departamento de Educação, Pontifícia Universidade Católica do Rio de Janeiro, Rio de Janeiro, 2007.

ANDRADE, I. Descentralização e poder municipal no Nordeste: os dois lados da nova moeda. In: ENCONTRO NACIONAL DA ANPOCS, 20., 1996, Caxambu; GT de Políticas Públicas, 1996, Caxambu. Trabalhos apresentados... Caxambu, MG, 1996.

ESPOSITO, Y.; DAVIS, C. Avaliação do rendimento escolar: modelo adotado pelo estado de São Paulo. In: BICUDO, M.; SILVA JÚNIOR, C. Formação do educador e avaliação educacional. São Paulo: Ed. da UNESP, 1999.

ESPOSITO, Y.; DAVIS, C.; NUNES, M. Sistema de avaliação do rendimento escolar: o modelo adotado pelo estado de São Paulo. Revista Brasileira de Educação, Rio de Janeiro, n. 13, p. 23-53, jan./fev./mar./abr. 2000.

FERNANDES, R. Expansão escolar e qualidade de ensino: o Brasil na década de 1990. 2004. Tese (Livre Docência) – Faculdade de Economia, Administração e Contabilidade , Universidade de São Paulo, Ribeirão Preto, 2004.

FERNANDES, R. Índice de Desenvolvimento da Educação Básica (Ideb). Brasília, DF: INEP, 2007. (Série Documental. Textos para Discussão; 26).

FERNANDES, R.; NATENZON, P. A evolução recente do rendimento escolar das crianças brasileiras: uma reavaliação dos dados do SAEB. Estudos em Avaliação Educacional, São Paulo, n. 28, p. 3-22, dez. 2003.

FRANCO, C. et al. Os resultados do SAEB em perspectiva longitudinal. Rio de Janeiro: PUC- Rio, 2002. Mimeografado.

HANUSHEK, E. A. School resources and student performance. In: BURTLESS, G. (Ed.). Does money matter?: the effect of school resources on student achievement and adult success. Washington, DC: The Brooking Institution, 1996.

IBGE. Pesquisa Nacional por Amostra de Domicílios. Rio de Janeiro, 2006. Disponível em: <http://www.ibge.gov.br>. Acesso em: 23 nov. 2007.

INEP. Qualidade da educação: uma nova leitura do desempenho dos estudantes da 4ª série do ensino fundamental. Brasília, DF, 2003.

______. Relatório SAEB 1999. Brasília, DF, 1999. Y

JACOB, B. Accountability, incentives and behavior: the impact of high-stakes testing in the Chicago Public Schools. National Bureau of Economic Research, 2002. Working paper 8968. Disponível em: < www.nber.org/papers/w8968 >. Acesso em: 23 nov. 2007.

NERI, M.; CARVALHO, A. Seletividade e medidas de qualidade da educação brasileira 1995-2001. Rio de Janeiro: EPGE, FGV, 2002. (Ensaios Econômicos; n. 463).

RIO DE JANEIRO (Estado). Programa Nova Escola. Rio de Janeiro, 2004-2007. Disponível em: < http://www.see.rj.gov.br >. Acesso em: 23 nov. 2007.

SOUZA, C. Federalismo e gasto social no Brasil: tensões e tendências. Lua Nova: revista de cultura e política, São Paulo, n. 5, 2001.

SOUZA, P. R. Avaliação a serviço da qualidade educativa. São Paulo: Reescrevendo a educação, 2006. Disponível em: <www.reescrevendoaeducacao.com.br/2006/pages.php?recid=44 - 44k>. Acesso em: 23 nov. 2007.

Recebido em: 03/04/2007

Aceito para publicação em: 06/11/2007

1

O ano de 1995 foi excluído da análise para a 4ª série do Ensino Fundamental pela ausência de informações sobre a escolaridade dos pais no questionário do aluno.

2

Ainda quanto aos aspectos metodológicos do trabalho de Neri e Carvalho (2002), devo mencionar dois aspectos: o SAEB não coletou informações sobre educação dos pais dos alunos da 4ª série em 1995. Isto obrigou os autores a estimar as regressões para o ano de 2001 e generalizar os coeficientes estimados para os demais anos; e os autores não comentam como lidaram com o elevado percentual de alunos que afirmou não saber qual o nível de escolaridade do pai e da mãe.

3

Cabe ressaltar que Fernandes e Natenzon (2003) analisam o período de 1995 a 1999. A atualização dos resultados para 2001 foi feita por Fernandes (2004).

4

O PISA é um programa internacional de avaliação desenvolvido e coordenado internacionalmente pela Organização para Cooperação e Desenvolvimento Econômico (OCDE). Sua principal finalidade é produzir indicadores sobre a efetividade dos sistemas educacionais, avaliando o desempenho de alunos na faixa dos 15 anos. No Brasil, o PISA é coordenado pelo INEP.

5

Em verdade, seria necessário usar informações disponíveis para estimar o nível de habilidade das crianças fora da escola.

Datas de Publicação

• Publicação nesta coleção
  27 Fev 2008
• Data do Fascículo
  Dez 2007

Histórico

• Aceito
  06 Nov 2007
• Recebido
  03 Abr 2007