A educação brasileira está melhorando? Evidências do PISA e SAEB

¿La educación brasileña está mejorando? Evidencias de Pisa y Saeb

Resumos

Neste texto medimos as mudanças das pontuações em matemática e leitura dos alunos brasileiros favorecidos e desfavorecidos no Programa Internacional de Avaliação de Alunos - Pisa - entre 2000 e 2012 e no Sistema de Avaliação da Educação Básica - Saeb - no período de 1995 a 2013, a fim de extrair algumas conclusões provisórias em relação à variação da efetividade do ensino básico brasileiro (1ª a 8ª/9ª séries). Nossos achados mostram que os ganhos no teste de matemática do Pisa são muito maiores do que no teste de leitura. Os ganhos (ou sua ausência) entre 1999 e 2013 no teste do Saeb são também maiores em matemática que em português. Parte do ganho no teste de matemática do Pisa e a maior parte do ganho no teste de leitura resultam do aumento gradual no tempo que os alunos com a idade de quinze anos passam na escola. Os ganhos no Pisa para os estudantes brasileiros mais favorecidos são menores do que entre aqueles com níveis baixos de recursos acadêmicos familiares, o que também se verifica no teste do Saeb.

Avaliação; Educação Básica; Pisa; Saeb

En este texto medimos los cambios del puntaje en matemáticas y lectura de los alumnos brasileiros favorecidos y desfavorecidos en el Programa Internacional de Evaluación de Alumnos -Pisa- entre 2000 y 2012, y en el Sistema de Evaluación de la Educación Básica -Saeb- en el periodo de 1995 a 2013, con el propósito de extraer algunas conclusiones provisorias en lo que concierne a la variación de la efectividad de la educación básica brasileña (1º a 8º /9º años). Nuestros hallazgos muestran que las ganancias en la prueba de matemáticas del Pisa son mucho mayores que en la prueba de lectura. Las ganancias (o su ausencia) en 1999-2013 en la prueba de Saeb también son mayores en matemáticas que en portugués. Una parte de la ganancia en la prueba de matemáticas de Pisa y la mayor parte de la ganancia en la prueba de lectura resultan del aumento gradual en el número de años que los alumnos de quince años pasan en la escuela. Las ganancias en el Pisa para los estudiantes brasileños más favorecidos son menores que entre aquellos con niveles bajos de recursos académicos familiares, lo que también se verifica en la prueba de Saeb.

Evaluación; Educación Básica; Pisa; Saeb

This article assesses the changes in mathematics and reading scores of socially advantaged or disadvantaged Brazilian students, in the International Student Assessment Program - Pisa - between 2000 and 2012, and the National Basic Education Assessment System - Saeb - between 1995 to 2013, in order to extract some provisional conclusions regarding the variations in the effectiveness of basic education in Brazil (1^st to 8^th/9^th grades). Our findings show that the gains in the Pisa math test are much larger than in the reading test. The gains (or their absence), in the Saeb test, for the 1999-2013 period, are also higher in mathematics than in Portuguese. Part of the gains in the Pisa math test and most of those in the reading test result from the gradual increase in the number of years fifteen year-old students spend in school. The gains in the Pisa test for more advantaged Brazilian students are lower than for those coming from families with lower educational resources; this also applies for the Saeb test.

Evaluation; Basic Education; Pisa; Saeb

À medida que os países em desenvolvimento vêm expandindo seus sistemas educacionais a fim de fornecer educação secundária a uma proporção crescente de jovens, o foco das políticas originalmente preocupadas com o acesso à escola tem se voltado para a melhoria da qualidade da educação (UNESCO, 2005). Dois outros fatores têm contribuído para essa mudança de foco. O primeiro são as pesquisas que afirmam que a qualidade da educação, quando mensurada por testes internacionais, é um melhor preditor de crescimento econômico do que o número de anos de escolaridade da força de trabalho (HANUSHEK; KIMKO, 2000; HANUSHEK; PETERSON; WOESSMANN, 2013). O segundo é o aumento da utilização de procedimentos de testagem em si, tanto em âmbito nacional quanto internacional. Resultados de testes de alunos são cada vez mais usados, tanto em esfera local quanto nacional, para pressionar os sistemas educacionais, as escolas e mesmo os professores, individualmente, a fazer com que seus alunos tenham melhor desempenho nos testes (OECD, 2013). Tabelas classificativas que comparam escolas, distritos escolares, regiões e nações constituem-se, agora, em um recurso regular de política educacional em muitos países do mundo. As pontuações nos testes estão adquirindo importância suficiente para afetar a legitimidade dos governos.

Não é de estranhar, portanto, que um país como o Brasil, que se considera promissor no cenário econômico mundial, deva preocupar-se com o sucesso de seus alunos, quando comparados aos alunos de outros países, e esteja particularmente interessado em saber se o desempenho dos estudantes brasileiros está melhorando ao longo do tempo. Já há alguns anos o Brasil tem seu próprio sistema nacional de avaliação, o Sistema de Avaliação da Educação Básica - Saeb (1995-2013) - e, desde 2005, a Prova Brasil. A Prova Brasil se compõe de testes nacionais aplicados aos alunos da 4ª série (após 2007, aos alunos do 5º ano no novo sistema educacional brasileiro¹¹) e da 8ª série (após 2007, aos alunos do 9º ano), realizados em todas as escolas públicas com 20 ou mais alunos nas séries testadas, a cada dois anos. O Saeb baseia-se em uma ampla amostra de alunos brasileiros tanto da rede pública quanto da privada.

Além disso, o Brasil participou do Programa Internacional de Avaliação de Alunos - Pisa -, aplicado pela Organização para a Cooperação e Desenvolvimento Econômico - OECD -, em todas as suas cinco edições - 2000, 2003, 2006, 2009 e 2012 (ver OECD, 2013, v. 1, cap. 2). Diferentemente do Saeb, o Pisa é um teste aplicado a uma amostra de estudantes de 15 anos de idade, baseado na distribuição dos alunos dessa faixa etária em várias séries. O Saeb é uma amostra de sala de aula que testa todos os alunos das salas de aula selecionadas,¹² ao passo que o Pisa testa uma amostra de cerca de 25 estudantes de 15 anos de idade em cada escola selecionada.

Essas duas avaliações podem ser usadas para realizar inferências sobre o progresso dos estudantes brasileiros em relação às habilidades de língua portuguesa e matemática que lhes foram ensinadas até o final do ensino básico (Saeb, 8º/9º ano) e aos 15 anos de idade (Pisa, 7º-11º anos e, após 2007, 8º-12º anos). Nossa abordagem metodológica para medir o progresso na qualidade do sistema escolar consiste em realizar o controle analítico de uma porção importante das influências extraescolares por meio da comparação de estudantes com recursos acadêmicos familiares semelhantes em diversos países. Sustentamos que, se controladas pelas características dos estudantes (gênero e raça) e pelos recursos acadêmicos familiares, as mudanças em pontuações nos testes dos estudantes ao longo do tempo fornecem uma melhor avaliação do progresso do sistema educacional de um país do que o simples acompanhamento de suas pontuações médias nacionais. Existem complexidades adicionais em relação ao teste do Pisa uma vez que os estudantes amostrados encontram-se em uma faixa etária específica, não em uma única série, e, no caso brasileiro, o teste foi aplicado em datas diferentes em 2000, 2003/2006, 2009 e 2012, produzindo, assim, ainda mais distorção na medição dos ganhos ao longo do tempo (KLEIN, 2011). Ao estimar as mudanças de pontuação dos alunos favorecidos e desfavorecidos no Pisa, tentamos realizar o controle das variáveis "série" e "data do teste".

Nossa estratégia empírica é descritiva e comparativa. Estimamos, inicialmente, o nível e as mudanças das pontuações em matemática e leitura dos alunos brasileiros favorecidos e desfavorecidos no Pisa e comparamos estes resultados com aqueles de alunos com as mesmas características em outros países, tendo como foco Portugal, Argentina, Chile e México entre 2000 e 2012. Em seguida, descrevemos os ganhos nas pontuações dos testes em leitura/português e matemática para os estudantes brasileiros por grupo de recurso familiar usando o Pisa (2000-2012) e o Saeb (1995-2013), a fim de extrair algumas conclusões provisórias dessas estimativas em relação à variação da efetividade do ensino básico brasileiro (1ª a 8ª/9ª séries). Usamos o Saeb em vez da Prova Brasil em 2005-2013 porque a Prova Brasil inclui apenas os alunos da rede pública; como resultado, as pontuações dos alunos de famílias com maior recurso acadêmico sofrem severa distorção para baixo.

Nossos achados mostram que os estudantes brasileiros obtiveram ganhos nas pontuações do teste do Pisa na primeira década do século XXI, mas muito menos no Saeb, se é que houve algum. Os ganhos dos brasileiros no teste de matemática do Pisa são muito maiores do que no teste de leitura. Além disso, parte do ganho no teste de matemática do Pisa e a maior parte do ganho no teste de leitura resultam do aumento gradual do número de anos que os alunos com a idade de 15 anos passam na escola. Os ganhos (ou sua ausência) em 1999-2013 no teste do Saeb são aproximadamente os mesmos em matemática e português. Os ganhos no Pisa para os estudantes brasileiros mais favorecidos são menores do que entre aqueles com níveis baixos de recursos acadêmicos familiares. O mesmo se verifica no teste do Saeb. Os ganhos dos alunos brasileiros mais favorecidos no teste de matemática do Pisa são também menores do que os de estudantes mais favorecidos no Chile, mas maiores do que os ganhos dos estudantes mais favorecidos na Argentina e no México. No teste de 2012 do Pisa, os estudantes brasileiros em todos os níveis de recurso acadêmico familiar pontuaram igual ou melhor que os estudantes da Argentina, Colômbia e Peru, mas não tão bem quanto os estudantes do Chile, México, Uruguai, Portugal ou Espanha.

Razões para comparar as pontuações por recurso acadêmico familiar

Estudos têm mostrado que várias medidas substitutas (proxy) para avaliar os recursos acadêmicos familiares, tais como nível de instrução materno, nível de instrução dos progenitores, artefatos ou livros no domicílio, estão correlacionados com as conquistas acadêmicas dos alunos - por exemplo, para os Estados Unidos, ver Coleman et al. (1966) e Jencks e Phillips (1998); para o Reino Unido, Peaker (1971); para o Pisa, ver Schulz (2005), Buchmann (2002) e Adamson (2010); para o Trends in International Mathematics and Science Study Survey - TIMSS -, ver Raudenbush, Cheong e Fotiu (1996), Woessmann (2004) e Chudgar, Luschei e Fagioli (2012); para uma meta-análise dos diferentes tipos de teste, ver Sirin (2005).

Há muitas razões pelas quais o ambiente acadêmico familiar do aluno pode ser um fator importante para seu progresso cognitivo (e não cognitivo). Estudantes criados em uma família em que materiais de leitura estão prontamente disponíveis e em que um dos ou ambos os progenitores conquistaram níveis mais altos de escolaridade são mais propensos a ser expostos a interação verbal complexa (HEATH, 1983), a terem quem lhes tenha lido livros quando pequenos, a terem tido acesso a melhor assistência de saúde e a uma dieta mais nutritiva (independentemente de renda), a serem alvo de maiores expectativas acadêmicas quando ingressam na escola e a interagirem com pares oriundos de famílias com semelhantes inclinações para leitura, interação verbal e expectativas acadêmicas. Quer se queira denominar tais "investimentos" familiares na primeira infância e depois do ingresso na escola de capital cultural (BOURDIEU; PASSERON, 1979), capital humano (SCHULTZ, 1961), ou capital social (COLEMAN, 1988), o conceito é o mesmo: fatores associados com o ambiente familiar têm influência no desempenho na escola. Além dessa influência direta, famílias com mais recursos acadêmicos no domicílio são geralmente mais motivadas tanto a buscar que seus filhos frequentem escolas em que os alunos têm maior motivação acadêmica quanto a pagar por aulas fora da escola (BRAY, 2006).

Considerando que os alunos testados em vários países vivem, em média, envoltos em ambientes familiares (em termos de capital humano, cultural e social) que diferem consideravelmente entre si, e levando-se em conta que os ambientes familiares têm uma influência importante no desempenho escolar, comparações de desempenho médio dos alunos poderiam atribuir, incorretamente, maiores ou menores resultados às políticas educacionais, quando, de fato, os resultados podem advir de diferentes influências extraescolares. Ademais, políticas educacionais podem afetar de forma diferente estudantes de diferentes ambientes. Ao comparar o desempenho acadêmico de alunos em ambientes sociais e familiares específicos ao longo do tempo, podemos entender melhor as nuanças das políticas educacionais em vários países. Tais comparações são o cerne de nossa análise neste estudo.

Que variáveis substitutas (proxy) deveriam ser usadas para medir os recursos acadêmicos familiares? Não há um modo preciso para fazer tais comparações entre países. O Pisa coleta dados sobre muitas características que estão comprovadamente relacionadas a recursos familiares. Esse exame também os agrupa em um índice geral chamado "índice de condição econômica, social e cultural" - ESCS -, que tem duas desvantagens significativas: combina vários fatores que podem não ser comparáveis internacionalmente e não revela que fatores estão contribuindo para explicar diferenças de pontuação no teste (HAUSER, 2013). Embora nenhum dos possíveis indicadores de diferenças em recurso familiar seja inteiramente satisfatório, nós usamos dois para nossa análise neste artigo, a saber, o número de livros no domicílio - LD - e o nível de instrução materna - IM -, já que eles podem ser divididos em categorias específicas que podem ser comparadas entre países latino-americanos, Espanha e Portugal. No inquérito do Pisa, uma fração muita alta de estudantes responde à questão referente a LD, o que não se dá com a mesma intensidade com outras importantes questões indicadoras de recurso acadêmico familiar constantes dos questionários, incluindo o nível de instrução materna. A vantagem em usar as definições de IM e LD como indicadores de recurso acadêmico familiar é que o Saeb também formula a pergunta sobre o nível de instrução materna no período 1999-2013 e sobre os livros no domicílio no período 1999-2005. Observamos que as amostras de estudantes do Pisa em países latino-americanos estão mais equanimemente distribuídas entre categorias de IM do que em categorias de LD. A maioria dos estudantes nas amostras do Pisa em países latino-americanos, incluindo os brasileiros, situa-se nas duas categorias mais baixas de LD: 0-10 e 11-25. Apesar da distribuição mais equitativa nas categorias de IM, uma alta percentagem de alunos encontra-se nas três categorias mais baixas: mães sem instrução, com instrução primária e com instrução secundária inferior. É provável que a proporção de estudantes nessas três categorias mais baixas de IM seja subestimada.

Comparando o desempenho no Pisa 2012

Como já foi observado, desagregamos as pontuações de leitura e matemática, no Brasil e em oito países para fins de comparação, em duas medidas diferentes de recursos acadêmicos familiares: (a) LD e (b) IM. Em (a), dividimos os estudantes nas seis categorias LD do questionário do Pisa, representando seis grupos de recursos acadêmicos familiares, do menos favorecido ao mais favorecido. Referimo-nos ao grupo de estudantes que relatou 0-10 livros no domicílio como estudantes muito desfavorecidos; o grupo que relatou 11-25 livros no domicílio é referido como desfavorecido; os estudantes que relataram 26-100 livros no domicílio são chamados de moderadamente favorecidos, e aqueles com mais de 100 livros no domicílio são referidos como estudantes favorecidos. A Tabela 1 mostra que, em 2012, apenas 7,4% dos estudantes brasileiros encontravam-se no grupo favorecido como definido pelo critério LD. Em (b), também criamos seis níveis de recursos familiares com base nas sete categorias de IM no questionário de estudantes do Pisa. Essas seis categorias correspondem a mães descritas pelos estudantes como "sem instrução", "com instrução primária" (ISCED 1), "com instrução secundária inferior" (ISCED 2), "com instrução secundária superior" (ISCED 3A, 3B, 4), "com instrução terciária não universitária" (ISCED 5B) e "com instrução universitária ou pós-graduação" (ISCED 5A, 6).

Tabela 1
Pisa 2012: proporção da amostra por grupo de recursos acadêmicos familiares (LD e IM), Brasil e países de comparação

Temos que fazer alguns ajustes para comparar pontuações por grupo de recurso familiar em 2000-2012 porque as categorias LD e IM usadas no levantamento de 2000 diferem das categorias usadas nos levantamentos subsequentes (2003, 2006, 2009 e 2012). No levantamento de 2000, as categorias LD no questionário do estudante eram 0, 1-10, 11-50, 51-100, 101-250, 251-500 e mais de 500 livros no domicílio. Nos anos subsequentes, o questionário do estudante mudou as categorias para 0-10, 11-25, 26-100, 101-200, 201-500 e mais de 500 livros no domicílio. Por causa dessas mudanças em categorias, precisamos interpolar pontuações para os grupos 2-5.¹³

Para a IM, o Pisa 2000 fornece apenas a opção de descrever as mães com instrução terciária não universitária e universitária em uma só categoria (ISCED 5B, 5A e 6), mas em anos posteriores, eles desagregaram a categoria em ISCED 5B e uma segunda categoria, ISCED 5A e 6. Temos que lidar com as pontuações de teste para estudantes nos grupos de IM não universitária e universitária em 2000, interpolando as pontuações para os estudantes com IM universitária em 2000, baseando-nos em proporções de IM relatada e razões de pontuação de teste de 2006 (Argentina e Chile não se submeteram ao teste em 2003) para os dois subgrupos - aqueles com mães que tinham instrução terciária não universitária e aqueles com mães que tinham instrução universitária.

É preciso criar categorias que sejam mais comparáveis (em proporções amostrais) entre nossas duas definições de recursos acadêmicos familiares (LD e IM). Assim, referimo-nos aos estudantes que relataram que suas mães não tinham instrução ou apenas tinham instrução primária como estudantes muito desfavorecidos, aos que relataram mães com instrução secundária inferior (ISCED 2) como desfavorecidos, aos que relataram mães com instrução secundária superior e instrução terciária não universitária (ISCED 3A, 3B, 4 e 5B) como moderadamente favorecidos, e aos que relataram mães com instrução universitária (ISCED 5A e 6) como favorecidos.

Ainda assim, as duas definições de recursos acadêmicos familiares mostram proporções um tanto diferentes da amostra do Pisa nos grupos muito desfavorecidos, desfavorecidos, moderadamente favorecidos e favorecidos, especialmente em países latino-americanos. Por exemplo, com base na categoria LD, o grupo brasileiro muito desfavorecido no Pisa 2012 constituiu 45% da amostra, e o grupo favorecido, apenas 7,5% dela. Com base na categoria IM, o grupo muito desfavorecido constituiu 32% da amostra, e o grupo favorecido, 16% dela. Países latino-americanos têm diferenças semelhantes na forma como as duas variáveis que usamos para mensurar recursos acadêmicos familiares categorizam estudantes nos grupos muito desfavorecidos, desfavorecidos e favorecidos. Entretanto, uma razão para essa ocorrência pode ser o fato de que os estudantes superestimam os níveis de instrução de suas mães. É improvável que percentagens tão altas de mães instruídas no final dos anos 1980 e no começo da década de 1990 em países latino-americanos tenham completado o nível superior de ensino quando a proporção da população que frequentava a universidade era consideravelmente mais baixa. No Brasil, apenas cerca de 10-12% dessa faixa etária chegou ao ensino superior antes de 1995.¹⁴ Os percentuais de estudantes que relataram mães com instrução superior nos outros países em nosso grupo de comparação são também duvidosamente altos. Assim, nossas pontuações de teste estimadas para o grupo favorecido, como definido pela instrução materna, podem subestimar as pontuações médias "verdadeiras" dos estudantes favorecidos. Ainda assim, na medida em que nos centramos em mudanças ao longo do tempo, o nível das pontuações interessa menos que a tendência, e estas podem ser semelhantes tanto na definição de grupos favorecidos quanto desfavorecidos.

O Brasil tem uma das proporções mais altas de estudantes com baixos recursos acadêmicos familiares dentre os países que usamos para comparação, quer mensuremos tais recursos pelos livros no domicílio ou pelo nível de IM. 72% dos estudantes na amostra brasileira relataram quantidade menor ou igual a 25 LD, mais que os outros três países com altas proporções de baixos recursos acadêmicos familiares - Colômbia, México e Peru. Na amostra brasileira, 34% dos estudantes relataram a IM como ensino primário completo ou inferior, comparável com outras amostras de estudantes com baixos recursos acadêmicos familiares na Colômbia, no México e no Peru.

Na outra extremidade do espectro, a proporção da amostra brasileira de estudantes com mais de 100 LD (8%) foi a mais baixa em nossos grupos de comparação, embora similar à proporção nas três outras amostras de países com baixos recursos acadêmicos familiares. No caso da IM, entretanto, a proporção de estudantes brasileiros que relataram que suas mães tinham alguma instrução superior (22%) foi aproximadamente a mesma ou mais alta que em todos os países de comparação, exceto Argentina, Colômbia e Espanha.

A Tabela 2 mostra que estudantes brasileiros com recursos acadêmicos familiares semelhantes a estudantes na Argentina, na Colômbia e no Peru geralmente obtiveram pontuação aproximadamente igual ou mais alta tanto em matemática quanto em leitura no Pisa 2012. Contudo, estudantes brasileiros com recursos acadêmicos familiares semelhantes pontuaram significativamente menos que estudantes no Chile, no México, no Uruguai,¹⁵ em Portugal e na Espanha.¹⁶ Estudantes favorecidos no Brasil tenderam a apresentar uma defasagem muito maior em relação a seus equivalentes em recursos familiares nos países com pontuações mais altas. Em alguns casos (por exemplo, as pontuações em matemática dos estudantes favorecidos no Brasil e em Portugal), a defasagem é maior que o desvio padrão. O uso da IM como medida de recursos acadêmicos familiares leva às mesmas conclusões comparativas.

Tabela 2
Pisa 2012: médias de pontuação em matemática e leitura por grupo de recursos acadêmicos familiares (LD e IM), Brasil e países de comparação

Para comparar as pontuações médias entre países, corrigidas pelas diferenças na composição das amostras em termos de recursos acadêmicos familiares, realizamos uma ponderação das pontuações de cada um dos grupos nos países usados para comparação, usando as proporções da amostra brasileira. A Tabela 3 mostra as pontuações médias relatadas e as pontuações ponderadas da amostra brasileira para leitura e matemática no Pisa, usando as proporções das categorias LD e IM. Os resultados são semelhantes: quando ajustamos as pontuações para diferenças em recursos acadêmicos familiares nas amostras, os estudantes brasileiros pontuam melhor em matemática do que os estudantes argentinos, colombianos e peruanos, e substancialmente pior que estudantes de outros países da comparação. Em leitura, quando usamos os pesos LD, estudantes brasileiros obtêm pontuações substancialmente mais altas que estudantes argentinos e peruanos, aproximadamente as mesmas que estudantes colombianos e uruguaios, e mais baixas do que estudantes de outros países da comparação. Quando usamos os pesos IM, os resultados são os mesmos, exceto pelo fato de que os estudantes brasileiros pontuam melhor que os estudantes colombianos e pior que os estudantes uruguaios.

Tabela 3
Pisa 2012: médias de pontuação em matemática e leitura ajustadas por diferenças em recursos acadêmicos familiares na amostra, Brasil e países de comparação

Tendências nas pontuações do Pisa, 2000-2012

O Pisa vem sendo aplicado a cada três anos desde 2000, o que nos dá a oportunidade de estimar mudanças nas pontuações de matemática desse exame ao longo do tempo. Ao observar tais mudanças, podemos avaliar como os estudantes brasileiros academicamente favorecidos e desfavorecidos aumentaram seu desempenho no teste do Pisa¹⁷. Podemos também comparar o desempenho dos estudantes brasileiros ao longo do tempo com o desempenho de estudantes em vários outros países da América Latina, além de Portugal e da Espanha.

Fazemos nossas estimativas por grupo de recurso acadêmico familiar porque as mudanças ao longo do tempo na composição da população que se submete ao teste em termos de LD ou IM podem afetar a pontuação média de um país e ao mesmo tempo mascarar mudanças reais (ou a falta delas) no desempenho dos estudantes daquele país.

As tabelas 4a e 4b mostram que os estudantes brasileiros obtiveram grandes ganhos no teste de matemática do Pisa em todos os grupos de recurso acadêmico familiar no período de 2000-2012 e ganhos muito menores no teste de leitura. Os ganhos brasileiros foram maiores tanto em matemática quanto em leitura para os estudantes de recursos acadêmicos familiares moderados e mais baixos do que o foram para os alunos de recursos mais elevados, apesar do fato de que, quando o recurso acadêmico familiar é mensurado pela IM, as diferenças sejam menos evidentes, em parte porque a definição de recurso acadêmico familiar em termos de LD é uma definição muito mais "exclusiva " dos "favorecidos" (apenas 10% dos estudantes em 2000 e 8% em 2012). As tabelas 3a e 3b também comparam os ganhos dos estudantes brasileiros nesse período com ganhos de estudantes de outros países da América Latina, da Espanha e de Portugal. A Colômbia e o Uruguai não são mostrados, porque não se submeteram ao Pisa em 2000. Os ganhos em matemática dos estudantes brasileiros de recurso acadêmico familiar mais baixo (<26 LD; mãe sem instrução ou com ensino primário) e mais elevado (>100 LD; mãe com instrução universitária) são iguais ou maiores do que os ganhos de estudantes de qualquer um dos países usados na comparação, exceto o Peru. Ainda assim, em leitura, estudantes brasileiros de recursos acadêmicos familiares mais baixos e mais elevados apenas conquistaram ganhos maiores que os estudantes da Argentina, do México (particularmente entre os estudantes com maiores recursos) e, na definição de recurso acadêmico familiar em termos de IM, os estudantes da Espanha.

Tabela 4a
Ganhos em matemática e leitura, Pisa 2000-2012, por categorias de livros no domicílio e país

Tabela 4b
Ganhos em matemática e leitura, Pisa 2000-2012, por categorias de instrução materna e por país

Quando mapeamos a progressão dos ganhos dos estudantes brasileiros nas cinco edições dos testes do Pisa (2000, 2003, 2006, 2009 e 2012), esses ganhos variam para matemática e leitura, e há também alguma variação se medimos recursos acadêmicos familiares em termos de LD ou IM. Nos gráficos 1a e 1b, o desempenho dos estudantes brasileiros é dividido por grupos - "muito desfavorecidos", "desfavorecidos" e "favorecidos", como definido anteriormente - e então comparado com as pontuações do teste de matemática dos estudantes da Argentina e do Chile, dois países vizinhos para os quais temos resultados de, pelo menos, quatro das cinco edições do Pisa.

Os resultados dos gráficos 1a e 1b confirmam aqueles das Tabelas 4a e 4b. Os estudantes brasileiros "muito desfavorecidos" e "desfavorecidos" obtiveram ganhos grandes e estáveis na prova de matemática do Pisa entre 2000 e 2012. Estudantes brasileiros favorecidos também obtiveram ganhos substanciais em matemática nesse período, principalmente em 2000-2003, quando definimos "favorecidos" por LD, e após 2003, quando "favorecidos" foi definido mais amplamente em termos da IM. A proporção de alunos relatando que sua mãe tem instrução universitária é aparentemente muito elevada - é possível que essa categoria represente um grupo de estudantes que, na realidade, tem recursos familiares médios mais baixos. Os ganhos brasileiros em leitura foram menores, como já foi observado nas tabelas 4a e 4b, e o padrão de ganhos varia consideravelmente de teste para teste entre grupos de recurso familiar e de acordo com a medida de recurso familiar.

Gráfico 1a.
Tendências na pontuação em matemática no Pisa 2000-2012 por recursos acadêmicos familiares (LD), Brasil, Argentina e Chile

Gráfico 1b.
Tendências na pontuação em matemática no Pisa 2000-2012 por recursos acadêmicos familiares (IM), Brasil, Argentina e Chile

Ao comparar os ganhos dos alunos brasileiros com os ganhos dos alunos da Argentina e do Chile, notamos que os estudantes chilenos de grupos muito desfavorecidos, desfavorecidos e favorecidos obtêm pontuação em matemática mais alta do que a pontuação do grupo brasileiro correspondente. Os estudantes chilenos obtêm ganhos substanciais em matemática (também em leitura), qualquer que seja nossa definição de recursos acadêmicos familiares. Apenas estudantes argentinos favorecidos e desfavorecidos, de acordo com a IM, não obtiveram ganhos substanciais em matemática, quando considerados Argentina, Brasil e Chile e os outros países usados na comparação das tabelas 4a e 4b.

Corrigindo os ganhos brasileiros no Pisa por mudanças na data do teste

O Pisa difere de outros testes, como o Levantamento de Tendências no Estudo Internacional de Matemática e Ciência [Trends in International Mathematics and Science Study Survey - TIMSS], e avaliações nacionais, como o Saeb, porque a população estudantil alvo é definida por idade (jovens de 15 anos), em vez da série. Assim, os estudantes testados no Pisa, no Brasil e em outros países latino-americanos, estão distribuídos em várias séries. Mesmo na maioria dos países desenvolvidos, jovens de 15 anos de idade no teste do Pisa estão concentrados em duas séries, que nem sempre são as mesmas (OECD, 2010a; 2013). Ruben Klein (2011) argumenta que a data do teste Pisa no Brasil mudou duas vezes no período 2000-2009, mas, aparentemente, permaneceu a mesma em 2009 e 2012. De acordo com Klein (2011), as mudanças em 2000-2009 resultaram em aumentos na série em que se encontravam os estudantes testados e, portanto, provocaram uma distorção para cima nos resultados ao longo do tempo. Em 2003 e 2006, o estudante típico testado era dois meses mais velho do que na pesquisa de 2000 e, em 2009, o estudante típico era seis meses mais velho do que na pesquisa de 2000. Em 2012, de acordo com a OCDE, a data do teste foi movida para frente novamente e o estudante típico testado tinha, mais uma vez, apenas dois meses a mais que em 2000, ​reduzindo o viés na comparação com aquele ano-base.

Nesta seção, aplicaremos uma versão modificada dos métodos de Klein (2011) para estimar quanto mudaram as pontuações dos estudantes brasileiros em leitura e matemática no Pisa nos grupos de recursos acadêmicos familiares desfavorecidos e favorecidos (LD) em 2000-2012. Em seguida, avaliaremos os ganhos ajustados pela data do teste em comparação com os ganhos dos alunos de outros países.

Klein (2011) faz a correção das pontuações relatadas do Pisa para o Brasil em leitura, matemática e ciência, considerando as mudanças na data do teste de duas formas: primeiro, ele atribui pesos às pontuações reportadas para cada ano de teste por série com as proporções da amostra por série para um ano-teste constante; por exemplo, as pontuações médias dos testes dos alunos em cada série em 2000, 2003, 2006 e 2009 são ponderadas pelas proporções em cada série para o ano-teste de 2000, a fim de obter uma pontuação média de teste em cada disciplina, como se as proporções das amostras fossem sempre aquelas de 2000. Em segundo lugar, ele estima uma pontuação média em cada ano de teste só para alunos nascidos nos meses comuns a três das quatro datas de teste e a todas as quatro datas de teste; ou seja, de 1º de maio a 31 de dezembro ou de 1º de julho a 31 de dezembro.

Klein (2011) conclui que os estudantes brasileiros tiveram menores aumentos reais nas pontuações dos testes do que aqueles relatados pela OCDE (2010b). Usando o primeiro método (ponderação por proporções em um ano constante), ele estimou que as pontuações em leitura em 2000-2009 diminuíram (ao invés de aumentarem 16 pontos, como relatado), aumentaram 22-27 pontos em matemática, dependendo do ano usado para ponderar os ganhos (em contraste com o ganho relatado de 52 pontos), e aumentaram 4-7 pontos em ciências (em vez do aumento relatado de 30 pontos). Usando o segundo método (faixa etária constante), Klein estimou que os ganhos corrigidos foram 11 pontos em leitura, 42 pontos em matemática e 29 pontos em ciências. Assim, aparentemente, o primeiro método (lower bound/limite superior) pode não levar em conta o aumento na série média na qual se encontram os alunos de 15 anos no Brasil, ao passo que o segundo método (upper bound/limite inferior) pode fazê-lo.

Klein também faz correções para as mudanças na data do teste em outros países que nos interessam, a saber, Argentina, Chile e México. O México tem as maiores alterações nas datas de teste, mas em direções diferentes: entre as pesquisas de 2000 e 2003, a amostra mudou de data de modo que os indivíduos testados eram mais jovens em 2003; entre 2003 e 2006/2009, a data da amostra mudou de modo que aqueles amostrados eram mais velhos do que em 2003, mas ainda um mês mais jovens que em 2000. Em cada caso, Klein usa apenas o primeiro método para ajustar as pontuações, assumindo, assim, que a série média em que estavam os jovens de 15 anos permaneceu a mesma (proporção constante em cada série) nos anos afetados pela mudança na data do teste.

Aplicando as correções de Klein aos agrupamentos de recursos acadêmicos familiares

Estimamos a proporção de estudantes da amostra em cada ano por série para dois grupos de recursos acadêmicos familiares: 0-10 LD e mais de 100 LD. Chamamos o primeiro grupo de "muito desfavorecido" e o segundo de "favorecido". As definições de ambos os grupos são as mesmas que usamos anteriormente em nossa análise. A Tabela 5 mostra que os estudantes brasileiros muito desfavorecidos eram muito mais propensos a estar na 7ª e 8ª séries do que na 9ª, ou, em anos posteriores, na 10ª série, do que os alunos favorecidos, que estão, em sua maioria, na 9ª e na 10ª série.

Klein (2011) argumenta que houve uma mudança particularmente grande de séries mais baixas a séries mais altas entre os alunos amostrados de 2006 a 2009, quando o teste foi aplicado no final do ano e a data de nascimento usada para definir quem seria amostrado aumentou em vários meses. Podemos observar isso para ambos os grupos de recursos acadêmicos familiares na Tabela 5.

Tabela 5.
Pisa Brasil: proporção de estudantes muito desfavorecidos e favorecidos na amostra, por série, 2000-2012

Em 2012, o Pisa alterou seu critério de amostragem, elevando-o em uma série, e não incluiu jovens de 15 anos na 7ª série, limitando a amostra para o intervalo da 8ª à 12ª série. Uma lei aprovada em 2006 diminuiu a idade de ingresso inicial e, em 2007, em 60% das escolas as crianças brasileiras começaram a entrar na primeira série do ensino fundamental - EF - um ano mais jovens. Por sua vez, as escolas do EF estenderam o primeiro ciclo (1^a a 4^a série) de quatro para cinco anos. O segundo ciclo ainda é de quatro anos e agora termina no 9º ano. O "ensino secundário" (EM) continuou a ser um programa de três anos, mas agora consiste no intervalo da 10ª à 12ª série, e não mais da 9ª à 11ª série.

Ao mesmo tempo, o sistema escolar brasileiro renumerou todas suas séries para atender ao aumento de um ano no EF. Um estudante da 8ª série com 15 anos de idade em 2009 passou a ser um aluno da 9ª série em 2012; um estudante da 9ª série em 2009 tornou-se um aluno da 10ª em 2012, e assim por diante. Entretanto, os jovens de 15 anos amostrados em 2012 não apresentavam um ano a mais de frequência escolar - os primeiros jovens de 15 anos que ingressaram no sistema escolar um ano mais jovens começarão a aparecer nos dados do Pisa 2015, e o impacto pleno sobre os resultados do Pisa só será sentido em 2018. Em 2012, podemos considerar que a alteração do número de série é simplesmente uma mudança de nome na série, sem implicações para a exposição ao currículo ou a oportunidade de aprender.

A Tabela 6a mostra que, em 2000-2009, as pontuações estimadas do Pisa em matemática aumentaram para estudantes brasileiros dentro de cada série, tanto para os alunos muito desfavorecidos quanto para os favorecidos em 2000-2009 (a única exceção sendo a 9ª série para os estudantes favorecidos), sugerindo que o desempenho em matemática no Pisa realmente aumentou no Brasil durante esse período. Muitos dos aumentos dentro de cada série são consideravelmente menores do que o relatado pela OCDE para a amostra brasileira como um todo. Os ganhos para os estudantes favorecidos também tendem a ser um pouco menores do que para os alunos muito desfavorecidos.

O oposto é verdadeiro para as pontuações em leitura - em quase todas as séries os alunos desfavorecidos e favorecidos brasileiros pontuaram menos em 2009 do que em 2000 no teste de leitura do Pisa (Tabela 6b). Se deslocarmos as pontuações de 2012 para a série superior, a mesma falta de aumento nas pontuações de leitura se sustenta para 2000-2012 em cada série. Os declínios para estudantes favorecidos tendem a ser maiores do que para os alunos desfavorecidos. A única exceção é a pequena percentagem de alunos favorecidos na 11ª/12ª série em 2000-2012. Eles tiveram um aumento grande nas pontuações em leitura.

Tanto em matemática quanto em leitura, as pontuações dos alunos muito desfavorecidos são menores que as dos alunos favorecidos, como esperado. As diferenças ficam maiores na 9ª/10ª série e na 10ª/11ª série, nas quais se encontra a maioria dos estudantes favorecidos de 15 anos de idade. Não podemos identificar se as pontuações mais baixas de estudantes desfavorecidos são parcialmente "causadas" por menos exposição aos temas dos testes (se estão em uma série inferior por causa de um início escolar tardio) ou se as pontuações mais baixas refletem uma menor capacidade acadêmica ou ainda se os alunos frequentaram escolas piores, fatores que podem levar estudantes desfavorecidos à repetência e a estarem em uma série inferior.

Tabela 6a
Pisa Brasil: média em matemática para estudantes muito desfavorecidos e favorecidos na amostra, por série, 2000-2012

Tabela 6b
Pisa Brasil: média em leitura para estudantes muito desfavorecidos e favorecidos na amostra, por série, 2000-2012

Usando o primeiro método de ponderação de Klein (2011) nessas pontuações por série para cada um dos dois grupos de recursos acadêmicos familiares (0-10 LD e >100 LD), mostramos, na Tabela 7, como as pontuações médias se comportaram de 2000 a 2012 para estudantes muito desfavorecidos e favorecidos quando aplicamos a distribuição das séries do Pisa 2000 para os anos subsequentes de teste e quando aplicamos a distribuição das séries do Pisa 2012 para os anos de teste anteriores.¹⁸ Descobrimos que os alunos muito desfavorecidos têm ganhos substancialmente grandes em matemática em 2000-2012 (31-41 pontos, dependendo do conjunto de pesos utilizados), e que os ganhos são bastante estáveis ao longo dos nove anos de testes. Estudantes favorecidos mostraram ganhos muito menores em matemática, mas, em especial, obtiveram grandes ganhos em 2000-2003 e diminuíram subsequentemente. Também descobrimos que as pontuações dos testes de leitura diminuíram ou permaneceram não significativamente menores para os alunos desfavorecidos (dependendo dos pesos de série usados) e diminuíram mais para os alunos favorecidos. O declínio é particularmente notável usando os pesos de 2000, o que sugere que a queda nas pontuações em leitura foi muito maior entre os estudantes com recursos acadêmicos familiares mais altos nas séries mais baixas.

Tabela 7
Pisa Brasil: pontuação média em matemática e leitura ajustada por mudanças nas proporções de estudantes muito desfavorecidos e favorecidos nas várias séries, 2000-2012

Corrigindo para a conquista de uma série mais alta, 2000-2012

O método de Klein (2011) assume que todo o aumento de série ocorreu em virtude das mudanças na data do teste, as quais, tomando como base o teste de 2000, aumentaram a média de idade dos estudantes e, portanto, a probabilidade de que eles estivessem em uma série mais elevada na data da avaliação. No entanto, a série média de frequência escolar realmente aumentou entre os estudantes brasileiros em 2000-2012, independentemente da data do teste e mesmo sem levar em conta a redução da idade de ingresso, que passou a vigorar em 2008. Por conseguinte, devemos considerar as estimativas de ganho do Pisa controlando a deriva da série por meio da estimativa lower bound (limite inferior) e, como Klein a interpretou, uma estimativa do aumento na "qualidade pura" da educação brasileira. Essa interpretação de aumentos na qualidade da educação está também implícita nas publicações da OCDE, bem como nos estudos que propõem "qualidade da educação" como um dos principais motores do crescimento econômico (HANUSHEK; PETERSON; WOESSMANN, 2013). Levando a sério essa interpretação, a qualidade do ensino de matemática no Brasil em 2000-2012 aumentou consideravelmente para os alunos de baixo recurso acadêmico familiar, mas quase nada para os alunos de recurso acadêmico familiar mais alto, e o ensino de leitura tornou-se um pouco pior para estudantes com baixo recurso acadêmico familiar, mas notadamente pior para aqueles com alto recurso acadêmico familiar.

No entanto, partindo do pressuposto de que os alunos aprendem mais ao permanecerem mais tempo na escola, atingir séries mais elevadas deveria, por si só, aumentar a pontuação de um aluno no Pisa. No caso brasileiro, há forte evidência de que, com a reforma de 2006, os alunos que ingressaram na escola com um ano a menos de idade, em 2007, realmente pontuaram cerca de 0,25 desvios padrão a mais, por causa daquele ano extra no teste de 5ª série da Prova Brasil 2011 em comparação com estudantes que não ingressaram mais cedo (MARTINS, 2014). Portanto, quando os estudantes brasileiros passam mais anos na escola, é provável que eles aprendam mais.

Podemos abordar o aumento na série média frequentada pelos alunos em anos de teste do Pisa usando dados de Klein (2011) sobre a distribuição das séries dos estudantes de 15 anos de idade no ponto de corte 30 de junho na edição 2000 do teste do Pisa e no ponto de corte 31 de dezembro na edição 2009, que foi também o ponto de corte na edição de 2012.¹⁹ Nossas estimativas sobre a série média são mostradas no Gráfico 2. A partir da curva no Gráfico 2, a mudança na série conquistada em 2000-2012, tomando como referência a definição do Pisa 2000 de alunos com 15 anos de idade, é 8,80 menos 8,45 anos, ou 0,35 anos. Considerando a definição de 2009/2012, o ganho na série é de 0,47 anos.

Gráfico 2
Pisa Brasil: aumento na série média frequentada por estudantes na amostra, 2000-2012, assumindo definições de idade dos estudantes de 2000 e 2012

Quando aplicamos a mudança estimada na série às estimativas de pontuação por série nos diversos anos de teste para os grupos muito desfavorecidos e favorecidos, descobrimos que os estudantes brasileiros muito desfavorecidos alcançaram cerca de 15-17 pontos a mais na pontuação do Pisa em matemática e 15-21 pontos em leitura, porque em 2012 eles provavelmente estariam em uma série mais elevada do que em 2000, independentemente da data do teste. Em conformidade com as estimativas que fizemos para a Tabela 8, assumimos que, em 2012, a 8ª série é equivalente à 7ª série nos anos anteriores; a 9ª série, equivalente à 8ª série, e assim por diante. Estudantes favorecidos acrescentaram ainda mais pontos a partir da probabilidade de estarem em uma série mais elevada, porque as pontuações médias dos testes de estudantes favorecidos tenderam a ter um gradiente de conquista de série mais alta em ambos os anos de teste de 2000 e 2012. Estudantes brasileiros favorecidos atingiram 25-37 pontos a mais em matemática e 26-34 pontos a mais em leitura, fruto da probabilidade de estarem em uma série mais alta quando se submeteram ao teste do Pisa 2009, em comparação a quando se submeteram à edição de 2000, independentemente da data do teste.²⁰

Os resumos desses cálculos na Tabela 8 mostram que os ganhos de estudantes brasileiros em matemática no Pisa tendem a ser substanciais, especialmente para os alunos muito desfavorecidos, e podem também ser grandes para os estudantes favorecidos, dependendo dos pressupostos de conquista de uma série mais alta em 2000-2012. Os resultados também indicam que os ganhos em leitura no Pisa têm sido muito menores e podem ter sido negativos, dependendo das suposições feitas sobre ganhos oriundos da conquista de uma série mais alta, especialmente para estudantes favorecidos. As estimativas lower bound (limite inferior) estão em conformidade com as estimativas de Klein (2011) usando distribuições de série constantes ao longo dos anos de teste do Pisa, e as estimativas upper bound (limite superior) representam o pressuposto de que os alunos aprendem mais quando ficam mais tempo na escola (a série média conquistada pela população aos 15 anos de idade aumenta ao longo do tempo), independentemente de como os jovens de 15 anos são definidos pelos dados do teste.

As estimativas upper bound da Tabela 8 são, em linhas gerais, iguais ou menores do que os ganhos em 2000-2012 reportados diretamente das pontuações do Pisa desagregadas por recursos acadêmicos familiares na Tabela 4a. Os ganhos de 63 pontos e 43 pontos dos estudantes brasileiros muito desfavorecidos e favorecidos em matemática são tão grandes ou maiores que os ganhos upper bound de 48/56 pontos (<10 LD) e 28/48 pontos (>100 LD) na Tabela 8. Em leitura, o ganho de 19 pontos em 2000-2012 relatado para os alunos muito desfavorecidos na Tabela 4a é tão grande ou maior do que o ganho upper bound de 6-16 pontos mostrado na Tabela 8, mas o ganho para os estudantes favorecidos estimado diretamente das pontuações "não corrigidas" do Pisa é igual ou menor do que o ganho upper bound "corrigido" de -1/14 para estudantes favorecidos apresentado na Tabela 8.

Como mencionado, Klein (2011) também tenta estimar os efeitos da mudança de datas dos testes do Pisa na Argentina, no Chile e no México, países de interesse para nós para fins de comparação. Na Argentina, Klein ajusta os ganhos de pontuação relatados no teste do Pisa para cima por causa de mudanças na data de teste, mas no Chile e no México, os ganhos são ajustados para baixo - somente ligeiramente no México, mas substancialmente no Chile. Não obstante, estes estão em conformidade com suas estimativas lower bound para o Brasil (primeiro método). O ingresso e a conclusão no ensino secundário chileno expandiram-se muito rapidamente na primeira década deste século, o que sugere que o uso de pesos de série constante para estimar os ganhos de pontuação de teste provavelmente subestima o "verdadeiro" aumento nas pontuações do teste do Pisa chileno.

Se compararmos o desempenho de estudantes argentinos, chilenos e mexicanos em matemática e leitura no Pisa com os ajustes de Klein, ainda assim concluiremos (como acima) que os estudantes brasileiros (i) obtiveram ganhos tão grandes ou maiores que os alunos naqueles três países em matemática em 2000-2012; (ii) obtiveram aproximadamente os mesmos ganhos baixos em leitura que o México, mas tiverem um desempenho relativamente melhor que os argentinos e (iii) tiveram ganhos consideravelmente mais baixos em leitura que os chilenos (ver Tabela 8).

Tabela 8
Pisa Brasil: ganhos de pontuação em matemática e leitura de acordo com diferentes suposições, 2000-2012

Ganhos dos estudantes brasileiros no teste do Saeb

O Brasil vem testando seus alunos de 4ª/5ª e 8ª/9ª séries em âmbito nacional há quase 20 anos. É o sistema Avaliação Nacional da Educação Básica - Aneb -, chamado Saeb, com base em uma ampla amostra de escolas em todo o país. Desde 2005, a Prova Brasil (nome de divulgação da Avaliação Nacional do Rendimento Escolar - Anresc) também é aplicada a todos os alunos em escolas com 20 ou mais estudantes nestas mesmas duas séries testadas. Ao passo que o Saeb é aplicado a alunos tanto de escolas públicas quanto privadas, a Prova Brasil somente avalia alunos de escolas públicas. Os resultados do Saeb não foram publicados em 2007 e 2009, mas estão disponíveis para 2011 e 2013. Podemos, por conseguinte, mapear as pontuações para alunos da 8ª/9ª série ao longo do mesmo período em que o teste Pisa foi aplicado, estimando pontuações para grupos de alunos com diferentes níveis de recursos acadêmicos familiares (LD e IM). Uma vez que muitos estudantes favorecidos frequentam escolas particulares e somente o Saeb é aplicado nas escolas privadas, nosso foco será o teste Saeb no período de 1995-2013.

Existem várias limitações para o mapeamento de resultados médios dos testes de português e matemática ao longo das oito aplicações do teste em 1995-2013, porque a existência de livros no domicílio não estava incluída no questionário do estudante em 1995, 1997, 2011 e 2013, e as categorias para a instrução da mãe (e do pai) mudaram em 2003 e 2005 em relação aos anos iniciais, e depois novamente em 2011 (mesmas categorias em 2013). Apresentamos resultados com os dados que temos sobre LD (Tabela 9a) e mostramos duas estimativas diferentes para as pontuações médias dos alunos agrupados por IM (tabelas 9b e 9c). A primeira (Tabela 9b e Gráfico 3a) define os grupos de IM de uma maneira em 1995-2001, em conformidade com as definições do grupo naqueles anos, e uma segunda maneira em 2003-2013, em consonância com a definição do grupo em 2011. A segunda estimativa (Tabela 9c e Gráfico 3b) consegue unificar as definições para 1995-2005, mas, na tabela, as definições do grupo são diferentes em 2011 e 2013. Como resultado dessa definição diferente em 2011 e 2013, as pontuações médias estão distorcidas para baixo em 2011 e 2013 em relação a pontuações de anos anteriores.

Os resultados sugerem que pode ter havido aumentos significativos nas pontuações médias do Saeb em matemática para alunos da 8ª/9ª série em 2005-2013. Para estudantes com IM relativamente baixa, esses ganhos aumentaram a pontuação o suficiente para alcançar os níveis anteriores. Também observamos as diferenças em ganhos entre matemática e leitura (português) relatados nos resultados do Pisa no período 1999-2013. Pontuações de matemática e português diminuíram de forma semelhante em 1995-1999, estabilizaram-se (exceto para estudantes com IM universitária) em 1999-2005 e, aparentemente, elevaram-se para todos os grupos, à exceção dos mais favorecidos, em ambas as disciplinas, mas muito pouco para leitura, em 2005-2013. Na segunda versão de nossas estimativas de IM (Tabela 9c, Gráfico 3b), a definição de IM em 2011 e 2013 faz com que a pontuação média seja distorcida para baixo, exceto para a categoria de ensino universitário completo. A primeira versão das estimativas (Tabela 9b, Gráfico 3a) reflete com mais acurácia os "verdadeiros" ganhos em 2005-2013.

Em resumo, há um consenso de que houve ganhos em matemática significativos nos dois testes em 2005-2013 e de que os ganhos foram muito maiores em 2005-2013 para os alunos muito desfavorecidos e desfavorecidos, tanto no Pisa quanto no Saeb. Há também um consenso de que os ganhos em português/leitura do Saeb são pequenos, assim como os ganhos de leitura do Pisa.

Tabela 9a
Brasil: 8^a/9^a série do Saeb, pontuação média por LD, 1999-2005

Tabela 9b
Brasil: 8^a/9^a série do Saeb, pontuação média por IM, 1995-2013

Tabela 9c
Brasil: 8^a/9^a série do Saeb, pontuação média por IM, 1995-2013

Os resultados do Saeb entram, portanto, em conflito com os resultados do teste de matemática do Pisa, que mostra estudantes brasileiros obtendo ganhos substanciais em 2000-2012, o que não acontece no Saeb na primeira metade desse período. Uma diferença importante adicional entre o Saeb e o Pisa é a diminuição no desempenho do grupo favorecido em 2005-2013 em ambas as disciplinas. No Pisa, o grupo favorecido definido pela IM obtém ganhos depois de 2003.

Existem várias explicações possíveis para a diferença nos ganhos nos dois testes. A mais importante é que o Saeb é aplicado aos estudantes numa série específica - neste caso, a 8^a/9^a série, em vez de uma amostra de estudantes de 15 anos de cada escola. Como apontado por Klein (2011), uma grande parte dos ganhos no Pisa em 2000-2012 era explicável pelo aumento na série média frequentada por estudantes de 15 anos. É provável que o aumento tenha sido maior na primeira parte desse período. Uma segunda explicação é que o Saeb testa uma versão presumida de um currículo brasileiro (estados e municípios variam na adoção de seus currículos e usam uma grande variedade de livros didáticos), em vez de uma versão presumida do que os jovens de 15 anos de idade em todo o mundo deveriam saber em relação às disciplinas testadas, de modo a poder refletir melhor os ganhos que os alunos estão obtendo em relação ao que lhes está sendo ensinado. É possível que, até 2005, os estudantes não tenham progredido muito em relação à quantidade de matemática que estavam aprendendo comparativamente ao que estavam vendo em suas salas de aula. O Saeb também é uma amostra muito mais ampla do que o Pisa. Pode ter havido algum problema com a amostra do Pisa nos primeiros anos, atenuado à medida que ela se expandiu em 2000-2012. Finalmente, pela diferença entre ganhos positivos do grupo favorecido no Pisa e negativos pelo "mesmo" grupo favorecido no Saeb, é possível especular que os estudantes têm superestimado a IM no questionário de Pisa, mas não no questionário do Saeb.

Gráfico 3a
Brasil: pontuação média em matemática no Saeb por IM declarada pelos estudantes, versão I das definições de IM, 1995-2013

Gráfico 3b
Brasil: pontuação média em matemática no Saeb por IM declarada pelos estudantes, versão II das definições de IM

Conclusões

Estudantes brasileiros de 15 anos de idade indubitavelmente obtiveram ganhos substanciais no teste de matemática do Pisa entre 2000 e 2012 e podem ter obtido ganhos mais modestos no teste de leitura do Pisa. Isso aconteceu enquanto o Brasil, como outros países da América Latina, aumentou consideravelmente a taxa de matrícula na 9ª e na 10ª séries, e a distorção idade-série diminuiu. Ganhos dos alunos brasileiros em matemática são iguais ou maiores do que os obtidos pelos alunos na maioria dos outros países latino-americanos, da Espanha e de Portugal. Este não é o caso para o teste de leitura do Pisa, no qual os ganhos do Brasil têm sido menores do que os da maioria dos outros países. Estudantes brasileiros da 8ª e 9ª séries também têm mostrado ganhos significativos no teste de matemática do Saeb (e ganhos modestos no teste de português), mas só a partir de 2005. Em ambos, no Pisa e no Saeb, os ganhos têm sido, em geral, maiores para os estudantes de famílias com menos recursos acadêmicos do que para estudantes de famílias que poderiam ser chamadas de "favorecidas" em termos de recursos acadêmicos familiares.

Os resultados dos dois testes emitem sinais contraditórios. O Saeb sugere que os estudantes brasileiros estão obtendo grandes ganhos em matemática depois de 2005 e pequenos ganhos em leitura (português) só depois de 2011; os resultados do Pisa corroboram esses pequenos ganhos em leitura, mas sugerem que os estudantes brasileiros do ensino médio obtiveram importantes ganhos em matemática já em 2000-2006. Esta é uma combinação incomum de resultados. Há uma série de países, como os Estados Unidos, a Rússia e a Inglaterra/Reino Unido, que têm um desempenho relativamente bom e têm obtido ganhos em matemática no TIMSS aplicado na 8ª série, mas não no teste do Pisa (CARNOY, 2013; ROTHSTEIN, 2013). Ainda assim, são raros os exemplos de países que obtêm grandes ganhos em um teste internacional como o Pisa, que não está ligado ao currículo nacional, e alcançam ganhos só mais tarde em seu teste nacional, vinculado ao currículo.

Como o Saeb, o TIMSS é projetado para avaliar o conteúdo de matemática ensinado na escola, ao passo que o Pisa mensura habilidades mais gerais de resolução de problemas matemáticos (SCOTT, 2004; GRONMO; OLSEN, 2006). Além disso, no Pisa 2000 e 2003, os primeiros dois testes desse programa, os estudantes brasileiros obtiveram uma das mais baixas pontuações em matemática na América Latina (junto com o Peru); eles saíram-se relativamente melhor em leitura. Portanto, os grandes ganhos em matemática podem ter sido principalmente a recuperação de uma posição que já deveria ter sido alcançada antes, em termos de conhecimentos matemáticos, particularmente porque o Pisa é um novo tipo de teste, muito diferente do Saeb ou dos exames a que os brasileiros são submetidos na escola. Portanto, como mostramos, a razão mais lógica para os ganhos no Pisa no início da década é o aumento significativo de anos de escola pelo estudante médio de 15 anos de idade, e não tanto a melhor eficácia do ensino de matemática em cada série.

Os resultados de ambos os testes sugerem que os alunos com menos recursos familiares definitivamente não estão ficando para trás em relação a seus conterrâneos mais favorecidos; ao contrário, podem estar ganhando dos estudantes favorecidos. Os ganhos do Pisa em matemática e leitura obtidos por estudantes brasileiros têm sido maiores na última década entre os alunos com recursos acadêmicos familiares mais baixos. Apesar desses ganhos, até o Pisa 2012, os estudantes brasileiros desfavorecidos ainda não estavam pontuando tão alto em matemática e leitura como seus equivalentes em países latino-americanos, exceto no caso da Argentina. O desempenho dos estudantes brasileiros aumentou muito mais em 2000-2012 do que o desempenho dos estudantes argentinos.

Estudantes brasileiros favorecidos ficaram em uma posição pior em comparação com seus equivalentes, à exceção, outra vez, do caso argentino. Os ganhos significativos em matemática e os ganhos pequenos em português no Saeb concentraram-se entre os alunos com níveis baixos e médios de recursos acadêmicos familiares, mensurados pela IM (não há dados disponíveis sobre LD para 2011 e 2013, quando os ganhos foram obtidos). Do ponto de vista de uma maior equidade educacional, este é um resultado positivo para o sistema educacional brasileiro; no entanto, em termos de produção de excelência na extremidade superior da distribuição, os resultados sugerem dificuldades significativas.

O que os formuladores de políticas devem extrair desses resultados? Os alunos brasileiros estão aprendendo mais na escola hoje do que há 10 anos? A resposta provavelmente é sim, mas não tanto quanto os resultados dos testes relatados do Pisa nos querem fazer crer. O trabalho de Klein (2011) já apresentou a evidência de que os resultados publicados do Pisa apresentam uma superestimativa de ganhos. Nós também sugerimos que é mais provável que os alunos desfavorecidos tenham obtido ganhos maiores no Pisa do que os estudantes favorecidos. Sugerimos também que, especialmente para os estudantes favorecidos, os ganhos em matemática que estudantes brasileiros obtiveram no Pisa desde 2000 estão em conflito com os resultados do Saeb, que indicam um declínio do desempenho em matemática, ainda depois de 2005. Por outro lado, há consenso nos resultados do Saeb e do Pisa quanto ao fato de que os ganhos têm sido pequenos em leitura/linguagem, mesmo para os grupos desfavorecidos.

• ADAMSON, F. How does context matter? Comparing achievement scores, opportunities to learn, and teacher preparation across socio-economic quintiles in TIMSS and PISA. Dissertation (PhD Philosophy) - Stanford University, 2010.
• BOURDIEU, P.; PASSERON, J. C. La reproduction. Paris: Minuit, 1970.
• BRAY, M. Private supplementary tutoring: comparative perspectives on patterns and implications. Compare: A Journal of Comparative Education, v. 36, n. 4, p. 515-530, 2006.
• BUCHMANN, C. Measuring family background in international studies of education: conceptual issues and methodological challenges. In: PORTER, A.; GAMORAN, A. (Ed.). Methodological advances in cross-national surveys of educational achievement. Washington D.C.: National Academy Press, 2002. p. 150-197.
• CARNOY, M. E.; ROTHSTEIN, R. What do international tests really show about american student performance. Washington, DC: Economic Policy Institute, 2013.
• CHUDGAR, A.; LUSCHEI, T. F.; FAGIOLI, L. P. Constructing socio-economic status measures using the trends in international mathematics and science study data. East Lansing: Michigan State University, 2012.
• COLEMAN, J. S. Social capital in the creation of human capital. American Journal of Sociology, n. 94, (Special Supplement), p. 95-120, 1988.
• COLEMAN, J. S. et al. Equality of educational opportunity. Washington, DC: National Government Printing Office, 1966.
• GRONMO, L. S.; OLSEN, R. V. TIMSS versus PISA: the case of pure and applied mathematics. In: IEA INTERNATIONAL RESEARCH CONFERENCE. 2. Washington, D.C., November 8-11, 2006.
• HANUSHEK, E.; KIMKO, D. Schooling, labor force quality, and the growth of nations. American Economic Review, v. 90, n. 5, p. 1184-1208, 2000.
• HANUSHEK, E.; PETERSON, P.; WOESSMANN, L. Endangering prosperity. Washington, D.C.: The Brookings Institution, 2013.
• HAUSER, R. Some methodological issues in cross national educational research: quality and equity in student achievement. EurAmerica, v. 43, n. 4, p. 709-752, 2013.
• HEATH, S. Brice. Ways with words: language, life, and work in communities and classrooms. Cambridge, UK: Cambridge University Press, 1983.
• JENCKS, C.; PHILLIPS, M. The black-white test score gap. Washington, DC: The Brookings Institution, 1998.
• KLEIN, R. Uma re-análise dos resultados do Pisa: problemas de comparabilidade. Ensaio: Avaliação e Políticas Públicas em Educação, v. 19, n. 73, p. 1-20, out./dez. 2011.
• MARTINS, M. A Difference in Differences Analysis of an Extra Year of Compulsory Education in Brazilian Primary Schools. MA paper - Stanford University, 2014.
• ORGANIZATION OF ECONOMIC COOPERATION AND DEVELOPMENT - OECD. Pisa 2009 results: what students know and can do - student performance in reading, mathematics, and science. Paris: OECD, 2010a. v. I.
• ______. Pisa 2009 results: overcoming social background Paris: OECD, 2010b. v. II.
• ______. Pisa 2012 results: what students know and can do - student performance in reading, mathematics, and science. Paris: OECD, 2013. v. I.
• PEAKER G. F. The Plowden children four years later. Slough: National Foundation for Educational Research in England and Wales, 1971.
• RAUDENBUSH, S. W.; CHEONG, Y. F.; FOTIU, R. P. Social inequality, social segregation, and their relationship to reading literacy in 22 countries. In: BINKLEY, M.; RUST, K.; WILLIAMS, T. (Ed.). Reading literacy in an international perspective. Washington, D.C.: NCES, 1996. p. 3-62.
• SCHULTZ, T. Investment in human capital. American Economic Review v. 51, n. 1, p. 1-17, 1961.
• SCHULZ, W. Measuring the Socio-economic background of students and its effect on achievement in PISA 2000 and PISA 2003. In: ANNUAL MEETINGS OF THE AMERICAN EDUCATIONAL RESEARCH ASSOCIATION. San Francisco, California, April 7-11, 2005. Disponível em: <http://works.bepress.com/wolfram_schulz/10/>. Acesso em: 14 fev. 2013.
  » http://works.bepress.com/wolfram_schulz/10/
• SCOTT, E. Comparing NAEP, TIMSS and PISA in Mathematics and Science. Washington, D.C.: National Center of Educational Statistics, 2004. Disponível em: <http://nces.ed.gov/timss/pdf/naep_timss_pisa_comp.pdf>. Acesso em: 4 jul. 2013.
  » http://nces.ed.gov/timss/pdf/naep_timss_pisa_comp.pdf
• SIRIN, S. Socioeconomic status and academic achievement: a meta-analytical review of research. Review of Educational Research, v. 75, n. 3, p. 417-453, 2005.
• UNESCO. World education report 2005. Paris: Unesco, 2005.
• WOESSMANN, L. How equal are educational opportunities? Family background and student achievement in Europe and the United States. CESifo Working Paper, Munich, n. 1162, 2004.

Datas de Publicação

• Publicação nesta coleção
  Jul-Sep 2015

Histórico

• Recebido
  Maio 2015
• Aceito
  Jun 2015