Uma re-análise dos resultados do PISA: problemas de comparabilidade

Un reanálisis de los resultados del PISA: Problemas de comparabilidad

Resumos

In this paper it is shown a comparability problem in Pisa results of some countries among years and among countries. This problem occurs because the school age of each country is not considered and because there is no rule for the application date of the test in relation to the school year of each country. The case of Brazil is analyzed with detail. There are analysis of some other countries too, among them Luxembourg and Chile, that together with Brazil, were pointed out as having the biggest evolution in performance since 2000. It is shown that this evolution of performance may not be real.

Pisa; Comparability; School age; Composition of students by grade; Proficiency

Ruben Klein

PhD em Matemática, Massachusetts Institute of Technology (MIT); pesquisador aposentado, Laboratório Nacional de Computação Científica (LNCC/MCT); consultor, Fundação Cesgranrio. E-mail: [e-mail]

RESUMO

Neste artigo apresenta-se um problema de comparabilidade de resultados entre aplicações do Pisa, em alguns países, em diversos anos e entre países. Esse problema ocorre porque a idade escolar de cada país não é considerada e porque não há uma regra para a data de aplicação da prova em relação aos anos letivos de cada país. A mudança de data da aplicação em um país modifica a composição do alunado entre as séries, tornando os universos não comparáveis. Analisa-se com detalhes o caso do Brasil e mostra-se que os universos de 2000 e 2009 não são comparáveis. Analisa-se também alguns outros países, entre eles Luxemburgo e Chile, que, juntos com o Brasil, foram destacados como tendo a maior evolução de desempenho desde 2000. Em Luxemburgo, não houve melhoria de desempenho de 2003 para 2009 e é preciso investigar porque os resultados de 2000 e 2003 são tão diferentes. O Chile apresenta melhoria de desempenho, mas provavelmente não tão grande quanto o apontado.

Palavras-chave: Pisa. Comparabilidade. Idade escolar. Composição do alunado por série. Proficiência.

RESUMEN

En este artículo se presenta un problema de comparabilidad de resultados entre las aplicaciones del PISA en algunos países, en diversos años y entre los países. Ese problema ocurre porque no se considera la edad escolar de cada uno de los países ni tampoco existe una regla para la fecha de aplicación de la prueba con relación a los años lectivos de cada país. El cambio de fecha de la aplicación en un determinado país modifica la composición del alumnado entre los grados, tornando los universos incomparables. Se analiza con detalles el caso de Brasil y se muestra que los universos de 2000 y 2009 no se pueden comparar. Se analiza también algunos otros países, entre ellos Luxemburgo y Chile, que, juntos con Brasil, se destacaron por tener la mayor evolución de desempeño desde 2000. En Luxemburgo no hubo mejora de desempeño de 2003 para 2009 y es necesario investigar porque los resultados de 2000 y 2003 son tan distintos. Chile presenta mejora de desempeño, pero quizás no tanto como lo señalado.

Palabras-clave: PISA. Comparabilidad. Edad escolar. Composición del alumnado por grados. Proficiencia.

Introdução

O Programa Internacional de Avaliação de Alunos (Pisa) é uma pesquisa de conhecimentos e habilidades de alunos na faixa dos 15 anos de idade, para alunos da 7ª série (atual 8º ano do Ensino Fundamental no Brasil), em diante, realizada nos países da Organização para Cooperação e Desenvolvimento Econômico (OCDE) e em países convidados. O Pisa avalia as áreas de Leitura, Matemática e Ciências, a cada três anos. Em cada ano de avaliação, é dada maior ênfase a uma das áreas. Em 2000, foi Leitura, em 2003, Matemática, em 2006, Ciências e, em 2009, novamente Leitura.

O Pisa utiliza a Teoria de Resposta ao Item (TRI) com um parâmetro, modelo Rasch, e coloca os resultados em uma mesma escala de proficiências para cada área, ao longo dos anos. Para Leitura, em 2000, a média aritmética das proficiências dos países da OCDE foi fixada em 500 e o desvio padrão em 100. O mesmo foi feito para Matemática em 2003 e para Ciências em 2006.

A idade de 15 anos foi escolhida, pois nesta idade os alunos estão chegando ao fim da educação obrigatória na maioria dos países da OCDE (ORGANISATION FOR ECONOMIC..., 2009). No Brasil, esta é a idade correta de entrada na 1ª série do Ensino Médio, 9ª série para o Pisa.

Este artigo mostra que o Pisa sofre de um sério problema de comparabilidade de resultados para muitos países, entre anos, e provavelmente também entre países em cada ano da avaliação. O problema é que não há uma regra fixa para a aplicação do teste em relação ao início do ano escolar e/ou em relação à idade escolar (idade em anos completos em um determinado mês para entrada em uma série, podendo ser somente a idade recomendada).

Para cada série, costuma haver uma idade escolar correta (ou recomendada) e é a idade escolar do aluno que determina em que série ele deveria estar. O aluno pode estar adiantado ou atrasado em relação a sua série. Uma dificuldade é que a definição da idade escolar pode variar entre os países.

A idade de "15 anos" no Pisa é definida por: "na época da aplicação do teste, o aluno deve ter entre 15 anos e 3 meses e 16 anos e 2 meses" (ORGANISATION FOR ECONOMIC..., 2010, p. 7). Essa definição não tem relação com a idade escolar.

A mudança no mês de aplicação do teste implica em uma mudança da composição dos alunos em relação às diversas séries e logo em uma mudança de população, o que as torna não comparáveis. E isso tem ocorrido.

Outro problema na mudança de mês de aplicação é que muda o "tempo de escolaridade" dos alunos. Há diferença se a aplicação é feita no início do 1º semestre ou do 2º semestre do ano letivo.

O mais apropriado seria selecionar os alunos pela idade escolar de 15 anos do país considerado e realizar a aplicação em um número fixo de meses após o início do ano letivo. Essa regra deveria valer para todos os países e para todos os anos.

Comparações internacionais são difíceis, pois há muita variação entre os sistemas educacionais dos países. Por exemplo, a idade escolar de entrada na 1ª série do sistema regular de ensino (Educação Fundamental no Brasil) varia de país para país. Em alguns países essa idade é de seis anos e em outros de sete anos. Nos países cuja entrada se dá aos seis anos, a série correspondente aos 15 anos é a 10ª série, e nos países, em que os alunos começam aos sete anos, é a 9ª série. O Brasil está neste último caso, embora esteja mudando para o primeiro caso. Como o Pisa não faz esta distinção, os países cuja entrada se dá aos seis anos, a 7ª série destes corresponde à 6ª série dos outros, que está fora dos elegíveis. A regra do Pisa deveria, certamente, contemplar essas possibilidades.

Esse problema aparece também na definição de anos de escolaridade. Como comparar anos de escolaridade de alunos que terminam a Educação Básica em dois países tais que um tem a Educação Básica com duração de 12 anos (entrada na 1ª série aos seis anos) e o outro com duração de 11 anos (entrada na 1ª série aos sete anos)?

Ressalta-se aqui que o Pisa fez grandes contribuições no desenvolvimento do que e como avaliar, e é extremamente importante a comparação entre países. Os problemas de comparabilidade apontados neste artigo não interferem na interpretação qualitativa de como estão os países, mas interfere na comparação entre anos para o mesmo país com mudança da definição de idade e, também entre países.

Na divulgação dos resultados de 2009, o Pisa anunciou que Luxemburgo, Chile e Brasil foram os três países com maior evolução de 2000 a 2009. No entanto as populações de alunos de 2000 a 2009 não são definidas da mesma maneira nestes três países.

Na seção 2, o caso do Brasil será analisado com detalhes - há três definições diferentes de idade - e na seção 3, serão analisados os casos de Luxemburgo, Chile, Argentina, com duas situações diferentes e, em seguida, México e Estados Unidos, ambos com três situações diferentes. Finalmente serão analisados também quatro exemplos de países com definição de idade igual nos quatro anos de avaliações neles realizadas.

Finalmente, na seção 4 serão apresentadas as conclusões.

Caso do Brasil

Através dos microdados do Pisa, disponíveis no site, verificaram-se as datas de nascimento dos alunos em cada ano da avaliação do Pisa. Para o Brasil, obteve-se o seguinte:

• 2000 (anos completos em 30 de Junho). De 1º de Julho de 1984 a 30 de Junho 1985

• 2003 (anos completos em 30 de Abril). De 1º de Maio de 1987 a 30 de Abril de 1988

• 2006 (anos completos em 30 de Abril). De 1º de Maio de 1990 a 30 de Abril de 1991

• 2009 (anos completos em 31 de Dezembro). De 1º de Janeiro de 1993 a 31 de Dezembro de 1993

Como mencionado na introdução, a população elegível para a aplicação do Pisa é a população de 15 anos cursando da 7ª série/8º ano do Ensino Fundamental em diante. Nas Tabelas de 1 a 3, apresentam-se a proporção da população de 15 anos na escola, a proporção elegível e a proporção por série entre os elegíveis para cada uma das situações ocorridas nas aplicações do Pisa, idade em anos completos em 30 de junho, em 30 de abril e em 31 de dezembro. Os erros das estimativas estão em parênteses.

Essas estimativas foram feitas a partir dos microdados da Pesquisa Nacional por Amostra de Domicílios (Pnad). A Pnad é realizada anualmente pelo órgão estatístico oficial do Brasil, o Instituto Brasileiro de Geografia e Estatística (IBGE), a não ser no ano da realização do Censo Demográfico. A data base da coleta é a 6ª feira da última semana de setembro.

As Tabelas 1 a 3 incluem os anos de 1999 e 2001 no lugar do ano 2000, pois este é ano de Censo Demográfico. Nas três Tabelas, pode-se ver que houve um aumento na proporção da população na escola e na população elegível de 1999 a 2009. As proporções na escola são maiores no caso de anos completos em 30 de junho e menores em anos completos em 31 de dezembro. No entanto as proporções dos elegíveis são muito próximas.

Pode-se ver também que, nos três casos, houve uma melhora na distribuição dos alunos elegíveis entre as séries, aumentando a proporção nas séries mais altas.

Na Tabela 1, anos completos em 30 de junho, na qual a proporção de alunos elegíveis na 1ª série do Ensino Médio é maior, esta série é claramente a série modal e está de acordo com a noção de que anos completos em 30 de junho seria a definição da idade escolar no Brasil. Mesmo assim, observa-se que houve um aumento na proporção de alunos na 2ª série do Ensino Médio de 1999 a 2009.

A Tabela 2 mostra que a mudança de definição de idade em anos completos de 30 de junho para 30 de abril aumenta a proporção de alunos adiantados, 2ª e 3ª séries do Ensino Médio e cai nas demais séries.

A mudança de definição de idade para anos completos em 31 de dezembro do ano anterior aumenta ainda mais a proporção de alunos adiantados e diminui as das demais séries, como mostra a Tabela 3. Pode-se ver ainda nessa tabela que as proporções de alunos elegíveis nas 1ª e 2ª séries são muito próximas, sendo que em 2009, a proporção na 2ª série do Ensino Médio é maior. Se todos os alunos estivessem na série correta para a idade e esta fosse definida por anos completos em 30 de junho, deveríamos ter metade dos alunos na 1ª série do Ensino Médio e a outra metade, na 2ª série do Ensino Médio.

A Tabela 4 mostra as proporções esperadas para cada ano de acordo com a definição de idade utilizada no ano. Para o ano 2000, utilizam-se os dados de 1999 e 2001.

Pode-se ver na Tabela 4 como a composição dos alunos muda de acordo com o ano e definição de idade e sua influência na 2ª série do Ensino Médio. Nesta série, a proporção em 2000 é de cerca de 11%, sobe para cerca de 20% em 2003 e 2006 e para 36% em 2009. Em 2009, a proporção de alunos na 1ª série do Ensino Médio cai muito, assim como nas séries do Ensino Fundamental. Outro fato notável é que a proporção de alunos na 3ª série do Ensino Médio também sobe com a mudança de critério na definição da idade.

Finalmente, a Tabela 5 apresenta as proporções observadas nas aplicações do Pisa. Observa-se aqui que todos os cálculos com os microdados do Pisa foram feitos de acordo com as recomendações do Pisa 2003 Data Analysis Manual (ORGANISATION FOR ECONOMIC..., 2005).

Na Tabela 5, as proporções para o ano 2000 são por disciplina, pois a amostra de alunos depende da disciplina, mas todas as proporções por série são essencialmente as mesmas.

Observa-se que, em linhas gerais, as proporções observadas por série seguem o padrão das proporções esperadas, indicando três populações diferentes, uma para o ano 2000, outra para os anos 2003 e 2006 e finalmente uma terceira para o ano 2009. A proporção de alunos na série 10 (2ª série do Ensino Médio) sobe de cerca de 9% em 2000 para 18% em 2003 e 2006 e finalmente para 36% em 2009. Nos únicos dois anos comparáveis, 2003 e 2006, há uma melhora no fluxo, a proporção dos alunos nas 7ª e 8ª séries cai e sobe na série 9 (1ª série do Ensino Médio). Fica estável nas séries 10 e 11.

A seguir, apresentam-se as médias obtidas por série e total por disciplina para os anos de aplicação do Pisa, com o erro padrão da estimativa em parênteses.

Observa-se na Tabela 6, em Leitura, que a queda das médias na 1ª série do Ensino Médio de 2000 e 2003 para 2006 e 2009 é significativa. Também as médias na 7ª e 8ª séries são significativamente menores em 2006 do que em 2000. A média da 8ª série em 2009 é significativamente menor que em 2000. Isso sugere uma queda de desempenho entre 2000 e 2009. Na 2ª série do Ensino Médio, as diferenças de médias não são significativas. No entanto a média geral em 2009 é significativamente maior que as médias nos anos de 2000 e 2006. É também quase significativamente maior que a média em 2003. A única explicação para isso é que a mudança de composição do alunado por série e a melhoria do fluxo escolar foram tais que compensaram, com vantagem, a queda de médias em algumas séries. Em suma, não se pode dizer que houve aumento de aprendizado por série.

Na Tabela 7, em Matemática, pode-se ver que os aumentos de médias nas 7ª e 8ª séries do Ensino Fundamental são, em geral, significativos, mas as das demais séries não o são. No entanto, as médias gerais crescem de 2000 a 2009, sendo as diferenças significativas. Portanto, em Matemática, houve uma melhoria de desempenho somente nas séries do Ensino Fundamental. O ganho geral é devido novamente à mudança de composição do alunado por série e à melhora do fluxo escolar.

Finalmente na Tabela 8, em Ciências, as diferenças de médias em todas as séries não são significativas. Como dito anteriormente, o aumento da média geral em 2009 é devido à mudança da composição do alunado por séries e a melhoria do fluxo escolar.

A afirmação feita na introdução deste trabalho de que um fator perturbador da análise é a época diferente de aplicação dos testes em relação ao calendário escolar e que não há como a controlar. A diferença de cerca de seis meses no mês de aplicação entre 2000 e 2009 é muito grande. É possível que se a aplicação de 2009 fosse no 2º semestre do ano letivo, com a mesma população de 2009, as médias por série fossem maiores. A única comparação com a mesma definição de idade é entre 2003 e 2006.

Para entender melhor como a mudança de composição das populações e a melhoria da distribuição dos alunos entre as séries atua, apresenta-se nas tabelas de 9 a 11, uma simulação de resultados, onde cada entrada da tabela é a média ponderada das médias por série do ano indicado nas colunas e pesos dados pelas proporções observadas de alunos por série do ano de aplicação, indicado nas linhas. Em cada coluna das tabelas foram mantidas fixas as médias e em cada linha as proporções. As diagonais reproduzem as médias reais,

Observa-se nas três Tabelas, que em cada coluna, os valores são crescentes, indicando que a melhoria da distribuição de alunos por série aumenta as médias "gerais".

Olhando-se por linha, obtêm-se conclusões diferentes por disciplina. Em Leitura, observam-se médias gerais praticamente iguais entre 2000 e 2003, e entre 2006 e 2009, mas uma queda entre 2003 e 2006.

Em Matemática, observam-se valores muito próximos entre 2006 e 2009, mas com valores crescentes de 2000 a 2009, indicando um aumento de desempenho.

Em Ciências, valores muito próximos entre 2003 e 2009, e um pouco menores em 2000, embora as diferenças, provavelmente não seriam significativas, indicando estabilidade na década.

Outro tipo de análise para comparar é considerar somente os alunos que satisfazem as definições de idade. Temos dois casos, de 2003 a 2009, com os meses de maio a dezembro, comuns a ambas definições e de 2000 a 2009 com somente os meses de julho a dezembro, comuns às três situações. Os resultados do 1º caso estão nas Tabelas de 12 a 15 e os do 2º caso nas Tabelas 16 a 19.

Nas tabelas 12 e 16 com as proporções por série, pode-se observar uma melhoria na distribuição dos alunos pelas séries, aumentando as proporções nas séries mais altas. Mas observa-se também que quanto menos meses comuns entre as definições de idade, menor é a proporção de alunos nas 2ª e 3ª série do Ensino Médio e maior a proporção de alunos na 1ª série do Ensino Médio. Nas séries do Ensino Fundamental, as proporções têm tendência de queda com os anos.

As análises das médias por série são análogas ao já observado no caso real. Há talvez alguma evidência de aumento de média nas 7ª e 8ª séries em Ciências, em 2009.

Outros países

Para os outros países, não temos dados tipo Pnad (IBGE, 2011) de cada país para o cálculo das proporções da população na escola, da população elegível e das proporções esperadas por série, entre os elegíveis. Seria interessante que os relatórios do Pisa ressaltassem com destaque as proporções de alunos na escola e as de alunos elegíveis.

Iremos, portanto, considerar somente os microdados do Pisa.

Começa-se com Luxemburgo e Chile, países citados na divulgação de resultados do Pisa 2009 (ORGANISATION FOR ECONOMIC..., 2009).

Caso de Luxemburgo

Os microdados do Pisa, indicam que as datas de nascimento dos alunos em cada ano da avaliação para Luxemburgo, foram:

• 2000 (anos completos em 30 de Janeiro). De 1º de fevereiro de 1984 a 31 de Janeiro 1985

• 2003 (anos completos em 30 de Janeiro). De 1º de fevereiro de 1987 a 31 de Janeiro 1988

• 2006 (anos completos em 31 de Dezembro). De 1º de Janeiro de 1990 a 31 de Dezembro de 1990

• 2009 (anos completos em 31 de Dezembro). De 1º de Janeiro de 1993 a 31 de Dezembro de 1993

Como pode ser visto, há duas definições de idade, uma em 2000 e 2003 e a outra em 2006 e 2009. A mudança de definição é pequena, somente um mês.

Pelos dados houve uma melhoria de fluxo de 2000 para 2003. Houve um aumento na proporção da série 10 de 25% para 29%, a proporção na série 9 ficou estável, caiu de 17% para 15% na 8ª série e os quase 2% na 7ª série deixaram de existir.

A mudança de um mês trouxe novas alterações: um novo acréscimo de matrículas na série 10, passando a 35%, queda da proporção na 8ª série e uma pequena queda na 9ª série.

Desta maneira houve uma melhoria contínua na composição do alunado por séries, aumentando a proporção de alunos na série mais avançada, uma ligeira queda na série modal e queda na série atrasada. Em 2009, há cerca de 52% dos alunos na 9ª série, a série modal, cerca de 36% adiantados, na série 10 e cerca de 12% atrasados, na série 8. Qual é a definição da idade escolar em Luxemburgo? Não parece ser anos completos em dezembro, pois a proporção de alunos adiantados é alta.

A série modal é a 9ª, indicando que os alunos entram na 1ª série com sete anos de idade.

Nas tabelas com as médias por disciplina, observa-se um grande salto de 2000 para 2003 em todas as séries e em todas as disciplinas. Com isso e com a pequena melhoria do fluxo, as médias gerais subiram muito. Houve um crescimento de cerca de 40 pontos (40% do desvio padrão) em Leitura e Ciências e de 50 pontos (meio desvio padrão) em Matemática em somente três anos.

Mantendo-se as médias por série, a partir de 2003, deveria haver um aumento das médias gerais. Mas não foi o que aconteceu. A média geral caiu em Leitura e permaneceram estáveis nas outras duas disciplinas.

Em Leitura e Matemática, a média da 9ª série caiu em 2006, mas a média geral permaneceu a mesma, pois aumentou o percentual de alunos na 10ª série e caiu o da 8ª. A média geral se manteve por causa da mudança na composição do alunado.

Em 2009, as médias na 8ª série caíram em todas as disciplinas e em Leitura, também na 10ª série.

Como se pode dizer que houve uma grande evolução de 2000 para 2009? O aumento que houve foi somente de 2000 para 2003, um aumento muito grande para três anos, mesmo levando em conta a pequena melhoria na distribuição dos alunos por série. É importante investigar o que aconteceu.

Se simularmos as médias gerais em 2006 e 2009, com a proporção dos alunos por série em 2003 (definição de idade em 2003), verificamos que houve uma queda de desempenho em relação a 2003, tabela 24.

Caso do Chile

A aplicação do Pisa 2000 no Chile foi feita somente em 2001, um ano após o previsto. O Chile não participou do Pisa 2003. Para o Chile, tem-se:

• 2001 (anos completos em 30 de Junho). De 1º de julho de 1985 a 30 de Junho 1986

• 2006 (anos completos em 30 de Abril). De 1º de Maio de 1990 a 30 de Abril de 1991

• 2009 (anos completos em 30 de Abril). De 1º de Maio de 1993 a 30 de Abril de 1994

Pode-se ver na tabela 25 que a série modal no Chile é a série 10, indicando que os alunos entram na 1ª série com 6 anos. Desta maneira o Chile tem alunos elegíveis na 7ª série, correspondente à 6ª série no Brasil e Luxemburgo. Em 2003, esse contingente foi de 2%, caindo para 1% em 2006 e 2009. Isso não é justo para os países cujos alunos entram na 1ª série com 6 anos, pois eles têm uma série mais atrasada em relação aos demais..

A mudança de definição da idade considerada de dois meses teve o efeito de aumentar em 10 pontos percentuais o percentual de alunos na série 10, fazer aparecer cerca de 6% de alunos adiantados, na série 11 e diminuir o percentual de alunos nas 7ª, 8ª e 9ª séries. Isso modificou a composição do alunado dando mais peso às séries correta e avançada.

No Chile, houve aumento real nas 10ª e 8ª séries em todas as disciplinas, e na 9ª série, em 2009, em Leitura e Matemática. Isso, junto com a mudança de composição do alunado implica em uma evolução real das médias gerais, de 2000 para 2009. Mas o aumento real é menor que os cerca de 30 pontos em cada disciplina.

Se modificarmos a definição da idade em 2000 (2001), isto é, se calcularmos a média geral de 2000 com as médias por série de 2000 e as proporções de 2006, teríamos os valores de 427.62, 400.33, 430.48, respectivamente para Leitura, Matemática e Ciências. Teríamos um aumento de cerca de 20 pontos em cada disciplina.

Caso da Argentina

Como o Chile, a Argentina só aplicou o Pisa de 2000 em 2001 e não participou do Pisa 2003. Na Argentina, as crianças começam a 1ª série aos seis anos, pois a série modal é a 10. A tabela 28 mostra que existem alunos na 7ª série, equivalente à 6ª série no Brasil, o que é injusto para a comparação. A definição de idade em 2001 foi igual a do Chile, mas a mudança de definição em 2006 foi diferente. Enquanto o Chile adiantou dois meses, a Argentina adiantou somente um mês.

• 2001 (anos completos em 30 de Junho). De 1º de julho de 1985 a 30 de Junho 1986

• 2006 (anos completos em 31 de Maio). De 1º de Junho de 1990 a 31 de Maio de 1991

• 2009 (anos completos em 31 de Maio). De 1º de Junho de 1993 a 31 de Maio de 1994

Na Argentina, observa-se na Tabela 28 que está havendo uma pior distribuição dos alunos por série, mais alunos nas séries mais baixas. Isso pode ser visto muito claramente de 2006 para 2009, onde se tem a mesma definição de idade. De 2001 a 2006, com a antecipação de um mês, seria de se esperar, como aconteceu nos países já analisados, que aumentasse o percentual de alunos na série 10, aparecessem alunos na série 11 e caísse o percentual de alunos nas séries mais baixas. Mas não foi o que ocorreu. Do esperado, ocorreu somente o aparecimento de alunos na 11ª série e ao contrário do esperado, caiu o percentual de alunos na 10ª série.

Outra constatação surpreendente foi a queda considerável observada nas médias por série em Leitura de 2000 para 2006. Não se observa o mesmo em Matemática e Ciências. O que aconteceu em Leitura?

Simulando as médias de 2000 com a proporção observada em 2006, apresentam-se as seguintes médias, respectivamente para Leitura, Matemática e Ciências: 413.37, 382.03, 392.70. Observa-se uma queda enorme em Leitura de 2000 para 2006, (40 pontos), mas estabilidade em Matemática e Ciências.

Mesmo com a pior distribuição de alunos por série em 2009 em relação à 2006 para 2009, o aumento de médias por série foi suficiente para garantir um aumento nas médias globais de 2006 para 2009.

Caso do México

O México, como o Brasil, teve duas alterações de definição de idade. Anos completos em 30 de novembro, 28 de fevereiro e finalmente 31 de dezembro. A primeira mudança tende a piorar a distribuição de alunos por série e a 2ª a melhorar, mas não há um retorno à 1ª situação.

• 2000 (anos completos em 30 de Novembro). De 1º de Dezembro de 1983 a 30 de Novembro de 1984

• 2003 (anos completos em 28 de Fevereiro). De 1º de Março de 1987 a 28 de Fevereiro de 19881

• 2006 (anos completos em 31 de Dezembro). De 1º de Janeiro de 1990 a 31 de Dezembro de 1990

• 2009 (anos completos em 31 de Dezembro). De 1º de Janeiro de 1993 a 31 de Dezembro de 1993

A Tabela 33 corrobora essa expectativa. A proporção de alunos na série modal, a 10ª, cai de 50% para 43% de 2000 para 2003, subindo de novo para 48% em 2006. Fato curioso é que o percentual de alunos adiantados, 11ª série, é sempre menor que 1%, exceto em 2006, quando chega a 5%. Em 2009, aparentemente esses "alunos adiantados" estão na série 10. Observa-se também que a proporção de alunos atrasados cai um pouco em 2009.

O México, assim como o Chile e a Argentina é penalizado no cálculo da média geral, pois incorpora alunos da 7ª série, equivalente à 6ª no Brasil.

O México teve uma queda de médias por série de 2000 para 2003 em Leitura e uma queda menos acentuada em Ciências. Houve aumentos nas médias, por série, em todas as disciplinas de 2006 para 2009.

Na Tabela 37, simulamos as médias de 2000, 2003 e 2006 com as proporções por série de 2009. Observa-se a queda e recuperação em Leitura, o avanço em Matemática e a queda e pequena recuperação em Ciências.

Caso dos Estados Unidos

Os Estados Unidos também apresentam três definições de idade, com grande mudança de 2000/2003 para 2006/2009 - seis meses -, como no Brasil, e grandes mudanças na composição de alunos por série. A distribuição de alunos tem uma melhoria muito grande de 2000 para 2009. A proporção de alunos na série modal, a 10ª, sobe de 56% em 2000 para 69% em 2009, a da série adiantada, a 11ª, de menos de 0.5% para 20% e as das séries atrasadas, a 9ª, de 40% para 11% e a 8ª de 3% para quase 0%.

Ressalta-se que, em 2003, há alunos que nasceram de 1 janeiro de 1987 a 31 de maio de 1988, mais de um ano completo.

• 2000 (anos completos em 31 de Dezembro). De 1º de Janeiro de 1984 a 31 de Dezembro de 1984

• 2003 De 1º de Janeiro de 1987 a 31 de Maio de 1988.

• 2006 (anos completos em 30 de Junho). De 1º de Julho de 1990 a 30 de Junho de 1991

• 2009 (anos completos em 30 de Junho). De 1º de Julho de 1993 a 30 de Junho de 1994

Em 2006, não há resultados em Leitura para os Estados Unidos.

Nos Estados Unidos, os alunos também entram na 1ª série com seis anos de idade, sendo, portanto a 10ª série a modal para os alunos de 15 anos. Novamente aparecem, em alguns anos, alunos da 7ª série.

As médias por série em Matemática e Ciências melhoraram de 2006 para 2009, mas em todas as disciplinas as médias de 2000 para 2009 caíram muito nas séries relevantes, a 9ª, a 10ª e a 11ª, o que significa quedas enormes nas médias gerais, não refletidas nos resultados por causa da mudança de composição do alunado por série. Na Tabela 42, apresenta-se a média geral de 2000, por disciplina, simulada com as proporções de 2009, onde essas quedas de 2000 a 2006 aparecem e também, o início de uma recuperação em 2009. Como no caso do Brasil, ressalta-se que o intervalo de cerca de 6 meses entre os meses de aplicação do PISA em 2000 e 2006/2009 é muito grande e pode ser que o resultado dos mesmos alunos de 2006 e 2009 seriam melhores, caso a aplicação fosse no mesmo mês que em 2000.

Casos do Japão, Coreia, Finlândia e Suécia

Finalmente apresentam-se quatro países de alto desempenho que mantiveram a mesma definição de idade em todos os quatro anos, a saber:

• Japão: anos completos em março. (Há alguns poucos alunos de quatro a 14 anos que nasceram em abril).

• Coreia: anos completos em fevereiro.

• Finlândia: anos completos em janeiro.

• Suécia: anos completos em dezembro.

O Japão tem 100% de seus alunos na 10ª série, a Coreia começa com 98% nesta série em 2000 e termina com 95% em 2009, enquanto o percentual na 9ª série aumenta de 1% para 4% (Tabela 43) e, finalmente, a Finlândia tem cerca de 88% na 9ª série e 12% na 8ª (Tabela 43 ). Fica a pergunta: a Finlândia tem todo ano cerca de 12% dos alunos atrasados ou é um problema de data? Se a idade na Finlândia fosse em anos completos em dezembro ainda apresentaria todo esse atraso? No país vizinho, a Suécia, os alunos avaliados pelo Pisa têm anos completos em dezembro e o percentual na série modal, a 9ª, é de cerca de 95% em todos os anos, Tabela 45.

A idade de entrada na 1ª série, no Japão e na Coréia, é de seis anos, enquanto na Finlândia e na Suécia é de sete.

Não se apresenta aqui o desempenho dos alunos desses países por não acrescentarem maiores novidades a análise.

Conclusões

Foram apresentados análises dos resultados de seis países, três do hemisfério norte (Luxemburgo, México e Estados Unidos) e três do hemisfério sul (Brasil, Chile e Argentina).

Observou-se que nesses seis países, a definição de idade variou entre os anos e entre eles. Mostrou-se, também, a definição de idade de mais quatro países (Japão, Coréia, Finlândia e Suécia) e que todos têm definições de idade diferentes.

Esse fato mostra a dificuldade de comparações internacionais. Quando começa o ano letivo em cada país? Qual é a definição de idade escolar? Qual é a série correta para os alunos de "15 anos"? A resposta a esta última pergunta depende de qual é a idade de entrada na 1ª série, que varia com o país.

A idade é uma variável contínua, mas a idade escolar é discreta. O mês e ano em que o aluno nasceu definem em que série ele deveria estar. Como mostrado, a mudança de mês de realização do Pisa com a consequente mudança da definição da idade, muda a composição do alunado entre as séries e repercute na média global dos alunos.

Foi mostrado, no artigo, que dos três países citados como de maior evolução na década, Luxemburgo, Chile e Brasil, os três tiveram mudanças na data de aplicação e consequentemente na definição da idade.

Luxemburgo teve um grande avanço de 2000 a 2003, mas depois estacionou ou retrocedeu, dependendo da disciplina. O Chile teve avanços consistentes em todas as disciplinas, mas menores que o apontado pelo PISA e finalmente o Brasil, que teve, provavelmente, uma queda em Leitura, avançou em Matemática e ficou estável em Ciências. A mudança do mês de aplicação em cerca de seis meses de 2000 para 2009 dificulta qualquer afirmação.

Dos outros três países analisados, a Argentina apresentou uma piora no fluxo, uma queda de desempenho grande em Leitura, de 2000 para 2006, mas uma melhoria das médias por série e global de 2006 para 2009. O México apresentou queda em 2003 e uma recuperação em Leitura e Ciências, somente em 2009. Em Matemática, houve avanço. Finalmente, os Estados Unidos parecem apresentar uma grande queda de desempenho de 2000 para 2006 e um início de recuperação, em 2009. Como no caso do Brasil, a mudança do mês de aplicação entre 2000 e 2006/2009 foi de cerca de seis meses.

É urgente corrigir o PISA 2012. O mais apropriado seria selecionar os alunos pela idade escolar de 15 anos e realizar a aplicação um número fixo de meses após o início do ano letivo. Essa regra deveria valer para todos os países e para todos os anos.

Recebido em: 28/09/2011

Aceito para publicação em: 03/11/2011

• IBGE. Pesquisa Nacional por Amostra de Domicílios Rio de Janeiro, 2011. Disponível em: <http://www.ibge.gov.br/home/estatistica/populacao/trabalhoerendimento/pnad2009/>. Acesso em: 22 nov. 2011.
• ORGANISATION FOR ECONOMIC CO-OPERATION AND DEVELOPMENT. Pisa 2003 Data Analysis Manual Paris, 2005. Disponível em: <http://www.oecd.org/dataoecd/53/22/35014883.pdf>. Acesso em: ago. 2011.
• ______. Pisa 2009 assessment framework: key competencies in reading, mathematics and science. Paris, 2009. Disponível em: <http://www.oecd.org/document/44/0,3746,en_2649_35845621_44455276_1_1_1_1,00.html#TOC>. Acesso em: ago. 2011.
• ______. Pisa 2009 at a Glance Paris, 2010. Disponível em: <http://www.oecd.org/dataoecd/31/28/46660259.pdf>. Acesso em: jul. 2011.

Uma re-análise dos resultados do PISA: problemas de comparabilidade

Un reanálisis de los resultados del PISA: Problemas de comparabilidad

Datas de Publicação

• Publicação nesta coleção
  16 Out 2012
• Data do Fascículo
  Dez 2011

Histórico

• Recebido
  28 Set 2011
• Aceito
  03 Nov 2011