Evolução do desempenho cognitivo dos jovens brasileiros no Pisa

Resumos

This article analyzes the evolution of young Brazilians' cognitive abilities, as measured by the Program for International Student Assessment - Pisa. The results were very positive. Although it was observed a considerable increase in the percentage of youngsters able to complete the Pisa exam and, therefore, a strong decrease in selectivity, the Brazilian average rose 33 points over the past nine years. The relative position of the Brazil also increased, since the average score rose from 75% to 80% of the one found in the original group of countries that participated in this survey, in 2000. In distributive terms, the improvement was even more prominent in the bottom of the cognitive abilities' distribution: the hundredths in the lower tail distribution in Mathematics had their scores increased by about 70 points, against approximately 30 points found in the hundredths of the upper tail.

Pisa; learning evaluation; cognitive development

OUTROS TEMAS

^ITécnico de Planejamento e Pesquisa da Diretoria de Estudos e Políticas Sociais -Disoc - do Instituto de Pesquisa Econômica Aplicada - Ipea. [e-mail]

^IITécnico de Planejamento e Pesquisa da Diretoria de Estudos e Políticas Setoriais, de Inovação, Regulação e Infraestrutura - Diset - do Instituto de Pesquisa Econômica Aplicada - Ipea. [e-mail]

RESUMO

O artigo analisa a evolução das habilidades cognitivas dos jovens brasileiros medidas pelo Programa Internacional de Avaliação de Alunos - Pisa. Reporta-se a resultados bem positivos. Apesar de um aumento considerável na porcentagem dos jovens aptos a fazer o Pisa e, portanto, uma forte redução na seletividade, a nota média brasileira subiu 33 pontos ao longo dos últimos nove anos. A posição relativa do país também aumentou: nossa nota média foi de 75% para 80% da nota média do grupo original de países que fizeram o Pisa em 2000. Em termos distributivos, a melhora foi mais proeminente na parte inferior da distribuição de habilidades cognitivas. Os centésimos na cauda inferior da distribuição de matemática viram suas notas aumentarem em torno de 70 pontos contra em torno de 30 pontos para os centésimos na cauda superior.

Palavras-chave: Pisa, avaliação da aprendizagem, desenvolvimento cognitivo

A ORGANIZAÇÃO PARA A COOPERAÇÃO E O DESENVOLVIMENTO ECONÔMICO - OCDE -promove, desde 2000, uma avaliação educacional em larga escala, em seus países-membros e em países com os quais estabelece acordos de parceria para essa finalidade. A avaliação, denominada Programa Internacional de Avaliação de Alunos - Pisa -, é feita a cada três anos. Sua quarta e mais recente edição foi em 2009, com os respectivos resultados divulgados em dezembro de 2010. Seu principal mérito é tornar disponível, para livre acesso, uma base pública contendo dados de abrangência internacional, com informações sobre desempenho cognitivo, passíveis de serem cruzadas com variáveis contextuais construídas a partir de questionários respondidos pelas escolas, pelas famílias e pelos próprios estudantes testados.

A forma pela qual o Pisa é desenhado, e o fato de contar com quatro edições já concluídas - em todas as quais o Brasil esteve presente -, permite prospectar uma série de tendências e comparações informativas, tanto do ponto de vista da formação de capital humano quanto do ponto de vista da evolução das desigualdades educacionais. Por exemplo, o foco dos exames em situações e desafios que exigem dos estudantes testados aplicações práticas do conhecimento, das habilidades e das competências desenvolvidas ao longo de suas vidas escolares possibilita formar uma ideia acerca de quão preparados encontram-se eles para os desafios com os quais tenderão a se deparar nas etapas seguintes de sua formação e, principalmente, no mundo do trabalho e no cotidiano. Fornece também uma noção de como evolui o desempenho desses jovens ao longo do tempo, e permite sua comparação com o desempenho de jovens de outros países. Dessa maneira, pode-se verificar a evolução brasileira no Pisa, tanto na sequência temporal quanto diante da performance de outros países.

No que tange à evolução das desigualdades, as quatro edições do Pisa tornam possível vislumbrar como tem evoluído a variância do desempenho dos estudantes brasileiros ao longo do tempo. Com isso, pode-se perceber se a distância entre nossos estudantes de melhor e de pior desempenho estaria aumentando - o que sinalizaria um aumento das desigualdades educacionais - ou diminuindo - o que seria um indício de redução das desigualdades educacionais.

Assim, a discussão neste artigo estrutura-se, além desta introdução, nas seguintes partes: o progresso, no Brasil, do nível de instrução da população que compõe o universo amostral do Pisa; o avanço do país em comparação com outros países nas sucessivas edições do exame; a composição do desempenho brasileiro, ordenando as notas da população que participou da prova em centésimos, a fim de averiguar eventuais mudanças na distância entre os melhores e os piores desempenhos. A última seção traz considerações finais.

AUMENTO DA ESCOLARIDADE DOS JOVENS DE 15 A 16 ANOS

A amostragem do Pisa parte da população que inicia o ano de aplicação do exame com 15 anos de idade já completos. Exige, ademais, que a pessoa esteja, naquele momento, matriculada e frequentando ao menos o 7° ano em uma instituição formal de ensino. Assim, pessoas com essa idade que ainda tenham menos de seis anos de estudos completos, ou que não estejam matriculadas em instituições formais de ensino, não compõem o universo de onde são extraídas as amostras nos países participantes.

Em um sistema educacional como o brasileiro, em que reprovação e evasão são problemas historicamente enraizados na cultura escolar, tal recorte amostral potencialmente colocaria nossos estudantes em relativa vantagem. Afinal, reprovação e evasão elevadas tenderiam, hipoteticamente, a afunilar o sistema educacional, promovendo aos anos finais do ensino fundamental e ao ensino médio apenas os estudantes mais "capazes" e, portanto, deixando a amostra final do Pisa com uma sobrerrepresentação de estudantes de melhor desempenho nos países em que tal cultura fosse proeminente.

Não obstante, as quatro primeiras edições do Pisa coincidem com um momento histórico em que paulatinamente os sistemas brasileiros de ensino vêm adotando regimes de ciclos¹, por meio de progressão continuada entre os anos de estudo. Em 2006, o Censo da Educação Básica já identificava, para todo o Brasil, que 41,3% das escolas estaduais localizadas em áreas urbanas adotavam regime de ciclos (menezes-filho et al., 2008). Tal tendência tem-se refletido nas taxas de aprovação: no ano da primeira edição do Pisa, 2000, a taxa no ensino fundamental foi de 78,2%; no ano da edição mais recente, 2009, ficou em 85,2%², incremento que significa, na média, em 2009 em relação a 2000, aprovar adicionalmente 7 estudantes entre 100 matriculados em cada série do ensino fundamental.

Não é proposta mensurar, neste artigo, eventuais impactos de regimes de ciclos e da progressão continuada sobre medidas de rendimento escolar, embora se reconheça a carência e as necessidades de estudos nessa temática aplicados ao Brasil. Poucas pesquisas brasileiras exploram essa questão com a utilização de dados quantitativos, valendo destacar o esforço empreendido por Menezes Filho et al. (2008), que encontraram efeito significativo da adoção de ciclos sobre a redução das taxas de reprovação e o aumento das taxas de aprovação em todos os níveis de ensino. Ao mesmo tempo, porém, os mesmo autores, ao estimarem os efeitos da progressão continuada sobre o desempenho na Prova Brasil dos estudantes da 4ª e da 8ª série, encontraram resultados não significativos no primeiro caso, e impactos significativamente negativos no segundo. Tal como argumenta Gomes (2005), as evidências empíricas disponíveis não permitem afirmar se a desseriação é benéfica ou não ao aproveitamento dos alunos. O desdobramento mais nítido da disseminação da progressão continuada pelos sistemas educacionais brasileiros é o aumento da escolaridade da população³.

No que tange ao Pisa, isso significa que, a cada nova aplicação do exame, os jovens brasileiros nele envolvidos apresentam escolarização cada vez maior. No gráfico 1 vê-se que o nível de instrução dos jovens que integram o universo amostral do Pisa no Brasil tem-se tornado cada vez mais elevado.

Quando o Pisa foi aplicado pela primeira vez, em 2000, 62% da população brasileira de 15 ou 16 anos de idade tinha a escolaridade mínima para compor o universo amostral do exame. Ao longo da década, uma proporção cada vez maior dos jovens dessa idade foi alcançando tal patamar, até que, na aplicação mais recente, em 2009, esses já representavam aproximadamente 79% da população nessa faixa etária. será que essa expansão do universo amostral do Pisa resultou em uma queda no rendimento dos estudantes brasileiros nas sucessivas edições do exame?

O DOMÍNIO DE HABILIDADES COGNITIVAS NO BRASIL

A resposta à pergunta é não, mas merece ser colocada no contexto mais amplo de como evoluíram as habilidades cognitivas dos jovens nos últimos dez anos no Brasil.

Apesar de este texto ser inspirado pelo e centrado no Pisa, esse exame não é a única fonte sobre o desempenho cognitivo de jovens. O Brasil conta, desde 1995, com o Sistema de Avaliação do Ensino Básico - Saeb -, que avalia as habilidades cognitivas de crianças nas 4ª e 8ª séries do fundamental e, o que nos interessa, jovens cursando a 3º série do ensino médio. Também existe, desde 1998, o Exame Nacional do Ensino Médio - Enem -, que é prestado por jovens terminando o ensino médio. Há três características importantes que diferenciam os três exames: o uso ou não da Teoria da Resposta ao Item - TRI; a abordagem filosófica seguida na construção dos itens; a construção do universo amostral.

A TEORIA DE RESPOSTA AO ITEM

A comparabilidade entre aplicações de uma prova é dada pela Teoria de Resposta ao Item. Antes dos anos de 1950, a única forma de trabalhar com medidas cognitivas era simplesmente contar itens certos e errados. Duas provas nunca poderiam ser comparadas, uma vez que eram incomensuráveis. A TRI revolucionou o desenho de provas cognitivas ou outros tipos de teste, passando a permitir comparações entre duas provas e, portanto, dois ou mais momentos no tempo.

o princípio básico que dá suporte à TRI é bastante simples: cada indivíduo possui uma habilidade latente e não observável, que se convenciona chamar de proficiência, cujo valor determina a probabilidade de acerto de uma pergunta, ou item, que mede essa mesma habilidade. Tanto a dificuldade de um item como a proficiência de uma pessoa podem ser expressas em uma única escala - para conhecer mais sobre a TRI, ver Andrade, Tavares, Valle (2000), Klein (2003), Araújo, Andrade e Bortolotti (2009).

O Pisa (ocde, 2000, 2003, 2006) e o Saeb (klein, 2003) são ambos construídos usando a TRI. o Enem, por seu turno, só passou a se valer da TRI a partir de 2009 (brasil, 2009). Isso quer dizer que seria necessário um tratamento estatístico complexo dos itens do Enem de cada ano anterior a 2009 para transformar as provas em algo comparável⁴. Tal procedimento seria demasiadamente trabalhoso para este texto e, portanto, eliminamos o Enem como fonte.

CONSTRUÇÃO DE ITENS

Há algumas diferenças entre as abordagens filosóficas do Pisa e do Enem, por um lado, e do Saeb, por outro. O Saeb é projetado para medir diretamente o domínio dos conteúdos e não a sua aplicação. É uma prova muito colada nos parâmetros curriculares. Exemplos de itens podem ser encontrados em http://www.inep.gov.br/web/saeb-e-prova-brasil/downloads. Já o Pisa e o Enem usam itens construídos para medir a aplicação do conhecimento em situações da vida prática. Ver http://www.inep.gov.br/web/enem/provas para itens do Enem, e http://www.gave.min-edu.pt/np3/134.html para itens do Pisa.

Uma comparação entre as duas abordagens mostra que as provas do Enem e Pisa são muito mais interessantes e se aproximam mais das habilidades cognitivas úteis na vida real ou no mercado de trabalho que as provas conteudísticas do Saeb.

UNIVERSO AMOSTRAL

A grande diferença entre o Saeb e o Pisa, no entanto, não é a abordagem filosófica, e sim a amostragem. Como já foi mencionado, o Pisa amostra indivíduos escolarizados nascidos 16 anos antes da aplicação do exame e matriculados em qualquer série, desde que com não mais de três anos de defasagem. O Saeb, por sua vez, testa indivíduos no final do ensino médio, independentemente da idade que tenham. Na presença de repetência maciça, como é o caso no Brasil, os dois universos não irão coincidir.

O gráfico 2 mostra, a partir de 1995, a evolução do universo amostral do Pisa e do contingente de estudantes cursando o final do ensino médio e, portanto, passíveis de serem submetidos ao Saeb no final do seu 3° ano. As flechas claras indicam os anos nos quais houve aplicação do Saeb e as flechas escuras, os anos nos quais houve aplicação do Pisa. A evolução do universo do Pisa é coerente com o gráfico 1 - aumentos mais ou menos grandes no universo de 2000 para 2003 e 2006 para 2009 e um aumento mais modesto de 2003 para 2006. Os aumentos no universo do Saeb, no entanto, são bem maiores. O universo amostral do Saeb aumenta principalmente na década de 1990, em que, como será visto adiante, os resultados caem drasticamente. Se compararmos a evolução dos dois universos, veremos que, de 1995 a 2009, o universo do Saeb quase dobrou de tamanho relativo à coorte de 16 anos; já o universo do Pisa aumentou cerca de 50%, em relação à mesma coorte.

Munidos da comparação dos dois universos, o que esperar a priori? Como já foi visto na seção passada, a queda nas taxas de repetência e evasão tem levado a um perfil cada vez menos elitista do ensino médio. Crianças e jovens de origem socioeconômica cada vez menos favorecida integram o corpo estudantil do ensino médio. Na literatura especializada, o fator mais fortemente associado ao rendimento estudantil é justamente a origem socioeconômica da família do/a aluno/a (HANUSHEK, WÖMANN, 2011). Ao mesmo tempo, os altos níveis de repetência e evasão que historicamente caracterizaram o sistema educacional brasileiro e que vêm se reduzindo paulatinamente nos últimos dez anos costumam afetar, majoritariamente, as crianças e os jovens oriundos dos estratos socioeconômicos mais baixos (RIBEIRO, 1993; LEON, MENEZES FILHO, 2002). Graciano e Haddad (2009) ressaltam que os dados da Pesquisa Nacional por Amostra de Domicílio - PNAD - de 2006 mostram que a presença de jovens entre 15 e 17 anos no ensino médio é mais de três vezes maior quando esses jovens figuram entre os 20% mais ricos da população nessa faixa etária do que entre os 20% mais pobres.

Como visto, parte dos estudantes que sofrem com a repetência permanece elegível para o Pisa, que inclui o final do ensino fundamental, mas é integralmente alijada do Saeb, que inclui apenas o último ano do ensino médio. Assim sendo, a popularização do ensino médio ensejada pela redução paulatina nos níveis de repetência tende a se refletir ainda mais significativamente no corpo discente que faz o Saeb do que no que faz o Pisa. Tal qual visto no gráfico 2, o universo do Pisa aumenta muito menos que o universo do Saeb. A priori, isso deve levar a uma evolução melhor no Pisa do que no Saeb, uma vez que o corpo de estudantes que faz o Saeb virá de origem socioeconômica cada vez menos favorecida. Os dois painéis do gráfico 3 mostram que é exatamente isso que ocorre.

A nota média do Brasil nos exames do Pisa tem subido sem parar desde 2000, data da primeira avaliação, refletindo melhoria da qualidade educacional no Brasil. Já no Saeb, a nota caiu quase continuamente de 1995 a 2005, refletindo a redução da seleção causada pela repetência. Apenas em 2007 e 2009 a melhoria no desempenho das escolas passou a ser mais forte que a redução na seleção e houve aumento na nota média.

A diferença entre as duas séries históricas sugere que as tão combatidas políticas de regularização de fluxo por meio de progressão -frequentemente mediante expedientes algo artificiais - foram acertadas, a despeito da resistência que a sua adoção costuma encontrar. Essa resistência muitas vezes parte até mesmo dos próprios pais e alunos, conforme se verifica em estudos como o de Jacomini (2010). Ademais, como se vê em estudos como o de Earp (2009), a reprovação ainda é percebida, por professores e por muitos especialistas, como uma medida pedagógica indispensável, a despeito de a evidência empírica, como reitera Crahay (2006), já de muito depor contra sua eficácia na melhoria do aprendizado de alunos em dificuldade. Em nosso ponto de vista, prossegue válido o diagnóstico de Schwartzman (2005) de que, superada a questão da expansão das redes de ensino que afligiram os formuladores de política educacional por muito tempo, a repetência e a má qualidade do ensino colocam-se como os maiores desafios da educação brasileira.

O objetivo do sistema de ensino não pode prover com habilidades cognitivas apenas àqueles que conseguem, a duras penas, progredir no sistema educacional, e sim prover essas habilidades a todas as crianças e adolescentes. Se olharmos por essa ótica, o Pisa é, sem dúvida, o melhor exame para avaliar o progresso geral das habilidades e competências desenvolvidas pelos nossos adolescentes. Apesar do aumento do percentual da população brasileira com escolaridade mínima para compor seu universo amostral, a nota do país aumentou 33 pontos (quase 10%) nos últimos dez anos.

Estabelecido que o Brasil tem melhorado em termos absolutos, fica a pergunta: qual a dimensão dessa melhora em termos relativos, isto é, como ficamos em comparações internacionais?

A EVOLUÇÃO DO BRASIL DIANTE DE OUTROS PAÍSES

Não é trivial avaliar a evolução do Brasil diante dos demais países no que tange às habilidades cognitivas de seus jovens escolarizados. A cada rodada do Pisa, há vários novos países participantes - e alguns poucos que ficam de fora devido a problemas técnicos ou discordâncias políticas. É tão pouco esclarecedor dizer que o número de países com nota pior que o Brasil passou de zero em 2000 para 11 em 2009 quanto dizer que o número de países com nota melhor passou de 30 para 54. Ambos os efeitos se devem, em parte, ao fato de a aplicação de 2000 contar com 31 países, e a de 2009, com 66.

Outro problema evidente é que há variações significativas de proficiência que não chegam a modificar posições relativas e, portanto, não são contempladas nos rankings. É o que ocorre com o Brasil, comparativamente com os países que participaram da aplicação de 2000. Tanto neste ano como em 2009, o Brasil foi o pior colocado no grupo que participou do Pisa 2000, embora a nota média tenha subido de 75% para 80% da média não ponderada da prova.

Naturalmente, o modo de avaliar quanto o Brasil melhorou ou piorou é construir um painel que contenha os mesmos países, e observar a variação da nota. Isso foi feito para dois períodos: 2000 a 2009, para que possam ser verificadas tendências mais longas, e de 2006 a 2009, para comparação de resultados recentes.

O gráfico 4 mostra a nota média⁵ do Pisa 2000 no eixo horizontal e a nota média do Pisa 2009 no eixo vertical. Consequentemente, países cujas notas aumentaram de 2000 para 2009 encontram-se acima da diagonal, e aqueles cujas notas caíram encontram-se abaixo da diagonal. Além disso, quanto mais para a direita e para o alto do gráfico estiver um determinado país, melhor terá sido seu desempenho nos dois anos plotados.

Dos 31 países que participaram tanto do Pisa 2000 quanto do Pisa 2009, apenas em um (Luxemburgo) a variação da nota foi superior à observada para o Brasil. Nossa média aumentou 32,7 pontos. Esse crescimento acentuado, contudo, não foi suficiente para que deixássemos de figurar na última posição entre os países que participaram da prova em ambos os anos - veja que o Brasil é o mais à esquerda e para baixo dentre os países representados no gráfico 4.

Apesar de o período coberto pelo gráfico 4 ser suficientemente extenso para que sejam observadas tendências de longo prazo, o grupo de países coberto é muito diferente do Brasil - o México é o único país latino-americano que também participou de ambas as avaliações.

O conjunto de países participantes aumenta consideravelmente a partir de 2006. Isso pode ser visto no gráfico 5, que aponta justamente para a variação na nota média de 2006 para 2009.

O Brasil não é mais o último dos países entre o conjunto que participou tanto do Pisa 2006 quanto do Pisa 2009. Argentina, Azerbaijão, Colômbia, Indonésia, Quirquistão e Tunísia obtiveram médias inferiores à nossa, mas isso reflete apenas o fato de esses países terem entrado na prova.

O relevante é que a nota média brasileira continua em ascensão (16,8 pontos). Apenas seis países tiveram evolução mais positiva nesse quesito: Colômbia, Itália, Portugal, Quirquistão, Sérvia e Turquia. Junto com o Brasil, Argentina, Colômbia e Tunísia perfazem um grupo de países cujas notas ainda estão bem baixas, mas aumentam em um ritmo acelerado. Na América Latina, no entanto, ainda estamos bem atrás do México e, principalmente, do Chile, cuja nota supera a nossa em 8,3 pontos.

Um panorama das razões do bom desempenho brasileiro já foi exposto na segunda parte deste trabalho. Apresenta-se, a seguir, outra, não incompatível com aquela.

QUANTO MAIOR O AVANÇO DOS ESTRATOS SOCIOECONÔMICOS MAIS BAIXOS, MAIOR O AVANÇO NA MÉDIA GERAL

Uma distribuição do que quer que seja é definida não apenas por uma média, mas também pela dispersão em torno dela. Adicionalmente, a média e a dispersão não são independentes. Vamos argumentar nesta seção que, no caso de aprendizado, para que a média seja alta, a dispersão deve ser baixa.

O primeiro argumento consiste em fazer uma comparação internacional. O desafio das comparações internacionais é encontrar um país cujas características sejam comparáveis às do Brasil, mas cujos resultados sejam suficientemente diferentes para ensinar algo. Excluindo países altamente homogêneos, como a Finlândia e a Coreia, o Canadá é o país cujos alunos tiram as melhores notas no Pisa. Trata-se de um país grande, federativo e cuja diversidade étnica rivaliza com a brasileira. Entretanto, as médias dos alunos no Pisa, em nenhum ano ou matéria, ficaram menos que 100 pontos acima das médias dos brasileiros.

Se compararmos a diferença entre as notas por centésimos entre o Canadá e o Brasil, obtemos o gráfico 6. O gráfico se refere às notas em leitura para 2003, que ilustram bem nosso argumento, mas para qualquer ano e qualquer matéria a mesma conclusão qualitativa continua válida. O gráfico 6 mostra que a diferença entre os melhores alunos brasileiros e os melhores canadenses, embora substantiva, situa-se em torno de 70 pontos. Mas quanto pior o centésimo, maior a diferença, de modo que os piores alunos brasileiros ficam uns 150 pontos abaixo dos piores canadenses.

Ou seja, metade da nossa diferença de 125 pontos com o Canadá é explicada mudando toda a distribuição para cima e equalizando nossos melhores com os melhores canadenses. A outra metade do hiato se fecha subindo a cauda inferior da distribuição brasileira para que nossa desigualdade seja a mesma que a observada no Canadá.

Já o gráfico 7 mostra a evolução da distribuição acumulada das notas do Pisa nas três matérias examinadas (matemática, ciências e leitura) para os anos de 2000, 2003, 2006 e 2009 para o Brasil. No eixo horizontal encontra-se a população que participou da prova, ordenada do pior para melhor desempenho e agrupada em centésimos. No eixo vertical, a nota média de cada centésimo. Verificam-se ali comportamentos diferentes para matérias diferentes.

No caso de matemática fica clara a melhoria tanto da média como da desigualdade. É visível que, salvo de 2000 para 2003, a nota dos alunos na cauda inferior da distribuição (os centésimos à esquerda no gráfico) cresceu mais que a daqueles na cauda superior (os centésimos à direita).

No caso de ciências há uma redução da desigualdade e aumento da média, mas a melhora não é tão clara quanto no caso da matemática. Finalmente, no caso de leitura, não é claro se houve sequer uma redução da desigualdade e o aumento na média é bastante modesto.

Outra forma de observar o fenômeno é verificar a diferença no desempenho, centésimo a centésimo, ao longo do tempo. Há dois modos de fazer isso: o primeiro é a diferença acumulada - escolhe-se um ano base e se verifica a diferença centésimo a centésimo entre o ano base e cada ano sucessivo. Isso se encontra nos painéis 1 dos gráficos 8 a 10; o segundo modo é fazer a diferença entre aplicações sucessivas, novamente centésimo a centésimo. Cada curva mostra o ganho ou perda ao longo de um período de três anos (o intervalo entre aplicações do Pisa). É o que mostram os painéis 2 dos gráficos 8 a 10.

O gráfico 8 mostra, em maior detalhe, o que se podia ver no primeiro painel do gráfico 7 - o aumento considerável na média em matemática coincide com uma redução da desigualdade. Entre 2000 e 2003, os 90 centésimos inferiores ganharam em torno de 20 pontos, mas os 10 superiores ganharam até 50 pontos, ou seja, muito mais. Felizmente essa tendência em direção à desigualdade cognitiva foi revertida já em 2006. A curva pontilhada mostra que os centésimos inferiores passam a contar com melhorias de desempenho mais fortes. A tendência é mantida em 2009: a curva respectiva mostra que, enquanto o décimo inferior ganhou 70 pontos (desde 2000), os dois décimos superiores ganharam em torno de 30. Não deve surpreender que o aumento brasileiro na média em matemática foi de 52 pontos na escala Pisa e a queda no desvio-padrão, de 12 pontos.

Já em leitura ocorreu algo bastante diverso. Comparando 2009 com o eixo horizontal (que equivale a 2000) fica claro que houve um aumento na desigualdade. Os centésimos superiores encontram-se mais altos - entre 30 e 40 pontos acima das notas do mesmo centésimo em 2000 - que seus equivalentes inferiores, nos quais o ganho foi entre 10 e 20 pontos. A distribuição do ano de 2006 se mostra muito mais desigual que a do ano 2000.

Não houve, no entanto, uma tendência clara. De 2000 para 2003, houve aumento da média e um grande aumento da desigualdade. De 2003 para 2006, houve leve queda da média e um leve aumento da desigualdade. Apenas de 2006 para 2009 a evolução foi na direção desejada, com aumento na média e queda na desigualdade.

O resumo é um aumento relativamente modesto de 21 pontos na média e um aumento de 12 pontos no desvio-padrão.

Finalmente, a evolução da distribuição de notas em ciências fica entre o observado para as distribuições de matemática e de leitura. A distribuição das notas em ciências em 2009 é claramente mais igual que a de 2000 e o aumento na nota média no período foi de 30 pontos. Houve um leve aumento na desigualdade de 2000 para 2003, mas que foi compensado em 2009.

Se pudermos concluir algo desta análise é aquilo que já foi concluído pelo relatório McKinsey (2007) sobre educação, quando afirma que "sistemas de alta performance [...] são projetados para assegurar que toda criança está apta para deles se beneficiar". Dito de outro modo, um sistema educacional não pode ser bom se seus piores alunos pouco aprendem. Obtivemos ganhos maiores em matemática em parte porque conseguimos reduzir a desigualdade das notas naquela matéria. Obtivemos ganhos medíocres em leitura porque não conseguimos fazer com que os piores alunos aprendessem a ler melhor.

CONSIDERAÇÕES FINAIS

As tendências apresentadas neste ensaio sugerem que, ao longo da década de 2000, a população brasileira na faixa dos 15 aos 16 anos tem avançado substancialmente no desenvolvimento de competências e habilidades em leitura, matemática e ciências. Esse fato ganha mais relevância ao se recordar que as três disciplinas são comumente vistas como um tripé fundamental ao desenvolvimento de outras competências e habilidades indispensáveis nas etapas futuras de formação desses jovens e em sua atuação no mercado de trabalho.

Esse avanço nas habilidades cognitivas medidas pelo Pisa ocorre concomitantemente com uma trajetória em "U" das habilidades cognitivas medidas pelo Saeb, cujos resultados em 2009 ainda estavam abaixo daqueles de 1995. A diferença decorre do universo das duas avaliações -enquanto o Pisa amostra as crianças escolarizadas de 15 a 16 anos, mesmo que em séries inferiores à adequada, o Saeb amostra crianças no final do ensino médio, mesmo que com idade superior à adequada - e da melhoria que houve no fluxo escolar no período. A diferença entre as duas avaliações também mostra que as tão combatidas políticas de regularização de fluxo foram acertadas. Isso porque o objetivo do sistema educacional de um país não pode ser a melhoria das habilidades cognitivas daqueles que conseguem chegar ao final do ensino médio e sim a melhoria das habilidades cognitivas de todas as crianças.

No entanto, a evolução positiva do Brasil no Pisa ainda não foi suficiente para promover saltos significativos na posição em relação a outros países. De um modo geral, a formação básica de nossos jovens prossegue de baixa qualidade. Isso dificulta, inclusive, a chegada na porta da universidade de um contingente expressivo de jovens capazes de concluir a contento um curso superior e de ocupar, posteriormente, postos de trabalho demandantes de competências e habilidades cada vez mais complexas e mutáveis. Nosso desempenho médio segue bem inferior ao da maioria dos países.

Mesmo assim, e ainda que pouco captada pelos rankings que costumam ser elaborados a partir de avaliações de larga escala desse tipo, a melhora reportada tem-se mostrado consistente e intensa. Nossa distância de outros países tem encurtado. Mais animadora ainda é a constatação de que parcela cada vez maior do avanço brasileiro pode ser atribuída, desde a segunda edição do Pisa, aos/às estudantes situados/as na camada inferior da distribuição das notas - uma sinalização de que nosso sistema educacional vem paulatinamente reduzindo suas históricas desigualdades. Isso ocorre principalmente em matemática e menos em leitura, com ciências em uma posição intermediária. Registre-se, ademais, que tem sido este o caso, mesmo diante da tendência crescente de adoção de regimes de ciclos e de progressão automática nos sistemas de ensino nacionais no mesmo período. Isso pode ser um indicativo, ao cabo, de que reter estudantes em diferentes etapas do percurso escolar revele mais um atraso e despreparo da própria instituição escolar do que do/a aluno/a.

Recebido em: JUNHO 2011

Aprovado para publicação em: JANEIRO DE 2012

• ANDRADE, Dalton F.; TAVARES, Heliton R.; VALLE, Raquel C. Teoria da Resposta ao Item: conceitos e aplicações. São Paulo: Associação Brasileira de Estatística, 2000.
• ARAÚJO, Eulália A. C.; ANDRADE, Dalton F.; BORTOLOTTI, Silvana L. V. Teoria da Resposta ao Item. Revista da Escola de Enfermagem da USP, São Paulo, v. 43, n. esp., p. 1000-1008, dez. 2009.
• BRASIL. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. Sinopse Estatística da Educação Básica: 2001 e 2009. Disponível em: <http://www.inep.gov.br>. Acesso em: 20 jan. 2011.
• BRASIL. Ministério da Educação. Proposta à Associação Nacional dos Dirigentes das Instituições Federais de Ensino Superior. Brasília, 2009. Disponível em: < http://portal.mec.gov.br/index.php?Itemid=310&id-13318&option=com_content&view=article>. Acesso em: 27 maio 2011.
• CRAHAY, Marcel. É possível tirar conclusões sobre os efeitos da repetência? Cadernos de Pesquisa, São Paulo, v. 36, n. 127, p. 223-246, jan./abr. 2006.
• DALBEN, Ângela I. L. F. Os Ciclos de formação como alternativa para a inclusão escolar. Revista Brasileira de Educação, Rio de Janeiro, v. 14, n. 40, p. 66-82, jan./abr. 2009.
• EARP, Maria L. S. A Cultura da repetência em escolas cariocas. Ensaio: Avaliação e Políticas Públicas em Educação, Rio de Janeiro, v. 17, n. 65, p. 613-632, dez. 2009.
• FERNANDES, Claudia O. A Necessária superação da dicotomia no debate séries-ciclos na escola obrigatória. Cadernos de Pesquisa, São Paulo, v. 40, n. 141, p. 881-894, set./dez. 2010.
• FETZNER, Andréa R. Construção de uma outra escola possível. Wak: Rio de Janeiro, 2007a. (Ciclos em revista, v. 1)
• ______. Implicações curriculares de uma escola não seriada. Wak: Rio de Janeiro, 2007b. (Ciclos em revista, v. 2)
• ______. Aprendizagem em diálogo com as diferenças. Rio de Janeiro: Wak, 2007c. (Ciclos em revista, v. 3)
• ______. (Org.) Avaliação: desejos, vozes, diálogo e processos. Rio de Janeiro, Wak, 2008. (Ciclos em revista, v. 4)
• FUNDAÇÃO IBGE. Censo populacional 2000. Rio de Janeiro, 2000.
• ______. Pesquisa nacional por amostra de domicílio. Rio de Janeiro, 1995-2009.
• GOMES, Candido A. Desseriação escolar: alternativa para o sucesso? Ensaio: Avaliação e Políticas Públicas em Educação, Rio de Janeiro, v. 13, n. 46, p. 11-38, jan./mar. 2005.
• GRACIANO, Mariângela; HADDAD, Sergio. Balanço e perspectivas do ensino médio no Brasil: Apresentação. In: KRAWCZYK, Nora. O Ensino médio no Brasil. São Paulo: Ação Educativa, 2009. p. 5-6.
• HANUSHEK, Eric; WÖBMANN, Ludger. The Economics of international differences in educational achievement. In: HANUSHEK, Eric A.; MACHIN, Stephen; WÖBMANN, Ludger (Ed.). Handbook of the economics of education, 3. Amsterdam: North Holland, 2011. p. 89-200.
• JACOMINI, Márcia A. Por que a maioria dos pais e alunos defende a reprovação? Cadernos de Pesquisa, São Paulo, v. 40, n. 141, p. 895-919, set./dez. 2010.
• KLEIN, Ruben. Utilização da Teoria de Resposta ao Item no Sistema Nacional de Avaliação da Educação Básica (Saeb). Ensaio: Avaliação e Políticas Públicas em Educação, Rio de Janeiro, v. 11, n. 40, p. 283-296, jul./set. 2003.
• LEON, Fernanda L. L.; MENEZES FILHO, Naércio A. Reprovação, avanço e evasão escolar no Brasil. Pesquisa e planejamento econômico, Rio de Janeiro, v. 32, n. 3, p. 417-452, dez. 2002.
• MENEZES FILHO, Naércio et al. Avaliando o impacto da progressão continuada nas taxas de rendimento e desempenho escolar do Brasil. In: ENCONTRO ANUAL LACEA, 13., 20-22 nov. 2008, Rio de Janeiro. Mimeo.
• MCKINSEY & COMPANY. How the world's best-performing school systems come out on top: Repport. EUA: McKinsey & Company, set. 2007. Disponível em: <http://www.mcldnsey.com/App_Media/Reports/SSO/Worlds_School_Systems_Final. pdf>. Acesso em: 27 maio 2011.
• OCDE. Programme for International Student Assessment (Pisa). Disponível em: <http://www.pisa.oecd.org>. Acesso em: 20 jan. 2011.
• ______. PISA 2000 technical report. Paris, 2000. Disponível em: <http://www.pisa.oecd.org>. Acesso em: 20 jan. 2011.
• ______. PISA 2003 technical report. Paris, 2003. Disponível em: <http://www.pisa.oecd.org>. Acesso em: 20 jan. 2011.
• ______. PISA 2006 technical report. Paris, 2006. Disponível em: <http://www.pisa.oecd.org>. Acesso em: 20 jan. 2011.
• ______. Programme for International Student Assessment (Pisa). s.d. Disponível em: <http://www.pisa.oecd.org>. Acesso em: 20 jan. 2011.
• RIBEIRO, Sergio C. A Educação e a inserção do Brasil na modernidade. Cadernos de Pesquisa, São Paulo, n. 84, p. 63-82, fev. 1993.
• SCHWARTZMAN, Simon. Os Desafios da educação no Brasil. In: BROCK, C.; SCHWARTZMAN, S. (Org.). Os Desafios da educação no Brasil. Rio de Janeiro: Nova Fronteira, 2005. p. 9-50.
• SOUSA, Sandra Z. Ciclos: inclusão escolar? In: FETZNER, Andréa R. (Org.). Avaliação: desejos, vozes, diálogo e processos. Rio de Janeiro: Wak, 2008. p. 213-232. (Ciclos em revista, 4)

Evolução do desempenho cognitivo dos jovens brasileiros no Pisa

Sergei Suarez Dillon Soares^I; Paulo A. Meyer M. Nascimento^II

1

Para uma discussão acerca do regime de ciclos, ver Fetzner (2007a, 2007b 2007c, 2008). Para uma discussão específica sobre a organização do trabalho escolar em ciclos como política de inclusão e tentativa de enfrentar os problemas da repetência e do abandono escolar, ver Sousa (2008) e Dalben (2009). Vale a pena também ver Fernandes (2010), cuja de linha de argumentação expõe o (que deveria ser) óbvio: a qualidade da escola não passa pela opção por séries ou ciclos.

2

As taxas de aprovação aqu utilizadas foram extraídas das sinopses estatísticas da Educação Básica 2001 (ano-referência 2000) e 2009 (ano-referência 2009), disponíveis em

www.inep.gov.br A taxa referente a 2000 fo calculada como proporção do número de aprovados em relação ao total de matrículas no ensino fundamental. A taxa referente a 2009 é informada diretamente pela sinopse.

3

Embora, como enfatize Gomes (2005), incorra a progressão continuada no risco de limitar-se a servir meramente como política de correção de fluxo, quando não implementadas em conjunto com iniciativas de acompanhamento mais assertivo do estudante em seu percurso escolar, a fim de buscar efetivamente qualidade e equidade Voltando à assertiva de Fernandes (2010), mencionada em nota de rodapé anterior, a qualidade da escola vai além de organizar o percurso escolar em séries ou em ciclos.

4

Para tanto seria necessário identificar itens quase idênticos em diferentes anos e usá-los como "perguntas-âncora" para colocar todas as provas em uma mesma escala e depois reestimar a proficiência do Enem em uma escala TRI. Trata-se de trabalho para uma equipe de pesquisa por um ano.

5

Trata-se da nota média das três disciplinas: leitura, matemática e ciências.

Datas de Publicação

• Publicação nesta coleção
  11 Set 2012
• Data do Fascículo
  Abr 2012

Histórico

• Recebido
  Jun 2011
• Aceito
  Jan 2012