Avaliação e letramento: concepções de aluno letrado subjacentes ao SAEB e ao PISA

Assessments and literacy: the notions of literate students that underpin SAEB and PISA

AVALIAÇÃO E LETRAMENTO: CONCEPÇÕES DE ALUNO LETRADO SUBJACENTES AO SAEB E AO PISA^*

Alicia Bonamino^**

Carla Coscarelli^***

Creso Franco^****

RESUMO: Neste artigo, procuramos apresentar as concepções de letramento que servem de base para a construção das provas de duas avaliações em larga escala, a saber, o SAEB 1999 e o PISA 2000. Apresentamos também um panorama geral do SAEB e do PISA e das habilidades de leitura avaliadas em cada um deles. Realizamos uma comparação dessas habilidades buscando evidenciar a noção de letramento adotada pelo SAEB e pelo PISA e discutimos algumas das possíveis implicações da avaliação do letramento para a escola básica.

Palavras-chave: Letramento. Avaliação. Leitura.

Introdução

A partir da década de 1990, assistimos à emergência de diversas iniciativas nacionais, regionais e internacionais de avaliação da educação. No Brasil, em particular, essas iniciativas se traduziram na criação do Sistema Nacional de Avaliação da Educação Básica (SAEB), do Provão e do Exame Nacional do Ensino Médio (ENEM). O significado geral dessas iniciativas é polêmico e a literatura educacional tem refletido os diferentes pontos de vista acerca deste tema, incluindo a associação entre essas iniciativas e políticas neoliberais (Gentili, 1996), a valorização da avaliação como promotora da melhoria da qualidade da educação (Castro & Carnoy, 1997), o papel desempenhado pela avaliação no acompanhamento de políticas educacionais e a associação entre avaliação e promoção de políticas de eqüidade (Castro, 1999).

Em outras publicações, dois dos autores deste artigo tivemos a oportunidade de aprofundar as discussões gerais sobre o papel da avaliação nas políticas educacionais, a partir da produção de pesquisas que examinaram detidamente o processo de institucionalização e o significado do SAEB (Bonamino & Franco, 1999; Bonamino, 2001). Tivemos também a ocasião de descrever e analisar o ENEM, a avaliação dos cursos superiores e a participação do Brasil em avaliações regionais, especificamente na avaliação promovida pela UNESCO/OREALC em 11 países da América Latina e do Caribe e no Programa Internacional de Avaliação de Estudantes (PISA) da OCDE (Franco & Bonamino, 2001).

Pode-se dizer que a literatura educacional avançou na discussão sobre o significado mais geral desse tipo de avaliações. No entanto, ainda não foi possível desenvolver estudos mais sistemáticos que explicitem a estrutura conceitual e os critérios utilizados na elaboração dos instrumentos de avaliação do desempenho dos alunos.

Com a elaboração deste artigo, buscamos contribuir para a compreensão desses critérios em relação à noção de letramento que referencia a construção das provas de Língua Portuguesa de dois tipos de avaliação em curso no Brasil: o SAEB e o PISA.

No caso do SAEB, trata-se de uma avaliação nacional em larga escala coordenada pelo Instituto Nacional de Estudos e Pesquisas Educacionais (INEP ) e destinada a fornecer informações sobre a qualidade, a eqüidade e a eficiência da educação básica brasileira, a gestores de sistemas de avaliação, administradores educacionais municipais e estaduais, bem como a professores, visando ao aperfeiçoamento das políticas e dos sistemas de ensino básico (Pestana, 1998).

Até o presente, já foram realizados seis ciclos de avaliação (em 1990, 1993, 1995, 1997, 1999 e 2001) que levantaram dados em amostras probabilísticas de alunos de escolas públicas e particulares de todos os estados do país e do Distrito Federal. Desde 1995, o SAEB pesquisa o desempenho escolar alcançado pelos alunos nas 4^a e 8^a séries do Ensino Fundamental e na 3^a série do Ensino Médio, em Língua Portuguesa, Matemática e Ciências e, a partir de 1999, em História e Geografia. Na 3^a série do Ensino Médio, a área de Ciências abrange as disciplinas Física, Química e Biologia.

Por sua vez, o PISA é uma avaliação internacional que realizou seu primeiro exercício em 2000, quando foram aplicados testes a amostras de jovens de 15 anos matriculados em escolas, nas áreas de Leitura, Matemática e Ciências. Ao todo, nesse ano, participaram mais de 200 mil alunos em 32 países.¹

O PISA propõe-se a desenvolver avaliações periódicas. A primeira aconteceu no ano de 2000 e as próximas estão previstas para 2003 e 2005. Além da avaliação geral dessas três áreas, cada exercício de avaliação destina dois terços da prova a um domínio principal. No ano de 2000, a área explorada em profundidade foi a de Leitura, e as avaliações subseqüentes deverão tratar em profundidade as áreas de Matemática e de Ciências (INEP , 2001).

O PISA 2000 foi elaborado por um consórcio de instituições, lideradas pelo Autralian Council for Educational Research no âmbito do programa de educação da Organização para a Cooperação e o Desenvolvimento Econômico (OCDE), organização global que visa a ajudar os governos-membros a desenvolverem políticas nas áreas econômicas e sociais.

Neste artigo, discutimos as concepções de letramento que servem de base à construção das provas de Língua Portuguesa no SAEB 1999 e de Leitura no PISA 2000. Um dos primeiros problemas que enfrentamos ao tentar lidar com essas concepções é a falta de consenso em torno do que seja letramento e das diferentes formas de avaliá-lo. Contudo, como a falta de consenso não impede que existam avaliações do letramento nem que estas sejam consideradas formas importantes de se obter dados sobre esse fenômeno (Soares, 1999), buscamos, neste texto, explicitar as concepções de letramento que fundamentam o SAEB e o PISA. Com o objetivo de evidenciar como as diferenças dessas duas avaliações se refletem na noção de letramento, apresentamos e cotejamos as habilidades de leitura avaliadas pelo PISA e pelo SAEB. Além disso, discutimos algumas das possíveis implicações para a escola básica brasileira que resultam das habilidades em Língua Portuguesa e de Leitura diagnosticadas pelo SAEB em 1999 e pelo PISA em 2000.

Letramento e avaliação da educação em larga escala

A palavra "letramento" é a "versão para o português da palavra da língua inglesa literacy. (...) Literacy é o estado ou condição que assume aquele que aprende a ler e escrever. Implícita nesse conceito está a idéia de que a escrita traz conseqüências sociais, culturais, políticas, econômicas, cognitivas, lingüísticas, quer para o grupo social em que seja introduzida, quer para o indivíduo que aprenda a usá-la. Em outras palavras: do ponto de vista individual, o aprender a ler e escrever – alfabetizar-se, deixar de ser analfabeto, tornar-se alfabetizado, adquirir a 'tecnologia' do ler e escrever e envolver-se nas práticas sociais de leitura e de escrita – tem conseqüências sobre o indivíduo, e altera seu estado ou condição em aspectos sociais, psíquicos, culturais, políticos, cognitivos, lingüísticos e até mesmo econômicos; do ponto de vista social, a introdução da escrita em um grupo até então ágrafo tem sobre esse grupo efeitos de natureza social, cultural, política, econômica, lingüística. O 'estado' ou a 'condição' que o indivíduo ou grupo social passam a ter, sob o impacto dessas mudanças, é que é designado por literacy" (Soares, 1999, p. 17-18).

Assim, podemos definir letramento como a capacidade de um indivíduo de se apropriar da escrita, sendo capaz de utilizá-la em diversas situações exigidas no cotidiano. Segundo os Parâmetros Curriculares Nacionais (PCNs), a aptidão para ler e produzir textos – dos mais variados gêneros e temas – com proficiência é o mais significativo indicador de um bom desempenho lingüístico e, conseqüentemente, de letramento. Um escritor competente deve, portanto, saber selecionar o gênero apropriado a seus objetivos e à circunstância em que realizará seu discurso.

Mas essa definição de letramento e a forma de avaliá-lo são diferentes em cada país e podem variar mesmo entre escolas do mesmo estado. Na avaliação, de acordo com Magda Soares (1999, p. 86), "os critérios segundo os quais os testes são construídos é que definem o que é letramento em contextos escolares: um conceito restrito e fortemente controlado, nem sempre condizente com as habilidades de leitura e escrita e as práticas sociais fora das paredes da escola". Neste sentido, são freqüentes os casos em que indivíduos "são capazes de comportamentos escolares de letramento, mas são incapazes de lidar com os usos cotidianos da leitura e da escrita em contextos não escolares" (idem, ibid.). Isso se justifica pelo fato de muitas vezes a escola ser um mundo à parte, e não assumir o seu papel de preparar o sujeito para a realidade na qual se insere.

Em certos contextos, o conceito de letramento adotado pela escola está de certa forma em dissonância com aquilo que é importante para as pessoas em sua vida diária. Depois de freqüentarem a escola por alguns anos, muitos adultos "evidenciam um domínio limitado das habilidades e estratégias de processamento de informação necessárias para que sejam bem-sucedidos ao enfrentarem uma vasta gama de atividades no trabalho, em casa, em suas comunidades" (idem, ibid.).

Esse quadro denota que a noção de letramento não é única e que varia de acordo com o tipo e os objetivos da avaliação realizada. Nessa perspectiva, buscamos elucidar as concepções de letramento subjacentes ao PISA e ao SAEB. À primeira vista, essas concepções nos pareceram muito operacionais, ou seja, percebemos que o que define letramento nos contextos escolares avaliados são, sobretudo, os critérios que viabilizam a elaboração das provas dos alunos no PISA e no SAEB. Um exemplo disso é a ênfase dada pelas duas avaliações à leitura, uma vez que a análise da produção escrita dos estudantes seria extremamente trabalhosa e dispendiosa.

A partir dessa premissa, buscamos explicitar a concepção de letramento subjacente a essas avaliações com base na análise das matrizes curriculares, e dos níveis de proficiência elaborados pelo PISA 2000 e pelo SAEB 1999. Trata-se de uma aproximação dos níveis de habilidades esperados para os estudantes avaliados. Tanto no SAEB quanto no PISA, essas habilidades têm como referência algumas das competências discursivas dos estudantes consideradas essenciais nas situações de leitura de textos. Essas habilidades são apresentadas na próxima seção.

As concepções de letramento que podem ser depreendidas da análise das escalas de proficiência no SAEB e no PISA

Se é complexa a tarefa de definir letramento, a diversidade brasileira no que concerne às questões sociais, culturais, econômicas, históricas, geográficas, entre tantas outras, torna essa tarefa ainda mais difícil na hora de decidir como avaliar esse letramento em alunos de todo o país ou de diferentes países. A solução encontrada pelos sistemas de avaliação é partir de um nível de letramento que se espera que alunos de determinada idade ou nível de escolaridade devam ter, e elaborar questões que procurem verificar em uma escala de proficiência, conforme acontece no PISA, ou matriz de descritores, como acontece no SAEB, que habilidades esses alunos conquistaram. Cada uma dessas avaliações revela e prioriza uma visão da concepção de letramento.

No que diz respeito ao SAEB, as provas são elaboradas com base em matrizes curriculares. Os resultados das provas são apresentados em uma escala desdobrada em seis níveis de proficiência em Língua Portuguesa, que procuram expressar o que tem sido efetivamente aprendido pelos alunos nas escolas do país (Quadro 1).

No caso do PISA, a leitura é definida como "compreender, usar e refletir sobre textos escritos, a fim de atingir um objetivo, desenvolver o conhecimento e o potencial e de participar na sociedade" (OECD/PISA, 1999, p. 18). O PISA descreve, em uma matriz de referência, conhecimentos associados a habilidades desenvolvidas pela escola e transpõe-nas em três subescalas, relativas à identificação e recuperação de informação, intrepretação e reflexão, desdobrados em cinco níveis de proficiência. O Quadro 2 apresenta os conhecimentos e as habilidades que compõem as três subescalas de leitura no PISA.

A comparação do Quadro 1 com o Quadro 2 permite estabelecer aproximações e diferenças entre as duas avaliações em pauta e explicitar a concepção de letramento presente no SAEB e no PISA.

As habilidades de leitura medidas nas escalas do PISA relacionadas à identificação e recuperação de informação e à interpretação também são encontradas na matriz do SAEB. Localizar informações no texto e construir significados, incluindo a produção de inferências, são competências dos estudantes focalizadas com ênfase nas duas avaliações.

No entanto, a maior diferença entre essas duas avaliações parece ser a presença, no PISA, de uma parte relacionada à escala de reflexão, que não é explorada com a mesma profundidade e grau de detalhamento no SAEB. Como pode ser percebido no Quadro 2, a reflexão envolve o trabalho do leitor com seu conhecimento, suas idéias e atitudes externas ao texto a fim de relacionar a informação nova do texto com suas experiências e referências.

Magda Soares (1999, p. 66-67) distingue

duas principais dimensões do letramento: a dimensão individual e a dimensão social. Quando o foco é posto na dimensão individual, o letramento é visto como um atributo pessoal, parecendo referir-se, como afirma Wagner (1983, p. 5), à 'simples posse individual das tecnologias mentais complementares de ler e escrever'. Quando o foco se desloca para a dimensão social, o letramento é visto como um fenômeno cultural, um conjunto de atividades sociais que envolvem a língua escrita, e de exigências sociais de uso da língua escrita. Na maioria das definições atuais de letramento, uma ou outra dessas duas dimensões é priorizada: põe-se ênfase ou nas habilidades individuais de ler e escrever, ou nos usos, funções e propósitos da língua escrita no contexto social.

A análise conjunta do Quadro 1 e do Quadro 2 revela que, apesar de o SAEB demonstrar preocupação com a dimensão social do letramento, a descrição dos níveis de proficiência em Língua Portuguesa enfatiza as habilidades individuais de leitura. O PISA, por sua vez, tem uma preocupação principal e bem salientada com a dimensão social da leitura (uso de textos do cotidiano, julgamento quanto a estilo e eficiência, posicionamento).

Isso não interfere na qualidade das avaliações fazendo com que uma seja melhor que a outra, mas demonstra as diferentes concepções de letramento que subjazem a essas avaliações

O documento das Matrizes Curriculares do SAEB registra o interesse dessa avaliação em lidar com a avaliação da dimensão social do letramento:

É possível dizer que um sujeito competente no domínio da linguagem é capaz de compreender e produzir textos orais e escritos adequados às situações de comunicação em que atua; de posicionar-se criticamente diante do que lê ou ouve; de ler e escrever produzindo sentido, formulando perguntas e articulando respostas significativas em variadas situações. Um sujeito competente é capaz de considerar que todo texto oral ou escrito é um ato de linguagem, e, neste sentido, ao lê-lo ou ouvi-lo, é necessário descobrir-lhe as finalidades e intenções, os ditos e os não-ditos. Ao mesmo tempo, esse sujeito sabe, por meio do texto, manifestar seus próprios desejos e convicções; e sabe também informar, persuadir, divertir, emocionar, argumentar, posicionar-se, criticar. Enfim, ser competente no uso da língua significa saber interagir, por meio de textos, em qualquer situação de comunicação.²

Não obstante, esse mesmo documento evidencia a impossibilidade de a matriz de descritores do SAEB contemplar todas as competências e habilidades que o aluno deve desenvolver ao longo de sua vida escolar, resultando, inevitavelmente, em uma seleção e uma redução delas. Essa seleção é feita com base em um conjunto de saberes e de habilidades que se espera sejam do domínio de alunos de 4^a e 8^a séries do Ensino Fundamental e de 3^a série do Ensino Médio e privilegia o uso social da língua, nos seus mais diferentes modos de efetivar-se.³

Apesar de o SAEB demonstrar ter uma preocupação com a dimensão social do letramento, a descrição dos níveis de proficiência apresentada no Quadro 1 explicita que uma maior ênfase é dada às habilidades individuais de leitura. Além disso, é possível notar que essa concepção reflete uma visão muito escolar da leitura, que utiliza como parâmetro o que o aluno consegue fazer com o texto e não exatamente uma concepção voltada para a valorização dos usos sociais da linguagem. Uma mostra disso são os descritores que visam a verificar a capacidade dos estudantes de inferir o sentido de uma palavra no texto e diferenciar as partes principais das secundárias em um texto, por exemplo.

É importante notar que a visão da leitura como instrumento escolar se manifesta no conjunto de questões que compõem as provas de Língua Portuguesa no SAEB. As questões de prova não exploram em profundidade a imensa diversidade textual que circula em nossa sociedade, restringindo-se aos textos mais comumente encontrados nos materiais didáticos, como poemas, contos ou crônicas, propagandas, tirinhas, notícias e reportagens (de jornais e revistas). Podemos dizer, portanto, que essa avaliação, apesar de trazer dados valiosos a respeito das habilidades de leitura dos alunos brasileiros, não verifica diretamente a capacidade de leitura (e conseqüentemente o grau de letramento) desses estudantes, uma vez que a habilidade deles de lidar com vários textos do cotidiano não é diretamente verificada no SAEB.

Por sua vez, o PISA pretende avaliar conhecimentos e habilidades de leitura que são necessários em situações da vida real. Nos referenciais teóricos do PISA, a leitura é definida como "compreender, usar e refletir sobre textos escritos, a fim de atingir um objetivo, desenvolver o conhecimento e o potencial e de participar na sociedade" (OECD/PISA, 1999, p. 18).

O PISA busca verificar as habilidades dos estudantes para realizar uma variedade de tarefas de leitura. Para isso são simulados vários tipos de tarefas exigidas por situações autênticas de leitura. As escalas consideram como habilidades essenciais de leitura aquelas exigidas pela sociedade contemporânea: recuperar informação de vários tipos de textos, interpretar o que se lê e refletir sobre a leitura. Entende-se como recuperar informação o ato de localizar uma ou mais informações no texto; já a habilidade de interpretar é definida como construir significado, incluindo a produção de inferências, para uma ou mais partes do texto; e, finalmente, refletir sobre o texto é relacionar o texto à experiência pessoal, a conhecimentos e idéias próprios. Esses três aspectos não são considerados como inteiramente separados e independentes, mas inter-relacionados, podendo revelar distinções interessantes e úteis entre os países e entre grupos dentro do mesmo país.

Entre as duas primeiras escalas do PISA e a descrição dos níveis de proficiência no SAEB não há praticamente diferenças. A maior diferença entre essas duas avaliações parece ser a presença, no PISA, de uma parte relacionada com a reflexão, que não é explorada com a mesma profundidade e grau de detalhamento no SAEB.

A reflexão envolve o trabalho do leitor com seu conhecimento, suas idéias e atitudes externas ao texto a fim de relacionar a informação nova do texto com suas experiências e referências.

Complementarmente, a ênfase do PISA na dimensão social do letramento pode ser percebida nos gêneros textuais e no tipo de perguntas feitas ao aluno que exploram esses textos. O PISA lança mão de diversos gêneros cuja leitura costuma ser exigida pela sociedade ocidental, entre os quais, podemos citar como exemplo, formulário de emprego, formulário de compras, contos, tabelas de aeroportos, reportagens de jornais e revistas, entrevistas, propagandas, além de muitos outros. As questões utilizadas na prova do PISA refletem, além da preocupação com as habilidades de leitura que o aluno desenvolveu, uma preocupação com sua capacidade de colocar em prática essas habilidades quando lida com textos do cotidiano. Existe uma preocupação em verificar o nível de competência que os leitores demonstram ter em cada uma dessas habilidades e em diferentes gêneros textuais, que não é verificada no SAEB.

O letramento no Brasil à luz dos resultados do SAEB e do PISA

O desenvolvimento de interpretação educacional dos níveis das escalas de proficiência de exercícios de avaliação da educação permite uma aproximação das habilidades dominadas pelos estudantes e, no caso de ênfase em habilidades escolares, do currículo aprendido nas escolas. Para que se possa tirar proveito pleno das potencialidades da interpretação educacional da escala, é importante que se considere não simplesmente a média geral ou de subgrupos testados; mais informativa é a distribuição dos porcentuais em cada nível da escala. É esta a estratégia que utilizamos no mapeamento das habilidades em Língua Portuguesa diagnosticadas pelo SAEB 1999 e das habilidades em Leitura exploradas pelo PISA 2000.

Para a adequada interpretação dos resultados, é importante que se leve em conta que os níveis são cumulativos, isto é, que as habilidades associadas aos níveis inferiores de proficiência são parte integrante das habilidades dos níveis mais elevados; e que a descrição dos níveis de proficiência – tanto no caso do SAEB quanto no do PISA – é a apresentada no Quadro 1 e no Quadro 2 deste artigo. A Tabela 1 apresenta a distribuição dos alunos da amostra do SAEB 1999 nos diversos níveis de proficiência.

Com base nos dados do SAEB 1999, podemos observar que a proficiência em Língua Portuguesa não se distribui homogeneamente nem entre as séries nem nas regiões do país (Tabela 1). Há duas maneiras complementares de ler a Tabela 1: uma delas é comparando a distribuição da proficiência pelas diferentes séries e regiões e a outra é verificando o que a escola agrega em proficiência em cada uma das séries e dos níveis de proficiência considerados.

Quanto à distribuição regional da proficiência, a Tabela 1 mostra que, independentemente da série, o porcentual de alunos nos níveis mais baixos de proficiência é bastante mais elevado nas regiões Norte e Nordeste. Trata-se das duas regiões menos desenvolvidas do país, cujas escolas possuem alunos que apresentam desempenhos escolares bastante inferiores ao dos alunos que freqüentam as escolas das regiões Sul, Centro-Oeste e Sudeste.

Se lermos a Tabela 1 tendo como referência a descrição dos níveis de proficiência apresentadas no Quadro 1, podemos verificar que, para o Brasil como um todo, há um aumento geral da proficiência ao longo da escolaridade dos alunos. Não obstante, o que se verifica é que da 4^a para a 8^a série do Ensino Fundamental e desta para a 3^a série do Ensino Médio o aumento da proficiência é bastante modesto, o que significa uma aquisição ainda muito restrita de novas habilidades e competências em Língua Portuguesa ao longo da escolaridade básica.

Na 4^a série, por exemplo, os maiores porcentuais de alunos estão concentrados abaixo do nível 1 e no nível 1 de proficiência (35,6% e 39%), o que indica que a maioria dos alunos brasileiros ou não sabe ler ou tem dificuldades básicas com a leitura de um texto. Na 8^a série, a maioria dos alunos se concentra no nível 2 de proficiência, ou seja, naquele nível em que a operação de ler não vai além da compreensão de idéias gerais que estão em grande parte explícitas no texto. Na 3^a série do Ensino Médio, cerca de 60% dos alunos se dividem entre os níveis 2 e 3 de proficiência em Língua Portuguesa. Nesse caso, o aluno encontra-se finalizando a escolaridade básica, o que nos levaria a esperar que a maioria dos jovens tivesse desempenhos escolares em níveis de proficiência bem mais altos que os verificados entre os alunos da 8^a série. Isso não é, infelizmente, o que acontece com os resultados sobre níveis de proficiência em Língua Portuguesa apurados pelo SAEB 1999.

Os dados do SAEB também mostram que o desempenho dos alunos brasileiros difere por gênero. Em todas as séries testadas, a média das meninas é maior que a dos meninos e este resultado é estatisticamente significativo no nível de confiança de 95%.⁴ O melhor desempenho das meninas reflete-se na melhor distribuição de alunos e alunas nos níveis de proficiência do SAEB 1999, o que é ilustrado pela Tabela 2.

Observamos na Tabela 2 que, em cada uma das séries consideradas, os porcentuais dos meninos são mais altos que os das meninas nos níveis mais baixos de proficiência e que o oposto ocorre nos níveis mais altos de proficiência. A distribuição na 3^a série do Ensino Médio (EM) apresenta uma exceção a esta descrição: no nível 6, o porcentual de meninos (0,6%) é levemente superior ao de meninas (0,5%). Para interpretar este resultado é necessário considerar que, hoje em dia, as meninas são mais educadas que os meninos. As meninas ficam mais tempo nas escolas e, na 3^a série do Ensino Médio, o porcentual de meninas de nível socioeconômico baixo é bastante superior ao de meninos de nível socioeconômico baixo. Isso significa que os alunos e as alunas amostrados na 3^a série do Ensino Médio não possuem nível socioeconômico equivalente. Há maior número de meninas de baixa renda, que estudam em escolas as quais oferecem condições de estudo mais precárias. A despeito disso, o resultado geral na 3^a série é favorável às meninas; a exceção registrada deve-se ao fato de que o número de meninas com alto desempenho representa um porcentual menor que o dos meninos simplesmente porque existem mais meninas que, estudando em condições menos favoráveis, não atingem o nível mais alto de proficiência.

A Tabela 3 indica a evolução do número de anos de estudo da população brasileira com 10 anos de idade ou mais de acordo com o gênero.

Observamos que já em 1986 o número de anos de escolaridade da população feminina ultrapassava o da masculina. Como a medida em questão considera a população geral, cuja maior parte está fora da escola, é forçoso reconhecer que nas coortes mais jovens o avanço educacional das mulheres foi muito superior ao dos homens. A entrada precoce dos homens na força de trabalho é um fator explicativo deste fenômeno.

O melhor desempenho de meninas na área de línguas é um achado internacional de pesquisa. No PISA 2000, meninas de 15 anos tiveram resultados em leitura maiores que os de meninos nos 32 países pesquisados, inclusive o Brasil.⁵ Uma explicação abrangente para estes achados de pesquisa é ainda uma questão em aberto. Diversos estudos indicam que meninas têm maior dedicação às tarefas escolares que meninos (OCDE, 2001; Silva, 2002), mas o efeito distinto da variável gênero em línguas e em Matemática é indicativo de que esta não é uma explicação completa para a diferença de desempenho. Com relação à desvantagem de meninas em Matemática, dois pontos ainda precisam ser considerados: em estudos que abrangem alunos mais jovens, a diferença em favor dos meninos tende a ser muito pequena ou nula; quando são considerados alunos da mesma faixa etária do PISA, estudos anteriores – como o TIMMS – registravam diferenças maiores em favor dos meninos, o que pode sugerir que a diferença esteja diminuindo (OCDE, 2001, p. 124-127).⁶

No que se refere aos resultados gerais do PISA em Leitura, a proficiência dos alunos brasileiros foi significativamente inferior à de todos os demais países participantes (INEP , 2001). Apenas parte da explicação para este resultado se relaciona com questões como a defasagem idade/série e com o padrão de comparação composto pelos países-membros da OCDE, que inclui países que possuem sistemas educacionais bastante consolidados: examinados isoladamente, e ainda que se considere as séries cursadas pelos alunos, o cenário que emerge é preocupante. A Tabela 4 resume o quadro.

A Tabela 4 mostra que o porcentual de alunos abaixo do nível 1 é bastante elevado entre os alunos de 15 anos de idade que têm até sete anos de estudo (57%). Mesmo entre os alunos que têm oito séries escolares, a maioria concentra-se no nível 1 de proficiência (40%). Estes resultados requerem uma explicação. Alunos com 15 anos de idade cursando a 7^a ou a 8^a série são alunos com atraso escolar. Nesse caso, ao fato de que os alunos não foram ainda expostos ao tipo de competências avaliadas pelo PISA, que pressupõe nove ou mais anos de escolaridade, soma-se a tendência de os alunos com atraso escolar apresentarem competências menores que as dos alunos da mesma série sem atraso escolar.

Não obstante, mesmo quando se trata de alunos de 15 anos de idade que freqüentam a 1^a e a 2^a séries do Ensino Médio, ou seja, sem atraso escolar, é particularmente notável o baixo porcentual de estudantes nos níveis de proficiência mais abrangentes (5% no nível 4 e apenas 1% no nível 5).

Diante dos já conhecidos problemas da educação brasileira e levando-se em conta a ênfase do PISA em leitura de textos não-contínuos, em especial gráficos e diagramas, que tendem a ser desprezados pelas abordagens mais prevalentes no ensino de Língua Portuguesa ou tendem a ser praticados de modo descontextualizado e descomprometido com o desenvolvimento de habilidades gerais de leitura no ensino de Matemática e das outras disciplinas, os resultados apresentados na Tabela 4 não demonstram falta de sintonia com o que se poderia esperar. Para melhor focalizar as habilidades em leitura da elite socioeconômica e cultural da população estudantil brasileira de 15 anos de idade, apresentamos na Tabela 5 resultados comparativos de alguns países. A análise desenvolvida separou primeiramente o quartil superior de alunos da amostra do PISA pelo critério de nível socioeconômico e cultural. Isso significa que se considerou no topo da distribuição socioeconômica e cultural de cada país porcentual distinto da totalidade de alunos incluídos na amostra de cada país: no Brasil e no México, por exemplo, foram considerados alunos que representam os 7% dos alunos desses países com maior índice socioeconômico e cultural; já nos países mais ricos foram considerados alunos que representam mais de um terço da população estudantil. O critério básico foi o de comparar estudantes com situação socioeconômica e cultural equivalente sob o ponto de vista do índice socioeconômico e cultural usado no PISA, de modo que as diferenças entre países reflitam mais o que acontece nas escolas do que a origem social dos alunos. No caso do Brasil, os alunos representados na Tabela 7, tipicamente, estudam em escolas particulares, têm pais que atingiram o ensino superior, moram em domicílios nos quais há computador, acesso à internet, enciclopédia e diversos equipamentos e serviços que são indicadores de condição socioeconômica e cultural favorável.

A Tabela 5 mostra que, nos diferentes países considerados, os alunos com nível socioeconômico e cultural elevado distribuem-se pelos diferentes níveis de proficiência em Leitura com maior concentração nos níveis 3 e 4. Brasil, Federação Russa e México têm maior porcentual de alunos no nível 3 de proficiência, ao passo que Coréia do Sul, Espanha, EUA, França e Portugal têm maior porcentual de alunos no nível 4 de proficiência. Observa-se ainda que parcelas expressivas da elite socioeconômica e cultural dos EUA (24%) e da França (19%) atingiram o nível 5 de proficiência em Leitura, ao passo que apenas 5% da elite socioeconômica e cultural brasileira e 3% da mexicana atingiu o nível mais abrangente de proficiência (OCDE/INEP , 2001).

Mencionamos na seção anterior deste artigo a ênfase do PISA na dimensão social do letramento. Esta também pode se percebida nos gêneros textuais utilizados e nas questões de prova que os exploram. As provas do PISA incorporam textos de diversos gêneros e cuja leitura costuma ser exigida pela sociedade ocidental.

No PISA, além da preocupação com as habilidades de leitura desenvolvidas pelos alunos de 15 anos de idade, há uma preocupação com a capacidade desse aluno para colocar em prática essas habilidades quando lida com textos do cotidiano. Existe no PISA uma preocupação em verificar o nível de competência que os leitores demonstram ter em cada uma dessas habilidades e em diferentes gêneros textuais.

A grande diversidade textual explorada no PISA, que inclui textos contínuos e não-contínuos sobre diferentes assuntos, revela um rompimento dessa avaliação com a perspectiva disciplinar, isto é, com a visão de que o desenvolvimento da leitura é algo associado ao aprendizado de uma língua. Ao contrário disso, o PISA trabalha com uma visão ampla de letramento, que implica saber lidar com diferentes formas de expressão relacionadas a diversas formas de registrar dados para os mais diferentes fins (que poderíamos grosso modo classificar como: literários, teatrais, científicos, administrativos, geocientíficos, jornalísticos, publicitários, entre muitos outros).

Ao menos em parte, as dificuldades dos estudantes brasileiros com tarefas de níveis de proficiência mais abrangentes envolvem limitações em lidar com a diversidade textual, principalmente com textos apresentados na forma de gráficos e tabelas. Essa constatação do PISA não é um caso isolado e se mostra consistente com resultados verificados no SAEB. Ela revela a dificuldade dos alunos em interpretar elementos não-verbais e de integrar informações do texto e do material gráfico. Indica, também, que essas habilidades não estão sendo suficientemente trabalhadas nas escolas brasileiras.

Considerações finais

"Letramento é o resultado da ação de ensinar ou de aprender a ler e escrever: o estado ou a condição que adquire um grupo social ou um indivíduo como conseqüência de ter-se apropriado da escrita" (Soares, 1999, p. 17-18).

Sabendo que a noção de letramento pode ter outros sentidos, parece este o sentido em que o SAEB e o PISA se pautam. O SAEB demonstra ter uma maior preocupação com a primeira parte da conceituação, ou seja, com "o resultado da ação de ensinar ou de aprender a ler e escrever", pois tem como um dos seus objetivos fazer um diagnóstico do nível de letramento (educação) dos alunos, para que com base nesses dados o governo e as escolas tomem medidas que procurem sanar os problemas/deficiências encontrados. Para realizar esse diagnóstico, no entanto, o SAEB utiliza-se de uma noção de língua e de proficiência discursiva, que coincide com a noção de literacy apresentada por Magda Soares, como se pode notar na ênfase dada à busca de informações sobre as habilidades envolvidas no letramento já adquiridas pelos alunos.

O PISA, por sua vez, apresenta como prioridade a verificação das habilidades relacionadas ao letramento na sua dimensão social, ou seja, visa a verificar a capacidade dos alunos de lidar, em vários níveis (da localização de informação explícita à análise crítica do texto sobre, por exemplo, sua adequação a e eficiência em determinada situação comunicativa), com textos do cotidiano, demonstrando dessa forma a capacidade desses alunos de participarem dessa sociedade letrada (com todas as conseqüências que possam advir disso, já mencionadas no conceito de literacy). Não há no PISA um objetivo de diagnosticar os problemas de cada país e sim de verificar o letramento de cada um deles, ou seja, a capacidade de os alunos lidarem com textos que circulam na sociedade ocidental para chegar a um quadro ou mapeamento internacional do letramento, considerando sobretudo sua dimensão social.

O PISA preocupa-se não só com as habilidades de leitura que o sujeito adquiriu, mas, principalmente, com a forma como ele coloca em prática essas habilidades quando lida com textos do cotidiano. Há no PISA uma preocupação com o uso da linguagem maior que o que há no SAEB, e que pode ser vista na diversidade de gêneros textuais (todos do cotidiano) presentes no PISA (gráficos, tabelas, cartazes, panfletos, propagandas, instruções, trechos de peças teatrais, contos, notícias, textos opinativos, formulário de compra, formulário de emprego, entre muitos outros). Essa preocupação com o uso da linguagem é também perceptível nos objetivos das questões, que muitas vezes exigem do estudante uma análise crítica do estilo do texto e da eficiência dele naquela situação de comunicação, ou a recuperação das intenções comunicativas do autor ao usar determinado recurso lingüístico (nesses casos, o estudante precisa pensar e encontrar justificativas para as escolhas do autor, revelando assim consciência das formas de manipulação da língua para a obtenção de determinados efeitos de sentido).

Nesse aspecto, o SAEB ainda tem o que melhorar. Em contrapartida, o SAEB tem a limitação de ser uma prova toda de múltipla escolha e o PISA pôde contar com questões abertas.

É importante observar que houve muita resposta (e muitas provas) em branco no PISA. Como podemos interpretar esse dado? Como incompetência ou inabilidade dos alunos de lidar com aqueles textos e com aquelas tarefas? Parece que muitos alunos brasileiros ficaram receosos com as propostas do PISA por não entenderem que aqueles textos poderiam fazer parte do contexto escolar. Será que esses alunos não sabem ler? Como diz Magda Soares⁷ (2002), ler é verbo transitivo: não sabem ler o quê? Que habilidades de leitura eles não têm?

O mesmo pode ser visto nas avaliações do SAEB. Muitas questões que envolvem a compreensão de imagens ou que exigem do aluno relacionar estímulos verbais e não-verbais (tirinhas, propagandas etc.) costumam ter um resultado insatisfatório. Isso significa que os alunos não compreendem imagens? Que são incapazes de relacionar o texto escrito com as imagens? Será que tirinhas e propagandas são percebidas pelos alunos com estranhamento, como textos que não costumam fazer parte da prática escolar? É possível que eles acabem ficando com receio de responder a perguntas sobre esses textos, imaginando que a escola quer algo mais deles, que eles, estudantes, não vão saber responder. É difícil entender por que isso acontece, sabendo que os alunos lidam com imagens o tempo todo – TV, outdoor, por exemplo. Será que eles não são capazes ou têm dificuldade de entender anúncios de TV ou outdoor?

"Os jovens brasileiros que se submeteram ao PISA revelaram ler mal o quê? Que gênero de texto? Leitura com que objetivo?" Podemos estender ao SAEB essas perguntas feitas por Magda Soares (2002) referindo-se ao PISA.

O PISA tem uma preocupação muito grande com o uso de diversos gêneros textuais presentes no cotidiano extra-escolar dos alunos (procura, inclusive, avaliar se o estudante reconhece o uso para o qual o texto foi escrito). O SAEB, por sua vez, teve durante muitos anos uma preocupação maior com os descritores, ou seja, com as habilidades de leitura a serem avaliadas, que com a diversidade de gêneros textuais ou com a utilização prática desses textos na nossa sociedade.

O PISA mostra a importância do domínio da leitura e a necessidade de considerar as disciplinas num processo interdisciplinar. Isso se relaciona com o conceito de Letramento defendido por Magda Soares. Por este conceito, entende-se que não basta que o indivíduo saiba ler superficialmente um texto. É preciso que ele seja capaz de fazer as inferências que o texto exige e relacioná-lo a outras áreas do conhecimento, reforçando o conceito da interdisciplinaridade. É importante que o conceito de letramento que embasa essas avaliações esteja intimamente relacionado ao que é importante no dia-a-dia do indivíduo, conforme acontece no PISA, cujo objetivo mais global é avaliar a capacidade de jovens para usar seus conhecimentos e habilidades para enfrentar os desafios da vida em sociedade, tendo em vista um modelo dinâmico de aprendizagem para um mundo em transformação.

Os resultados, tanto do PISA quanto do SAEB, mostram-nos que os alunos, mesmo depois de freqüentarem a escola por muitos anos, "evidenciam um domínio limitado das habilidades e estratégias de processamento de informação necessárias para que sejam bem-sucedidos ao enfrentarem uma vasta gama de atividades no trabalho, em casa, em suas comunidades" (Soares, 1999, p. 86). Ao que essas avaliações indicam, os alunos de modo geral não são capazes de ler fluente e proficientemente muitos gêneros textuais (entre os quais podemos citar textos não-contínuos, como gráficos, tabelas e formulários, por exemplo). Esses resultados exigem uma reação do sistema educacional brasileiro, para que nossas escolas cumpram o papel de preparar os estudantes para atuarem satisfatoriamente no mundo contemporâneo.

Recebido e aprovado em outubro de 2002.

Notas

ASSESSMENTS AND LITERACY: THE NOTIONS OF LITERATE STUDENTS THAT UNDERPIN SAEB AND PISA

ABSTRACT: This paper presents the different notions of literacy that underpin the SAEB 1999 and PISA 2000 assessments. It also brings forward an overview of these large scale assessment examinations that includes the reading skills that both test. Comparing such skills allowed us to seize the concept of literacy adopted in each. We finally discuSS some of the probable implications of literacy evaluation on elementary school.

Keywords : Literacy. Assessment. Reading.

• BONAMINO, A. Tempos de avaliação educacional: o SAEB, seus agentes, referências e tendências. Rio de Janeiro: Quartet, 2001.
• BONAMINO, A.; FRANCO, C. Avaliação e política educacional: o processo de institucionalização do SAEB. Cadernos de Pesquisa, São Paulo, n. 108, p. 101-132, 1999.
• BRASIL. Ministério da Educação e do Desporto. Instituto Nacional de Estudos e Pesquisas Educacionais. SAEB 2001: novas perspectivas. Brasília, DF .: INEP , 2001.
• CASTRO, C. M.; CARNOY, M. A melhoria da educação na América Latina: e agora, para onde vamos? In: CASTRO, C. M. Como anda a reforma da educação na América Latina? Rio de Janeiro: FGV, 1997.
• CASTRO, M.H. A educação para o século XXI: o desafio da qualidade e da eqüidade. Rio de Janeiro: FGV, l999.
• FRANCO, C.; BONAMINO, A. Iniciativas recentes de avaliação da qualidade da educação no Brasil. In: FRANCO, C. (Org.). Avaliação, ciclos e promoção na educação Porto Alegre: ARTMED, 2001, p. 15-28.
• GENTILI, P. Neoliberalismo e educação: manual do usuário. In: SILVA, T.T.; GENTILI, P. (Org.). Escola S.A.: quem ganha e quem perde no mercado educacional do neoliberalismo. Brasília, DF .: CNT, 1996.
• ORGANISATION FOR ECONOMIC CO-OPERATION AND DEVELOPMENT. Measuring student knowledge and skills: a new framework for assessment. Paris: OECD, 1999.
• PESTANA, M.I. O sistema de avaliação brasileiro. Revista Brasileira de Estudos Pedagógicos, Brasília, DF ., v. 79, n. 191, 1998.
• SOARES, M.B. Ler, verbo intransitivo. Disponível em: < http://www.leiabrasil.org.br/leiaecomente/valeoescrito /magda.htm> Acesso em: março de 2002.
• SOARES, M.B. Letramento: um tema em três gêneros. Belo Horizonte: Autêntica, 1999.
• WAGNER, D.A. Ethno-graphies: an introduction. International Journal of the Sociology of Language, Berlin, v. 42, p. 5-8, 1983.

1

. Em 2000, foram os seguintes os países que participaram do PISA: Alemanha, Austrália, Áustria, Bélgica, Brasil, Canadá, Coréia do Sul, Dinamarca, Espanha, Estados Unidos, Federação Russa, Finlândia, França, Grécia, Holanda, Hungria, Irlanda, Islândia, Itália, Japão, Letônia, Liechtenstein, Luxemburgo, México, Noruega, Nova Zelândia, Polônia, Portugal, Reino Unido, República Checa, Suécia e Suíça.

2

. SAEB, 2001.

Novas perspectivas. Brasília: INEP /MEC , maio 2001, p. 17.

3

. SAEB, 2001.

Novas perspectivas. Brasília: INEP /MEC , maio 2001, p. 18.

4

. Situação oposta ocorre em Matemática, disciplina na qual o desempenho de meninos é superior ao das meninas (Freire, 2002; Silva, 2002).

5

. Esses resultados foram estatisticamente significativos no nível de confiança de 95% em todos os países. Já em Matemática, meninos tiveram resultados maiores e estatisticamente significativos no nível de confiança de 95% em 15 países, maiores mas não estatisticamente significativos em 14 países e menores e não estatisticamente significativos em 3 países (OCDE, 2001, p. 123).

6

. Mas ainda não se pode desprezar a hipótese de que diferenças no tipo de habilidade focalizada pelos diferentes exercícios de avaliação expliquem a diminuição da diferença.

7

. Magda Soares,

Ler, verbo intransitivo, mar. 2002, disponível em: <

http://www.leiabrasil.org.br/leiaecomente/valeoescrito/magda.htm> Acesso em mar. 2002.

Datas de Publicação

• Publicação nesta coleção
  07 Fev 2003
• Data do Fascículo
  Dez 2002

Histórico

• Aceito
  Out 2002