O SAEB - Sistema de Avaliação da Educação Básica: potencialidades, problemas e desafios

The Brazilian System of Assessment for Basic Education (SAEB): potential, problems and challenges

ESPAÇO ABERTO

O SAEB - Sistema de Avaliação da Educação Básica: potencialidades, problemas e desafios

The Brazilian System of Assessment for Basic Education (SAEB): potential, problems and challenges

Creso Franco

Museu de Astronomia e Ciências Afins, Ministério de Ciência e Tecnologia.Departamento de Educação, Pontifícia Universidade Católica do Rio de Janeiro

RESUMO

Baseado em contribuição preparada no contexto da Comissão de Especialistas, visando o aprimoramento do Sistema de Avaliação da Educação Básica, o artigo discute as potencialidades e limitações do SAEB e propõe alternativas de aprimoramento do sistema. Argumenta ser fundamental melhor focalização dos temas relevantes para os gestores de políticas educacionais e ser necessário o desenvolvimento de um verdadeiro sistema de avaliação, baseado na diversidade de desenhos, de modo a contemplar efetiva mensuração do aprendizado de alunos em determinado período e a explicação do aprendizado via os modelos adequados.

ABSTRACT

This paper has been developed by the author as member of a board of specialists appointed to present contributions for enhancing the Brazilian System of Educational Assessment. It argues in favour of the diversification of assessment design as a way of focusing on aspects of educational policy that are relevant to policy makers. Such diversification should include measuring learning via a value added approach, thus making it possible to explain learning by means of appropriate models.

Introdução

Em janeiro de 2001, o ministro da Educação nomeou uma comissão de especialistas com o objetivo de oferecer subsídios para o aprimoramento do Sistema de Avaliação da Educação Básica e para o refinamento das contribuições que o SAEB pode oferecer à formulação de políticas educacionais.¹ A mencionada comissão debateu o tema em três reuniões, que foram secretariadas pela diretora de Avaliação da Educação Básica do INEP. Como subsídio adicional para a preparação do relatório final da comissão, foi solicitado que os membros da comissão redigissem contribuições adicionais àquelas que puderam ser registradas nas notas que resumiam os debates das reuniões. O relatório final da comissão foi entregue ao ministro da Educação em junho de 2001. O texto que segue, exceto pequenas alterações introduzidas com o objetivo de torná-lo plenamente compreensível para os leitores que não participaram das reuniões da comissão, consiste de minha contribuição pessoal enviada quando da solicitação de subsídios adicionais para a preparação do relatório final da comissão.

A partir da explicitação dos objetivos do SAEB, apresento um conjunto de perguntas e, ao oferecer algumas respostas para elas, procuro discutir as potencialidades, os problemas e os desafios relacionados com o SAEB. Não incluo nesse texto observações referentes aos aspectos técnicos da medida de proficiência.

Como os objetivos gerais do SAEB vêm sendo perseguidos ao longo dos anos?

A documentação pertinente apresenta diversas redações para os objetivos do SAEB. Creio que esses objetivos podem ser resumidos em três pontos:

1. Acompanhamento do sistema educacional

Em outras palavras, a aferição das competências dos alunos e o estudo de como essas competências evoluem no tempo. Esse objetivo impõe a necessidade de obtenção de boas medidas de proficiência que sejam comparáveis ao longo do tempo, de adequada interpretação da escala da proficiência e de medidas adicionais de análise que permitam comparações apesar do caráter dinâmico de um sistema educacional em expansão. Tudo isso é muito complexo e há espaço para aprimoramento de procedimentos relacionados com esse objetivo. É importante registrar que, desde 1995, o SAEB vem perseguindo de modo conseqüente esse aprimoramento. Essa aferição é muito importante para o gestor de políticas públicas mas, como ela não envolve explicação, não oferece subsídios de orientação específica para formulação de políticas públicas.

2. Acompanhamento de como o sistema educacional vem se comportando em termos de equidade dos resultados educacionais

É a avaliação de como os resultados educacionais distribuem-se em função da origem social do aluno e como isso vem evoluindo ao longo do tempo. Além de medidas de proficiência, esse objetivo demanda que o SAEB possua boas medidas de origem social dos alunos. Novamente, há espaço para aprimoramento de procedimentos relacionados com esse objetivo mas é importante registrar que, desde 1999, o SAEB os vem perseguindo de modo conseqüente (logo, ainda não houve tempo para considerar-se como o tema da equidade dos resultados educacionais tem evoluído ao longo do tempo). Essa avaliação é muito importante para o gestor de políticas públicas. No entanto, como ela só envolve explicação relacionada a fatores sociodemográficos, que não são passíveis de serem alterados a curto/médio prazo por políticas educacionais, essa avaliação também não oferece subsídios diretos para formulação de políticas públicas.

3. Apreensão dos fatores escolares que podem explicar resultados escolares

Entende-se por isto a busca de características associadas a escolas e salas de aula efetivas (isto é, que promovem bom aprendizado médio de seus alunos) e de características de escolas e salas de aula promotoras de equidade (isto é, que minimizam o impacto da origem familiar dos alunos em seus resultados educacionais). A importância desse objetivo reside no fato de que é ele que pode oferecer contribuições particularmente relevantes para políticas que focalizem a necessidade de melhorar a qualidade e a equidade da educação. Muito embora tenha havido progressos nesta área desde 1999, as investigações relacionadas com este objetivo ainda precisam superar problemas importantes, ligados a demandas muito estritas que a metodologia da investigação impõe aos dados. Essas demandas têm reflexo em todos os aspectos dos surveys de avaliação educacional, pois referem-se a aspectos da medida de proficiência, da amostragem e das medidas sobre o contexto de alunos e escolas. Abordo a seguir as dificuldades relacionadas com esse objetivo do SAEB. Em seguida, apresento algumas alternativas que podem ajudar a resolver essas dificuldades.

Porque tem sido difícil oferecer, a partir dos dados do SAEB, explicações bem fundamentadas sobre os fatores escolares que influenciam o aprendizado dos alunos?

1. Há necessidade de dupla medida de proficiência

Conforme já enfatizado por diversos especialistas, estudos que testam apenas uma vez os alunos apresentam importantes limitações para a explicação do efeito das escolas na aprendizagem. A razão disso reside no fato de que a medida de proficiência é uma medida do aprendizado dos alunos ao longo de muitos anos. Portanto, essa medida não pode ser explicada em função do passado recente dos alunos (variáveis da escola que o aluno freqüentou no ano do SAEB). É por essa razão que os estudos longitudinais são considerados o "padrão ouro" dos estudos de avaliação de escolas e de sistemas educacionais. Nos estudos longitudinais, a medida de proficiência prévia é usada para filtrar o efeito do aprendizado prévio do aluno. Deste modo, a segunda proficiência mensurada (após a filtragem do aprendizado prévio) representa o aprendizado ao longo do ano. Por certo, esse aprendizado ao longo do ano pode ser explicado pelas características da escola freqüentada. É essa a principal limitação do SAEB para a explicação dos fatores que influenciam o aprendizado.

2. Há questões em aberto relacionadas com a amostra

A investigação de fatores escolares que promovem a eficácia e a equidade demandam um grande número de observações por escola. Além disso, quando se pretende estudar os efeitos de sala de aula (e efeito de professores, em boa medida são efeitos de sala de aula) necessita-se de um bom número de salas de aula por escola. Observe-se que tudo isso está em oposição às demandas dos dois outros objetivos do SAEB, para os quais obtém-se melhor precisão nas medidas quando as observações se espalham em mais escolas, com menor número de observações por escola.

Um exemplo ilustrará essa situação: a partir de 1999, implementou-se uma relevante alteração no plano amostral do SAEB. Para o tema abordado aqui, foram duas as modificações relevantes. Até 1997, a amostra em cada estrato era obtida por conglomerado em dois estágios: sorteavam-se municípios (primeiro estágio) e, dentro dos municípios sorteados , sorteavam-se escolas (segundo estágio). A partir de 1999, passou-se a sortear diretamente escolas. Essa modificação é positiva para todos os objetivos do SAEB. A segunda modificação também foi implementada com o objetivo de obter maior espalhamento da amostra: incluiu-se maior número de escolas, com menor número de observações por escola. Esse procedimento prioriza a melhora da precisão das estimativas relacionadas aos dois primeiros objetivos do SAEB; no entanto ele prejudica o desenvolvimento do terceiro objetivo. Enfatizo que não houve nenhuma impropriedade nos procedimentos implementados. Pelo contrário, sob determinado ponto de vista seria até possível reunir alguns argumentos relevantes para priorizar os dois primeiros objetivos, ainda que em detrimento do terceiro. No entanto, o aspecto mais importante a ser sublinhado aqui é referente à necessidade de aprimoramento dos procedimentos capazes de oferecer as melhores condições para decisões bem informadas sobre temas controversos (no âmbito do SAEB, o número de observações por escola é um tema controverso). Abordarei esse tema na conclusão deste texto.

3. Há necessidade de aprimoramento das medidas de contexto

Em diversas ocasiões, já expressei o ponto de vista de que, até 1997, as medidas de contexto (questionários da escola, do diretor, do professor e do aluno) deixavam muito a desejar. A partir de 1999, houve melhora expressiva na medida de nível socioeconômico e espera-se melhoras adicionais para 2001. Atualmente, os procedimentos de construção e validação dos instrumentos contextuais envolvem: definição de um quadro de referência teórico para os instrumentos; desenvolvimento dos questionários; avaliação por especialistas da compatibilidade dos questionários com os objetivos do SAEB, com o quadro de referência proposto e com os hábitos lingüísticos dos respondentes; incorporação de modificações aos questionários; pré-testagem dos instrumentos e procedimentos; modificações nos questionários, em função da análise da pré-testagem.

Esses procedimentos representam um avanço em relação aos procedimentos anteriores, e a participação dos técnicos do INEP nesse processo tem sido muito expressiva. No entanto, os procedimentos ainda contêm uma limitação muito importante (além de outras, associadas ao curto prazo para desenvolvimento do conjunto de procedimentos): não há qualquer previsão de estudo de validação por comparação entre o modo como os questionários mensuram os construtos privilegiados e o modo como esses construtos são mensurados por outras técnicas, que coloquem o pesquisador em contato mais aprofundado com os respondentes. Considerem-se os exemplos: será que os itens dos questionários associados à mensuração de um determinado construto estão realmente medindo este construto? Será que os itens alocados no questionário dos alunos para mensurar "capital cultural" estão realmente medindo este construto? Quando a análise dos dados coletados pelo questionário indica que determinados alunos possuem alto "capital cultural", ainda resta saber se esses alunos serão avaliados como portadores de alto capital por método distinto e mais aprofundado que o questionário. Na falta desse tipo de procedimento de validação, o que pode ser feito é usar o bom senso e adaptar escalas validadas para populações distintas da população de alunos, professores e diretores brasileiros. É lícito considerar que essas estratégias podem ser, em muitos casos, insuficientes, devido às diferenças do contexto brasileiro em relação ao contexto em que a escala foi validada.

Outro ponto importante refere-se à noção de que importantes informações sobre a direção e sobre a escola só podem ser obtidas de modo fidedigno por meio de dados coletados com vários professores da mesma escola. Como o SAEB só prevê a coleta de dados dos professores cujos alunos são testados, apenas são coletados dados de um pequeno número de professores (tipicamente, entre 1 e 4 professores por escola). Finalmente, a coleta de dados de professores em um único dia produz alto percentual de dados faltantes, já que, freqüentemente, os contratos de trabalho não prevêem a ida diária dos professores à escola.

Faz sentido persistir na tentativa de explicação dos fatores escolares que influenciam o aprendizado dos alunos em estudos não longitudinais, como o SAEB?

Algumas das dificuldades resumidas acima são bastante sérias. Por certo, priorização, empenho, determinação e um pouco de criatividade são condições necessárias e suficientes para a resolução dos problemas relativos aos instrumentos contextuais explicitados acima. Já os outros problemas são ainda mais sérios. Em alguns países, levaram a soluções que tiraram da avaliação nacional do sistema educacional o objetivo de investigar o efeito-escola. A relevância da pergunta colocada justifica-se pela seguinte razão: já que os objetivos atuais do SAEB impõem demandas opostas sobre a amostra e já que a mensuração da proficiência em dois momentos distintos representaria uma enorme alteração no desenho do SAEB, seria razoável deixar que o terceiro objetivo do SAEB (efeito-escola) viesse a ser desenvolvido por outra pesquisa? Note-se que estou incluindo no rótulo "outra pesquisa" a solução de acoplar um estudo longitudinal ao SAEB (de modo que a partir dos alunos testados no SAEB fosse obtida uma das medidas de proficiência, complementada por outra medida de proficiência para parte da amostra do SAEB).

Minha resposta para essa indagação é negativa. Considero que o SAEB deve continuar perseguindo os três objetivos, pelas razões que explicito abaixo, desde que algumas alterações importantes sejam implementadas:

1. É possível estabelecer uma solução de compromisso razoável para as demandas opostas sobre a amostra (e esta é uma das alterações importantes que precisa ser implementada).

2. Por um lado, estudos longitudinais são muito caros, razão pela qual costumam não permitir inferências para várias subpopulações. Por outro lado, estudos sobre o efeito-escola com controle de trajetória escolar (esse tipo de controle ainda precisa ser melhorado nos instrumentos do SAEB), em lugar do controle pela proficiência prévia, captam os efeitos-escola que seriam encontrados com o controle adequado por proficiência prévia (só disponível em estudo longitudinal). No entanto, esses efeitos aparecem ampliados e efeitos que seriam não-significativos aparecem como significativos. Havendo estudos longitudinais para a população do país (e esta é a segunda alteração importante que se faz necessário implantar), seria possível obter estimativas adequadas para o efeito-escola referido apenas à situação nacional e a subpopulações para as quais o estudo longitudinal eventualmente ofereça possibilidade de inferência. Os resultados do estudo longitudinal oferecerão ainda boas estimativas acerca de até que ponto os estudos de corte transversal - como o SAEB ampliam o efeito-escola, o que contribui para melhor interpretação de modelagens dos dados do SAEB, inclusive daquelas envolvendo subpopulações para as quais o estudo longitudinal não permite inferências.

Como tornar o SAEB mais relevante para gestores e professores?

Uma das alternativas é a apresentação de exemplos de situações pedagógicas. Temas que tenham se mostrado complicados para os respondentes do SAEB poderiam ser ilustrados e alternativas pedagógicas poderia ser discutidas. Material que, simultaneamente, usasse linguagem adequada para os professores e que respeitasse a autonomia e capacidade intelectual dos mesmos poderia desempenhar um bom papel. Sou plenamente favorável ao desenvolvimento desse tipo de material. No entanto, é necessário reconhecer que essa alternativa, apesar de relevante, não constitui uma contribuição singular do SAEB, por uma razão muito simples: os melhores exemplos de dificuldades dos alunos já são conhecidos por métodos distintos - e mais baratos - que o SAEB; por isso, nada impediria que essa estratégia viesse a ser desenvolvida à margem do SAEB. Em suma: sou claramente favorável a essa estratégia mas argumento que ela não envolve todo o potencial do SAEB.

As demais alternativas que poderiam tornar o SAEB mais relevante para gestores e professores envolvem o tema da explicação dos fatores que contam em educação; em outras palavras, a investigação dos efeitos-escola e efeitos-sala-de-aula. Conforme argumento ao longo deste documento, este ainda é um problema insuficientemente equacionado no âmbito do SAEB, o que prejudica em muito sua relevância. Embora o adequado equacionamento do tema da explicação seja muito importante, ele não é uma panacéia e, paralelamente à resolução desse problema, será importante, a meu ver, lidar com dois outros temas relacionados com a explicação. São eles:

1. Não é seguro afirmar que o SAEB tenha boas medidas de tópicos que são considerados como de grande relevância por professores e gestores. Vejamos alguns exemplos. Há evidências que temas como absenteísmo, violência, abordagens pedagógicas, repetência e organização do ensino em séries ou ciclos sejam temas com os quais gestores e professores lidam bastante. O SAEB trata todos esses temas de modo insuficiente. A medida de absenteísmo existente não é coletada de modo fidedigno e a solução desse problema envolve mudança substancial no processo de coleta de dados (e não apenas o modo de perguntar sobre isso nos questionários). Violência e abordagens pedagógicas são temas para os quais tanto a especificação dos construtos a eles relacionados quanto a mensuração dos construtos por itens de questionários são bastante complexas. Por isso, são temas que resistem a serem capturados com o uso do bom senso e pela adaptação de escalas validadas em outros contextos. São temas que impõem a necessidade de um processo complexo de construção e validação de escalas (conforme desenvolvido anteriormente). Já o tema da repetência é tratado de modo insuficiente, porque o SAEB limita-se a obter dados sobre o passado do aluno. Poucas semanas após os alunos serem testados, a escola promove esses alunos à série seguinte, ou os reprova. Seria muito importante - e é plenamente viável com um esforço suplementar não muito grande - obter essa informação para cada aluno. Finalmente, para o SAEB 2001 já está prevista a coleta de dados sobre a organização do ensino (séries ou ciclos) mas as análises mais interessante sobre esse tema não podem prescindir da informação sobre promoção/reprovação no ano em que o aluno é testado.

2. A modelagem do SAEB envolve técnicas complexas e essas técnicas não podem ser substituídas por técnicas mais simples, que sejam mais conhecidas. As explicações derivadas do SAEB precisam incorporar as técnicas complexas, mas precisam ser apresentadas em linguagem e esquemas gráficos inteligíveis para não especialistas em métodos quantitativos de pesquisa. Esse é um desafio para o qual se pode ter sucesso.

Finalmente, devo comentar que a relevância do SAEB para os gestores de redes públicas - bem como das demais iniciativas de avaliação do INEP - depende da capacidade do INEP em estabelecer relacionamentos com secretarias de educação que transcendam a relação instrumental, determinada pelas necessidades operacionais do SAEB. Relacionamentos dessa natureza devem basear-se: na possibilidade concreta de as secretarias estaduais - ao menos as secretarias dos maiores municípios - poderem influenciar substantivamente os projetos de avaliação do INEP; na possibilidade de o INEP prestar assistência técnica a estados e municípios na área de avaliação; mobilizar recursos humanos e financeiros para a capacitação de técnicos bem preparados na área de avaliação para atuação no nível estadual e municipal; relacionar-se com diferentes tipos de avaliação que serão relevantes para diferentes gestores de redes de ensino.

Como viabilizar estudo longitudinal cuja população de referência seja a população estudantil brasileira (em determinadas séries)?

A essa altura creio que a necessidade de implantação de estudo longitudinal já esteja bem defendida. Resta discutir como viabilizar esse tipo de estudo. Creio que seja adequado começar considerando que o Brasil já vem desenvolvendo dois estudos longitudinais, o Plano de Desenvolvimento da Escola (PDE)² (escolas urbanas) e o Escola Ativa (escolas rurais). Trata-se de estudos quase-experimentais, que objetivam avaliar projetos específicos, o que tem um impacto direto no plano amostral dessas investigações. Uma alternativa seria o acoplamento ao PDE de estudo longitudinal com população de referência composta pelos estudantes brasileiros em escolas urbanas. Outra solução seria o já mencionado acoplamento de estudo longitudinal ao SAEB, de modo a aproveitar a medida de proficiência já obtida por este. No entanto, a solução que acho mais interessante é a efetiva adoção de um Sistema de Avaliação da Educação Básica (por certo, os nomes são irrelevantes; apenas aproveito a coincidência de nomes para registrar que o SAEB não é um sistema). Esse sistema seria composto por duas pesquisas permanentes, a Avaliação Nacional Trienal da Educação Básica (atual SAEB) e o Estudo Longitudinal da Educação Básica. Haveria também estudos eventuais, como o Program of International Student Assessment (PISA)³ , o PDE, o Escola Ativa ou outros estudos longitudinais quase-experimentais. A vantagem de equacionar as diversas pesquisas no âmbito de um sistema de avaliação seria a otimização dos recursos humanos e financeiros, a possibilidade de priorizar recursos em função das prioridades de estudos necessários e a possibilidade de acoplar pesquisas de modo mais racional em função de uma visão de conjunto da avaliação da educação básica.

Quais as características desejáveis de um possível estudo longitudinal?

Já mencionei que estudos sobre efeito-escola são os que oferecem subsídios mais densos para a formulação de políticas educacionais e que o desenho longitudinal é aquele que possibilita a adequada mensuração de efeito-escola. A implementação de estudo longitudinal deveria, a meu ver, contemplar as seguintes características (embora não se trate de uma lista exaustiva, comento os pontos que considero particularmente importantes):

1. Capitalização das características positivas já conquistadas via SAEB (instrumentos, procedimentos etc.).

2. Aprimoramento dos pontos falhos ainda existentes no SAEB (alguns dos quais foram comentados ao longo do presente documento).

3. O desenho longitudinal deverá prever que as duas primeiras medidas de proficiência sejam tomadas no mesmo ano, de modo a evitar viés devido à "lacuna de verão" (a evidência de outros contextos indica que alunos de distintos NSE têm perda de proficiência diferenciada durante as férias de verão).

4. Decisões sobre acoplamento do estudo com outro já em realização devem ser tomadas mediante uma visão de conjunto de todos os estudos sobre avaliação da educação básica.

5. Se, após considerados os dois itens acima, a decisão for pelo acoplamento parcial do estudo longitudinal ao SAEB, a medida comum a ambos os estudos precisará ser a segunda medida do estudo longitudinal.

6. Se, após considerados os mesmos itens, a decisão for pelo acoplamento do estudo longitudinal ao PDE, só devem-se acoplar as operações de campo nos dois momentos se o PDE previr a obtenção de duas medidas de proficiência no mesmo ano (a leitura do material do PDE não me esclareceu se isso está previsto).

7. O estudo longitudinal deverá privilegiar desenho que faça "acompanhamento longo" de alunos (ao invés de uma sucessão de "acompanhamentos curtos", de apenas 1 ou 2 anos).

Síntese das sugestões e recomendações

1. Explicitação de um Sistema Nacional de Avaliação da Educação Básica, com os estudos específicos alocados dentro do sistema.

2. Inclusão no mencionado sistema de um estudo longitudinal que tenha como população de referência a população estudantil de escolas urbanas.

3. Existência de comitê multidisciplinar de especialistas para cada estudo, com a missão de oferecer uma visão de conjunto que informe as decisões sobre "demandas antagônicas" no âmbito de cada estudo.

3. Manutenção e aprimoramento da dimensão de explicação do SAEB.

4. Aprimoramento dos aspectos técnicos ainda problemáticos no SAEB.

5. Incorporação de novas medidas relevantes para professores e gestores no SAEB.

6. Aprimoramento dos padrões de interação com estados e municípios.

CRESO FRANCO, doutor em educação pela Universidade de Reading (Inglaterra), é professor associado do Departamento de Educação da PUC-Rio e pesquisador titular do Museu de Astronomia e Ciências Afins. Seus interesses de pesquisa incluem avaliação da educação e ensino de ciências. Recentemente, organizou o livro Avaliação, ciclos e promoção na educação, publicado pela Artmed em 2001. Com apoio do CNPq, desenvolve projeto de pesquisa sobre construção de questionários para surveys educacionais e sobre análise de dados coletados pelo SAEB.

1

Ministério da Educação. Portaria número 243, de 12 de fevereiro de 2001. Diário Oficial da União, 31, seção 2, pag. 8, de 13 de fevereiro de 2001.

2

O Plano de Desenvolvimento da Escola é um projeto do MEC que fomenta a construção de projetos pedagógicos da escola, como estratégia para seu aprimoramento, via aumento da influência dos professores e da comunidade local na gestão escolar. Informações adicionais sobre o PDE podem ser encontradas em: J.A. Sobrinho

, O Plano de Desenvolvimento da Escola e a gestão escolar no Brasil: situação atual e perspectivas, MEC/ Fundescola, Brasília, 2001.

3

O Program of International Student Assessment é um projeto de avaliação educacional comparativa desenvolvido pela Organização para a Cooperação do Desenvolvimento Econômico - OCDE. Envolve 32 países, inclusive o Brasil. Informações adicionais sobre o PISA podem ser encontradas em

www.pisa.oecd.org

Datas de Publicação

• Publicação nesta coleção
  20 Dez 2012
• Data do Fascículo
  Ago 2001