Avaliação e política educacional: o processo de institucionalização do SAEB

Educational policy and evaluation: the process of institutionalization of the brazilian national system for the evaluation of basic education (SAEB)

OUTROS TEMAS

Avaliação e política educacional: o processo de institucionalização do SAEB

Educational policy and evaluation: the process of institutionalization of the brazilian national system for the evaluation of basic education (SAEB)

Alícia Bonamino; Creso Franco

Departamento de Educação – PUC-RJ

RESUMO

Este trabalho focaliza o Sistema de Avaliação da Educação Básica – SAEB, mais precisamente seu processo de institucionalização, as influências dos diversos atores envolvidos no processo, as interpretações extraídas pelo Ministério da Educação e Cultura – MEC – a partir dos diversos ciclos e o significado para a educação brasileira da existência de um sistema de avaliação como o SAEB. As conclusões tematizam a mudança nos objetivos do SAEB ao longo dos ciclos, discutem o significado da opção por organização mais centralizada do SAEB e relacionam o perfil assumido pelo SAEB com demais aspectos da política educacional.

POLÍTICAS EDUCACIONAIS – AVALIAÇÃO DA EDUCAÇÃO – SISTEMA DE EDUCAÇÃO – SAEB

ABSTRACT

This article focuses on the Brazilian National System for the Evaluation of Basic Education (the SAEB) and more precisely its process of institutionalization, the influences of different actors involved in the process; the interpretation made by the Ministry of Education and Culture (MEC), based on diverse cycles and the significance of the existence of an evaluation system such as the SAEB for the Brazilian education. The conclusions thematisize the changes in the objectives of the SAEB over the course of the cycles, discuss the significance of the option for a more centralized organization of the SAEB and relate the profile taken on by the SAEB to the other aspects of educational policy.

Desde 1988 vêm sendo tomadas iniciativas voltadas à implantação e desenvolvimento do Sistema Nacional de Avaliação da Escola Básica – SAEB –, Já foram conduzidos quatro ciclos de avaliação e o próximo ciclo está programado para o segundo semestre de 1999. Este trabalho focaliza o SAEB, mais precisamente seu processo de institucionalização, as influências dos diversos atores envolvidos no processo, as conclusões inicialmente extraídas pelo MEC a partir dos diversos ciclos e o significado para a educação brasileira da existência de um sistema de avaliação como o SAEB.

Primeiramente, discutimos a influência das pesquisas internacionais de levantamento sobre a educação e sobre a pesquisa educacional brasileira. Em seguida, com base na documentação pertinente, analisamos o desenvolvimento do SAEB em seus diversos ciclos. A parte final do trabalho é dedicada a nossas interpretações sobre o significado do SAEB na política educacional em curso.

AS PESQUISAS DE LEVANTAMENTO: IMPLICAÇÕES PARA A PESQUISA EDUCACIONAL BRASILEIRA

O Relatório Coleman (Coleman, 1966) foi, provavelmente, uma das mais influentes pesquisas de levantamento na área de educação. Para estudar em que medida as diferenças de raça, cor, religião, origem geográfica e origem social afetariam as oportunidades de educação, o governo americano realizou uma pesquisa a partir de uma amostra de 645 mil alunos, distribuídos por cinco níveis de estudos diferentes, e coletou dados sobre as características das escolas freqüentadas, do corpo docente, dos alunos e suas famílias. Através da aplicação de cinco grupos de testes, que objetivavam medir competências verbais e não verbais, procurou-se conhecer a variabilidade entre as escolas, de modo a subsidiar a implementação de políticas de melhoria escolar.

Os resultados dessa pesquisa apontaram que as diferenças de desempenho eram explicadas em maior medida pelas variáveis socioeconômicas do que pelas intra-escolares. Mostraram, ainda, que o desempenho de crianças de menor nível socioeconômico que freqüentavam escolas cuja clientela era relativamente homogênea era pior do que o de crianças de mesmo nível socioeconômico que freqüentavam escolas com clientelas mais heterogêneas¹. Em termos de orientações para as políticas educacionais americanas, as conclusões do Relatório Coleman levaram à valorização de ações de educação compensatória e indicaram a necessidade de remanejamentos que visassem garantir uma espécie de equilíbrio multirracial e multicultural entre as escolas. Em termos de visão geral de Educação, as conclusões do Relatório Coleman reforçaram as críticas à Teoria do Capital Humano e à visão do papel redentor da educação.

No ano seguinte ao da pesquisa de Coleman, foi publicado, na Inglaterra, o Relatório Plowden (Central Advisory Council..., 1967) e pesquisas similares foram conduzidas também na França (Forquin, 1995). Em ambos os casos, os resultados foram, em linhas gerais, compatíveis com os do Relatório Coleman.

Desde muito cedo, esse conjunto de pesquisas foi bastante criticado, principalmente em seus aspectos técnicos e nas suas derivações políticas. Do ponto de vista técnico, os críticos argumentavam que as mencionadas pesquisas não possuíam instrumentos adequados para a mensuração de detalhes relevantes das variáveis intra-escolares. De acordo com esta linha de argumentação, e dada a tendência de que investimentos educacionais ocorram em maior grau em escolas freqüentadas por crianças de nível socioeconômico mais alto, a não mensuração explícita desses investimentos e sua conseqüente não inclusão nos modelos de regressão causaria, segundo os críticos, uma superestimação do papel do nível socioeconômico como fator de sucesso na escolarização. Entretanto, no início dos anos 70, foi possível mensurar de modo mais acurado as variáveis intra-escolares e testar empiricamente a validade desta crítica. Os novos resultados obtidos corrigiram apenas levemente as estimativas precedentes, não modificando o sentido geral das conclusões obtidas na década anterior.

A segunda crítica centrava-se no questionamento das políticas de educação compensatória. O argumento principal era o de que o fracasso das crianças de minorias étnicas e de camadas populares relacionava-se com a desvalorização de culturas específicas, promovida tanto pelos currículos escolares quanto pelos instrumentos de pesquisa. De acordo com esta linha de argumentação, as políticas de educação compensatória seriam apenas novos instrumentos de reafirmação de certas culturas, em detrimento de outras.

Já mencionamos que o Relatório Coleman reforçou as dúvidas acerca do papel redentor da educação. Em relação a este aspecto, podemos afirmar que a primeira das críticas ao Relatório Coleman não obteve sucesso em sua tentativa de minimizar de modo expressivo o papel das variáveis socioeconômicas no desempenho escolar, enquanto a segunda crítica, referente ao etnocentrismo cultural da escola, reforçava as dúvidas acerca da relação entre mobilidade social e educação.

No Brasil, no início da década de 70, a crítica à situação educacional do país, no âmbito da recém-fundada pós-graduação, tinha diversas origens e abrigava a influência da sociologia radical americana (Bowles, Levin, 1968; Bowles, Gintis, 1976) e da sociologia francesa (Bourdieu, Passeron, 1975), além de uma produção interna diretamente relacionada com os grandes levantamentos da década de 60.

Uma obra marcante deste período é Educação e Desenvolvimento Social no Brasil (Cunha, 1989), escrita entre 1972-75 e publicada, em 1ª edição, em 1975².Com referência ao Relatório Coleman, Cunha (1989, p.152) afirmava:

No Brasil, infelizmente, não há um estudo como esse que mostre, claramente, que as crianças da classe trabalhadora (naquele caso, de um segmento etnicamente distinto) freqüentam escolas de qualidade mais baixa e são mais intensamente afetadas por ela no seu desempenho educacional. No entanto, é possível tomar alguns dados, mesmo que parciais, e tentar especular sobre a existência de fenômeno da mesma natureza em nosso país, apesar de não podermos medir sua intensidade, como fez Coleman para os Estados Unidos.

Em que pesem as limitações de falta de dados e de pesquisas quantitativas, Cunha (1989) desenvolve essa idéia, principalmente nos capítulos 3 e 4 de sua obra, de modo bastante engenhoso, o que contribuiu para a grande importância que o livro teve em determinado período da pesquisa educacional brasileira.³

Devido a um grande número de fatores, como a hegemonia da tecnologia em educação, as dificuldades organizacionais e financeiras inerentes à concretização de grandes levantamentos e a falta de uma cultura acadêmica que propiciasse o desenvolvimento deste tipo de investigação, as pesquisas educacionais quantitativas de corte sociológico foram escassas. Aquelas que puderam ser desenvolvidas durante as décadas de 60 e 70 apresentavam três tipos diferentes de perfil. O primeiro deles consistia em pesquisas que, em contextos específicos, investigaram as características sociodemográficas relacionadas com o acesso a determinados níveis de ensino ou ao fracasso em determinada série (Campos, 1960; Gouveia, 1967; Bessa, 1971). Uma segunda vertente, na medida em que estudava especificamente o caso do acesso ao ensino superior, pode contar com bases de dados mais amplas para investigar temas tais como o acesso da mulher ao ensino de terceiro grau (Barroso, Mello, 1975) e os condicionantes sociais do sucesso no vestibular (Siano, 1977). O terceiro veio de investigação foi representado pelo Programa de Estudos Conjuntos para a Integração Econômica da América Latina – ECIEL –, que focalizou os fatores determinantes da escolarização na América Latina (Castro, Sanguinetty, 1978; Lacerda, 1979; Silva, 1979). Embora as investigações desenvolvidas nas três linhas acima fossem muito heterogêneas em relação aos pressupostos teóricos utilizados, à maturidade intelectual de seus autores e à solidez de suas metodologias, elas produziram importantes elementos de contraposição à noção de que a concentração de renda no Brasil seria conseqüência do baixo nível educacional da população, tese defendida por autores ligados à Teoria do Capital Humano, com destaque para Langoni (1974).

Se durante os anos 60 e 70 a abordagem da questão do desempenho escolar pautava-se principalmente nos fatores externos, na década de 80 surgem tanto os estudos e pesquisas que enfatizam os fatores intra-escolares, como os que procuram equacionar conjuntamente os fatores sociais e escolares nas desigualdades educacionais (Goldberg et al,. 1981; Brandão, Baeta, Rocha, 1983).

Entre os estudos que, naquele período, procuraram abordar conjuntamente os fatores intra e extra-escolares na educação básica, merecem destaque as pesquisas de avaliação do rendimento escolar desenvolvidas pela Fundação Carlos Chagas, pela Fundação Cearense de Pesquisa, pela Universidade Federal do Ceará – UFCE – e por pesquisadores estrangeiros no âmbito do Programa de Expansão e Melhoria do Ensino no Meio Rural do Nordeste Brasileiro – EDURURAL (Gatti,1993; Harbison, Hanushek, 1992).

Harbison e Hanushek (1992) investigaram o impacto do EDURURAL nos estados de Pernambuco, Ceará e Piauí, avaliando as conseqüências dos investimentos do projeto em capacitação docente e insumos educacionais sobre o rendimento dos alunos e as taxas de promoção na escola primária. A pesquisa possuía as seguintes características: desenho quase-experimental, com escolas não incluídas no programa EDURURAL formando um grupo de controle; desenho longitudinal, que submeteu os mesmos alunos a avaliações nos anos de 1981, 1983 e 1985, além de coletar, nos mesmos anos, informações sobre variáveis intra-escolares e socioeconômicas e de adotar a abordagem de valor agregado que objetivava mensurar os progressos cognitivos de cada aluno a cada biênio.

Com relação ao aspecto da melhoria da performance dos alunos a partir de investimentos realizados, a pesquisa detectou resultado positivo apenas no Estado do Piauí.⁴ Mas quanto à melhoria da taxa de promoção, os resultados foram negativos nos três estados, o que sugere que a melhoria nas taxas de promoção é um objetivo ainda mais difícil de ser alcançado do que a melhoria do desempenho dos alunos. O resultado sugere que, no contexto das novas condições viabilizadas pelos investimentos, os professores optam, ao menos em um primeiro momento, por aumentar seus padrões de exigência, o que redunda na tendência de manutenção, ou mesmo de elevação, das taxas de repetência.

A pesquisa da Fundação Carlos Chagas guarda estreita relação com a de Harbison e Hanushek (1992), já que esta instituição encarregou-se da preparação e acompanhamento dos instrumentos utilizados na avaliação do EDURURAL. A contribuição adicional reside no fato de que os inquéritos foram seguidos de seis estudos etnográficos, realizados em escolas rurais dos estados participantes, que permitiram explicar o baixo rendimento curricular das crianças e o grande número de repetência decorrente de um conjunto de fatores, como baixos salários, influência política na designação de professores e infra-estrutura curricular insuficiente, além de precariedades associadas às condições de vida dos alunos e suas famílias, em especial no que se refere às condições de saúde (Gatti, 1994).

A persistência de altas taxas de repetência no país estimulou, já desde a entrada da década de 80, a realização de pesquisas e a formulação de políticas voltadas para o enfrentamento desse problema. As políticas de "não reprovação" (Fernandes, 1997) têm uma história já longa no país. Segundo Mainardes (1994), o referido tema chegou ao Brasil por meio de eventos promovidos pela UNESCO e implementou-se um primeiro ciclo de experiências de promoção automática nos estados de São Paulo (1968-72), Santa Catarina (1970-84) e Rio de Janeiro (1979-84). A adoção das referidas políticas de não reprovação era baseada em diagnósticos gerais sobre os problemas da repetência que careciam de articulação, tanto com visões pedagógicas capazes de interpretar as causas dos altos índices de repetência na série inicial, como com propostas desenhadas para a superação do problema. Referindo-se a essas experiências, Cunha (1991, p.218) afirmou que "onde a promoção automática foi adotada sem outras medidas complementares, a qualidade do ensino caiu irremediavelmente, como foi o caso de Santa Catarina e do Rio de Janeiro".

Ainda em 1979, na 3ª Reunião Anual da ANPEd, explicita-se um debate que daria base para o segundo ciclo de políticas de avaliação continuada. Na referida reunião, Guiomar Namo de Mello (1981) apontava para o fenômeno da retenção de alunos na 1ª série primária e enfatizava a necessidade de que se discutisse o modo pelo qual o fracasso era produzido no interior da escola. A educadora paulista afirmava:

...todos os professores que entrevistamos até agora foram unânimes em declarar que, sem uma reformulação total da seqüência da aprendizagem na 1ª e na 2ª séries do 1º grau não se resolverá o problema da alfabetização. Temos casos de professores que dizem: eu tenho de reprovar meus alunos que não conseguiram dominar as sílabas compostas, porque o currículo da 2ª série exige que ele tenha dominado as sílabas compostas, mas eu sou contra, acho que deviam ser aprovados com as sílabas simples dominadas, e completar na 2ª série o seu processo de alfabetização. (Mello, 1981, p.24-5)

Em 1982, com o retorno das eleições diretas e a vitória da oposição em diversos governos de estados, houve grande renovação nos quadros dirigentes das redes de ensino. Devido a essas mudanças, adotou-se nos estados de São Paulo, Minas Gerais e Paraná uma série de mudanças políticas, pedagógicas e organizacionais que focalizavam o problema da retenção das crianças de camadas populares na 1ª série primária. Nos três estados mencionados, as medidas implantadas tinham como característica comum a adoção do ciclo básico de alfabetização, englobando as duas primeiras séries.

No mesmo período, Guiomar Namo de Mello assumiu a Secretaria Municipal de Educação de São Paulo, implementando uma proposta diferenciada, pela qual não haveria um ciclo básico de alfabetização mas sim um desdobramento do processo de alfabetização pelas duas primeiras séries, ficando a passagem para a segunda série condicionada ao domínio das sílabas simples (Cunha, 1991, p.218).⁵

Um balanço geral do tema permite afirmar que apesar das medidas de caráter político, como a organização de fóruns para debate da proposta de política educacional, e das medidas de caráter pedagógico, como a veiculação de material didático e de fundamentação, as assessorias pedagógicas e as tentativas de viabilizar espaços no calendário escolar para discussões, as propostas de implementação do ciclo básico geraram resistência por parte dos professores e se descaracterizaram (Silva, Davis, 1993, p.27).

O estudo do progresso de coortes de alunos que passaram pelo ciclo básico indica que as estratégias adotadas não superaram o problema da seletividade socioeconômica no ensino de 1º grau como um todo (Klein, Ribeiro, 1991). Muito embora não estejam disponíveis pesquisas similares focalizando a especificidade das medidas educacionais adotadas pelo Município de São Paulo a partir da gestão de Mello, há indícios de que a política diferenciada adotada pela referida gestão gerou menos conflitos, evitando o que Perrenoud (1993) caracteriza como desvio da racionalidade dos temas relacionados com a prática pedagógica para outros fins. Dentre os mencionados indícios deve ser registrado que, ao final de sua gestão, a então secretária municipal de Educação foi eleita deputada estadual e seus escritos conti-nuaram a ter influência no meio educacional da época.

Apesar das limitações apresentadas, para alguns estudiosos, como Silva, Davis (1993), em artigo intitulado "É proibido repetir", as propostas baseadas na não reprovação consti-tuem-se em opção importante para uma educação não excludente e oferecem uma alternativa à cultura da repetência. Considerando-se que as gestões dos, à época, secretários estaduais de educação nos referidos estados foram administrações relativamente bem-sucedidas, não é difícil compreender que, apesar dos problemas mencionados em relação à implantação do ciclo básico, experiências desse tipo tenham sido introduzidas em outros contextos ou mesmo inspirado políticas mais ousadas de avaliação continuada. Nesse caso, estão as políticas que, em conjunto com diversas medidas de caráter pedagógico e estrutural, estendem a promoção automática até a 8ª série do ensino fundamental ou impõem severas restrições à possibilidade de reprovação do aluno antes da última série. Muito embora o caso mais divulgado tenha sido a recente regulamentação de mecanismos deste tipo pela Secretaria Estadual de Educação e pelo Conselho Estadual de Educação de São Paulo, há diversas propostas deste tipo recém-implantadas ou em gestação.

Com relação à promoção e evasão de alunos no sistema de ensino nacional, a partir de 1985, por iniciativa de alguns pesquisadores da área de estatística e economia, iniciou-se uma grande controvérsia sobre a validade das estatísticas oficiais na área de educação (Fletcher, Ribeiro, 1987; Castro, Fletcher, 1993; Klein, Ribeiro, 1991; Ribeiro, 1991). Esses trabalhos questionavam as metodologias de apuração das estatísticas oficiais, argumentavam que os resultados apresentados estavam errados e enfatizavam que isso levava a diagnósticos equivocados sobre a situação da educação e as prioridades da política educacional.

As conseqüências metodológicas desses trabalhos materializaram-se na adoção de um novo modelo de diagnóstico do fluxo de alunos (Profluxo) e na introdução de modificações em procedimentos estatísticos do MEC. Em termos de resultados, os mencionados pesquisadores insistiram nos seguintes aspectos: as taxas de evasão são muito baixas; a cobertura da população em idade escolar é superior à até então admitida, chegando a 95%; o atraso no início da escolarização não é um problema expressivo; o problema central é a repetência, causada pela baixa qualidade do ensino.

Observe-se que os três primeiros pontos enfatizados não estavam em sintonia com as análises dos pesquisadores que atuavam nos Programas de Pós-Graduação em Educação e que divulgavam suas pesquisas em livros, periódicos e encontros científicos da área. Muito embora os mencionados trabalhos com forte aporte estatístico tenham dado contribuições expressivas para a melhoria da qualidade das estatísticas educacionais no país, foi lastimável que tais trabalhos tenham tido influência marcante entre os formuladores de políticas oficiais sem que os mesmos fossem debatidos e submetidos a avaliações mais detidas.

Recentemente, Carvalho, Kappel (1997), com base na Contagem da População do Fundação Instituto Brasileiro de Geografia e Estatística – FIBGE, apontaram para uma expressiva subestimação por parte do Profluxo da população em idade escolar fora da escola, fato que levou o Ministério da Educação a formular programa específico para lidar com o problema. Mais recentemente, argumentamos que a entrada atrasada na escola é um problema de dimensões maiores que o divulgado e enfatizamos que as pequenas taxas de evasão mencio-nadas desde a implantação do Profluxo devem-se a uma definição muito peculiar do que seja evasão (Veiga et al.,1998).

No final da década de 80, ocorreram as primeiras ações voltadas para a implementação no Brasil de um sistema nacional de avaliação da educação básica, buscando verificar não apenas a cobertura do atendimento educacional oferecido à população, mas, principalmente, o desempenho dos alunos dentro do sistema. Tais ações levaram à subseqüente institucionalização do SAEB.

O Sistema Nacional de Avaliação da Educação Básica – SAEB

A década de 80 caracterizou-se pelo início de implementação de diversas reformas educacionais, com reflexos na América Latina (Castro, Carnoy, 1997; Bomeny, 1997). Trata-se, em primeiro lugar, de um movimento de reforma complexo tanto porque introduz mudanças profundas em diversas dimensões, tais como as prioridades educacionais, as formas de financiamento, o currículo, a avaliação educacional, como pelo fato de colocar na pauta de prioridades de atores como o Banco Mundial – BM – e setores empresariais uma série de temas historicamente valorizados por pesquisadores ligados à Associação Nacional de Pesquisa em Educação – ANPEd – e a setores que têm enfatizado as tensões existentes entre os interesses empresariais e as propostas de universalização da educação de qualidade. Em segundo lugar, constitui-se em movimento de reformas ainda pouco investigado porque os esforços iniciais dos pesquisadores centraram-se em análises de discurso, que é uma abordagem válida e relevante do fenômeno mas que precisa ser complementada por análises empíricas que focalizem os processos de construção das políticas e suas conseqüências específicas.

Considerando a ligação do SAEB a temáticas como a interferência do Banco Mundial nas políticas educacionais, a qualidade da educação e os currículos, iniciaremos esta seção com uma breve consideração sobre a parcela da literatura crítica do movimento de reforma educacional que focaliza os temas anteriormente mencionados. Em seguida, consideraremos de modo mais detalhado a trajetória de implantação do SAEB.

Lauglo (1997), ex-consultor do Banco Mundial, tece uma abrangente crítica às prioridades educacionais da instituição. O autor apresenta dados que ilustram a capacidade de interferência do BM nas políticas educacionais de países em desenvolvimento e discute criticamente as orientações daquele organismo multilateral. Enfatiza, também, o caráter fortemente seletivo das pesquisas que informam os documentos do BM, explicita a insensibilidade da instituição em relação aos temas pedagógicos, contrastando-a com o otimismo do banco em relação às questões de gerenciamento, e sublinha as conseqüentes tensões entre os seus especialistas e os educadores e pesquisadores. Na mesma linha de argumentação, Torres (1996) registra a ausência, nos documentos do banco, de pesquisas sobre o ensino e a aprendizagem em sala de aula, a aprendizagem infantil, a capacitação docente, a elaboração de textos escolares e a avaliação da aprendizagem na escola. A essa ausência soma-se a subestimação por parte do Banco Mundial do papel desempenhado pelos professores na efetiva implantação de reformas educacionais.

Com relação à avaliação, Lauglo (1997, p.32) aponta que "os educadores serão resistentes às tentativas de reduzir a complexidade da boa educação a generalizações de modelos que se baseiam em dados quantificáveis". A resistência já tem-se manifestado entre os pesquisadores brasileiros, que discutem a relação entre políticas de avaliação e os Parâmetros Curriculares Nacionais propostos pelo MEC (Moreira, 1995).

Muito embora Lauglo apresente um panorama bastante crítico das prioridades educacionais do BM, ele não assume uma postura dicotômica diante das tensões entre as políticas do banco e as alternativas dos educadores. A partir de um referencial weberiano, o autor interpreta a polêmica entre pesquisadores em educação e intelectuais e executivos do BM como um conflito entre estratos profissionais distintos, ponto que não passou despercebido por Zibas, Franco e Warde (1997, p.5), ao registrarem que Lauglo "defende uma perspectiva pouco aceita por parte considerável dos estudiosos latino-americanos".

No veio dos estudos latino-americanos sobre a influência do BM em educação, Coraggio (1996) relaciona as diretivas do banco com o movimento de esvaziamento da dimensão social da cidadania, objetivo que se explicita nas formulações do banco que deslocam os tradicionais direitos universais do cidadão para a dimensão dos direitos possíveis, dependentes de disponibilidade financeira. É em relação a contextos como o diagnosticado por Coraggio que Enguita (1994) se refere à polissemia do conceito de qualidade e aponta a dissociação das noções de qualidade e igualdade no discurso de muitas das reformas educacionais contemporâneas.

Torres (1996) critica o reducionismo implícito nas diretivas educacionais e visões sobre o currículo do Banco Mundial, aspecto também considerado por Lauglo (1997) no tocante à prioridade concedida pelo banco para as "habilidades cognitivas básicas". É notável, no entanto, que os exemplos de alternativas às visões reducionistas do currículo oferecidos por Torres (1996, p.141) incluam referências às propostas de Coll, professor espanhol cuja assessoria a governos latino-americanos, inclusive ao governo brasileiro, vem sendo interpretada por vários autores como instância de transmissão de propostas neoliberais no contexto latino-americano. O contraste entre a posição acima mencionada de Torres e as análises acadêmicas sobre as iniciativas governamentais na área de currículo sugerem a necessidade de pesquisas adicionais sobre o tema.

A origem do SAEB relaciona-se com demandas do Banco Mundial referentes à necessidade de desenvolvimento de um sistema de avaliação do impacto do Projeto Nordeste, segmento Educação, no âmbito do VI Acordo MEC/Banco Internacional de Reconstrução e Desenvolvimento – BIRD (Brasil, 1988). Tal demanda, aliada ao interesse do MEC em implementar um sistema mais amplo de avaliação da educação, levou a iniciativas que redundaram na criação do Sistema Nacional de Avaliação do Ensino Público de 1º Grau – SAEP. Já em 1988, houve uma aplicação piloto do SAEP nos estados do Paraná e Rio Grande do Norte, com o intuito de testar a pertinência e adequação de instrumentos e procedimentos. No entanto, dificuldades financeiras impediram o prosseguimento do projeto, que só pôde deslanchar em 1990, quando a Secretaria Nacional de Educação Básica alocou recursos necessários à viabilização do primeiro ciclo do Sistema Nacional de Avaliação do Ensino Básico. Na seqüência, apresentamos uma visão de conjunto das principais características do SAEB, com ênfase nas mudanças e eventuais permanências ao longo dos diversos ciclos.

Objetivos do SAEB

A avaliação das escolas e das redes de ensino é uma característica presente no conjunto das reformas educacionais implementadas desde a década de 80 em escala internacional (Bomeny 1997; Castro, Carnoy, 1997). No entanto, os objetivos e papéis desempenhados pela avaliação no contexto de diversas reformas educacionais têm variado bastante. No caso da Inglaterra (governo John Major) e do Chile o perfil do sistema de avaliação estava balizado pela incorporação de mecanismos de mercado na educação (Black, 1994; Schuller, 1997; Castro, Carnoy, 1997). Nos EUA, o sistema nacional de avaliação objetiva o monitoramento de metas e prioridades (Lockheed, 1997). Em Minas Gerais, ao longo da década de 90, desenvolveu-se um sistema de avaliação que objetivava impulsionar a própria reforma educacional proposta. A essa diversidade de objetivos correspondem sistemas de avaliação com perfis muito diferenciados. Tal cenário indica que a interpretação do significado do SAEB a partir de esquemas dedutivos, baseados na análise de documentos de organismos internacionais, ou a derivação direta, para o caso brasileiro, de conclusões obtidas em outros contextos, é um caminho a ser evitado, já que eles não dão conta das mediações políticas e sociais que contribuem para assegurar, no interior de cada realidade nacional, uma configuração diferenciada na implementação da política nacional de avaliação.

Com relação ao caso brasileiro, iniciamos por apresentar os objetivos do SAEB tal qual declarados em documentos oficiais, explicitando as inflexões ocorridas ao longo dos diferentes ciclos. O tema será retomado nas conclusões deste artigo, à luz de uma visão de conjunto do SAEB, bem como dos usos de seus resultados.

O quadro 1 sintetiza os objetivos gerais do SAEB ao longo dos diversos ciclos, tal qual expressos nos documentos oficiais.

Na definição dos objetivos gerais do SAEB pode-se perceber que a formulação mais descentralizada e participativa adotada no primeiro ciclo, que enfatiza os aspectos processuais ligados ao desenvolvimento de uma cultura de avaliação no interior do sistema educacional, foi sendo secundarizada em favor de uma definição mais centralizada no âmbito do MEC.

Guardando coerência com os objetivos traçados para o sistema, encontramos, no primeiro ciclo, a participação efetiva de equipes de professores e especialistas das secretarias estaduais de educação, que se responsabilizaram pela aplicação e posterior correção das provas, segundo instruções elaboradas pela Fundação Carlos Chagas. Paralelamente, foram constituídas, em cada estado, equipes de professores e especialistas, com a finalidade tanto de "validar localmente os conteúdos das provas", como de "determinar se os itens contidos nestas formavam parte do que se considerava conteúdo mínimo para a UF " (Brasil/INEP, s.d. [a], p.12).

O segundo ciclo registra, novamente, a participação de equipes docentes e pedagógicas das secretarias estaduais da educação na análise dos problemas acontecidos tanto na fase de levantamento de informações e dos resultados relativos ao primeiro ciclo, como na elaboração das provas. Participaram também especialistas acadêmicos, que se responsabilizaram pela coordenação e elaboração "de uma proposta inicial de 40 itens por série e disciplina, a partir dos quais seriam montados os testes de rendimento" (Brasil, 1995, p.13-4).

Em contraste com os objetivos dos dois primeiros ciclos e suas ênfases em aspectos processuais, os objetivos dos demais ciclos caracterizam-se pela ênfase em produção de resultados que possam contribuir para a monitoração da situação educacional brasileira e para subsidiar os formuladores de políticas públicas. Esse aspecto será retomado à frente, no contexto de nossa análise dos demais aspectos da estruturação do SAEB ao longo dos diversos ciclos e da influência do Banco Mundial na política educacional brasileira.

Séries, áreas e disciplinas avaliadas

Nos dois primeiros ciclos de aferição do SAEB foram incluídos na amostra alunos das 1ª; 3ª, 5ª e 7ª séries de escolas das redes públicas de ensino. A partir do terceiro ciclo, optou-se por avaliar as chamadas "séries conclusivas", constituídas pela 4ª e 8ª séries do ensino fundamental e pela 3ª série do ensino médio, ampliando-se o escopo da amostra de modo a incluir escolas da rede privada.⁷

Durante os dois primeiros ciclos do SAEB, as provas dos alunos abrangiam conhecimentos de Língua Portuguesa, Matemática e Ciências. No terceiro ciclo foram avaliadas as áreas de Língua Portuguesa e Matemática e no ciclo de 1997 foram acrescentadas as disciplinas de Física, Química e Biologia nas provas aplicadas aos alunos da 3ª série do ensino médio, além de Ciências para os alunos das 4ª e 8ª séries do ensino fundamental. Para o ano de 1999 está prevista a inclusão de testes de Estudos Sociais no ensino fundamental e de História e Geografia no ensino médio.

A priorização inicial das áreas de Línguas, Matemática e Ciências pode estar indicando a adoção de uma visão estreita da educação. A concentração da avaliação nas já mencionadas áreas atualiza a questão apontada por Torres (1996) e Lauglo (1997), que, ao tratarem da prioridade concedida pelo BM às habilidades cognitivas básicas concernentes à Linguagem, Matemática e Ciências, levantam o problema do reducionismo curricular presente nessa orientação.

Amostra

O SAEB promove avaliações da educação a partir de amostras complexas, representativas no nível estadual, dos estudantes brasileiros. Sob o ponto de vista das alternativas de política educacional, esta é uma característica importante, pois avaliações deste tipo, em contraste com as avaliações censitárias, não se prestam a desencadear políticas de financiamento de unidades escolares e de remuneração docente a partir dos resultados dos alunos em avaliações nacionais. Políticas deste tipo, subsidiadas por avaliações censitárias, foram parcialmente praticadas em passado recente na Inglaterra, no Chile e na Província de Mendonça (República Argentina). Os resultados negativos em termos da democratização da educação foram registrados, respectivamente para cada um dos casos mencionados, por Shuller (1997), Castro, Carnoy (1997) e Gentili (1994).

O quadro 2 resume informações quantitativas sobre as amostras do SAEB nos diversos ciclos.

Instrumentos contextuais

Durante o primeiro ciclo os instrumentos contextuais procuravam abordar questões relativas "à universalização (...) do ensino; valorização do magistério e democratização da gestão" (Brasil/INEP, s.d. [a]).

Esses eixos foram, por sua vez, traduzidos em três questões globais, a saber:

...em que medida as políticas adotadas nos planos estaduais, regionais e nacional, estão possibilitando o acesso (escolarização)? (Eixo: universalização). Quais as mudanças nas condições de trabalho e na competência pedagógica do professor? (Eixo: valorização do magistério). Em que medida a gestão educacional torna-se mais eficiente e democrática? (Eixo: democratização da gestão). (Idem, p.3-4)

Essas questões, decompostas em dimensões de análise específicas e referidas a indicadores, nortearam a elaboração dos instrumentos utilizados neste primeiro ciclo.⁸

No segundo ciclo, foram novamente examinados os dois aspectos contextuais abordados em 1990: gestão escolar e situação e competência do professor. Em decorrência de análises do ciclo anterior, os questionários destinados a levantar informações sobre esses aspectos foram reformulados, de modo a privilegiar aqueles relativos ao perfil e à prática de docentes e gestores (Brasil, 1995).

O questionário de gestão escolar foi dividido em cinco blocos e o do professor em seis. Em comum, os dois questionários contemplavam aspectos relativos à formação e experiência profissional, forma de ingresso e situação funcional de diretores e professores. O questionário sobre gestão escolar incluía ainda informações relativas a equipamentos, atividades e funcionamento da escola e estilo de gestão dos diretores. O questionário do professor solicitava informações sobre planejamento das atividades e prática docente, condições de trabalho e participação (Brasil, 1995, p.11-2).

O terceiro ciclo inovou positivamente ao incluir, no escopo dos instrumentos contextuais, questionários sobre as características socioeconômicas e culturais e sobre os hábitos de estudo dos alunos.⁹ Até a introdução desses instrumentos, o SAEB tinha tendido a valorizar apenas o papel das variáveis propriamente escolares – como a formação de professores e diretores, o estilo docente, o tempo dedicado ao ensino, a infra-estrutura escolar – subestimando o peso dos fatores socioeconômicos e culturais e a existência de relações estreitas entre fatores escolares e extra-escolares no desempenho do aluno.

Assim, pelas suas características, os dois primeiros ciclos do SAEB fizeram recair a ênfase da avaliação sobre as condições intra-escolares intervenientes no desempenho do aluno, tendendo a se distanciar do desenho de levantamentos ingleses e americanos, que tinham acumulado, durante as décadas de 60 e 70, um razoável conhecimento sobre o problema das desigualdades educacionais associado a fatores extra-escolares, cujos resultados enfatizavam a relação de fatores socioeconômicos e culturais sobre o fracasso e a evasão do aluno.¹⁰

Também parece ter havido pouco diálogo entre o SAEB e as conclusões das pesquisas internacionais desse período, já que são recorrentes na idéia de que as desigualdades no desempenho dos alunos estão mais fortemente correlacionadas com suas diferentes origens sociais e familiares do que com as diferenças pedagógicas e infra-estruturais existentes entre as escolas. Se, no avesso do proclamado, essas conclusões acabaram por desencorajar a efetivação das políticas de equalização escolar que os mencionados levantamentos supostamente visavam subsidiar, por outro lado contribuíram para o reconhecimento da necessidade de articulação da política educacional com políticas sociais de escopo mais amplo. Mesmo nos casos em que a literatura aponta que a escola pode fazer diferença nos resultados educacionais de seus alunos, as pesquisas consideram explicitamente os indicadores socioeconômicos, já que a comparação de resultados brutos é francamente enganosa (Salganik, 1994).

Os instrumentos contextuais do quarto ciclo continuaram a investigar o nível socioeconômico e os hábitos de estudo dos alunos, o perfil e as condições de trabalho de docentes e diretores e os tipos de escola e passaram a incluir indicadores sobre o grau de autonomia e sobre a matriz organizacional da escola. Já os aspectos relativos à infra-estrutura, espaço físico, instalações, equipamentos, recursos e materiais didáticos foram deslocados para o eixo da eqüidade na oferta educacional, dentro da dimensão "insumo" (Pestana, 1998).

Uma visão de conjunto dos instrumentos contextuais utilizados nos diferentes ciclos do SAEB nos permite afirmar que, mesmo após a introdução dos instrumentos sobre situação socioeconômica e hábitos de estudo dos alunos, esses instrumentos são ainda bastante precários para permitir um equacionamento satisfatório das influências extra-escolares no aproveitamento escolar dos alunos. Em particular, para os alunos de 4ª série do ensino fundamental, há altas taxas de não-resposta a questões relacionadas com nível socioeconômico.

Instrumentos cognitivos

O primeiro ciclo se caracteriza por ter adotado uma diretriz indutiva e uma perspectiva mais participativa na concepção e elaboração dos instrumentos cognitivos destinados a avaliar o desempenho dos alunos. Com efeito, os relatórios oficiais afirmam que, no processo de elaboração das provas destinadas aos alunos, baseou-se no que "efetivamente existia e era executado nas salas de aula" (Brasil, s.d. [a]).

Para tanto, tomou-se, como ponto de referência, pesquisa realizada, para o Ministério de Educação, pela Fundação Carlos Chagas em 20 cidades do país (Avaliação do Rendimento de Alunos de Escolas de 1º Grau da Rede Pública), servindo de base para a elaboração de uma bateria de testes objetivos de Português, Matemática e Ciências para as 5ª e 7ª séries, além de uma prova de redação.

Segundo o relatório preparado por pesquisadores da Fundação Carlos Chagas, na elaboração dos instrumentos:

...não se partiu de um currículo supostamente ideal, mas daquele efetivamente adotado pelo sistema e executado no dia-a-dia das atividades escolares (....). Participaram da estruturação dessa programação professores da rede oficial que procuraram definir os elementos desenvolvidos em atividades de aula indispensáveis na seqüência curricular. Desse modo, os diversos pontos identificados compuseram os programas mínimos (....). Os mesmos professores integraram uma equipe para a elaboração dos instrumentos de medida, os quais procuraram reproduzir o que fora efetivamente ministrado na escola de 1º grau. (Brasil, s.d. [a])

A perspectiva mais participativa adotada nesse ciclo, pode ser assim corroborada no envolvimento de equipes de professores e especialistas das secretarias estaduais de educação, que se responsabilizaram pela aplicação e posterior correção das provas, segundo instruções elaboradas pela Fundação Carlos Chagas, além das equipes de professores e especialistas que, em cada estado, foram envolvidos na validação local dos "conteúdos das provas" e na avaliação sobre se "os itens contidos nestas provas formavam parte do que se considerava conteúdo mínimo para a UF " (Brasil, s.d. [a], p.12).

Os resultados dessas validações específicas teriam sido levados em conta, "eliminando-se, na correção dos testes, aqueles itens que as equipes estaduais de especialistas julgaram não formar parte da série/conteúdo da disciplina analisada" (idem, p.13).

Já com relação ao segundo ciclo, as principais modificações realizadas referem-se à metodologia seguida no processo de elaboração das questões e itens dos testes de rendimento dos alunos, em que as diretrizes indutiva e participativa foram acrescidas da busca de consenso e legitimação junto às instituições acadêmicas.

O processo de reformulação dos testes de rendimento utilizados no primeiro ciclo teve início com as críticas e observações formuladas pelas equipes estaduais encarregadas de sua aplicação e posterior correção e com os pareceres específicos emitidos pelas equipes pedagógicas de secretarias estaduais de educação. Essas indicaram a necessidade de modificações das questões em aspectos tais como: a elaboração de itens que medissem outras habilidades além da memorização, o uso de vocabulário adequado às diversas regiões, a formulação de enunciados mais esclarecedores da tarefa proposta e o cuidado especial com as ilustrações, de modo a evitar distorções na interpretação.

Paralelamente, o MEC procedeu "ao levantamento das propostas curriculares sugeridas ou aplicadas pelas secretarias estaduais de educação" (Brasil, s.d. [a])¹¹, que "foram encaminhadas a especialistas da Universidade Federal de Pernambuco – UFPE¹², para elaboração de uma grade curricular sintética, que contemplasse os conteúdos comuns por série (1ª; 3ª; 4ª; 5ª, 7ª e 8ª) e disciplinas (Português, Matemática e Ciências) do 1º grau" (idem, p.13).

Novamente as secretarias estaduais de educação foram convocadas para a validação das "grades curriculares mínimas comuns", ocasião em que avaliaram separadamente cada conteúdo, indicando se o mesmo poderia ser considerado essencial, específico ou complementar. Os estados foram orientados no sentido de que a avaliação deveria ser realizada por especialistas em currículo nas áreas de Português, Matemática e Ciências e por professores com experiência em sala de aula. Ao todo, 23 estados remeteram os resultados da validação para a coordenação central do SAEB, o que possibilitou a montagem de uma matriz, pelo cruzamento de "fazer parte dos conteúdos mínimos" e "essencialidade do tema".

A participação das universidades se deu pela constituição de três grupos de especialistas, que tinham por função elaborar:

...uma proposta inicial de 40 itens por série e disciplina, a partir dos quais seriam montados os testes de rendimento.¹³ [...] Os grupos foram orientados a elaborarem questões semi-objetivas para a 1º e 3º séries e questões objetivas para a 5ª e 7ª séries, com 5 alternativas de respostas cada uma. (Brasil, s.d. [a], p.13-4; Brasil, 1995)

O documento relata ainda que foi realizada uma pré-testagem dos 40 itens de Portu-guês e Matemática nas escolas de aplicação da Universidade Federal de Minas Gerais – UFMG – e da Universidade Estadual de Londrina – UEL, com o objetivo de testar a clareza do enunciado e o nível de dificuldade da questão, seguida de um processo de ajustes e reformulações.

Os especialistas também participaram, junto com professores das três disciplinas citadas, na "seleção daqueles (itens) que comporiam os testes definitivos, [e] definiram o número de questões que constituiriam cada teste: 30 para as de 5ª e 7ª séries e 20 para as de 1ª e 3ª séries" (Brasil, s.d. [a], p.13-4). No plano da avaliação de desempenho, esses testes visavam verificar se os alunos tinham adquirido os conceitos básicos constantes do programa e se eram capazes de aplicá-los em assuntos relevantes do seu dia-a-dia¹⁴.

No terceiro ciclo houve alterações substanciais na forma de execução do SAEB, que se colocam na perspectiva da terceirização, junto a instituições privadas, tanto da elaboração das provas aplicadas aos alunos, como da condução do processo de aplicação dos testes e de análise dos resultados. Nesse novo enquadramento institucional, o SAEB tem concorrido para a secundarização, quando não para o abandono, da perspectiva mais participativa e indutiva adotada nos ciclos anteriores. Com efeito, segundo relato de Fontanive (1997, p.36), em 1995:

...o SAEB foi conduzido pelas Fundações Carlos Chagas e CESGRANRIO, que, em convênio com o MEC, se responsabilizaram pela seleção da amostra, elaboração dos itens e confecção dos cadernos de teste, padronização e elaboração de manuais e vídeo de treinamento do procedimento de aplicação dos instrumentos – provas, questionários e formulários – distribuição dos materiais às sedes das secretarias estaduais de educação, processamento e análise dos resultados".

Acrescentamos a este relato que as referidas fundações se responsabilizaram também pela definição das matrizes de conteúdo que serviram de base para a confecção dos itens.

Durante este ciclo, muito embora o documento que apresentou os resultados fizesse menção ao processo de construção de uma matriz de referência para a elaboração dos itens de provas (Brasil, s.d. [c]; Brasil, 1995), a Fundação CESGRANRIO já desenvolvia, com apoio financeiro da Fundação FORD, a construção de um banco de questões calibrado segundo a Teoria da Resposta ao Item – TRI¹⁵. O MEC teria se interessado pela experiência e, a partir dela, teria introduzido uma série de inovações no Sistema de Avaliação do Ensino Básico, utilizando uma parcela desse banco nas provas nacionais de Matemática e Língua Portuguesa da 8ª série do ensino fundamental e nas da 3ª série do ensino médio, enquanto os itens aplicados nas 4ª séries foram elaborados pela Fundação Carlos Chagas, que também já vinha construindo um banco de itens.¹⁶ Tal cenário sugere que a construção da matriz para o SAEB-95 foi, ao menos parcialmente, influenciada pelos itens pré-existentes.

Sobre o quarto levantamento do SAEB, acontecido em 1997, é possível dizer que ele manteve a maior parte das características presentes no ciclo de 1995. No entanto, o Instituto Nacional de Estudos Pedagógicos – INEP – procurou resgatar parte do poder de formulação e controle em relação às definições sobre o que o SAEB avalia, o que se materializou na elaboração, no âmbito do INEP e com a contribuição de assessores, das matrizes curriculares de referência do SAEB. Já os serviços técnicos de apoio à realização das diversas faces do ciclo foram licitados, em contraste com o terceiro ciclo, quando houve dispensa de licitação. Além disso, instituiu-se um processo de validação empírica dos itens preparados e esses passaram a ser propriedade do MEC.

No plano da concepção dos instrumentos cognitivos, a nova etapa aberta pelo SAEB-97 parece se caracterizar pelo abandono da perspectiva conteudista que fundamentou a elaboração das provas destinadas a aferir o desempenho educacional dos alunos nos três primeiros ciclos, em favor de um desenho que passa a associar a aprendizagem de conteúdos à aquisição de habilidades e competências cognitivas, tidas como passíveis de medição pelo tipo de testes aplicados.¹⁷

Sugestivamente, a elaboração das matrizes curriculares de referência, que consubstanciam a mudança na concepção das provas dos alunos, se faz dentro de uma preocupação crescente com o estabelecimento de padrões de rendimento e com uma orientação da avaliação para a obtenção de resultados. Não pode passar despercebido que esta nova orientação, sobre o que o SAEB avalia ou deve avaliar, vá ao encontro das preocupações do Banco Mundial, em termos da necessidade de que os sistemas educacionais estabeleçam uma especificação clara de objetivos e um maior monitoramento dos resultados e insumos, como forma de permitir mais autonomia às escolas e um acompanhamento direto pelos usuários (Lauglo, 1997, p.12).

Do ponto de vista do processo, o ciclo de 1997 do SAEB se caracteriza por ter concentrado numa única fundação grande parte do processo de formulação dos itens e o conjunto de etapas concernentes à aplicação das provas e à análise dos resultados.¹⁸ Foi essa fundação quem se incumbiu da elaboração dos itens Língua Portuguesa, Matemática e Ciências, que passaram a compor o banco de itens do MEC, responsabilizando-se também pela sua pré-testagem em dez capitais brasileiras. Entretanto, as provas foram preparadas pelo MEC, a partir do conjunto de itens pré-testados que faziam parte do banco.

Com as provas já prontas, a Fundação CESGRANRIO se encarregou da preparação dos cadernos de testes e de sua aplicação a uma amostra de mais de 200 mil alunos definida pelo MEC, da preparação dos coordenadores estaduais e da análise dos resultados obtidos com a aplicação dos testes.

Influência do Banco Mundial

Conforme já foi registrado neste artigo, a origem do SAEB relaciona-se com demandas do Banco Mundial. Embora os ciclos de avaliação de 95 e 97 tenham sido os primeiros financiados com verba oriunda de empréstimos do Banco Mundial, não é possível deixar de registrar o papel indutor da política de avaliação exercido pelo Banco Mundial desde o primeiro ciclo de 1990. Neste ponto, vale a pena ressaltar que o processo de implantação do SAEB esteve, desde o início, marcado pela existência de divergências entre os técnicos do MEC e do Banco Mundial e que tais divergências foram responsáveis, em parte, tanto pela falta de empréstimos financeiros durante os dois primeiros ciclos, como pelas mudanças acontecidas no desenho do SAEB a partir de 95.

Documento de circulação restrita, elaborado por uma comissão especial designada para encaminhar o estabelecimento do sistema de avaliação¹⁹, revela que, na origem do SAEB, enquanto os técnicos do INEP:

...defendiam um desenho organizacional descentralizado de execução, mas com um core diretivo e técnico institucionalmente estruturado no Ministério e nas secretarias, que supervisionasse o desenvolvimento do sistema e assegurasse a integração avaliação-formulação de políticas públicas,

os técnicos do Banco Mundial

...propugnavam, com base em estudos feitos em alguns países da América Latina, uma organização em que o Ministério apenas definiria e controlaria o alcance dos objetivos gerais de avaliação e licitaria, entre organizações não-lucrativas, a execução de todas as atividades do programa. (Brasil, 1994, p.6)

Ainda de acordo com o documento, à época:

...chegou-se a um termo conciliatório algo arriscado. Um dos projetos do subcomponente nacional dedicado à avaliação educacional [deverá] apoiar o desenvolvimento do SAEB, sob a condição de que [atenda] alguns critérios de avaliação de desempenho do projeto estabelecidos por um comitê de especialistas. Seguiriam o molde licitatório os demais projetos, como o de desenvolvimento de centros de excelência em avaliação e o de desenvolvimento de recursos humanos. (Idem, p.9)

É interessante assinalar que o documento, produzido ao apagar das luzes da gestão de Murilo de Avellar Hingel como Ministro da Educação, contém a proposta de uma estrutura para o SAEB distinta daquela implantada a partir da mudança de governo. No mencionado documento é clara a tentativa de garantir para os outros níveis e órgãos do sistema educa-cional um padrão menos subordinado ao MEC e mais ativo no desenho político institucional e na condução do sistema de avaliação. Para tanto, o documento propõe a criação de um Conselho Diretor, do qual participariam os órgãos do MEC responsáveis pelas políticas de qualidade da educação básica, as entidades representativas das administrações municipais e estaduais de ensino e as universidades, enfatizando que tanto melhor seria se esse conselho incluísse também representantes dos agentes educativos e da sociedade civil (idem, ibidem).

Essa proposta é justificada tanto como forma de reduzir a sobrecarga de tarefas concentradas no INEP quanto como modo de institucionalizar equipes estaduais e locais,

...até o momento marginalmente situadas nos órgãos de planejamento ou de estatísticas educacionais, quando não isoladas em algum ponto das secretarias. [Como] "nelas se encontram os poucos técnicos treinados para essas atividades, o risco de desarticulação e de evasão aumenta a cada mudança de dirigentes. (Idem, ibidem)

Esse documento deu origem, em 27 de dezembro de 1994, à Portaria n. 1.795 que formaliza a criação do SAEB e propõe uma estrutura de funcionamento do sistema em consonância com o espírito do texto da Comissão Especial.²⁰ Com a mudança de governo, a política de institucionalização e operação do SAEB desenvolve-se em termos muito distintos daqueles propostos pelo MEC no final de 1994. O INEP é reestruturado de modo a poder centralizar a formulação e implementação das atividades de avaliação e o SAEB 95 desenvolve-se a partir da terceirização de diversos serviços, que ficaram a cargo das fundações CESGRANRIO e Carlos Chagas. Com relação à mencionada polêmica sobre os modos de institucionalizar e operacionalizar o sistema de avaliação, é inegável que a mudança de governo de 1995 viabilizou decisões alinhadas com a visão dos técnicos do Banco Mundial. Na conclusão deste artigo retomaremos o ponto de modo a avaliar as conseqüências dessas decisões.

Os resultados ao longo dos diferentes ciclos: o que eles nos dizem sobre o SAEB

Conforme apresentado no presente artigo, o SAEB coleta dados sobre os alunos incluídos na amostra, seus professores, diretores e escolas. O desenho de pesquisa é bastante usual em pesquisas educacionais de levantamento. Seu principal potencial é o de permitir análises que façam uso integrado de dados obtidos em diferentes questionários pelo uso dos modelos estatísticos adequados. Um exemplo típico deste veio de análise é a construção de modelos que descrevam a proficiência dos alunos nos testes em razão de indicadores rela-cionados com a origem social dos alunos, seus hábitos de estudos, as características de seus professores e de suas escolas. Por certo, a modelagem dos dados não invalida que análises mais simples sejam desenvolvidas e divulgadas. Até o momento, quase todo o esforço analítico e interpretativo efetuado com dados do SAEB foi de análises baseadas em técnicas de estatística descritiva simples, tais como tabulações e análises bivariadas. Retomaremos o tema mais à frente, no contexto de nossa discussão de balanço das potencialidades e limitações das análises conduzidas. Antes disto, será conveniente considerarmos o foco das análises apresentadas nos relatórios técnicos dos diversos ciclos do SAEB. Argumentaremos que a identificação dos aspectos presentes e ausentes nas análises ajudam a entender o processo de institucionalização do SAEB.

Quanto à análise dos resultados do primeiro ciclo do SAEB, foram produzidas tabulações dos resultados médios por regiões e estados (Brasil, s.d. [a]). Os instrumentos do primeiro ciclo não incluíam itens que permitissem identificar a origem social do aluno, não sendo possível, portanto, desenvolver análises que balizassem os resultados de proficiência em razão das características socioeconômicas dos alunos. Os instrumentos dos professores e diretores eram bastante detalhados e o relatório apresentava tabulações simples desses dados e análises bivariadas que exploravam relações entre resultados de proficiência dos alunos com características do estilo de diretores e professores. As limitações inerentes a essas análises bivariadas são bem conhecidas na literatura e estão relacionadas ao fato de que as associações encontradas são, tipicamente, mediadas pela inter-relação das variáveis consideradas explicitamente nas análises bivariadas com outras variáveis. Por esta razão, os resultados das análises bivariadas não podem ser tomados como algo além de esforços de conhecimento dos dados e fontes de hipóteses a serem testadas posteriormente. Por isso, optamos por não privilegiar a apresentação dessas análises bivariadas em nossa discussão dos resultados dos diversos ciclos.

Apesar das referidas limitações, as interpretações dos resultados fornecem subsídios importantes para a compreensão do modo pelo qual pretendia-se que a avaliação do sistema educacional contribuiria para as políticas públicas. Particularmente relevante para o nosso propósito aqui são os resultados referentes ao perfil dos diretores. O mencionado relatório aponta o perfil relativamente jovem do diretor do ensino público de 1º grau, cuja média de idade se situa nos 37 anos, destacando que, embora predomine a formação de nível superior completo, os diretores apresentam baixos índices de formação específica em administração escolar. Registra, também, que a média salarial mensal dos diretores é de U$ 443, sendo a forma mais comum de acesso ao cargo a indicação de técnicos e políticos, em detrimento de mecanismos de seleção "formais e normatizados" (Brasil, s.d. [a], p.70).

É sobre a prática administrativa dos diretores que o documento tece as considerações mais sugestivas. O documento declara ser essa prática bastante diversificada, o que sugeriria:

...a incorporação de princípios das várias tendências e teorias que influenciam a administração em geral [...] principalmente as calcadas na divisão entre quem decide e quem executa e entre trabalho intelectual e trabalho manual, [que] tendem a produzir [...] uma racionalidade organizacional aparente, em detrimento do aspecto pedagógico, provocando a deturpação, e mesmo o esquecimento, dos objetivos da organização escolar. (Idem, p. 70)

Nesse sentido, o documento destaca que se a maior parte dos diretores vê como principal função da direção garantir a eficiência da organização escolar e a adequação do trabalho pedagógico à realidade dos alunos, menos de 1% dos diretores reconhecem como importante a garantia do desenvolvimento dos conteúdos programados.

Na análise do documento:

...esses dados podem estar indicando que o conceito de eficiência utilizado pelos diretores é questionável, pois está muito mais vinculado ao desempenho do próprio diretor do que ao da organização escolar, em termos de seus objetivos fundamentais (que podem ser sintetizados na aprendizagem dos alunos. (Idem, ibidem)

Tal visão estaria apontando que ainda é pouco disseminada a percepção da função pedagógica da direção.

Dessa falta de valorização da função pedagógica por parte da direção escolar, decorreriam o distanciamento entre o ideário e a prática dos administradores escolares" e a pouca clareza existente quanto aos "reais objetivos da escola". Isso explicaria o fato de os diretores "atribuírem o fracasso escolar a fatores externos à escola, tais como a miséria da população, a falta de apoio das famílias dos alunos e a estrutura e funcionamento do sistema educacional (idem, ibidem).

As soluções apontadas pelos diretores para solucionar esses problemas aparecem vinculadas "à reorientação da atuação dos professores, à reorganização da escola para melhorar seu atendimento e a mudanças das condições de vida da população" (idem, ibidem).

Sobre essas afirmações, o documento conclui:

...a administração da escola se concretiza, portanto, como uma prática exterior ao processo educacional em que o desempenho da direção e o funcionamento administrativo da escola aparecem como funções prioritárias, em que é maior a preocupação com aspectos formais, em detrimento dos aspectos substantivos, quais sejam, processos pedagógicos, conteúdos e papel da escola, denotando ausência de responsabilidade pelos processos e produtos que são gerados. (Idem, ibidem)

Com relação ao questionário dos professores, o relatório identifica que esses "ainda concebem sua prática pedagógica num plano essencialmente técnico, desvinculando-a da totalidade social". Essa desvinculação, segundo o documento, estaria revelando que nem a formação escolar do professor, em todos os níveis, nem a formação em serviço estariam oferecendo "os fundamentos teórico-práticos para uma atuação competente" (idem, p.101). Por essa via, chega-se à conclusão de que os professores, assim como os diretores, acabam "eximindo-se da responsabilidade pelo problema" do rendimento dos alunos (idem, ibidem).

O documento extrai conclusões que, apoiadas em literatura de ampla difusão no campo educacional, operam dentro de uma dupla crítica: ao tecnicismo e ao reprodutivismo em educação. Com efeito, por um lado, é possível perceber que o documento apresenta uma crítica à visão e às condições do funcionamento da escola, auspiciadas pelo tecnicismo na década de 70, materializadas na introdução da racionalização do processo educativo, no parcelamento do trabalho pedagógico e na especialização de funções. A sedimentação institucional e teórica dessa perspectiva teria operado no sentido de relegar os professores e, principalmente, os diretores à condição de executores de processos pedagógicos meramente técnicos, retirando-lhes a iniciativa e a capacidade de perceber as relações que se estabelecem entre os aspectos técnicos e as dimensões pedagógica e política da prática educativa. Por outro lado, as conclusões revelam uma crítica à visão dos diretores e professores acerca da necessidade de uma mudança prévia nas condições sociais e econômicas de vida da população para ser possível a oferta de uma escola mais eficiente e capaz de garantir a aprendizagem dos alunos. É interessante notar que, coerentemente ao destaque dado pelo SAEB às condições intra-escolares, as conclusões desse ciclo não resgatam a que talvez seja uma das contribuições mais importantes das teorias da reprodução. De fato, é a partir da ênfase que coloca nas determinações sociais do fenômeno educativo e no papel da escola na reprodução da sociedade que o reprodutivismo contribuiu positivamente para revelar a natureza seletiva da escola. Entretanto, nas conclusões que o relatório deriva da discussão dos resultados obtidos nos questionários de diretores e professores, o documento se reporta apenas ao fato de professores e diretores estarem informados por teorias e tendências que teriam servido para introduzir um sentimento de impotência acerca de sua própria capacidade para transformar as condições de funcionamento da escola e os baixos níveis de desempenho escolar.

Em síntese, a ausência no primeiro ciclo de avaliação de instrumentos que produzissem indicadores socioeconômicos, a ênfase em análises e interpretações que focalizavam associações entre proficiência e características de professores e diretores e a qualificação desmobilizadora atribuída às concepções mantidas por parcelas de docentes acerca do papel desempenhado pelos fatores extra-escolares na educação revelam o otimismo pedagógico dos gestores do Sistema de Avaliação da Educação Básica.

Em suas linhas gerais, o relatório do segundo ciclo do SAEB produz resultados bastante semelhantes ao do primeiro ciclo. Embora o estilo do relatório seja mais técnico e colado aos resultados quantitativos obtidos, com a conseqüente supressão ou diminuição de interpretações como aquelas mencionadas no caso do primeiro ciclo, ainda está presente o otimismo em relação ao potencial do compromisso pedagógico para a melhoria da qualidade da educação (Brasil, 1995).

Os resultados do terceiro ciclo do SAEB trouxeram um conjunto de novidades importantes (Brasil, s.d.[d]). Embora tenham sido publicados diversos resultados de análises bivariadas, passou-se a ter clareza acerca dos limites deste tipo de procedimento, conforme registrado no próprio relatório do SAEB:

...temos de reconhecer que a realidade educacional é bem mais complexa que este modelo estatístico simples, razão pela qual seria recomendável a utilização de modelos de análise multivariados. [Além disso] No campo educacional apresenta-se uma hierarquia de níveis organizacionais (alunos, turmas, escolas, municípios, UF, etc.) que as técnicas, inclusive as multivariadas tradicionais, ignoram, tornando aconselhável a utilização de métodos de análise multinível (ou hierárquica). (Brasil, s.d. [e], p.13)

A segunda alteração digna de registro foi a produção de escalas de proficiência que permitiam a interpretação educacional das habilidades e competências associadas a diversos pontos da escala. Essa inovação, propiciada pela já mencionada introdução da Teoria de Resposta ao Item, não é livre de controvérsia uma vez que a correta interpretação das habilidades e competências é um objetivo complexo e que só pode ser garantido a partir de um processo de estabilização em sucessivos exercícios de avaliação (Gaviria, Klein, s.d.). Além disso, a adequada interpretação dos diversos escores da escala pressupõe a boa qualidade e adequação dos testes ao perfil dos alunos. Com relação ao SAEB 95, é necessário considerar que alguns dos testes – em particular os de Matemática nas séries mais avançadas – foram extremamente difíceis para os alunos, fator que, por certo, irá dificultar a estabilização da escala e a segurança de sua interpretação educacional. Mesmo considerando-se as men-cionadas limitações, é importante registrar que, a partir do SAEB 95, começa-se a interpretar de um modo mais significativo as diferenças educacionais das diversas regiões geográficas brasileiras com base nos resultados médios dos alunos. No entanto, deve-se ter clareza que tais diferenças apuradas a partir dos resultados brutos dos alunos, sem controle de fatores extra-escolares que influenciam os resultados escolares, não podem ser interpretadas como medidas de diferenciais de qualidade das diversas redes de ensino.

O relatório do SAEB 97 (Brasil, s.d.) ainda não incorporou aquelas técnicas estatísticas adequadas para a modelagem estatística dos dados do SAEB, já reclamadas no relatório do SAEB 95. No entanto, pode-se apurar, pela participação de um dos autores deste artigo em reuniões técnicas relacionadas com o SAEB, que esforços neste sentido estão sendo desenvolvidos. As análises bivariadas, apesar das limitações já discutidas, foram desenvolvidas em todos os ciclos do SAEB, e a repetição à exaustão de alguns resultados convergentes fizeram com que fossem gradativamente incorporadas aos esquemas conceituais dos formuladores de políticas públicas, a despeito da provisoriedade ou precariedade dos achados.

A apresentação dos resultados de 97, em consonância com os aspectos positivos já registrados no ciclo anterior, dá seguimento à perspectiva de interpretação educacional das escalas de proficiência, além de avançar na busca de equacionar o tema da comparabilidade dos resultados ao longo dos anos. Registre-se ainda que o relatório de 1997 é mais cuidadoso que os anteriores ao tratar da significância estatística das análises apresentadas. A perspectiva de comparabilidade estava delineada desde 1995 e, no caso brasileiro, está ancorada na adoção da Teoria de Resposta ao Item e no conjunto de iniciativas a ela relacionadas que objetivam construir e manter um banco de itens calibrados de acordo com os pressupostos da mencionada teoria. Para efetivar a comparação, optou-se por tomar-se como referência a escala de 1997, transportando-se os resultados de 1995 para a nova escala. Deve ser registrado que a comparabilidade dos resultados ao longo de diferentes ciclos é assunto bastante complexo, envolvendo temas não só de medidas educacionais como de amostragem e de realização do plano amostral na pesquisa de campo. Embora não haja ainda condições de avaliar se as decisões tomadas na comparação dos resultados de 1995 e 1997 – em especial a tomada da escala de 1997 como referência – devem ser mantidas no futuro, pode-se afirmar que o equacionamento do tema da comparabilidade ao longo do tempo foi um desenvolvimento importante, já que o monitoramento da qualidade da educação brasileira é um dos objetivos do SAEB.

CONCLUSÕES

Tendo discutido as características do SAEB ao longo dos diversos ciclos, optamos por concluir com um balanço dos aspectos que são mais bem captados a partir de uma visão de conjunto dos diversos ciclos do SAEB.

Primeiramente consideramos a modificação ao longo dos ciclos nos objetivos do SAEB, que se deslocaram da criação de uma cultura de avaliação no âmbito dos órgãos gestores das redes de ensino para a prioridade em monitorar as políticas e a qualidade da educação. Essa modificação guarda estreita relação com alterações na estrutura organizacional e operacional do SAEB, transitando de uma operação mais descentralizada e com participação relativamente intensa das secretarias estaduais de educação para um esquema mais centralizado e baseado na terceirização de uma série de atribuições operacionais. Embora reconheçamos que o desenvolvimento ocorrido viabilizou algumas soluções tecnicamente sólidas para a operacionalização do SAEB, faz-se necessário registrar que as opções assumidas têm implicações regressivas em termos da dissociação das instâncias de gestão e avaliação da educação, o que pode levar os próprios órgãos gestores das redes de educação a manifestarem tendência de não se reconhecerem nos resultados do SAEB. A mencionada dissociação entre gestão e monitoração da qualidade, no caso brasileiro estimulada pelos técnicos do Banco Mundial, é uma tendência em franco declínio no cenário empresarial. Ao invés de contradizer a convicção do Banco Mundial acerca da conveniência de incorporação de mecanismos de mercado e técnicas gerenciais usuais no cenário empresarial na gestão dos sistemas educacionais, a visão dos técnicos do banco sobre a terceirização dos procedimentos relacionados com a avaliação é um indicador da adesão do banco a noções defasadas de controle de qualidade.

Em contraste com os diferentes nuances dos objetivos do sistema de avaliação e suas repercussões operacionais, o SAEB permaneceu estável quanto ao caráter amostral da pesquisa. Tal configuração do SAEB o distingue das iniciativas relacionadas com as "reformas educacionais baseadas em avaliação" (Linn, 1995), perspectiva segundo a qual a avaliação do conjunto da população estudantil é um elemento que organiza, acelera e homogeneíza mudanças em áreas tais como currículo e carreira docente. Essa perspectiva tem sido criticada devido a problemas relacionados a excessos em custos, intrusividade e homogeneidade (Jones, 1997), o que nos leva, por um lado, a valorizar o desenho amostral do sistema de avaliação brasileiro e, por outro lado, a questionar as críticas à própria existência da avaliação a partir de analogias com situações de países ou regiões que assumiram propostas de avaliação censitárias. É nosso ponto de vista que a avaliação da educação brasileira é mais do que um projeto particular de um grupo político ou de um governo. Ela atende demandas muito variadas, de gestores educacionais e, em sentido mais amplo, de diversos setores da sociedade. Por isso, veio para ficar. Se este artigo estimular a comunidade acadêmica da área de educação a considerar o SAEB como uma instância capaz de ajudar os pesquisadores a entender a educação brasileira, nós teremos atingido nossos objetivos.

• BARROSO, C. L. M., MELLO, G. N. O acesso da mulher no ensino superior brasileiro. Cadernos de Pesquisa, n.15, p.47-77, dez. 1975.
• BESSA, N.M. Alunos do curso colegial: planos e características sócio-econômicas. Rio de Janeiro: FGV, 1971.
• BLACK, P. J. Performance assessment and accountability: the experience in England and Wales. Educational evaluation and policy analysis. 1994.v.16, p.191- 203.
• BOMENY, H. [org.] Avaliação e determinação de padrões na educação latino-americana: realidades e desafios. Rio de Janeiro: FGV, 1997.
• BOURDIEU, P., PASSERON, J.C. A Reprodução. Rio de Janeiro: Francisco Alves, 1975.
• ________. Les Héritiers: les étudiant et la culture. Paris: Éditions de Minuit, 1964.
• BOWLES, S., GINTIS, H. Schooling in capitalist America. New York: Basic Books, 1976.
• BOWLES, S., LEVIN, H. The Determinants of scholastic achievement: an appraisal of some recent evidence. Journal of Human Resources, v.3, p.3-24, 1968.
• BRANDÃO, Z., BAETA, A. M., ROCHA, A. Evasão e repetência no Brasil: a escola em questão. Rio de Janeiro : Achiamé, 1983.
• BRASIL. Ministério da Educação e Cultura. Políticas públicas de qualidade educacional: sistema de monitoramento e avaliação. Comissão Especial constituída pela Portaria de 8 de novembro de 1994, em cumprimento à MP n. 711/94, 1994.
• ________. Portaria n. 1.795, de 27 de dezembro de 1994, dispõe sobre a criação do Sistema Nacional de Avaliação.
• BRASIL. Ministério da Educação e Cultura. IICA. Proposta de Avaliação do Programa de Educação Básica para o Nordeste VI Acordo, 1988. (mimeo)
• BRASIL. Ministério da Educação e Cultura. INEP. Matrizes curriculares de referência para o SAEB Brasília, 1997.
• ________. Perfil e resultados do projeto Brasília, s/d. [a] (mimeo)
• ________. Primeiros Resultados SAEB 97 Brasília, s.d.
• ________. Relatório final Brasília, s.d. [e].
• ________. Relatório do 2º ciclo do Sistema Nacional de Avaliação da Educação Básica, SAEB _ 1993. Brasília, 1995.
• ________. Resultados do SAEB/95: a escola que os alunos freqüentam. Brasília, s/d [b].
• ________. Resultados do SAEB/95: escalas de proficiência, Brasília, s/d [d].
• ________. Resultados do SAEB/95: resultados estaduais. Brasília, s/d [c].
• BRASIL. PNUD. Projeto do Sistema Nacional de Avaliação da Educação Básica. Brasília, 1992. [BRA/92/002/A/01/99.]
• CAMPOS, D.M.S. Que fatores são responsáveis pela reprovação na escola primária brasileira? Rio de Janeiro : MEC, 1960.
• CARVALHO, J. C. B., KAPPEL, M. D. A educação fundamental: censo domiciliar de 1996 como parâmetro para o Plano Nacional de Educação 1998-2007. Rio de Janeiro, 1997. (mimeo)
• CASTRO, C.D., CARNOY, M. Como anda a reforma da educação na América Latina? Rio de Janeiro: FGV, 1997.
• CASTRO, C., FLETCHER, P. Mitos, estratégias e prioridades para o ensino de 1º grau. Estudos em Avaliação Educacional, n.8, p.39-56, dez. 1993.
• CASTRO, C., SANGUINETTY, J. Custos e determinantes da educação na América Latina. Rio de Janeiro: INTED, 1978.
• CENTRAL ADVISORY COUNCIL FOR EDUCATION, CHILDREN AND THEIR SCHOOLS. Plowden Report. H.M.S.O., 1967.
• COLEMAN, J.S. et al. Equality of educational opportunity. Washington: U.S. Government Printing Office, 1966.
• CORAGGIO, J.L. Propostas do Banco Mundial para a educação: sentido oculto ou problemas de concepção? In: TOMMASI, L. De, WARDE, M.J., HADDAD, S. (org.) O Banco Mundial e as políticas educacionais. São Paulo: Cortez, p.75-123, 1996.
• CUNHA, L. A. Educação e desenvolvimento educacional no Brasil. 11.ed., Rio de Janeiro: Francisco Alves, 1989.
• ________. Educação, Estado e democracia no Brasil. São Paulo: Cortez, 1991.
• ENGUITA, M.F. O Discurso da qualidade e a qualidade do discurso. In: GENTILI, P., SILVA, T.T., Neoliberalismo, qualidade total e educação. Petrópolis: Vozes, p.93-110, 1994.
• FERNANDES, C. O. A Construção do currículo na escola pública: a interação de propostas curriculares oficiais com o projeto educativo de uma unidade escolar. Rio de Janeiro, 1997. Dissert. (mestr.) PUC-Rio.
• FLETCHER, P. R. SAEB: relatório técnico sobre a amostra de 1995. São Paulo, 1996.
• FLETCHER, P., RIBEIRO, S.C. O Ensino de 1º grau no Brasil hoje. Em Aberto, v.6, n.33, p.1-10, jan.-mar. 1987.
• FONTANIVE, N.S. Avaliação em larga escala e padrões curriculares: as escalas de proficiência em matemática e leitura no Brasil. In: BOMENY, H. (org.). Avaliação e determinação de padrões na educação latino-americana: realidades e desafios. Rio de Janeiro: FGV, p.31-46, 1997.
• FORQUIN, J.C. [org.] Sociologia da educação: dez anos de pesquisa. Petrópolis/RJ: Vozes, 1995.
• GATTI, B. Avaliação educacional no Brasil: experiências, problemas, recomendações. Estudos em Avaliação Educacional, n.10, p.67-80, jul.-dez. 1994.
• ________. O Rendimento escolar em distintos setores da sociedade. Estudos em Avaliação Educacional, n.7, p.95-112, jan.-jun. 1993.
• GAVIRIA, José L., KLEIN, R. Precauciones en la intepretación de los resultados de SAEB. s.l.p., s.d. (mimeo)
• GENTILI, P. O discurso da 'qualidade' como nova retórica conservadora. In: GENTILI, P., SILVA, T.T. Neoliberalismo, qualidade total e educação. Petrópolis: Vozes, p. 111-77, 1994.
• ________. Neoliberalismo e educação: manual do usuário. In: GENTILI, P., SILVA, T.T. (org.) Escola S.A.: quem ganha e quem perde no mercado educacional do neoliberalismo. Brasília : CNTE, p.9-49, 1996.
• GOLDBERG, M. A. et al. Seletividade sócio-econômica no ensino de 1º grau. Rio de Janeiro: Achiamé, 1981.
• GOLDSTEIN, H., SPIEGELHATER, D.J. League tables and their limitations: statistical issues in comparisons of institutional performance. Journal of Royal Statistics Society, A, n.159, p.385-443, 1996.
• GOUVEIA, A.J. Desigualdades no acesso à educação de nível médio. Revista Brasileira de Estudos Pedagógicos, v.48, n.105, p.32-43, 1967.
• HARBISON, R.W., HANUSEK, E.A. Educational performance of the poor. New York : Oxford University Press, 1992.
• HEDGGS, L.V., LAINE, R.D., GREENWAD, R. Does money matter? A meta-analysis of studies of the effects of differential school inputs on student outcomes. Educational Researcher. v.23, n.3, p.5-14, 1994.
• HUSEN, T. Social influences on eduactional attainment. Center for Educational Research and Information _ CERI/OCDE, 1975.
• JONES, L.V. National tests and education reform: are they compatible? Princeton, N.J.: Educational Testing Service, 1997.
• KLEIN, R., RIBEIRO, S. C. O censo educacional e o modelo de fluxo: O problema da repetência. Revista Brasileira de Estatística, v.52, p.5-45, 1991.
• LACERDA, E.R. Determinantes sócio-econômicos do rendimento e atraso escolar. Rio de Janeiro, 1979. Dissert. (mestr.) PUC-Rio.
• LANGONI, C. As causas do crescimento econômico do Brasil Rio de Janeiro: APEC, 1974.
• LAUGLO, J. (1997) Crítica às prioridades e estratégias do Banco Mundial para a educação. Cadernos de Pesquisa, n.100, p.11-36, mar. 1997.
• LEE, E.S., FORTHOFER, R.N., LORIMOR, J.L. Analyzing complex survey data. Londres: Sage, 1989.
• LINN, R. L. Assessment-based reform: challenges to educational measurement. Princeton, N.J.: Educational Testing Service, 1995.
• LOCKHEED, M. Contexto internacional para avaliações. In: BOMENY (org.). Avaliação e determinação de padrões na educação latino-americana. Rio de Janeiro: Fundação Getúlio Vargas, 1997.
• MAINARDES, J. A Promoção automática em questão: argumentos, implicações e possibilidades. 1994. [Trabalho apresentado na Reunião Anual da ANPEd, Caxambu.]
• MELLO, G.N. As condições intra-escolares na determinação da seletividade do ensino de 1º grau: um problema de pesquisa. In: GOLDBERG, M. A. et al. Seletividade sócio-econômica no ensino de 1º grau. Rio de Janeiro: Achiamé/ANPEd, 1981. p.15-25.
• MOREIRA, A.F.B. Neoliberalismo, currículo nacional e avaliação. In: SILVA, L.H., AZEVEDO, J.C. (org.) Reestruturação curricular: teoria e prática no cotidiano da escola. Petrópolis: Vozes, p.94-107, 1995.
• ________. Parâmetros curriculares nacionais: críticas e alternativas. In: SILVA, T.T., GENTILI, P. (org.) Escola S.A.: quem ganha e quem perde no mercado educacional do neoliberalismo. Brasília : CNTE, p. 128-49, 1996.
• ________. Os Parâmetros curriculares nacionais em questão. Educação & Realidade, Porto Alegre, v.21, n. 1, jan.-jun., p.10-11, 1996.
• PERRENOUD, P. Práticas pedagógicas, profissão docente e formação: perspectivas sociológicas. Lisboa: Publicações Dom Quixote. Instituto de Inovação Educacional, 1993.
• PESSOA, G.C.P., SILVA, P.L.N., DUARTE, R.P.N. Análise estatística de dados por amostragem; problemas no uso de pacotes padrões. Relatório Técnico _ IBGE, 1997.
• PESTANA, M. I. O Sistema de avaliação brasileiro. Revista Brasileira de Estudos Pedagógicos. Brasília, v.79, n.191, p.65-73, jan.-abr. 1998.
• PEYRE, C. L'Origine sociale des élèves de l'enseignement secondaire en France. In: NAVILE, P. École et Societé, 5, Paris: Librairie Marcel Rivière, 1959.
• REIMER, E. A Escola está morta. Rio de Janeiro: Francisco Alves, 1976.
• RIBEIRO, S. C. A Pedagogia da repetência. Estudos Avançados. IEA,USP, v.5, n.12, p.7-21, maio-ago. 1991.
• SACRISTÁN, G. J. Reformas educativas e reforma del currículo: anotaciones a partir de la reforma española. In: WARDE, M. (org.) II Seminário Internacional. Novas políticas educacionais: críticas e prespectivas. Programa de Estudos Pós-Graduados em Educação, História e Filosofia da Educação da Pontifícia Universidade Católica da São Paulo, São Paulo, 1998.
• SALGANIK, L. H. Apples and apples: comparing performance indicators for places with similar demographic chacteristics. Educational Evaluation and Policy Analysis, n.16, p.125-41, 1994.
• SCHULLER, C.R. Chile: sistema de medición de la calidad de la educación: características y uso de los resultados de la evaluación para mejorar la calidad. In: BOMENY, H. Avaliação e determinação de padrões na educação latino-americana: realidades e desafios. Rio de Janeiro: FGV, 1997.
• SIANO, L. M. F. Determinantes do êxito do vestibular na Universidade Federal do Espírito Santo _ UFES. Rio de Janeiro, 1977. Dissert. (mestr.) PUC-Rio.
• SILVA, M. A. Determinantes do desempenho escolar em sistemas educativos da América Latina. Rio de Janeiro, 1979. Dissert. (mestr.) PUC-Rio.
• SILVA, R.N., DAVIS, C. É proibido repetir. Estudos em Avaliação Educacional, n.7, p.5-44, jan.-jun. 1993.
• TORRES, R.M. Melhorar a qualidade da educação básica? As estratégias do Banco Mundial. In: TOMMASI, L. De, WARDE, M.J., HADDAD, S. (org.) O Banco Mundial e as políticas educacionais. São Paulo: Cortez, 1996.
• VEIGA, A. et al. O Perfil da escola brasileira: um estudo a partir dos dados do SAEB-97. Rio de Janeiro: PUC-Rio, 1998. (mimeo)
• WOLFF, L. Avaliações educacionais: uma atualização a partir de 1991 e implicações para a América Latina. In: BOMENY, H. Avaliação e determinação de padrões na educação latino-americana: realidades e desafios. Rio de Janeiro: FGV, 1997.
• ZIBAS, D., FRANCO, M.L.P.B., WARDE, M.J. Globalização e políticas educacionais na América Latina: apresentação. Cadernos de Pesquisa, n.100, p.5-8, 1997.

1

A pesquisa que gerou o Relatório Coleman foi uma exigência da Lei dos Direitos Civis. Apesar de a pesquisa focalizar prioritariamente as questões de raça, cor, religião e nacionalidade, seus instrumentos captavam também outros aspectos relacionados com nível socioeconômico

2

O livro foi a segunda obra publicada pela coleção Educação em Questão, da Editora Francisco Alves. O primeiro e o terceiro livro da referida coleção foram, respectivamente,

A Reprodução (Bourdieu, Passeron, 1975) e

A Escola Está Morta (Reimer, 1976)

3

É bem conhecido que a pesquisa nos primórdios da pós-graduação em educação no Brasil tinha forte influência quantitativa, o que poderia chocar-se com a afirmação acerca da falta de pesquisas de levantamento sobre o tema da democratização da educação. No entanto, faz-se necessário considerar que a tendência de pesquisas quantitativas naquele período era concentrada principalmente em estudos experimentais sobre a eficácia comparativa de técnicas de ensino, freqüentemente articulada com a então hegemônica abordagem de tecnologia educacional

4

No entanto, a falta de resultados positivos nos dois outros estados não autoriza generalizações acerca da relação entre investimentos educacionais e resultados. Para uma revisão extensiva sobre o tema consulte-se Hedges; Laine, Greenwald (1994)

5

O conjunto de medidas complementares à reorganização das séries iniciais está descrito, para os casos de São Paulo e Minas Gerais, em Silva, Davis (1993) e, para o caso do Paraná, em Mainardes (1994)

6

Este documento contém os marcos gerais do Projeto do SAEB, conforme desenvolvido no ciclo de 1993. Para este ciclo, os objetivos encontram-se formulados nas páginas 19 e 20

7

No terceiro ciclo avaliou-se também alunos da 2ª série do ensino médio. Devido ao baixo índice de discriminação dos itens que compuseram os testes para essa série e à decisão de focalizar as séries terminais, a base de dados ficou praticamente inexplorada

8

No eixo Universalização com Qualidade encontram-se as dimensões escolarização (indicadores matrícula e taxa de escolarização real); retenção (indicadores taxas de evasão, aprovação e repetência); produtividade (indicador taxa de sobrevivência). No eixo Valorização do Magistério, encontram-se as dimensões competência (indicador conteúdos e projeto pedagógico) e condições de trabalho (indicadores níveis salariais, taxa de professores concursados, vigência do Estatuto do Magistério). Por último, no eixo Gestão Educacional encontram-se as dimensões integração estado/município (indicadores diagnóstico de gestão/equalização custo—aluno); descentralização (indicadores diagnóstico de gestão/grau de autonomia da escola/melhoria da gestão escolar); desburocratização (indicadores diagnóstico de gestão/relação custo—pessoal docente/pessoal não docente); eficiência (indicadores diagnóstico de gestão/racionalização de recursos) e democratização (indicadores diagnóstico de gestão/melhoria da gestão escolar)

9

Os instrumentos de coleta estiveram constituídos pelos questionários do diretor (que levantam informações sobre sexo, idade, formação e experiência profissional, organização e funcionamento da escola); do professor (visando obter informações sobre sexo, idade, formação e experiência profissional, situação funcional, prática docente, organização e clima da escola, identificação da escola); dos alunos (incluindo questionário demográfico e sociocultural, além de questionários sobre hábitos de estudo e testes de rendimento) e da escola (com informações sobre dependência administrativa, zona e localização, estado de conservação, instalações, materiais e equipamentos e condições da escola). Ver Brasil/MEC/INEP, s.d. [b]

10

Nesses países, o foco dos estudos recaiu basicamente sobre as relações existentes entre origem social e escolarização e os resultados sublinharam os limites estreitos da democratização do sistema de ensino (Peyre, 1959; Bourdieu, Passeron, 1964, Forquin, 1995). Mas é a pesquisa realizada pelo Institut National d'Études Démographiques – I.N.E.D. –, entre 1962 e 1972, utilizando-se de uma abordagem longitudinal que acompanhou o mesmo grupo de indivíduos desde o término da 4ª série, a que tem lançado mais luz sobre um conjunto de questões sociológicas que procuram explicar as desigualdades educacionais, seja em termos econômicos, culturais, cognitivos ou motivacionais, seja de acordo com o papel que os professores exercem no processo de diferenciação educacional. Apesar da generalização do acesso ao ensino secundário, entre meados das décadas de 60 e 70, uma pesquisa posterior, realizada pelo Ministério de Educação da França, confirma a tendência revelada pelo I.N.E.D., no sentido da existência de uma forte correlação entre origem social e seletividade escolar. Esse fato também foi constatado por pesquisas similares realizadas junto aos países membros da Organização para Cooperação e Desenvolvimento Econômico – O.C.D.E –, durante 1971. Ver, a respeito, Husen, 1975, Forquin, op. cit. p. 26)

11

O documento informa o nome de apenas 13 estados, cujas propostas teriam sido analisadas. Foram eles Acre, Alagoas, Amazonas, Ceará, Espírito Santo, Goiás, Mato Grosso do Sul, Minas Gerais, Paraná, Rio Grande do Norte, Rio Grande do Sul, Santa Catarina e São Paulo

12

As especialistas foram Aída Maria Monteiro Silva e Iracema Lima Pires Ferreira

13

As coordenações foram as seguintes: o grupo 1 (Português), foi coordenado pela professora Magda B. Soares (UFMG), o grupo 2 (Matemática) pela professora Regina Luzia C. de Buriasco (UEL) e o grupo 3 (Ciências) pela professora Miriam Krasilchik (USP)

14

Entre novembro e dezembro de 1993, 23 estados realizaram o levantamento de dados. Foram pesquisados 1.179.527 alunos, 8.756 professores em cerca de 3.100 escolas de 540 municípios brasileiros. Paralelamente, alguns municípios (Maceió, Natal, Recife, Rio de Janeiro, Salvador, Teresina e Vitória da Conquista) realizaram a pesquisa, envolvendo 18.500 alunos, 1.700 professores e 440 escolas

15

Conforme Pestana (1998), diferentemente das provas clássicas de conteúdo que não permitiam comparação no tempo e entre as séries escolares, a elaboração de escalas de proficiência construídas com base na TRI, permitiu a comparação dos resultados das provas dos alunos ao longo do tempo e entre as diferentes séries, "pois a unidade de análise passa a ser o item da prova, e não mais a prova completa, nem o aluno. ( ) O uso da Teoria da Resposta ao Item e das Escalas de Proficiência associado a uma técnica de balanceamento de conteúdo permitiu, também, a superação de uma terceira dificuldade: a pequena amplitude de conhecimentos inerentes a uma prova de 30 questões. O SAEB de 1995 utilizou cerca de 150 questões em cada uma das disciplinas avaliadas. Embora cada aluno continuasse respondendo entre 30 e 35 questões, foi possível avaliar o desempenho do grupo de alunos em todas as 150 questões utilizadas, cobrindo, portanto, um espectro mais amplo do currículo"

16

O levantamento incluiu também a 2ª série do 2º grau. No entanto, problemas técnicos com os testes para essa série acabaram por levar ao abandono dos resultados obtidos

17

"O trabalho orientou-se, primeiramente, na busca do estabelecimento dos conteúdos necessários às demandas e exigências implícitas no sistema educacional(...). A estes conteúdos foram associadas as competências cognitivas que lhe são próprias, bem como as habilidades instrumentais delas advindas. Entende-se por competências cognitivas as modalidades estruturais da inteligência que o sujeito utiliza para estabelecer relações sobre os objetos, situações fenômenos e pessoas (...). As habilidades instrumentais referem-se especificamente ao plano do "saber fazer" e decorrem diretamente do nível estrutural das competências adquiridas e que se transformam em habilidades" (Brasil, 1997, p.5)

18

Na elaboração dos itens de participaram também uma instituição do Ceará e uma outra de Pernambuco, que se responsabilizaram pela elaboração de itens de Química, Física e Biologia, para as provas aplicadas nos alunos das 3

^as séries do ensino médio

19

Ver,

Políticas públicas de qualidade educacional: sistema de monitoramento e avaliação. Comissão Especial Constituída pela Portaria de 8 de novembro de 1994, em cumprimento à MP n. 711/94. Caberia a esta comissão o encaminhamento de uma portaria ministerial, estabelecendo normas e recomendações para o desenvolvimento, nos sistemas de ensino, de atividades contínuas e sistemáticas de avaliação externa, atendendo, assim, às atribuições do Conselho Nacional de Educação, fixadas no Artigo 9, incisos VII, VIII e IX, da Lei n. 4.024/61, alterado pelo Artigo 1º da aludida Medida Provisória

20

Nessa portaria, o então ministro da Educação, Murilo Avellar Hingel, em atendimento às medidas legais anteriormente citadas considera: "que as medidas educacionais exigidas por uma estratégia de desenvolvimento sustentado, democrático e socialmente justo, devem assegurar oportunidades de educação básica de boa qualidade com eqüidade e eficiência, tal como foi acordado no amplo processo de discussão do Plano Decenal de Educação para Todos; – que a eficácia da formulação e gestão dessas políticas requer permanente monitoramento de sua execução e avaliação de seus resultados; – que os processos de avaliação e monitoramento devem ser organizados sistematicamente, para integrar todos os níveis da administração educacional e para mobilizar eficientemente os recursos humanos, técnicos e institucionais de organismos governamentais e de universidades e centros de pesquisa socioeducacional; – que os conhecimentos e as informações gerados por esses processos devem ser de domínio público, contribuindo para subsidiar a participação de todos no encaminhamento de aquelas políticas e no controle social de seus resultados; – que nestes últimos anos, o Ministério da Educação e do Desporto —MEC, acumulou substancial experiência na organização e condução de processos avaliativos, que demandam adequada institucionalização; – que a Comissão Especial instituída pelo Decreto de 8 de novembro de 1994 consignou sua manifestação favorável à mesma, resolve: Art. 1º Criar o Sistema Nacional de Avaliação da Educação Básica com os seguintes objetivos gerais: 1. Contribuir para o desenvolvimento, em todos os níveis do sistema educativo, de uma cultura avaliativa que estimule a melhoria dos padrões de qualidade e de eqüidade da educação básica e adequados controles sociais de seus resultados; 2. Implementar e desenvolver, em articulação com as secretarias de educação, processos permanentes de avaliação, apoiados em ciclos regulares de aferições das aprendizagens e competências obtidos pelos alunos e do desempenho dos estabelecimentos que compõem o sistema de educação básica; 3. Mobilizar os recursos humanos, técnicos e institucionais do Ministério, das secretarias, universidades e centros de estudos e pesquisas sociais e educacionais, para gerar e difundir os elementos, técnicas e instrumentos requeridos pelas práticas de aferição e avaliação educacional; 4. Proporcionar aos responsáveis pela gestão educacional e pelo ensino, às famílias e aos cidadãos em geral, informações seguras e oportunas a respeito do desempenho e dos resultados dos sistemas educativos. Art.2º O Sistema Nacional de Avaliação da Educação Básica será dirigido por um diretor de que farão parte: – a Secretaria de Educação Fundamental, cujo titular a presidirá; – o Instituto Nacional de Estudos e Pesquisas Educacionais, cujo diretor-geral responderá pela Secretaria Técnica, – a Secretaria de Educação Média e Tecnológica, – o presidente do Conselho Nacional de Secretários de Educação, o presidente da União Nacional dos Dirigentes Municipais da Educação, – um representante dos Secretários da Educação dos Municípios das Capitais; o presidente do Conselho de Reitores das Universidades Brasileiras; Parágrafo único. O Conselho Diretor constituirá, para assessorá-lo, um Comitê Consultivo Técnico-Científico composto por especialistas em planejamento e avaliação educacional ( )

Datas de Publicação

• Publicação nesta coleção
  19 Nov 2007
• Data do Fascículo
  Nov 1999