Avaliação na educação básica nos 90 segundo os periódicos acadêmicos

Evaluation in basic education during the 1990s according to academic periodicals

Avaliação na educação básica nos 90 segundo os periódicos acadêmicos

Evaluation in basic education during the 1990s according to academic periodicals

Elba Siqueira de Sá Barretto^I; Regina Pahim Pinto^II; Angela Maria Martins^II; Marília Claret Geraes Duran^III

^IFundação Carlos Chagas e Faculdade de Educação da USP; [e-mail]

^IIFundação Carlos Chagas;[e-mail]; [e-mail]

^IIIFaculdade de Educação e Letras da Universidade Metodista de São Paulo; [e-mail]

RESUMO

O texto sintetiza e discute as principais constatações de estado da arte realizado sobre o tema no Brasil, tendo utilizado como fontes artigos publicados em dez dos principais periódicos da área na década de 90. Examina pressupostos e modelos de avaliação, estudos empíricos e documentais que envolvem a avaliação na escola e da própria escola, detém-se na avaliação de sistema e, ainda, de políticas e programas educacionais.

AVALIAÇÃO – EDUCAÇÃO BÁSICA – ESTADO DA ARTE – BRASIL – PERIÓDICOS DE EDUCAÇÃO

ABSTRACT

This article summarizes and discusses the main findings of a state of art regarding evaluation on brazilian basic school. It uses as sources articles published in ten of the main journals on education, examining the presuppositions and models for evaluation, empirical and documental studies about evaluation in the school and of the school as well as policies and programs evaluation on the field. It also analyses questions related to the introduction of assessment indicators in the country.

Este artigo discute as principais constatações de estudo realizado na perspectiva de estado da arte¹ que analisou a produção acadêmica sobre avaliação na educação básica no Brasil, no período de 1990 a 1998, com base em 217 artigos que abordam expressamente o tema, publicados em dez dos principais periódicos da área² (Barretto, Pinto, 2001).

Privilegiou-se essa fonte devido ao fato de as revistas acadêmicas concentrarem o peso da produção teórica na área e de constituírem o veículo de circulação mais ágil entre pesquisadores, dirigentes e estudiosos do assunto.

A produção sobre o tema não se distribui regularmente entre os títulos selecionados. Aqueles publicados por instituições especializadas em avaliação educacional – Estudos em Avaliação Educacional e Cadernos de Pesquisa –, ambos editados pela Fundação Carlos Chagas, e Ensaio, pela Fundação Cesgranrio, concentram o maior número de artigos, respectivamente, 43%, 12% e 23%.

Entre as publicações de responsabilidade dos órgãos gestores do setor público, a série Idéias, editada pela Fundação para o Desenvolvimento da Educação, da Secretaria de Educação do Estado de São Paulo, é a que comparece com a maior porcentagem de artigos (9%). Observa-se que, a despeito de a avaliação vir sendo considerada o carro-chefe das políticas de educação no país, as revistas editadas pelo Inep – Revista Brasileira de Estudos Pedagógicos e Em Aberto – respondem apenas por um pequeno percentual de textos que se referem diretamente ao tema, tendo como foco a realidade brasileira. Nos demais periódicos, a presença de artigos sobre avaliação é também muito pequena e espaçada; em alguns títulos, o tema é raramente abordado.

Os artigos foram selecionados com base no título, em descritores e resumos e, para efeitos de análise, foram agrupados em quatro categorias:

• referenciais e modelos: trata de questões teóricas e/ou metodológicas que apresentam ou discutem modelos e tendências da avaliação;

• avaliação na escola e da escola: diz respeito a apreciações de propostas curriculares, orientações, normas legais e subsídios oficiais, que repercutem na prática da avaliação. Abarca também estudos empíricos realizados no âmbito interno da escola sobre resultados de aprendizagem dos alunos, avaliação da prática docente, das representações da comunidade escolar, ou toma como objeto de análise o contexto escolar em que ocorre a avaliação.

• avaliação de sistema: refere-se à aferição padronizada do rendimento escolar dos alunos, realizada no âmbito do sistema nacional ou dos sistemas estaduais de avaliação do ensino básico³.

• avaliação de políticas educacionais: compreende estudos que fazem análise de políticas na área, contém apreciações sobre a agenda e propostas de governo, bem como inclui textos relativos à avaliação de programas educacionais.

Duas dessas categorias, Referenciais e Modelos e Avaliação de Sistema, concentram a maior parte da produção, cada uma delas sendo responsável por pouco mais de 30% dos artigos. Nas demais, Avaliação de Políticas Educacionais e Avaliação da Escola e na Escola foram classificados respectivamente 20% e 17% dos artigos.

REFERENCIAIS E MODELOS EM DISCUSSÃO

Entre os textos selecionados, chama atenção a grande quantidade de artigos que versam sobre idéias, conceitos, modelos, tendências da avaliação. Eles reportam-se aos referenciais da avaliação e abordam o tema sob o prisma histórico, filosófico, sociopolítico, psicopedagógico e educacional propriamente dito, discutindo seus pressupostos, finalidades, teorias e, por vezes, as suas dimensões técnico-metodológicas.

Detectando tendências nas décadas anteriores

Alguns desses estudos foram realizados na perspectiva dos estados da arte: revisam a bibliografia proveniente de diferentes fontes e períodos com o fito de identificar tendências e lacunas na produção brasileira sobre o tema. Nesse caso foram arrolados artigos de Sandra Zakia de Sousa, Vera Candau e Heraldo Marelim Vianna que, em conjunto, terminam por oferecer uma visão bastante representativa do que se produziu e publicou sobre o tema nos meios acadêmicos até o início da década de 90.

Os trabalhos que abarcam um período mais largo de tempo e maior diversidade de fontes são os de Sousa (1995, 1996). Eles procuram rastrear a presença dos estudos sobre avaliação no conjunto das pesquisas realizadas no país desde a criação do Inep, no final da década de 30, até 1990. Candau e Oswald (1995) examinam a produção sobre a avaliação no ensino de primeiro grau, publicada em artigos de onze revistas científicas de âmbito nacional entre 1980 e 1992. Vianna (1992) enriquece por sua vez a compreensão do campo, fazendo um balanço das publicações sobre o tema durante os 20 anos dos Cadernos de Pesquisa: 1971 a 1991. O levantamento é significativo por se tratar de um dos importantes periódicos científicos da área que se tem ocupado do tema ao longo do período considerado.

Tais estudos chegam a algumas conclusões coincidentes e anunciam tendências que serão confirmadas na década de 90. Em primeiro lugar, constatam a prevalência de trabalhos que discutem idéias sobre os que apresentam pesquisas e chegam à conclusão de que a avaliação das práticas pedagógicas aparece em pequena proporção no conjunto dos textos. Revelam, ainda, que a bibliografia mostra estreita relação entre a compreensão da educação e seu papel social e o enfoque dado aos processos de avaliação.

Na retrospectiva que proporcionam, nas tendências de avaliação no país, os estudos registram a influência acentuada da psicologia até os anos 50, período em que a análise da problemática da educação era feita na perspectiva individual, as diferenças de desempenho explicadas no plano biopsicológico e a aprendizagem entendida como mensuração das capacidades individuais por meio de testes. Nos anos 60 e 70, sob influência das teorias do capital humano e do tecnicismo, a mudança do foco da avaliação aponta para o planejamento voltado para a racionalização do trabalho, com vistas a assegurar a eficiência e a eficácia do sistema escolar. Privilegia-se uma visão interna da escola e a avaliação por objetivos, largamente adotada, segue o modelo preconizado por Tyler.

Nos anos 80, as teorias crítico-reprodutivistas ampliam a compreensão do fenômeno educacional e, extrapolando a própria escola, recuperam sua dimensão social, bem como desvelam as implicações políticas da avaliação na reprodução das condições de dominação da sociedade. No entanto, a análise assume tom demasiadamente genérico e de denúncia, sem conseguir apontar caminhos alternativos. A partir sobretudo da segunda metade da década, os autores identificam um movimento que busca a construção de referenciais capazes de contextualizarem a avaliação no sistema educacional e social. Ganha sentido a compreensão da realidade escolar com o fito de subsidiar decisões, o que coloca como desafio a elaboração de uma sistemática da avaliação da escola como um todo, apontando a necessidade de romper com o paradigma classificatório em favor de uma avaliação de caráter diagnóstico e da investigação do processo educacional. Com a ampliação do escopo da avaliação – que passa a abranger a dimensão da escola, pois é ela, com sua dinâmica, que produz o fracasso escolar –, coloca-se a necessidade da adoção de modelos mais complexos de análise e se observa o aumento do interesse pela discussão dos métodos qualitativos e quantitativos.

Poucos artigos publicados nos anos 80, segundo o balanço da produção, articulam avaliação com desempenho e formação docente, ou focalizam a avaliação do próprio docente. Eles indicam que a formação do professor sobre o tema é insuficiente, que lhe faltam critérios claros para orientar o processo de avaliação do aluno e a escolha dos instrumentos mais adequados para tanto. Escassos também são os textos que avaliam cursos ou programas curriculares, a própria escola, ou o sistema educacional.

A convivência de tendências pedagógicas diversas nos mesmos períodos históricos teria conduzido a práticas concomitantes de avaliação com diferentes orientações pedagógicas, e as influências mais freqüentemente identificadas foram a tecnicista, que cresceu mais do que outras, e a dialético-transformadora.

Quanto à retomada das influências estrangeiras, é Vianna quem mais se demora na revisão da contribuição de autores anglo-saxões que tanto marcaram o pensamento brasileiro, além de acrescentar dados e reflexões importantes para contextualizar o tratamento do tema no país. Assim sendo, refere-se a Tyler e Stufflebeam, mas detém-se mais nas proposições de Cronbach e Stake, passando também por Scriven, Parlett e Hamilton, Guba, Lincoln e outros, privilegiando claramente nesse exame as avaliações de caráter qualitativo.

No amplo rol de artigos selecionados, chama atenção o fato de que apenas uma única pesquisa dedica-se ao esclarecimento das condições em que têm sido produzidos e divulgados os estudos sobre o tema. Sandra Zakia de Sousa (1996) presta contribuição original a respeito, focalizando teses e dissertações de mestrado realizadas nos anos 80. Embora o número de depoimentos de pesquisadores que utiliza como fonte de informação tenha sido pequeno, os achados da investigação são instigantes e têm especial importância, dada a escassez geral de análises sobre as condições de disseminação do conhecimento científico no país. Eles indicam que a maioria dos autores não havia realizado anteriormente pesquisa sistemática sobre avaliação e a tendência era a de não darem prosseguimento às investigações. A divulgação desses trabalhos fazia-se de maneira esporádica e predominantemente para professores de escolas públicas de 1º e 2º graus, indicando que a avaliação da aprendizagem tende a ser mais intensamente problematizada pela escola básica do que pela universidade. O espaço da disseminação por intermédio de palestras, conferências, cursos de curta duração era sobretudo o do município ou do estado, sendo muito poucos os pesquisadores que publicavam os resultados de seu trabalho e, mais restrito, ainda, o número dos que o faziam em veículos de circulação nacional, ou chegavam a divulgá-los fora do país. Não foram encontradas evidências de articulação em torno de princípios ou eixos temáticos que revelassem movimento de continuidade ou aprofundamento entre as pesquisas; na maioria dos trabalhos, não se verificou uma posição explícita de diálogo com as investigações já realizadas até mesmo na própria instituição.

O modelo de avaliação qualitativa: uma construção multirreferenciada⁴

Quanto aos textos publicados na década de 90, constata-se que a escassez de teorias sobre avaliação propriamente dita não impede o esforço de muitos autores no sentido de elucidarem pressupostos filosóficos, das ciências humanas e da própria pedagogia, aos quais se reportam concepções de homem, sociedade e educação, de que decorrem, por sua vez, diferentes concepções de avaliação. Além de manterem uma atitude bastante crítica em relação ao paradigma positivista predominante na tradição brasileira, é freqüente que os artigos que manifestam esse tipo de preocupação acabem por esboçar características de um novo modelo de avaliação apresentado como desejável, partindo de diferentes vertentes teóricas, nem sempre claramente explicitadas.

Tais características são bastante convergentes e vêm sendo reiteradas especialmente a partir dos anos 80, o que parece indicar a existência de consenso sobre a natureza da avaliação do ensino na área, sendo que se propugna um enfoque contextualizado e eminentemente qualitativo da avaliação. O paradigma emergente de avaliação qualitativa não tem densidade teórica própria. Ele empresta elementos de várias vertentes de pensamento, constituindo-se numa formulação interdisciplinar. Essa questão remete à própria complexidade do conceito de qualidade da educação e à dificuldade de abordá-lo a partir dos cânones da ciência clássica em que foram gerados os conceitos de avaliação (Demo,1990; Franco 1994).

Nesses termos, em relação ao aluno, é preciso levar em conta não apenas a dimensão cognitiva, mas a social, a afetiva, os valores, as motivações e até mesmo a sua própria história de vida. A ênfase recai nas variáveis de processo, muito mais do que no resultado da educação, e a avaliação deve ser eminentemente dialógica e dialética, voltada para a transformação, tanto no plano pessoal como no social. A perspectiva deve ser diagnóstica e de caráter contínuo, pressupondo trocas constantes entre avaliador e avaliado, o que pode implicar inclusive, dependendo do nível de ensino, maior interação com as próprias famílias dos educandos, especialmente no caso da pré-escola e das séries iniciais do ensino fundamental. As mudanças em relação ao indivíduo apontam para a autonomia e, em relação ao social, para uma ordenação democrática e portanto mais justa da sociedade.

Reforça-se o eixo da avaliação centrado nas condições em que é oferecido o ensino, na formação do professor e de suas condições de trabalho, no currículo, na cultura e organização da escola, bem como na postura dos atores educacionais em seu conjunto, deixando de girar exclusivamente em torno do aluno.

Na vertente da sociologia, os referenciais habermassianos contribuem para apoiar a argumentação de autores que propõem uma avaliação do tipo emancipatório, acentuando seus aspectos políticos e histórico-sociais. Entre os textos que adotam essa orientação, os mais representativos são os de Pedro Demo. Considerando que os aspectos políticos da educação têm a ver com o exercício da cidadania, o autor propõe uma estratégia de formação de sujeitos sociais, dotados de capacidade para se autodefinirem, bem como para determinarem o seu destino histórico, de modo tal que logrem conceber e construir sua emancipação política e econômica, assim como a sua trajetória como povo (Demo, 1990, 1995).

Outros textos tratam a avaliação do ponto de vista de suas implicações sociais mais amplas e das relações entre a educação e a sociedade abrangente, reportando-se ao referencial reprodutivista, ou à pedagogia crítico-social dos conteúdos.

Pesquisadoras como Marli André (1990, 1996) e Menga Lüdke (1995a) valem-se das reflexões de autores como Sacristán, Perrenoud, Nóvoa, ao tomarem a instituição escolar e sua cultura como fulcro de análise. Essa mudança de enfoque, que explora sobretudo as relações intermediárias entre as análises macro estruturais e as abordagens micro e que já era anunciada ao final dos anos 80, tem aberto novos horizontes que permitem o ensaio de alternativas de ação.

Entre os textos que trazem o foco de atenção para a escola, inclui-se também uma ou outra proposição acerca das avaliações institucionais. Elas igualmente enfatizam o diálogo, a participação, a reelaboração coletiva das propostas de mudança, o estabelecimento de relações menos fortemente hierarquizadas e mais democráticas entre as instâncias.

Na vertente pedagógica, Luckesi (1991, 1992, 1996), principal autor de referência sobre o tema entre os educadores, contribui para lançar luz sobre os pressupostos filosóficos e educacionais das práticas avaliativas no país. Ele advoga a necessidade de qualificar a avaliação, não em razão dela mesma, mas dos fins a que se destina, e mostra que esta, ao conquistar espaço tão destacado nos processos de ensino ao longo do tempo, condicionou a prática pedagógica à "pedagogia do exame". Discute ainda a relação entre planejamento, avaliação e projeto pedagógico da escola, reiterando a dimensão política dessas atividades e preconizando um trabalho coletivo em que as decisões sejam compartilhadas por todos os envolvidos.

Um reduzido número de autoras propõe uma avaliação holística do aluno, capaz de contemplar sua condição existencial, sentimentos, motivações, valores e de manter o caráter dinâmico e interativo do processo.

Os estudos psicológicos contribuem também para a formulação do novo paradigma de avaliação qualitativa, conferindo especial ênfase à avaliação formativa, com insistência num olhar mais descritivo e menos prescritivo acerca de como operam os mecanismos de aprendizagem e a construção de conhecimentos pelo aluno. Artigos de inspiração piagetiana chamam atenção para os tipos de erro na aprendizagem e o papel do professor; valorizam o caráter diagnóstico da avaliação, como em Davis e Esposito (1990). A importância da interatividade no processo avaliativo e da auto-avaliação do aluno é também ressaltada nas abordagens de cunho psicológico, assim como a consideração de outras dimensões da avaliação, que não a exclusivamente cognitiva.

A referência à Teoria das Inteligências Múltiplas, preconizada por Gardner, aponta perspectivas originais para a avaliação de indivíduos: oferece opções que permitem aos educandos realizações pessoais em várias áreas do saber, leva em conta a sua cultura e um futuro desempenho adulto, e alarga as possibilidades de trabalho com clientelas diferenciadas.

Em suma, o paradigma de avaliação qualitativa é expresso sobretudo mediante a afirmação de certos pressupostos. Prevalece entretanto a escassez de trabalhos relativos a teorias específicas, metodologias próprias e instrumentos capazes de subsidiarem o trabalho docente nessa perspectiva, tal como já havia sido apontado em relação aos períodos anteriores.

Os modelos de avaliação em larga escala

Uma tradição recente, mas que vem se expandindo no Brasil, também se faz representar na bibliografia. Ela refere-se, dentro do paradigma positivista, a novas formas de abordagem da avaliação educacional, sempre dimensionadas para larga escala e, no mais da vezes, animadas por uma particular lógica de implementação das políticas públicas.

Os artigos que introduzem modelos e metodologias de avaliação em larga escala nos meios educacionais brasileiros explicitam seus propósitos como os de delinear o perfil cognitivo da população com base em informações de caráter censitário, permitindo reconstituir detalhes da trajetória escolar de populações que freqüentam a escola e identificar a transição de um estágio cognitivo dos sujeitos para outro. Eles possibilitam estabelecer relações entre o perfil cognitivo e cultural de segmentos da população e os novos modelos de organização da produção, refletindo, por exemplo, a preocupação com a competência da mão-de-obra para empregar tecnologia moderna. Permitem ainda articular o perfil educacional da população com os novos pleitos de participação nas sociedades contemporâneas.

É assim que autores como Fletcher (1991) e Klein e Fontanive (1995) procuram discutir o modelo do profluxo, que deu margem a uma série de estudos de grande impacto no país ao possibilitar que se aquilatasse a dimensão e gravidade do problema da repetência nos sistemas escolares brasileiros⁵.

A maior parte dos artigos desse grupo dedica-se, contudo, à avaliação de sistema, entendida como avaliação externa e padronizada do rendimento dos alunos das redes escolares. Entre os textos que se referem especificamente a esse tipo de abordagem no contexto brasileiro, praticamente quase não foram encontradas análises que se aprofundem no exame dos pressupostos do modelo, o que denota uma insuficiência de interpretação na bibliografia.

Um dos artigos que traz esclarecimentos importantes a respeito é o de Fletcher (1995a). O autor chama atenção para a necessidade de ponderar entre nós sobre diferentes modelos de avaliação antes de optar por um, visto que eles têm referenciais teóricos e objetivos diferentes e, portanto, conduzem a conclusões de natureza diversa. À guisa de ilustração, descreve e analisa três desses modelos adotados nos Estados Unidos: o de avaliação de insumos, o de processo de ensino-aprendizagem e o de rendimento escolar.

Sobre o modelo de avaliação do rendimento escolar, que prioriza a aplicação de provas cognitivas em larga escala e que vem sendo amplamente disseminado por influência dos organismos multilarerais, o autor alerta para uma das grandes dificuldades de implementação que apresenta. Ele supõe um sistema que depende de alta tecnologia para o tratamento dos dados, o que exige pessoal muito qualificado para gerenciá-lo e o torna bastante oneroso. Há também uma segunda limitação do modelo: o eventual estreitamento do currículo por iniciativa das escolas que, ao tentarem adaptar-se às novas exigências, podem eliminar os conteúdos que não se relacionem diretamente com os referenciais curriculares básicos. Ademais, a capacidade de escolha das melhores escolas pelos pais acaba sendo, na prática, bastante limitada, pelo fato de que as matrículas são freqüentemente circunscritas às zonas próximas dos estabelecimentos escolares em muitas localidades dos Estados Unidos. Além disso, nem todas as unidades escolares têm condição de responder aos sinais de mercado pressuposto no modelo. Como lembra o autor, nas circunstâncias de monopólio e oligopólio, princípios de livre mercado não são aplicáveis, pois é duvidoso que escolas deficientes tenham iguais oportunidades para responder a incentivos e sanções. Conseqüências possíveis de políticas dessa natureza podem ser a exacerbação de diferenças cognitivas entre as comunidades ricas e pobres, urbanas e rurais, reforçando disparidades sociais existentes.

Outros artigos mostram que, em anos recentes, vem sendo introduzida metodologia de operação desses sistemas de avaliação no país que viabiliza um grande salto quanto à natureza e ao tratamento das informações educacionais produzidas nesse âmbito. A nova modalidade de processamento das informações deriva da Teoria da Resposta ao Item – TRI –, que permite a comparação dos resultados da avaliação da aprendizagem de populações distintas em espaços e em tempos diferentes. Esclarecimentos metodológicos sobre essa teoria podem ser encontrados em vários artigos (Fletcher, 1994, 1995, 1995a; Klein, Fontanive, 1995; Andrade, Valle 1998).

A Teoria da Resposta ao Item, em virtude da sua complexidade e da ausência de programas computacionais eficientes, apesar de formulada há cerca de 50 anos, apenas nos últimos 15 vem sendo aplicada em larga escala nas principais avaliações educacionais em diferentes países e, a partir de 1995, no Brasil. Embora ela supere dificuldades postas pela Teoria Clássica de Medidas, coloca algumas outras tantas, não assinaladas, contudo, na bibliografia consultada.

Diferentemente portanto do paradigma anterior, o modelo da avaliação dos resultados da aprendizagem, como também é chamado, demanda e oferece metodologia e instrumentais complexos para serem postos em prática. Ele tem sido associado à idéia da accountability, ou seja, de que a produção e divulgação de informações sobre os conhecimentos que os alunos adquirem na escola fazem parte da obrigação que tem o Estado de prestar contas à população sobre a qualidade dos serviços que oferece. Essa informação tem vindo, contudo, estreitamente aliada ao reavivamento do princípio liberal que evoca a garantia da liberdade de escolha pelos pais, da escola que querem para os filhos, como condição fundamental para a proliferação de escolas de melhor qualidade.

AVALIAÇÃO NA ESCOLA E DA ESCOLA

Além de conter pequeno número de artigos, esta categoria acolhe textos de gêneros diversos e com grande variedade de objetos de análise e de enfoques metodológicos.

A avaliação em propostas curriculares, medidas legais e normas oficiais

Uma perspectiva de abordagem privilegia a análise de documentos em artigos que discutem propostas curriculares. De modo geral, tece considerações sobre as relações entre currículo e avaliação, utilizando como base empírica materiais didáticos e subsídios oficiais que fundamentam propostas curriculares de matemática, educação física, língua portuguesa, ciências e meio ambiente.

São textos que buscam desvelar as intenções ocultas da avaliação e sua relação com o processo de ensino-aprendizagem com base em literatura largamente disponível na área, sobretudo a partir dos anos 1980, e que classificam a postura avaliativa da escola em tendências pedagógicas grosso modo apontadas como tecnicistas ou progressistas. Os textos ratificam a visão divulgada por essa literatura sobre a escola pública acerca do conservadorismo predominante nos procedimentos de avaliação e, tal como os ensaios de natureza mais teórica, são pobres em sugestões a respeito de como a escola poderia modificá-los.

A liberdade que as escolas possuem para dar o tratamento que acham mais conveniente aos conteúdos curriculares e implementar os métodos de ensino mais adequados são fatores amplamente destacados nesses estudos. Efetivamente, pesquisas realizadas no espaço escolar vêm indicando que, no limite, os educadores ressignificam as orientações curriculares e imprimem uma prática particular às atividades de sala de aula, tanto no que tange aos métodos didáticos quanto no que diz respeito à avaliação de alunos. Os textos salientam, ainda, a relevância dos livros didáticos na configuração dos conteúdos a serem ministrados, tendo em conta a ausência de formação adequada dos profissionais do ensino e a insuficiência de tempo disponível para reelaborar possíveis planos de ensino adequados às necessidades de aprendizagem dos alunos.

Ainda na linha de análise de documentos, destacam-se artigos que avaliam as mudanças recentes nos marcos legais da avaliação escolar, argumentando a favor e contra medidas de ampla repercussão nas redes de ensino, tais como a introdução dos ciclos escolares e da progressão continuada, que impedem a repetência dos alunos nas proporções em que ocorre no regime seriado.

Discutir normas e orientações oficiais com base apenas na análise de documentos sempre implica realizar uma leitura parcial da dinâmica que se instaura em razão das mudanças promovidas por um novo conjunto normativo-legal, pois entre o discurso oficial e a prática dos atores escolares há uma distância considerável. No entanto, a despeito da limitação decorrente da perspectiva adotada, os textos procuram contribuir para o debate suscitado, ventilando argumentos críticos e/ou favoráveis às orientações oficiais.

Alguns autores buscam responder a críticas formuladas em relação à progressão continuada, salientando que esta não se alia a um possível rebaixamento do ensino e que não representa uma aprovação sem critério, pois exige um diagnóstico pedagógico e um plano de trabalho a ser cumprido em etapas subseqüentes. Não se trata, portanto, de promoção automática, pois a progressão continuada procura encontrar um caminho de superação da repetência crônica na rede pública de ensino, introduzindo a avaliação contínua e cumulativa, o aproveitamento de estudos e a consolidação da idéia de recuperação permanente.

De acordo com Penna Firme (1994), é preciso desmistificar os argumentos que apelam para a necessidade de reprovação no ensino fundamental e médio, pois a exclusão constante de alunos da escolaridade regular é um ato político que serve à reprodução das desigualdades sociais. Faz-se necessário, sobretudo, capacitar o professor para ensinar crianças e jovens em qualquer estágio de seu desenvolvimento e habilitá-lo a avaliar o aluno em todas as suas potencialidades, bem como a se auto-avaliar e avaliar a escola e todo o contexto educacional. A aspiração a uma educação de excelência supõe uma luta em duas frentes: com os adultos, a ação vigorosa para preencher as lacunas de um processo de formação inacabado; com as crianças e jovens, a garantia da escolaridade completa a que têm direito, eliminando do processo educacional a repetência e a evasão.

Na contracorrente dos estudos que defendem a progressão continuada, Demo (1998) analisa os riscos da atual tendência de introduzir a medida na escola básica, argumentando que ela escamoteia a falta de aprendizagem, podendo ainda promover a idéia de que a escola pública é "coisa pobre para os pobres". As estratégias sugeridas pelo autor para superação do quadro crônico de repetência da rede pública de ensino consagram algumas das idéias defendidas por estudos mais recentes: centralizar o processo pedagógico na aprendizagem do aluno, envolvendo toda a escola; realizar procedimentos de preparação e capacitação permanentes para o corpo docente; organizar processos avaliativos conseqüentes, submetendo a escola à heteroavaliação; procurar nos pais e na comunidade em geral o apoio necessário; organizar laboratórios de aprendizagem e promover eventos motivadores.

Outra medida política contemplada no recente conjunto normativo-legal: a inclusão de alunos portadores de deficiências na rede regular de ensino merece destaque em apenas dois artigos, indício do incipiente interesse ainda despertado pelo tema. Eles abordam a questão da integração da criança portadora de deficiências físicas, discutindo possíveis dificuldades de aprendizagem decorrentes dessa integração, mas destacando a importância da convivência e interação com a diversidade de colegas (Lins, 1997; Masini, 1995).

A propósito da implementação de rotinas de avaliação escolar, Corazza (1995), com base na análise de "pareceres descritivos", isto é, das fichas individuais de avaliação, produzidas em uma escola de ensino fundamental gaúcha, discute as relações entre currículo, cultura, conhecimento escolar, identidade e poder numa perspectiva foucaultiana.

Os estudos empíricos

Um grupo de estudos empíricos tem como base resultados de testes, exercícios e/ou atividades de avaliação de aprendizagem de alunos do ensino fundamental. Eles ventilam questões, tais como o desempenho de alunos em diferentes áreas do conhecimento e no processo de alfabetização, as possíveis relações entre a maneira como o professor avalia e os resultados obtidos pelos alunos, o papel da interação social na construção cognitiva e as relações entre desempenho operatório e desempenho escolar.

Alguns dos textos gravitam em torno da perspectiva construtivista, reportando-se, em regra, à polêmica relação entre os processos cognitivos individuais e as influências do contexto sociocultural. Piaget ressaltou as transmissões e as interações sociais como um dos fatores da construção cognitiva do ser humano, mas não verificou, de forma sistemática, como esse conjunto de fatores atuaria sobre a cognição. Em razão disso, vários pesquisadores têm-se dedicado ao estudo dessa questão, destacando a importância da natureza sociocognitiva do conflito que ocorre nas situações que envolvem pequenos grupos de crianças, valorizando o papel da interação social na explicação da construção cognitiva individual (Gonçalves, Carvalho, 1994; Moro, 1991).

Estudos contemporâneos, além de sinalizarem para uma nova tendência de investigação psicológica do processo de alfabetização, em que tanto o construtivismo como o sociointeracionismo são privilegiados como marcos de referência (Nicolau, 1997), reinstalam e mantêm vivo o interesse pela identificação e compreensão das condições ou requisitos que facilitam ou propiciam a alfabetização. De modo geral, porém, os textos indicam a dificuldade de, em sala de aula, dar-se o salto qualitativo entre o conhecimento espontâneo e os conceitos formais científicos.

Considerando que a avaliação nas escolas usualmente se confunde com a mensuração do desempenho por intermédio de provas/testes e tem como produto resultados numéricos ou conceitos, alguns dos estudos questionam os instrumentos que vêm sendo utilizados para a coleta dos dados que servem para a fundamentação do processo decisório na área educacional. Apresentam orientações sobre possíveis mudanças no processo de ensino-aprendizagem que reflitam nova postura diante de um ensino mais conceitual e relacionado às exigências contemporâneas (Moren, David, Machado, 1992). Há também trabalhos que se valem dos referenciais construtivistas para investigar as inúmeras dificuldades encontradas pelos docentes para modificar os procedimentos de ensino e avaliação. O conjunto desses textos apresenta sólida argumentação que embasa a análise dos resultados apresentados.

Finalmente, encontra-se um conjunto de artigos que analisa opiniões, representações e/ou concepções de professores, diretores, especialistas e seus alunos sobre a avaliação realizada pela escola.

Entre eles, Sousa (1995a), com base em pesquisa realizada em duas escolas estaduais da capital paulista, focaliza a opinião do corpo docente sobre o papel do conselho de classe, demonstrando que há ênfase na função classificatória da avaliação, o que corrobora os resultados de outros estudos que vêm apontando esse órgão colegiado sobretudo como espaço legitimador de seleção de alunos e não, propriamente, como instrumento fundamental para a gestão democrática da escola pública.

Destaque-se também o artigo de Szymanski (1994), que analisa a visão das mães de uma escola pública sobre a avaliação de rendimento escolar, por meio de entrevistas semi-estruturadas. O estudo evidencia que ora a avaliação é entendida como reforço do que foi ensinado, ora como rendimento do aluno, sendo este associado ao desempenho e dedicação do professor e ao acompanhamento das tarefas escolares. Nesse sentido, os pais reivindicam da escola uma organização que lhes possibilite maior contato para que se inteirem do rendimento dos filhos.

Uma perspectiva de análise bastante interessante – a que focaliza o jogo de poder subjacente às relações que se estabelecem entre aluno e professor nas situações de avaliação de aprendizagem – aparece raramente, como no artigo de Santos (1995). O estudo foi realizado com base em resultados obtidos no Jogo de Avaliação, quadro elaborado a partir das vivências de alunos nos momentos em que foram submetidos à avaliação durante o processo escolar.

Nesse conjunto de textos, destaquem-se, ainda, os artigos de Lüdke (1994, 1995). No primeiro artigo, a autora realiza uma discussão sobre a literatura sociológica, dialogando com autores cujos estudos têm trazido contribuições significativas e iluminado o debate sobre a prática avaliativa da escola. Põe em relevo temas, tais como a insegurança dos professores, dificuldades em relação a procedimentos e instâncias de avaliação e, finalmente, chama atenção para o papel da formação do professor no processo avaliativo. No segundo artigo, a autora discute os resultados obtidos em pesquisa que focalizam vários aspectos da organização administrativa e pedagógica da escola, com destaque para a formação inadequada dos docentes e os procedimentos incoerentes de avaliação.

Outra perspectiva de análise aparece em Saul (1994), que realiza um mapeamento das diversas abordagens no campo da avaliação da aprendizagem, no intuito de discutir a visão de professores sobre a prática avaliativa da escola. O estudo destaca o descontentamento dos educadores sobre sua própria prática avaliativa, porém salienta, ao mesmo tempo, sua excessiva preocupação apenas com as mudanças propostas para os instrumentos de avaliação.

Desse conjunto de artigos, apenas três propõem novas formas de avaliação a serem utilizadas pelos professores, com base no paradigma do professor reflexivo e na perspectiva da pesquisa-ação, apresentando como foco central a construção de uma prática de avaliação que supere o modelo de avaliação classificatória e autoritária, convertendo-a em instrumento de aprendizagem (Darsie, 1996; André, Darsie, 1998; André, 1998). De modo geral, esses estudos tecem considerações sobre a intencionalidade da ação educativa, indicando que a avaliação está a serviço dessa intencionalidade, cujo campo de atuação é o contexto da aprendizagem significativa. Entendida como impulsionadora da aprendizagem, a avaliação assume características mais condizentes com o modelo construtivista.

Como se trata de pesquisas que realizam intervenção na escola, os registros dos professores evidenciam as dúvidas e incertezas que interferem na sua prática de sala de aula: as concepções conservadoras sobre ensino e avaliação que tiveram de superar; a descoberta da utilização do erro como suporte para evolução; a necessidade de resgatar a criatividade como elemento fundamental para o ensino-aprendizagem e, finalmente, as trocas de experiências com colegas, que lhes proporcionaram maior segurança no desenvolvimento de atividades transformadoras de sua prática avaliativa.

Dois artigos referem-se ainda à avaliação institucional, reportando-se a uma abordagem empírica. O primeiro, assumindo a avaliação como uma das formas de promover a melhoria da educação infantil, relata experiência de aplicação, em caráter exploratório, do instrumento australiano "Quality improvement and accreditation system", produzido pelo Conselho Nacional de Credenciamento de Creches da Austrália e adaptado para utilização no Brasil (Rossetti-Ferreira et al., 1998). A experiência, realizada em quatro creches na cidade de Ribeirão Preto, Estado de São Paulo, a saber, uma universitária, uma municipal, uma filantrópica e uma particular, procura averiguar a adequação desse instrumento para a realidade brasileira, tendo em conta a conformidade das instituições com padrões de funcionamento considerados desejáveis do ponto de vista da qualidade do atendimento oferecido. Discute também as contribuições da experiência para o atual debate sobre a questão, ressaltando que a utilização de um instrumento para avaliar uma instituição de atendimento a crianças pequenas somente poderá atingir seus propósitos se ele mesmo estiver inserido em uma política educacional efetiva de promoção de qualidade e avaliação na educação infantil.

Segenreich (1995), por sua vez, faz um mapeamento das atuais abordagens de análise institucional, salientando que poucas pesquisas utilizam o referido enfoque em educação, lacuna coberta por outras áreas do conhecimento como a sociologia e a psicologia social. No conjunto de 14 trabalhos examinados pela autora, encontram-se três vertentes de análise: as relacionadas à instituição escolar, ao papel dos "agentes institucionais" e à avaliação de algum tipo de intervenção nas escolas da rede pública. A despeito da grande contribuição teórica da análise institucional para avaliar a gestão em escolas de ensino fundamental e médio, não são numerosas as pesquisas realizadas na área da educação que se utilizam dela.

AVALIAÇÃO DE SISTEMA

A segunda categoria mais numerosa no estado da arte é a que se ocupa dos estudos de avaliação de sistema realizados no país.

Diferentemente do que ocorre com outros temas sobre os quais versa a avaliação, observa-se que apenas cinco das publicações analisadas apresentaram artigos arrolados nesta categoria⁶, o que permite afirmar que a preocupação com o assunto, disseminada por meio desse veículo, não possui uma distribuição eqüitativa, estando ausente em vários periódicos científicos de circulação nacional.

Clareando o conceito e contextualizando a avaliação de sistema

Esse tipo de avaliação ganhou relevo no país nos anos 90, tendo predominado nesse grupo de artigos o discurso que se preocupa com o esclarecimento das características e finalidades dos sistemas de avaliação e busca as justificativas para adotá-los. Esse discurso servirá, de certo modo, como substrato à fala oficial. Vários dos textos arrolados constituíram apresentações feitas em seminários promovidos por órgãos de governo, como o Encontro sobre Qualidade da Educação, realizado por iniciativa da Coordenação de Planejamento Setorial do MEC, da Secretaria de Ciência e Tecnologia do Paraná e da Oficina Regional de Educação para a América Latina e o Caribe – Orealc/Unesco –, em Brasília, em 1990, e o Seminário Nacional sobre Medidas Educacionais, realizado pelo MEC/Inep e Programa das Nações Unidas para o Desenvolvimento – PNUD –, em 1992. Ambos visavam oferecer subsídios ao desenvolvimento de ações relacionadas ao delineamento e implementação de sistemas de avaliação da educação básica no país.

Tal como os autores mais identificados com um modelo qualitativo de avaliação, aqui também o centro das atenções é a qualidade da educação; o enfoque no entanto recai fundamentalmente sobre a possibilidade de estabelecer um sistema de medição para aferi-la.

Comparando-se os textos, constata-se grande convergência entre eles. Os pressupostos do modelo de avaliação de sistema são claramente identificados com: a) a medida da qualidade da educação, o que supõe estabelecer mecanismos que permitam objetivar e quantificar diversos produtos do processo educativo; b) as bases para o delineamento de instrumentos para medir a qualidade educativa, com ênfase nos indicadores de qualidade: qualidade de produto (aprendizagem dos alunos) e qualidade do processo de ensino (medidas de acesso à escola, fluxo escolar, características da escola e de investimentos financeiros na educação); c) a mensuração sistemática como meio de fornecer informações para a avaliação, para o desenvolvimento de uma cultura avaliativa e para servir de base ao monitoramento do sistema educacional, com o objetivo de melhorar sua qualidade; d) o gerenciamento do sistema de avaliação e sua implementação.

No Encontro sobre Qualidade da Educação, Bessa (1990) ressalta alguns aspectos de proposta endossada pela Orealc/Unesco acerca da medição da qualidade da educação, os quais suscitam reflexões sobre as avaliações até então produzidas para o sistema educacional brasileiro. São eles: a falta de questionamento quanto ao macro-design do sistema, quanto aos seus objetivos, estrutura e funcionamento. Considera que a centralização das decisões é um item fundamental nas discussões, visto que essas decisões – que se expressam na lei e na tradição, funcionando como camisa-de-força – dificultam a solução de problemas que atingem o indivíduo e a sociedade.

No mesmo evento, Demo (1990) destaca a separação artificial entre qualidade formal (competência para produzir e aplicar instrumentos, tecnologia, métodos) e qualidade política da educação (competência para analisar e projetar conteúdos históricos em uma perspectiva desejável), como se uma pudesse ser efetivada sem a outra, e assinala a resistência manifesta por parte do ethos científico dominante para tratar a questão de maneira adequada.

Plank, Amaral Sobrinho e Xavier (1990) e, ainda, Vianna (1990) apresentam discussões em torno de estratégias de avaliação da "qualidade da educação", inclusive da definição do que entendem como "critérios mínimos de qualidade da oferta educacional". Os primeiros sinalizam duas perspectivas para abordar a qualidade– uma voltada para os insumos e outra voltada para os resultados. Para esses autores, o desenvolvimento de procedimentos de avaliação capazes de assegurar que os insumos necessários sejam efetivamente alocados às escolas constitui a última etapa de uma estratégia, que prevê ainda: a) a definição de padrões mínimos de qualidade; b) a análise dos custos associados à provisão dos insumos necessários e c)a implementação de uma política de transferência de fundos que assegure a disponibilidade de recursos suficientes para o atendimento a todas as escolas.

Vianna (1990) propõe um modelo para avaliação da qualidade da educação, que parte de uma análise do contexto nacional, envolvendo características da população, seus valores culturais, investimentos financeiros em educação e a organização das escolas; leva em consideração fatores não diretamente ligados à escola (status socioeconômico da família, nível de educação dos pais, atividades fora da escola, entre outros); advoga uma discussão aprofundada sobre a escola em termos de variáveis de entrada, processo e produto. Para o autor, um modelo assim concebido deve relacionar o desempenho dos estudantes a contextos culturais e a práticas educacionais associadas ao rendimento escolar. Chama a atenção para a necessidade de validação dos instrumentos, particularmente para a validação dos testes de escolaridade.

No Seminário Nacional sobre Medidas Educacionais, considerando o interesse pelas questões metodológicas e pela concepção de um sistema que tenha apoio na pesquisa e no trabalho de centros especializados em medidas educacionais, foram selecionadas cinco investigações, realizadas por iniciativa do Ministério da Educação, da Fundação Carlos Chagas e da Universidade Federal de Pernambuco, para apresentação.

Vários outros textos, publicados ainda no início da década, pondo em destaque a realidade brasileira e as iniciativas recentes de implantação de um sistema de avaliação que sirva como apoio à definição e ao monitoramento das políticas educacionais, reportam-se também às experiências de implantação de sistemas de avaliação congêneres no exterior e mencionam a criação do Laboratório Latino-Americano de Avaliação da Qualidade da Educação, pela Unesco, em 1994. Valem-se dos exemplos de fora do país para evidenciar as perspectivas que vêm sendo abertas para a tomada de decisões que, em princípio, seriam capazes de romper com a distância entre a formulação e a execução de políticas educacionais, bem como para indicar, de certo modo, que a experiência brasileira se desenvolve no âmbito de uma corrente internacional mais ampla que lhe dá respaldo.

Se a relação com os aspectos da produtividade e com o sistema macroeconômico torna-se manifesta no discurso brasileiro sobre a implantação da avaliação de sistema, nenhum realce é dado, na bibliografia examinada, aos aspectos concorrenciais, tão acentuados nos países anglo-saxões, onde o modelo ganhou a configuração que foi disseminada internacionalmente.

Estudos pioneiros

Foram também arrolados nessa categoria artigos referentes a estudos que, tendo antecedido a implantação desse modelo de avaliação no país, contribuíram para que equipes brasileiras adquirissem experiência em um novo tipo de avaliação, próximo ao que seria depois desenvolvido no âmbito dos sistemas escolares. Trata-se de estudos que abriram caminho para a exploração das possibilidades de desenvolvimento de um processo amplo e sistemático de aferição dos resultados do sistema educacional brasileiro e que se voltaram sobretudo para o ensino fundamental. Pretendendo oferecer subsídios aos educadores em geral e à administração pública em particular, acerca das ações docentes e da gestão escolar, eles consolidaram saberes do ponto de vista da construção e da análise da própria pesquisa de avaliação, ainda que tenham pecado pela falta de continuidade das ações.

O registro de muitas dessas experiências permite fazer um inventário das iniciativas desse teor, sobretudo a partir dos escritos de Vianna (1992a, 1995). Em São Paulo, a Fundação Brasileira para o Ensino de Ciências – Funbec –, tendo produzido material curricular para o ensino das disciplinas da área nos anos 60, fez um intento de avaliá-lo. Na mesma década, a Fundação Getúlio Vargas, no Rio de Janeiro, desenvolveu instrumento para avaliar o desempenho de crianças ao final do ensino fundamental, baseada no Iowa Basic Skills. Nos anos 70, o interesse pela avaliação de programas no modelo de Stufflebeam, expresso nos trabalhos de Maria Amélia Goldberg e Clarilza Prado de Sousa, resultou em estudos de avaliação de currículo. Intensificaram-se também os estudos sobre o acesso ao ensino superior, em face da massificação pela qual passou este, utilizando dados psicométricos e socioeconômicos.

Nos anos 80, o Inep iniciou um programa de avaliação do rendimento escolar de alunos de 1º e 2º graus. Começou com uma amostra de escolas de 1º grau da rede pública de 69 cidades de vários estados e fez, depois, outras avaliações, envolvendo mais 29 cidades. Posteriormente, em 1991, realizou ainda pesquisa semelhante na rede privada de 12 capitais, mostrando que há grande semelhança em relação ao desempenho no ensino público. Trouxe à luz aspectos críticos do ensino nessas escolas, mas os estudos não puderam ser generalizados, dada a pequena representatividade da amostra e a utilização de instrumentos diferentes de medida. Não se produziu, entretanto, um sistema adequado de disseminação de informações que alcançasse os professores, daí a falta de ressonância dos resultados a que se chegou junto às escolas. Quanto ao 2º grau, foi feito estudo que envolveu as diferentes modalidades e mantenedores do ensino em algumas capitais do país, identificando variáveis de escolaridade e nível socioeconômico dos alunos; constatou-se o alto nível de desempenho das escolas técnicas federais e a precariedade de funcionamento dos cursos noturnos.

O Brasil também participou do segundo estudo realizado pelo International Assessment of Educational Progress – Iaep –, em 1990, que objetivava avaliar o desempenho dos estudantes em diferentes países, tendo utilizado uma amostra de alunos de escolas de São Paulo e de Fortaleza.

A avaliação de alguns programas educacionais, que utilizava, na sua metodologia, provas de rendimento escolar dos alunos, também pode ser incluída entre os estudos pioneiros. Esse foi o caso da avaliação da qualidade do ensino nas escolas rurais do nordeste no primeiro lustro dos 80; o da avaliação do impacto da jornada única nas escolas da rede estadual na Região da Grande São Paulo entre 1988 e 1992 e o da avaliação da implementação do ciclo básico na rede estadual do Rio de Janeiro⁷, nos anos de 1993 e 1994, relatada por Denize de Oliveira (1998).

O Sistema Nacional de Avaliação da Educação Básica – Saeb

Em 1990 é criado, pelo Inep, o Sistema Nacional de Avaliação da Educação Básica – Saeb –, com o objetivo de contribuir para melhorar a qualidade das escolas, alterando tanto a prática pedagógica quanto características gerais do sistema educacional.

Os artigos que se referem ao Saeb são de caráter muito mais descritivo do que crítico-argumentativo; alguns se detêm no seu delineamento; outros apresentam procedimentos metodológicos realizados em algumas aferições. Apenas uns poucos identificam e analisam alguns problemas do sistema.

Os textos que descrevem as características e a dinâmica de funcionamento do Saeb esclarecem que o modelo foi concebido em relação a três eixos: universalização do ensino, eficiência e qualidade; valorização do magistério e gestão do campo educacional. No primeiro eixo, os indicadores mais importantes são escolarização, produtividade e qualidade do ensino, aferidos por meio de um modelo de fluxo e produtividade proposto pela Unesco, que permite a análise do sistema educacional como um todo: taxas de produtividade, perdas com evasão e repetência, níveis de escolarização real em cada um dos estados e no país. No segundo eixo, os indicadores referem-se à competência do professor, suas condições de trabalho na escola e às representações que delas fazem. No terceiro eixo, os indicadores oferecem informações relativas à unidade escolar e ao próprio sistema (centralização/descentralização, burocratização, eficiência, democratização, integração).

Voltado para a produção de informações que subsidiem a gestão do sistema educacional, o Saeb utiliza um sistema de amostragem complexo, que procura assegurar a representatividade das informações no âmbito dos próprios sistemas escolares dos estados. Ele não se apresenta como sistema fechado, mas como base para que outros trabalhos de avaliação sejam agregados, ampliando a discussão sobre as condições e os fatores que afetam a educação no Brasil (Waiselfisz,1991).

Outra dimensão focalizada do Saeb é a que o considera como um projeto integrador e cooperativo entre a União e os demais entes da Federação, formulado para permitir a realização de um diagnóstico nacional capaz de orientar as políticas do governo federal para o ensino básico, em conjunto com as administrações estaduais e municipais. Ele se propõe a desenvolver as capacidades avaliativas das unidades gestoras do sistema educacional, regionalizar a operacionalização do processo avaliativo, formular uma estratégia de integração dos diversos trabalhos realizados, conhecer e construir parâmetros do rendimento dos estudantes quanto aos aspectos cognitivos das propostas curriculares, identificar os pontos que apresentam maiores deficiências quanto à relação entre rendimento e formação de professores e disseminar na sociedade os parâmetros de qualidade desejados. A concepção sistêmica do Saeb deve possibilitar a avaliação e a aplicação dos resultados da pesquisa e dos estudos realizados no âmbito dos estados em que os dados são coletados, bem como a análise comparativa e a consolidação das informações em nível nacional (Waiselfisz,1993).

Em 1995, são realizadas mudanças profundas no modelo do Saeb, tendo sido alterada radicalmente a metodologia utilizada, com a introdução das escalas de proficiência construídas com base na Teoria da Resposta ao Item – TRI. Os artigos registram tão somente as preocupações de diversos autores quanto ao esclarecimento dos pressupostos e procedimentos envolvidos no emprego da teoria, não tendo sido encontradas análises, entre os textos examinados no período, que dessem conta do sentido geral dessas mudanças.

Ademais, devido às características da amostra, que inclui escolas estaduais e municipais muito diferenciadas em cada sistema escolar, e também em razão de procedimentos muito centralizados de análise e da falta de recursos humanos qualificados para aprofundar o exame dos dados em muitas das unidades da federação, os próprios quadros das redes de ensino têm dificuldade de identificar a sua realidade na forma como ela é retratada nos resultados apresentados.

Entre os artigos de caráter crítico, um deles discute e questiona o papel e a função dos diversos atores no sistema de avaliação nacional dentro de um país federativo como o Brasil (Oliveira, 1995). O outro aponta para a importante questão de que o principal objetivo do Saeb – melhorar a qualidade de ensino – não estaria sendo cumprido, à medida que seu próprio desenho e os instrumentos utilizados não têm permitido transformar os resultados do processo avaliativo em alternativas para intervenção (Maluf, 1996).

Avaliação da escola pública de Minas Gerais e de São Paulo

O maior volume dos textos incluídos na categoria apresenta e descreve o Programa de Avaliação da Escola Pública de Minas Gerais – PAEMG –, ou refere-se a estudos realizados nesse âmbito⁸. Vários deles recuperam o histórico e as características do programa, desenvolvido a partir de 1991, considerando as questões: quem, para que, o quê, como e onde. Outros discutem os resultados da avaliação do rendimento de alunos da 8ª série do ensino fundamental.

Pode ser encontrada desde uma breve descrição de experiências anteriores de avaliação realizadas a partir dos anos 20, em Minas Gerais, até a fundamentação legal do Programa de Avaliação do Sistema Estadual de Ensino de Minas Gerais. São descritos seus objetivos, delineamento, estrutura e modo de funcionar e apontados aspectos a serem implementados. Chama-se também a atenção para a sua característica censitária, que supõe a coleta de informações referentes a todos os estabelecimentos de ensino do estado e a aplicação dos instrumentos de medida a todos os alunos da série que está sendo avaliada^. É ressaltado ainda o envolvimento dos educadores da rede, que atuam na escola participando da divulgação do programa, preparação dos recursos humanos, aplicação das provas e sua coordenação e supervisão local, correção dos testes, elaboração e divulgação dos relatórios. Os pais de alunos também participam do processo, exercendo a função de "controladores da qualidade". Os resultados do rendimento dos alunos são posteriormente trabalhados pelos órgãos gestores junto às escolas e procura-se articulá-los a outros aspectos do sistema escolar.

A julgar pelo que foi veiculado nos periódicos, a impressão que se tem, contudo, é que o programa mineiro ainda não teria ultrapassado o estágio do diagnóstico, ainda que tenha propiciado a formação de quadros tecnicamente mais preparados, no interior mesmo dos órgãos gestores da educação no estado, para realizar esse tipo de avaliação.

O produto final do aluno é avaliado do ponto de vista descritivo, de modo que são apresentados tão-somente os pontos críticos da aprendizagem relativos a aspectos do programa curricular, apontando-se a conseqüente necessidade de refletir sobre as deficiências da prática docente e de adotar metodologias mais adequadas. As análises das informações geradas, incluindo as que estabelecem comparações entre regiões ou escolas ou fazem apreciações sobre o desempenho de funções e a assunção de responsabilidades pelos diferentes segmentos do aparato escolar, são realizadas numa perspectiva unidimensional. Os estudos parecem esgotar-se em si mesmos, sem que haja um esforço de relacioná-los com outros trabalhos realizados sobre o tema.

A respeito da escola pública paulista, encontram-se apenas dois artigos que tratam do Sistema de Avaliação de Rendimento Escolar do Estado de São Paulo – Saresp. Um deles consiste no próprio documento de implantação do Saresp e no seu detalhamento, e o outro apresenta o sistema com um breve histórico, destacando seus objetivos e desenho, além de aspectos ligados à sua implementação. Trata-se de um modelo que, como o de Minas Gerais, propõe a avaliação censitária dos alunos e visa a subsidiar as escolas e seus professores na elaboração do projeto pedagógico, bem como oferecer elementos à administração para a formulação de medidas de apoio à rede escolar.

Nos sistemas de avaliação dos estados, como as informações colhidas abarcam todo o universo escolar, permitindo serem trabalhadas não só numa perspectiva macro, mas usando os resultados para uma avaliação diagnóstica da prática escolar cotidiana, é possível também valer-se dos dados para uma alocação diferenciada de recursos às escolas por meio de uma estratégia de focalização do atendimento. Criam-se assim as condições de gerar novas formas de regulação do trabalho escolar, que paulatinamente substituem a vocação universalista das políticas de períodos anteriores, dirigidas à totalidade da população, pela mobilização das escolas em torno da aprovação de projetos que trazem verbas e outros insumos atrelados ao desenvolvimento das atividades educacionais a partir de uma direção pré-configurada, que orienta de modo particular a abordagem das questões educacionais.

AVALIAÇÃO DE POLÍTICAS EDUCACIONAIS⁹

Identificar, agrupar e classificar os artigos que integram esta categoria não foi tarefa fácil, em vista dos problemas conceituais presentes no campo da avaliação das políticas públicas. Trata-se de um campo relativamente novo, ainda não consolidado do ponto de vista dos referenciais analíticos e que, ademais, ressente-se das incertezas decorrentes da crise de paradigmas que afeta as ciências em geral e as Ciências Sociais em particular. Assim sendo, na bibliografia consultada para subsidiar a classificação dos artigos, verifica-se que há indefinições, inconsistências e divergências de caráter conceitual, terminológico e metodológico, tanto nos estudos que se dedicam a refletir sobre as peculiaridades desse campo de investigação como naqueles voltados para a avaliação de políticas e de programas específicos.

A despeito dessas ambigüidades, conseguiu-se identificar artigos que se ocupam das análises de políticas educacionais, os que têm a ver com avaliações da agenda e das propostas de governo e os que tratam de avaliações de programas na área. Trata-se, portanto, de uma classificação ensaística que permite uma aproximação em relação aos diferentes tipos de abordagens.

Análise das políticas educacionais

Entende-se por políticas públicas aquelas reguladas, formuladas e executadas pelo Estado, exclusiva ou preponderantemente. A análise de políticas públicas procura relacionar uma série de resultados a determinadas configurações. Conforme Arretche (1999), tendo em vista as diversas possibilidades de desenho institucional de uma política, sua análise deve buscar reconstituir essas diversas características de forma a apreendê-las em um todo coerente e compreensível. Essa autora distingue análise e avaliação de política pública, pois ainda que a análise possa atribuir a um determinado desenho institucional alguns resultados prováveis, somente a avaliação dessa política poderá chegar a atribuir uma relação de causalidade entre um determinado programa e um determinado resultado.

Pelo fato de a análise de políticas públicas possuir necessariamente uma conotação valorativa, pode-se lhe imputar, grosso modo, um caráter avaliativo. Não obstante, essa abordagem não precisa necessariamente deter-se nos aspectos operacionais ou na implementação de dada política, podendo, por exemplo, voltar-se apenas para os pressupostos e fundamentos de determinado curso de ações.

Já a avaliação de políticas supõe a adoção de métodos e procedimentos de pesquisa utilizados com a intenção e sistematicidade próprias desse campo. A avaliação de políticas sociais nesse sentido tem, na literatura especializada, se restringido, ou mesmo se confundido, muitas vezes, com a avaliação de programas, os quais constituem um elenco de ações ordenadas com propósitos definidos e mais claramente delimitados dentro de uma determinada política. Neste caso, além de verificar se as metas propostas por uma política, ou mais especificamente, se os objetivos definidos para um programa estão sendo atingidos, as avaliações se prestam a examinar o processo de implementação, os custos, bem como os efeitos que lhes podem ser atribuídos.

Mesmo tendo em conta a fragilidade dos limites conceituais do campo, foram selecionados alguns artigos que apresentam características de análise de políticas públicas voltadas para a educação. Nesse grupo, vários discutem o regime de colaboração entre as instâncias de governo, focalizando particularmente a relação entre estados e municípios no que tange à oferta do ensino, com especial ênfase no ensino fundamental, embora também a pré-escola seja contemplada. Aspectos mais propriamente políticos dessas relações são abordados, como os que apontam as tensões entre a oferta do ensino público nos diversos níveis e o acesso diferenciado a ele, conforme o maior poder de pressão e barganha dos diferentes segmentos da população. A mediação do clientelismo nessas questões é também discutida. A maior parte dos artigos desse grupo reporta-se aos sistemas de ensino de diferentes unidades da federação.

O financiamento do ensino básico, também em geral analisado na perspectiva do regime de colaboração tendo em vista as competências concorrentes entre as instâncias, é outro tema que merece atenção de um número reduzido de autores. Somente um dos textos trata da questão do financiamento sob o prisma nacional, ao arrolar as fontes de recursos para o setor a partir de um enfoque histórico, sugerir a correção de rumos e a criação de fontes alternativas (Melchior, 1993).

No que concerne às políticas de formação de magistério, dois textos abordam o tema dentro de uma ótica mais geral ou com uma abrangência nacional, o de Angela Barretto (1991) e o de Sofhia Lerche Vieira (1998). Os demais debruçam-se sobre políticas desenvolvidas no contexto dos sistemas estaduais de ensino.

As políticas de alfabetização são tratadas em artigo que focaliza o ensino regular no Município do Rio de Janeiro (Dutra, 1993) e, em outro que destaca ações voltadas para os jovens e adultos no Estado de São Paulo (Haddad, Di Pierro, Freitas, 1993).

Integram também essa categoria artigos que se ocupam da análise dos pressupostos sociais e políticos das reformas do ensino médio no país, focalizando especificamente o ensino técnico. Um deles aborda historicamente a educação profissional no Brasil (Kuenzer, 1998) e, o outro, as propostas atuais dos Ministérios do Trabalho e da Educação, tendo em vista a globalização da economia e as transformações técnico-organizacionais no trabalho (Ferretti, 1997).

Avaliação da agenda e das propostas de governo

Um dos aspectos da avaliação das políticas públicas ainda pouco explorados academicamente refere-se à avaliação da agenda e das propostas de governo. Recentes estudos nessa linha propõem-se a apreender o modo pelo qual algumas questões postas no âmbito da sociedade se convertem em temas a serem tratados pelas políticas públicas, bem como a identificar os segmentos que colocam certas questões em pauta na arena pública e aqueles cujas demandas são incorporadas. Nesse sentido, buscam identificar as mobilizações sociais de diferentes naturezas; as negociações de caráter político-partidário; as demandas dos organismos internacionais e outras, para chegar às agendas, planos e projetos de governo que lhes dão materialidade e discutir suas prioridades.

Nessa acepção, a rigor, não foram encontradas avaliações da agenda e de planos. Os artigos enquadrados nesse grupo, na verdade, constituem ensaios que tangenciam o objeto de estudo, geralmente a partir de uma espécie de avaliação de contexto. Alguns representam falas do discurso oficial sobre as políticas do setor. Seus autores costumam ser dirigentes ou ex-dirigentes de secretarias de estado e do Ministéiro da Educação que apresentam suas agendas políticas e discutem planos, programas ou projetos de governo. Com base em informações sistematizadas de várias fontes, que contribuem para caracterizar e dimensionar os problemas educacionais dos sistemas ou redes de ensino, buscam justificar as prioridades estabelecidas nas respectivas agendas e nos programas, chegando por vezes a discutir estratégias para a sua execução ou para o seu redirecionamento. O intuito parece ser o de legitimar politicamente as ações governamentais com apoio em uma racionalidade técnico-científica. Já os argumentos que expressam a busca de legitimação de natureza mais essencialmente política das principais estratégias e ações adotadas na gestão desses órgãos públicos são escassos.

Avaliação de programas

A avaliação de programas educacionais no Brasil tem como referência, de um lado, a longa tradição de avaliação na própria área da educação e, de outro, as contribuições mais recentes da ciência política. Na primeira perspectiva, a avaliação educacional no Brasil, caudatária do pensamento anglo-saxônico, e mais particularmente dos estudos norte-americanos, acompanhou a transição da avaliação concebida como medida, voltada para os resultados da aprendizagem do aluno e a cargo de psicólogos e psicopedagogos, para uma perspectiva mais ampla. Entre os anos 60 e 70, passam a ser focalizados como objeto de estudo os programas educacionais e o seu contexto, tendo profissionais do campo das Ciências Sociais como avaliadores.

Os referenciais adotados à época apontavam para a necessidade de levar em conta o grande número de variáveis presentes nos programas educacionais e de atuar no campo em que os atores sociais naturalmente se moviam, buscando superar desenhos de "controle", amplamente utilizados na pesquisa experimental ou quase-experimental de base psicológica. Tais transformações transitaram pela avaliação voltada para a tomada de decisões, como a de Stufflebeam, que influenciou amplamente as propostas de planejamento educacional e de currículo entre nós. Progressivamente, contudo, os esquemas excessivamente formais dos modelos positivistas de avaliação de programas passaram a ser animados pela consideração dos diferentes sujeitos sociais envolvidos nas ações que se buscava avaliar, com a incorporação das perspectivas fenomenológica e antropológica. Nesse percurso ganharam ênfase as análises de teor qualitativo, tendo-se observado a transformação da postura neutra e distante do avaliador para a disposição de aceitar a negociação de sentidos entre avaliador e avaliado.

A preferência pelos estudos qualitativos entre os pesquisadores brasileiros do campo da educação termina, contudo, por diluir a atenção aos aspectos de cobertura, financiamento e desenho institucional dos programas, cruciais na sua avaliação.

A segunda vertente de influência, a das ciências políticas, tem contribuído para recuperar a dimensão macro da avaliação das políticas e programas educacionais entre nós, trazendo aportes significativos ao setor nas duas últimas décadas, embora não seja raro encontrar nelas o viés comportamentalista e de neutralidade que também marcou o campo educacional.

A partir do processo de transição democrática iniciado nos anos 80, observa-se a intensificação das pesquisas de avaliação das ações de governo, em vista da maior receptividade que as administrações públicas passaram a ter diante desse tipo de apreciação. Também contribuíram para o aumento de pesquisas nessa linha, as exigências de organismos multilaterais, cuja importância vem sendo crescente na definição e financiamento das políticas no setor, as quais incidem sobre as avaliações externas, realizadas por instituições não diretamente envolvidas com as políticas.

Investigações dessa natureza são geralmente bastante dispendiosas pelo fato de que freqüentemente exigem equipes numerosas de trabalho, infra-estrutura que dê suporte à sua operacionalização e procedimentos especializados de análise. Por esse motivo, costumam ser realizadas sob encomenda, por agências de planejamento ou por instituições de pesquisa que devolvem os resultados às instâncias gestoras. Nesse sentido, muitas vezes as investigações deixam de ser divulgadas em veículos de ampla circulação, ficando restritas a relatórios extensos aos quais têm acesso apenas os mais envolvidos com as decisões a serem tomadas. Conseqüentemente, essa modalidade de estudo não chega facilmente ao conhecimento do público leitor da área de educação, fato que certamente explica o reduzido número de artigos sobre avaliação de programas encontrados em veículos de circulação mais ampla como as revistas analisadas.

As avaliações de programas de cunho acadêmico, geralmente mais interessadas em detectar tendências e identificar princípios generalizáveis do que em subsidiar diretamente a tomada de decisões, são também pouco presentes na bibliografia consultada. Ao contrário das primeiras, são em geral efetuadas no âmbito dos programas de pós-graduação e, devido à escassez de recursos de que dispõem e à preferência pela utilização de abordagens qualitativas, usualmente restringem-se tão-somente ao exame de alguns dos aspectos da implementação dessas ações governamentais.

Entre os cerca de um terço dos artigos arrolados na categoria que se referem à avaliação de programas educacionais, alguns utilizam metodologias clássicas de avaliação. Outros, entretanto, não chegam a fazer uma avaliação stricto sensu, quer por adotarem um tom eminentemente opinativo, quer por apenas mencionarem os programas para subsidiar reflexões suscitadas pelo estudo avaliativo. Nesses casos, as informações fornecidas ao leitor não são, em geral, suficientes para que se possa ter uma idéia clara dos propósitos do programa e do seu delineamento. As avaliações propriamente ditas podem reportar-se ao programa como um todo, ainda que privilegiem determinadas regiões ou localidades, ou a aspectos parciais do programa.

No primeiro caso, encontram-se dois estudos sobre o ciclo básico de alfabetização, que podem ilustrar os condicionantes institucionais das pesquisas. Um deles, realizado em instituição especializada, incide sobre ações desenvolvidas nas redes estaduais de Minas Gerais e São Paulo, adota um delineamento quase-experimental de investigação e aplica a metodologia do profluxo, utilizando dados dos censos educacionais do MEC e das PNADs. Ao acompanhar a trajetória escolar de coortes de alunos entre 1981 e 1989, constata que a introdução do ciclo básico não teria alterado basicamente o fluxo escolar nos dois estados e passa a discutir as condições culturais e os condicionantes escolares que estariam dificultando para o bom êxito das medidas (Silva, Davis, 1993).

O outro estudo, resultado de investigação de mestrado, analisa o ciclo básico por meio de estudo de caso realizado em quatro escolas da rede estadual paulista, com o objetivo de avaliar o êxito da medida e o nível de adesão que suscita, nesse sentido, apontar aspectos a serem apoiados ou reformulados (Silva, 1991).

As duas pesquisas, embora de modo geral discutam a aceitação das medidas por parte dos atores sociais, os fatores favoráveis ou desfavoráveis ao desenvolvimento do regime de ciclos e tenham preocupações com a sua efetividade, em razão da metodologia adotada, exploram diferentes dimensões do programa. A primeira possibilitou que se obtivesse uma idéia do impacto do regime de ciclos nas redes escolares em termos dos efeitos no conjunto da população. Já a segunda oferece pistas para o entendimento dos significados que os diferentes agentes educacionais e os usuários da escola atribuem às modificações pretendidas, elucida processos por meio dos quais são redefinidas as mudanças e oferece pistas sobre o nível de satisfação dos atores.

Ainda que em última instância os achados sejam complementares, observa-se tendência à grande valorização dos dados produzidos pelo primeiro tipo de pesquisa no âmbito da tomada de decisões sobre as políticas públicas e a desconsideração freqüente de informações relevantes produzidas pelas investigações de tipo qualitativo, na formulação e no que concerne aos processos de implementação de programas e políticas educacionais. O reconhecimento dessa importância não impede, contudo, que sejam reconhecidas algumas sérias lacunas na tradição de pesquisa no campo da educação.

Também, dentro dessa categoria, dois outros estudos focalizam programas, semelhantes quanto às características e objetivos: Escolas Rurais Consolidadas, implantado no Estado do Paraná entre 1977 e 1986 (Ramos, 1991), e o Agrupamento de Escolas Rurais no Estado de São Paulo em 1989 (Vasconcellos, 1993). Tais programas implicam basicamente a reunião de várias escolas isoladas e multisseriadas em uma escola de primeiro grau maior, agrupada, com melhores condições físicas e pedagógicas.

As análises mostram que ambos melhoraram as condições de escolaridade na zona rural, em termos de oferta, utilização de equipamentos, vagas, oferecimento de condições mais adequadas de trabalho e de aperfeiçoamento profissional para os professores. Constatou-se também a ampliação dos anos de escolaridade e menor absenteísmo. A despeito desses pontos positivos, os programas apresentaram problemas. No caso das Escolas Rurais Consolidadas, constatou-se o desvirtuamento dos objetivos em virtude de intervenientes de ordem política e, conseqüentemente, diminuição do impacto do programa. Quanto ao Programa Agrupamento de Escolas Rurais, ficou evidenciada a necessidade de se considerar melhor os custos de adaptação/construção de escolas, gastos com o esquema de transporte dos alunos, planejamento para a sua operacionalização, bem como a definição mais adequada das responsabilidades em relação aos gastos e à operação na esfera do estado e na esfera dos municípios envolvidos.

Ferretti, Vianna e Souza (1991), por sua vez, contextualizam e discutem criticamente a proposta, os objetivos e os pressupostos do Programa de Formação Integral da Criança – Profic –, implantado no Estado de São Paulo pela Secretaria de Estado da Educação, com a finalidade de oferecer uma "educação integral" a escolares de baixa renda. Os dados são coletados e analisados a partir de amplo mapeamento das escolas que o adotaram entre 1986 e 1988. Ao mesmo tempo, procura-se dar conta da dimensão qualitativa da avaliação, por meio de estudo em profundidade realizado em duas unidades escolares. Os autores concluem que além do caráter psicologizante e assistencialista subjacente à abordagem dos problemas enfrentados pelas populações a que se destina, o programa assumiu características centralistas, tanto em sua formulação como na sua implementação. A precariedade do processo de implementação criou ainda problemas para as escolas e o índice de adesão pela rede escolar foi aquém do esperado.

Finalmente encontra-se um texto que se refere à avaliação do Programa Um Salto para o Futuro, realizada em 1992 (Barretto, 1997). Trata-se de programa de capacitação a distância, de caráter nacional, emitido via satélite e dirigido aos professores das séries iniciais do primeiro grau, cujo objetivo é levá-los a formular um referencial teórico-metodológico adequado à prática docente. Empregando procedimentos variados, o estudo faz uma apreciação dos pressupostos teórico-metodológicos e do formato do programa, da opinião e interação dos atores sociais envolvidos, do aproveitamento dos cursistas e das condições de implementação. Aponta para os aspectos a serem melhorados no projeto educativo e na exploração dos recursos tecnológicos, bem como para aspectos positivos, tais como o caráter inovador da proposta, a compreensão por parte dos professores de conceitos básicos veiculados pelo curso. Também chama atenção para o reduzido número da audiência em face das estimativas iniciais de cobertura do programa e destaca a necessidade de uma análise de custos que leve em conta os recursos envolvidos em todas as instâncias.

Estudos dessa natureza costumam apenas situar sumariamente o objeto que se propõem a avaliar, seja no cenário social em que se situa, seja no contexto da produção existente. Tendo em vista o exíguo tempo previsto para apresentação dos resultados, os pesquisadores concentram-se nas enormes tarefas operacionais necessárias à coleta e análise das informações referentes às várias dimensões do programa, sem que haja condições de empreenderem discussão mais alentada acerca de referenciais teórico-metodológicos empregados, ou de compararem os resultados obtidos com investigações congêneres. Se de um lado ganham em agilidade e se prestam a subsidiar diretamente a tomada de decisões, de outro, ficam a dever do ponto de vista do seu poder de explicação.

Entre as avaliações que se fixam apenas em determinados aspectos dos programas, Gomes Netto et al. (1993) analisam o custo/resultado do Programa Edurural implementado nas zonas rurais de 218 municípios do nordeste entre 1981 e 1987. João B. A. e Oliveira (1998) faz, por sua vez, um estudo do custo/benefício do Programa de Aceleração de Aprendizagem, destinado a corrigir o fluxo escolar dos alunos das quatro séries iniciais do ensino fundamental mediante o uso de metodologias próprias, tomando por base dados colhidos em escolas do Estado do Maranhão e de Minas Gerais e em escolas municipais disseminadas por todo o país, no período entre 1995 e 1997. Em ambos os casos, as informações sobre os programas são bastante genéricas e destinadas sobretudo a situar a questão a ser investigada, de sorte que por meio delas não é possível obter uma idéia clara do conjunto de ações neles envolvidas.

Integram ainda esta categoria alguns textos que abordam aspectos teórico-metodológicos da avaliação. Discute-se, por exemplo, o emprego de abordagem etnográfica na avaliação de projetos inovadores e, no texto de Gatti (1994), são feitas ponderações sobre as experiências de avaliação de programas realizadas pela Fundação Carlos Chagas. A autora chama a atenção para a necessidade de se levar em conta as características do meio no qual será desenvolvida a pesquisa, evitando-se a imposição de modelos que não são adequados à sua realidade cultural e política, além de pontuar questões aliadas ao emprego de grandes amostras, tais como imprecisões e representatividade de dados estatísticos, ao tempo demandado para a coleta de informações, custos, preparo do pessoal para elaboração e aplicação dos instrumentos.

CONSIDERAÇÕES FINAIS

Ao longo do exame dos periódicos, verificou-se ainda que há número considerável de autores que se vêm ocupando do tema há pelo menos duas décadas, sugerindo que o campo de estudos está em processo de consolidação. Vários deles têm-se tornado referências importantes, seja pelas análises e discussões sobre modelos, pressupostos e aspectos metodológicos da avaliação e das práticas avaliativas nas escolas, seja pelos esforços de focalizar as informações sobre o rendimento do aluno como elementos que subsidiam a gestão dos sistemas de ensino.

Observa-se entre os textos analisados um número significativo de transcrições de idéias, experiências, reflexões e até mesmo de pesquisas publicadas no exterior que, se por um lado, contribuem para contextualizar a questão no cenário internacional, por outro, revelam a relativa escassez de estudos originais sobre a realidade brasileira.

A categorização adotada no trabalho não permitiu o agrupamento de textos de acordo com os níveis de ensino. No conjunto dos artigos, entretanto, observa-se que apenas um número reduzido deles refere-se a um nível educacional específico. Quando isso ocorre, a freqüência maior é verificada em relação ao ensino fundamental, tal como já constataram outras investigações do gênero; são escassos os escritos sobre o ensino médio e muito raros aqueles que focalizam a avaliação em relação à educação infantil.

Entre os artigos que se ocupam mais amplamente dos referenciais teóricos ou pressupostos da avaliação, mas também entre aqueles que tratam da avaliação das práticas escolares ou dos aspectos institucionais da escola, há grande número de textos que se reporta à dimensão qualitativa da avaliação. Desses textos emergem uma série de características bastante convergentes, que permitem esboçar um paradigma multirreferenciado de avaliação da educação, centrado no processo de aprendizagem, muito mais que no seu produto. Seus fundamentos encontram-se nas áreas do conhecimento que fazem parte da formação do professor, como a sociologia, a psicologia, a filosofia e a própria pedagogia e estão, portanto, mais próximos do seu universo conceitual. São todavia raríssimos os artigos que propõem e tentam aplicar novas formas de atuar dentro do modelo de avaliação de qualidade amplamente aceito.

Em relação ao paradigma de avaliação qualitativa, o que vem à tona é sobretudo a afirmação de certos pressupostos; no caso da avaliação de resultados, como também é chamada a avaliação de sistema, observa-se o recurso a metodologias e procedimentos altamente sofisticados, bem como o seu incremento nas redes de ensino. O modelo tem lastro numa vertente econômica que coloca como centro das reformas educacionais a mudança no estilo de gestão da escola e propõe mudanças profundas na lógica de operar do setor público. Alimenta-se de um referencial muito distante daquele em que se movem os professores, opera com uma racionalidade que não é a deles e produz muitas incertezas, o que contribui para imprimir resistências à inculcação de uma cultura avaliativa nas escolas.

O próprio desenvolvimento de capacidades avaliativas nas unidades gestoras do sistema educacional, mediante a regionalização e integração dos diversos trabalhos realizados, parece, por sua vez, um objetivo proclamado, mas apenas parcialmente realizado. Evidencia-se a dificuldade de se estabelecer uma rotina de coleta sistematizada dos dados necessários para a avaliação externa, de se avançar na análise dos resultados, além da falta de mecanismos de divulgação que garantam a assimilação das informações e possibilitem a utilização efetiva da análise dos resultados.

Para ultrapassar a faina de produção da grande quantidade de informações sobre o rendimento dos alunos, a questão que se coloca é se esse tipo de avaliação tem, efetivamente, logrado oferecer subsídios valiosos para apoiar o sistema educacional nas ações voltadas à melhoria de sua qualidade. Mesmo que se considere que o tempo de implementação dos sistemas de avaliação é ainda curto para que deles se possa esperar um retorno expressivo, o silêncio quase total da literatura especializada no que diz respeito à identificação dessa dimensão pressuposta no modelo sugere que nada mais justo do que começar a cobrar resultados da avaliação de resultados.

No que diz respeito à avaliação das políticas e programas educacionais, duas questões merecem destaque. A primeira é que grande parte dos estudos focaliza iniciativas e ações implementadas no contexto de alguns estados, principalmente da região sudeste, com especial freqüência no Estado de São Paulo. Certamente o fato de os estados e municípios serem as instâncias diretamente responsáveis pelo ensino básico e de a região sudeste concentrar o maior percentual dos programas de pós-graduação do país e, portanto, uma massa crítica considerável deve ter contribuído para que essas dimensões fossem privilegiadas. No entanto, chama a atenção a grande lacuna de estudos e informações sobre o contexto e as condições histórico-específicas das políticas executadas na grande maioria dos sistemas de ensino dos estados e dos milhares de municípios brasileiros. Além disso, fica também evidente a falta de dados empíricos e análises das políticas que propiciem um quadro mais completo de referências de âmbito regional e nacional.

A segunda é que a maioria das avaliações incide sobre programas que tiveram início na década de 80, alguns inclusive já extintos, ou grandemente alterados. Ainda que se admita a necessidade de certo percurso de tempo para que os programas possam ser avaliados, chama a atenção o fato de que, a despeito de a década de 90 ter passado por profundas e numerosas mudanças nas políticas educacionais, haja número excessivamente reduzido de estudos que tenham apreciado criticamente as suas alterações mais recentes, ou, quando menos, tenham se preocupado com a disseminação de seus achados em mais ampla escala. Ironicamente isso ocorre justamente no contexto das reformas que exaltam a importância da informação para a própria formulação e seguimento das ações governamentais.

Quando os grupos de interlocução são restritos e os resultados permanecem exclusivamente no domínio dos círculos que tomam as decisões no âmbito de governo, a informação pode configurar-se como instrumento de poder com características bastante discricionárias, prestando-se à legitimação dos grupos dirigentes, independentemente da eqüidade ou adequação das medidas adotadas. A disseminação de informações bem fundamentadas e em tempo hábil sobre as políticas públicas, não somente para os usuários diretos dos serviços educacionais, como também para a sociedade em geral e para grupos críticos em particular, como no caso, o público formador de opinião que é aquele das revistas, permite que programas e políticas educacionais sejam apreciados a partir de diferentes óticas e interesses. Essa é condição fundamental para a garantia do diálogo democrático e do exercício pleno da cidadania, que pode ser crucial no momento de preservar iniciativas que estejam beneficiando a amplos segmentos da população, ou na ocasião de dar lugar a novos desenhos de políticas e programas.

• ANDRADE, D. F.; VALLE, R. C. Introdução à teoria da resposta ao item: conceitos e aplicações. Estudos em Avaliação Educacional São Paulo: FCC, n.18, p.13-32, jul./dez. 1998.
• ANDRÉ, M. E. D. A. A Avaliação da escola e a avaliação na escola. Cadernos de Pesquisa São Paulo: FCC; Cortez, n.74, p.68-70, ago. 1990.
• ___________. Avaliação escolar: além da meritocracia e do fracasso. Cadernos de Pesquisa São Paulo: FCC; Cortez, n.99, p.16-20, nov. 1996.
• ___________. Eu, professora-avaliadora. Cadernos de Pesquisa São Paulo: FCC; Cortez, n.105, p.78-91, nov. 1998.
• ANDRÉ, M. E. D.; DARSIE, M. M. P. O Diário reflexivo, avaliação e investigação didática. Ensaio: Avaliação e Políticas Públicas em Educação. Rio de Janeiro: Fundação CESGRANRIO, v.6, n.21, p.447-62, out./dez. 1998.
• ARRETCHE, M. T. S. Tendências no estudo de avaliação. In: RICO, E. N. R. (org.) Avaliação de políticas sociais: uma questão em debate. 2. ed. São Paulo: Cortez; Instituto de Estudos Especiais, 1999.
• BARRETTO, A. M. R. F. Professores do ensino do primeiro grau: quem são, onde estão e quanto ganham? Estudos em Avaliação Educacional São Paulo: FCC, n.3, p.11-44, jan./jun. 1991.
• BARRETTO, E. S. S. A Avaliação entre dois modelos. Educação e Sociedade Campinas: CEDES, v. 22, n. 75, p. 48-66, ago. 2001.
• ___________. Capacitação a distância de professores do ensino fundamental no Brasil. Educação e Sociedade Campinas: Cedes, v.18, n.59, p.308-29, ago. 1997.
• BARRETTO, E. S. S.; PINTO, R. P. (coords.). Avaliação de programas educacionais: indagações metodológicas e disseminação de resultados. Tendências e perspectivas na avaliação de políticas e programas sociais São Paulo: IEE/PUC/SP, Cenpec, Cedac, 2001.
• ___________. Avaliação na educação básica (1990-1998). Brasília: MEC/Inep/Comped, 2001. 219 p. (Série Estado do Conhecimento n.4).
• BESSA, N. M. Comentários sobre a proposta da Orealc/Unesco para medição da qualidade em educação. Estudos em Avaliação Educacional São Paulo: FCC, n.2, p.91-8, jul./dez. 1990.
• CANDAU, V. M. F.; OSWALD, M. L. M. B. Avaliação no Brasil: uma revisão bibliográfica. Cadernos de Pesquisa São Paulo: FCC; Cortez, n.95, p.25-36, nov. 1995.
• CORAZZA, S. M. Currículo e política cultural da avaliação. Educação e Realidade Porto Alegre: UFRGS, v.20, n.2, p.47-59, jul./dez. 1995.
• DARSIE, M. M. P. Avaliação e aprendizagem. Cadernos de Pesquisa São Paulo: FCC; Cortez, n.99, p.47-59, nov. 1996.
• DAVIS, C.; ESPOSITO, Y. L. Papel e função do erro na avaliação escolar. Cadernos de Pesquisa São Paulo: FCC; Cortez, n. 74, p. 71-5, ago. 1990.
• DEMO, P. Lógica e democracia da avaliação. Ensaio: Avaliação e Políticas Públicas em Educação. Rio de Janeiro: Fundação Cesgranrio, v.3, n.8, p.323-30, jul./set. 1995.
• ___________. Promoção automática e capitulação da escola. Ensaio: Avaliação e Políticas Públicas em Educação. Rio de Janeiro: Fundação Cesgranrio, v.6, n.19, p.159-90, abr./jun. 1998.
• ___________. Qualidade da educação: tentativa de definir conceitos e critérios de avaliação. Estudos em Avaliação Educacional São Paulo: FCC, n.2, p.11-26, jul./dez. 1990.
• DUTRA, A. A Questão política da alfabetização no Rio de Janeiro de 1983 a 1987. Cadernos de Pesquisa São Paulo: FCC; Cortez, n.85, p.33-42, maio 1993.
• FERRETTI, C. J. Formação profissional e reforma do ensino técnico no Brasil: anos 90. Educação e Sociedade Campinas: CEDES, v.18, n.59, p.225-69, ago. 1997.
• FERRETTI, C. J.; VIANNA, C. P.; SOUZA, D. T. Escola pública em tempo integral: o Profic na Rede Estadual. Cadernos de Pesquisa São Paulo: FCC; Cortez, n.76, p.5-17, fev. 1991.
• FIRME, T. P. Mitos na avaliação: diz-se que.... Ensaio: Avaliação e Políticas Públicas em Educação. Rio de Janeiro: Fundação Cesgranrio, v.2, n.1, p.57-62, out./dez. 1994.
• FLETCHER, P. R. Avaliação do perfil cognitivo da população brasileira. Estudos em Avaliação Educacional São Paulo: FCC, n.4, p.27-64, jul./dez. 1991.
• ___________. Procedimentos para estabelecer a equivalência de provas com modelos da resposta ao item. Ensaio: Avaliação e Políticas Públicas em Educação. Rio de Janeiro: Fundação Cesgranrio, v.3, n.6, p.41-54, jan./mar. 1995.
• ___________. Propósitos da avaliação educacional: uma análise das alternativas. Estudos em Avaliação Educacional São Paulo: FCC, n. 11, p. 93-112, jan./jun. 1995a.
• ___________. A Teoria da resposta ao item: medidas invariantes do desempenho escolar. Ensaio: Avaliação e Políticas Públicas em Educação. Rio de Janeiro: Fundação Cesgranrio, v.1, n.2, p.21-8, jan./mar. 1994.
• FLETCHER, P. R.; CASTRO, C. M. Mitos, estratégias e prioridades para o ensino de 1º grau. Estudos em Avaliação Educacional São Paulo: FCC, n.8, p.39-56, jul./dez. 1993.
• FRANCO, M. L. P. B. Qualidade de ensino: critérios e avaliação de seus indicadores. Idéias São Paulo: FDE, n.22, p.81-7, 1994.
• GATTI, B. Avaliação educacional no Brasil: experiências, problemas, recomendações. Estudos em Avaliação Educacional São Paulo: FCC, n.10, p.67-80, jul./dez. 1994.
• GOMES NETTO, J. B. F. et al. Investimentos autofinanciáveis em educação. Cadernos de Pesquisa São Paulo: FCC; Cortez, n.85, p.11-25, maio 1993.
• GONÇALVES, M. E. R.; CARVALHO, A. M. P. Conhecimento físico nas primeiras séries do 1º grau: o problema do submarino. Cadernos de Pesquisa São Paulo: FCC; Cortez, n.90, p.72-80, ago. 1994.
• HADDAD, S.; DI PIERRO, M. C.; FREITAS, M. V. Perfil do atendimento em alfabetização de jovens e adultos no Estado de São Paulo. Revista Brasileira de Estudos Pedagógicos Brasília: INEP, v.74, n.178, p.495-528, set./dez. 1993.
• KLEIN, R.; FONTANIVE, N. S. Avaliação em larga escala: uma proposta inovadora. Em Aberto Brasília: Inep, v.15, n.66, p.29-34, abr./jun. 1995.
• KLEIN, R.; RIBEIRO, S. C. A Pedagogia da repetência ao longo das décadas. Ensaio: Avaliação e Políticas Públicas em Educação. Rio de Janeiro: Fundação Cesgranrio, v.3, n.6, p.55-62, jan./mar. 1995.
• KUENZER, A. Z. A Reforma do ensino técnico no Brasil e suas conseqüências. Ensaio: Avaliação e Políticas Públicas em Educação. Rio de Janeiro: Fundação Cesgranrio, v.6, n.20, p.365-84, jul./set. 1998.
• LINS, M. J. S. C. Avaliação da escolarização de crianças com deficiência física: interação sociocultural na escola. Ensaio: Avaliação e Políticas Públicas em Educação. Rio de Janeiro: Fundação Cesgranrio, v. 5, n.17, p.535-54, out./dez. 1997.
• LUCKESI, C. C. Avaliação da aprendizagem escolar: apontamentos sobre a pedagogia do exame. Tecnologia Educacional Rio de Janeiro: ABT, v.20, n.101, p.82-6, jul./ago. 1991.
• ___________. Avaliação educacional: pressupostos conceituais. Tecnologia Educacional Rio de Janeiro: ABT, v.25, n.130/131, p.26-9, maio/ago. 1996.
• ___________. Planejamento e avaliação na escola: articulação e necessária determinação ideológica. Idéias São Paulo: FDE, n.15, p.115-25, 1992.
• LÜDKE, M. O Administrador escolar entre o mito da avaliação e os desafios de sua prática. Estudos em Avaliação Educacional São Paulo: FCC, n.12, p.51-7, jul./dez. 1995.
• ___________. Formação de professores e avaliação. Ensaio: Avaliação de Políticas Públicas em Educação. Rio de Janeiro: Fundação Cesgranrio, v. 3, n. 8, p. 331-6, jul./set. 1995a.
• ___________. Um olhar sociológico sobre a avaliação escolar. Idéias São Paulo: FDE, n.22, p.21-7, 1994.
• MALUF, M. M. B. Sistema nacional de avaliação da educação básica no Brasil: análise e proposições. Estudos em Avaliação Educacional São Paulo: FCC, n.14, p.5-38, jul./dez. 1996.
• MASINI, E. F. S. Algumas questões sobre a avaliação do portador de deficiência visual. Revista Brasileira de Estudos Pedagógicos Brasília: Inep, v.76, n.184, p.615-34, set./dez. 1995.
• MELCHIOR, J. C. A. Fontes de recursos financeiros para a educação no Brasil: captação e aplicação. Ensaio: Avaliação e Políticas Públicas em Educação. Rio de Janeiro: Fundação Cesgranrio, v.1, n.1, p.23-44, out./dez. 1993.
• MOREN, E. B. S.; DAVID, M. M. M. S.; MACHADO, M. P. L. Diagnóstico e análise de erros em matemática: subsídios para o processo ensino/aprendizagem. Cadernos de Pesquisa São Paulo: FCC; Cortez, n.83, p.43-51, nov. 1992.
• MORO, M. L. F. Crianças com crianças, aprendendo: interação social e construção cognitiva. Cadernos de Pesquisa São Paulo: FCC; Cortez, n.79, p.31-43, nov. 1991.
• NICOLAU, M. L. M. Um estudo das potencialidades e habilidades no nível da pré-escolaridade e sua possível interferência na concepção que a criança constrói sobre a escrita. Revista da Faculdade de Educação São Paulo: Feusp, v.23, n.1/2, p.258-82, jan./dez. 1997.
• OLIVEIRA, D. P. T. Avaliação externa do ciclo básico: diagnóstico necessário à melhoria da qualidade da educação. Ensaio: Avaliação e Políticas Públicas em Educação. Rio de Janeiro: Fundação Cesgranrio, v.6, n.18, p.67-84, jan./mar. 1998.
• OLIVEIRA, J. B. A. Análise de custos e resultados do Programa de Aceleração de Aprendizagem. Ensaio: Avaliação e Políticas Públicas em Educação. Rio de Janeiro: Fundação Cesgranrio, v.6, n.18, p.23-56, jan./mar. 1998.
• ___________. O Futuro do SAEB e a consolidação de políticas públicas. Em Aberto Brasília: INEP, v.15, n.66, p.3-11, abr./jun. 1995.
• PLANK, D. N.; AMARAL SOBRINHO, J.; XAVIER, A. C. R. Uma estratégia para a qualidade do ensino fundamental: os padrões mínimos de oportunidades educacionais. Estudos em Avaliação Educacional São Paulo: FCC, n.2, p.33-40, jul./dez. 1990.
• RAMOS, L. M. P. C. Escolas rurais consolidadas: a experiência paranaense. Cadernos de Pesquisa São Paulo: FCC; Cortez, n.77, p.19-24, maio 1991.
• RIBEIRO, S. C. A Pedagogia da repetência. Estudos em Avaliação Educacional São Paulo: FCC, n.4, p.73-86, jul./dez. 1991.
• ROSSETTI-FERREIRA, M. C. et al. Promoção da qualidade e avaliação na educação infantil: uma experiência. Cadernos de Pesquisa São Paulo: FCC; Cortez, n.105, p.52-77, nov. 1998.
• SANTOS, M. A. Desvelando o jogo da avaliação entre professor e aluno. Estudos em Avaliação Educacional São Paulo: FCC, n.12, p.45-9, jul./dez. 1995.
• SAUL, A. M. A Avaliação educacional. Idéias São Paulo: FDE, n.22, p.61-8, 1994.
• SEGENREICH, S. C. D. Possibilidades de contribuição da análise institucional à avaliação e gestão de instituições educativas: retomando conceitos e avaliando os resultados. Ensaio: Avaliação e Políticas Públicas em Educação. Rio de Janeiro: Fundação Cesgranrio, v.3, n.7, p.133-42, abr./jun. 1995.
• SILVA, T. R. N.; DAVIS, C. É proibido repetir. Estudos em Avaliação Educacional São Paulo: FCC, n.7, p.5-44, jan./jul. 1993.
• SILVA, Z. I. F. Um estudo avaliativo sobre o ciclo básico de alfabetização em quatro escolas de São Paulo. Estudos em Avaliação Educacional São Paulo: FCC, n.3, p.49-70, jan./jun. 1991.
• SOUSA, S. M. Z. L. Avaliação da aprendizagem: análise de pesquisas produzidas no Brasil, no período de 1980 a 1990. Revista da Faculdade Educação São Paulo: Feusp, v.22, n.1, p.111-44, jan./jun. 1996.
• ___________. Avaliação da aprendizagem nas pesquisas no Brasil de 1930 a 1980. Cadernos de Pesquisa São Paulo: FCC; Cortez, n.94, p.43-9, ago. 1995.
• ___________. Conselho de classe: um ritual burocrático ou um espaço de avaliação coletiva?. Idéias São Paulo: FDE, n.25, p.45-59,1995a.
• SZYMANSKI, H. Significado de avaliação para mães de uma escola estadual da região central de São Paulo. Idéias São Paulo: FDE, n.22, p.69-74, 1994.
• VASCONCELLOS, E. A. Agrupamento de escolas rurais: alternativa para o impasse da educação rural? Cadernos de Pesquisa São Paulo: FCC; Cortez, n.86, p.65-73, ago. 1993.
• VIANNA, H. M. Avaliação educacional nos Cadernos de Pesquisa. Cadernos de Pesquisa São Paulo: FCC; Cortez, n.80, p.100-5, fev. 1992.
• ___________. Avaliação educacional: uma perspectiva histórica. Estudos em Avaliação Educacional São Paulo: FCC, n.12, p.7-24, jul./dez. 1995.
• ___________. Avaliando a avaliação: da prática à pesquisa. Estudos em Avaliação Educacional São Paulo: FCC, n.5, p.55-64, jan./jun.. 1992a.
• ___________. Medida da qualidade em educação: apresentação de um modelo. Estudos em Avaliação Educacional São Paulo: FCC, n.2, p.99-104, jul./dez. 1990.
• VIEIRA, S. L. Estado e política de formação de magistério. Cadernos de Pesquisa São Paulo: FCC; Cortez, n.103, p.53-67, mar. 1998.
• WAISELFISZ, J. O Sistema nacional de avaliação do ensino público de 1º grau. Estudos em Avaliação Educacional São Paulo: FCC, n.4, p.65-72, jul./dez. 1991.
• ___________. Sistemas de avaliação do desempenho escolar e políticas públicas. Ensaio: Avaliação e Políticas Públicas em Educação. Rio de Janeiro: Fundação Cesgranrio, v.1, n.1, p.5-22, out./dez. 1993.

1

. O referido estado da arte foi realizado no âmbito do Comitê de Produtores da Informação Nacional – Comped –, ligado ao Instituto Nacional de Estudos Pedagógicos – Inep.

2

. São eles:

Cadernos de Pesquisa,

Educação e Realidade,

Educação e Sociedade,

Em Aberto,

Ensaio,

Estudos em Avaliação Educacional,

Revista Brasileira de Estudos Pedagógicos,

Revista da Faculdade de Educação da USP,

Tecnologia Educacional, bem como a Série Idéias.

3

. A categoria que recebeu o nome de Avaliação de Sistema neste artigo foi chamada, no estado da arte, Avaliação de Monitoramento. Embora esta última denominação possa ser aplicada a outros modos de avaliar, por falta de um nome consensual por ocasião da realização do estudo, decidiu-se adotá-la tendo em conta a função principal que esse modelo de avaliação se propõe a desempenhar no país. Posteriormente as autoras ponderaram que a

avaliação de sistema parece estar se consolidando como nomenclatura mais utilizada.

4

. Este e o próximo tópico foram objeto de análise mais aprofundada a partir do estado da arte, tendo gerado o artigo de Barretto (2001).

5

. São exemplos de aplicação da metodologia do profluxo os importantes estudos realizados por Ribeiro (1991), autor que cunhou a expressão "pedagogia da repetência"; ver também Fletcher e Castro (1993) e, ainda, Klein e Ribeiro (1995).

6

. Em verdade, a maioria absoluta dos textos concentra-se num determinado título, a revista

Estudos em Avaliação Educacional, que publicou 82% dos seus 67 textos. O segundo periódico que mais publicou sobre o tema foi

Ensaio, que trouxe à luz seis artigos. Os demais artigos figuram nas publicações do Inep ou da Secretaria de Estado da Educação de São Paulo.

7

. O ciclo básico, implantado na rede estadual do Rio de Janeiro em 1993, consiste em escolaridade de cinco anos (dos seis aos doze anos) e dá continuidade às políticas anteriores de implementação do bloco único a partir de 1980. Ele prevê dois momentos: o primeiro corresponde aos três anos iniciais, que incorporaram as classes de alfabetização incluídas no bloco único desde 1985; o segundo, aos dois anos seguintes, ou seja, ao quarto e quinto anos do ensino fundamental de nove anos.

8

. Eles representam 40% desses artigos.

9

. Esse tema, constante do estado da arte, já foi mais extensamente desenvolvido em outro texto (Barretto, Pinto, 2001).

Datas de Publicação

• Publicação nesta coleção
  01 Ago 2003
• Data do Fascículo
  2001