Acessibilidade / Reportar erro

Livros didáticos de Biologia do Ensino Médio: resultados do PNLEM/2007

High school biology textbooks: results from PNLEM/2007

Resumos

Em 2005, os livros didáticos de Biologia do ensino médio publicados no Brasil foram avaliados, como parte do Programa Nacional do Livro para o Ensino Médio (PNLEM). Neste artigo, relatamos resultados dessa avaliação. Os critérios e o processo de avaliação são apresentados de modo detalhado, bem como os principais problemas das obras não-recomendadas para compra pelo MEC e os principais aspectos positivos das obras recomendadas. Das 18 obras submetidas à avaliação, nove satisfizeram os critérios mínimos de qualidade para aprovação. Sete obras didáticas excluídas apresentaram problemas em todas as classes de critérios de avaliação. Todas as nove obras excluídas exibiram problemas relativos à correção e adequação conceituais, e à precisão da informação básica fornecida. As qualidades mais frequentes nas obras recomendadas diziam respeito à adequação metodológica e à construção do conhecimento. Não encontramos evidências claras de que a frequência de escolha pelos professores do ensino médio refletiu a qualidade dos itens avaliados, conforme estabelecida pela equipe que analisou as obras.

Livros Didáticos; Ensino de Biologia; Ensino Médio; PNLEM


In 2005, Brazilian Biology high school textbooks were evaluated as part of the National Program for the High School Textbook (PNLEM). In this paper, we report results of this evaluation. The evaluation criteria and processes are presented in a detailed manner, as well as the main flaws found in the textbooks not recommended to be bought by the Ministry of Education and the main positive aspects of the approved materials. Nine out of 18 textbooks satisfied the minimum quality criteria for approval. Seven excluded textbooks showed problems in all classes of evaluation criteria. All nine excluded textbooks exhibited problems related to conceptual correctness and adequacy, and accuracy of basic information. The most frequent qualities of approved textbooks concerned aspects of methodological adequacy and knowledge construction. We found no clear evidence that the frequency of choice of the approved textbooks by the high school teachers reflected the quality of the evaluated items, as established by the team which evaluated the textbooks.

Textbooks; Biology Teaching; High School; PNLEM


ARTIGOS

Livros didáticos de Biologia do Ensino Médio: resultados do PNLEM/2007

High school biology textbooks: results from PNLEM/2007

Charbel Niño El-HaniI; Nádia RoqueII; Pedro Luís Bernardo da RochaIII

IDoutor em Educação pela Universidade de São Paulo (USP); Professor Associado do Instituto de Biologia da Universidade Federal da Bahia (UFBA) e Pesquisador do Conselho Nacional de Desenvolvimento Tecnológico (CNPq), E-mail: charbel.elhani@pq.cnpq.br

IIDoutora em Botânica pela Universidade de São Paulo (USP); Professora Associada da Universidade Federal da Bahia (UFBA); Pesquisadora colaboradora junto ao Smithsonian Institution, Washington (EUA) e Pesquisadora do Conselho Nacional de Desenvolvimento Tecnológico (CNPq), E-mail: nroque@ufba.br

IIIDoutor em Zoologia pela Universidade de São Paulo (USP); Professor Associado da Universidade Federal da Bahia (UFBA) e Pesquisador do Conselho Nacional de Desenvolvimento Tecnológico (CNPq), E-mail: peurocha@ufba.br

Contato

RESUMO

Em 2005, os livros didáticos de Biologia do ensino médio publicados no Brasil foram avaliados, como parte do Programa Nacional do Livro para o Ensino Médio (PNLEM). Neste artigo, relatamos resultados dessa avaliação. Os critérios e o processo de avaliação são apresentados de modo detalhado, bem como os principais problemas das obras não-recomendadas para compra pelo MEC e os principais aspectos positivos das obras recomendadas. Das 18 obras submetidas à avaliação, nove satisfizeram os critérios mínimos de qualidade para aprovação. Sete obras didáticas excluídas apresentaram problemas em todas as classes de critérios de avaliação. Todas as nove obras excluídas exibiram problemas relativos à correção e adequação conceituais, e à precisão da informação básica fornecida. As qualidades mais frequentes nas obras recomendadas diziam respeito à adequação metodológica e à construção do conhecimento. Não encontramos evidências claras de que a frequência de escolha pelos professores do ensino médio refletiu a qualidade dos itens avaliados, conforme estabelecida pela equipe que analisou as obras.

Palavras-chave: Livros Didáticos; Ensino de Biologia; Ensino Médio; PNLEM.

ABSTRACT

In 2005, Brazilian Biology high school textbooks were evaluated as part of the National Program for the High School Textbook (PNLEM). In this paper, we report results of this evaluation. The evaluation criteria and processes are presented in a detailed manner, as well as the main flaws found in the textbooks not recommended to be bought by the Ministry of Education and the main positive aspects of the approved materials. Nine out of 18 textbooks satisfied the minimum quality criteria for approval. Seven excluded textbooks showed problems in all classes of evaluation criteria. All nine excluded textbooks exhibited problems related to conceptual correctness and adequacy, and accuracy of basic information. The most frequent qualities of approved textbooks concerned aspects of methodological adequacy and knowledge construction. We found no clear evidence that the frequency of choice of the approved textbooks by the high school teachers reflected the quality of the evaluated items, as established by the team which evaluated the textbooks.

Keywords: Textbooks; Biology Teaching; High School; PNLEM.

1. Introdução

Para a correta apreciação deste artigo, é importante deixarmos claro, desde o início, sua natureza e intenção. Não se trata de oferecer uma análise crítica do processo de avaliação de livros didáticos realizados pelo Ministério da Educação (MEC), no âmbito seja do PNLD seja do PNLEM. O que nos move é uma percepção de que a própria avaliação crítica de tais programas depende, para sua correção e profundidade, de uma compreensão adequada e informada de como tem lugar a avaliação de livros didáticos. Isso nos leva ao propósito deste artigo: apresentar a sistemática de avaliação de livros didáticos de Biologia no contexto do Programa Nacional do Livro para o Ensino Médio (PNLEM), discutindo os procedimentos dessa avaliação, com ênfase particular sobre as medidas tomadas para garantir a qualidade dos resultados obtidos.

Durante o ano de 2005, livros didáticos de Biologia do ensino médio publicados no Brasil foram avaliados, como parte do Programa Nacional do Livro para o Ensino Médio (PNLEM). O objetivo do Pro-grama é universalizar a distribuição de livros didáticos para estudantes de ensino médio das escolas públicas brasileiras. A aquisição dos livros deve ser baseada na escolha pelo professor. O propósito da avaliação é, de um lado, analisar quais livros didáticos submetidos pelas editoras devem ser recomendados para compra pelo Ministério da Educação (MEC), por satisfazerem critérios mínimos de qualidade, e, de outro, produzir resenhas críticas dos livros recomendados, reunidas em um guia que deve orientar a escolha pelos professores. A avaliação é realizada cerca de dois anos antes da aquisição dos livros, de modo que os resultados aqui relatados dizem respeito ao PNLEM/2007.

Para a realização da avaliação, o MEC convidou diferentes universidades do país para coordenarem a avaliação de disciplinas específicas, obedecendo a critérios de distribuição das coordenações por diferentes regiões do país. Cada universidade indicou uma equipe de coordenadores, que, por sua vez, montou uma equipe de professores universitários e do ensino médio para a realização da avaliação. Por meio de um edital, editoras foram convocadas a submeter livros didáticos para avaliação, sendo os critérios de análise apresentados no corpo do edital. A avaliação levou a dois resultados: (1) um catálogo para orientação da escolha, pelos professores, dos livros didáticos aprovados (ROCHA et al., 2006)1 1 O catálogo está disponível em: http://www.fnde.gov.br/home/ld_ensinomedio/guia_biologia_pnlem2007.pdf ; (2) uma série de pareceres apresentando as razões para a exclusão de obras didáticas do Programa e, consequentemente, do catálogo. Esses pareceres foram enviados a editoras e autores, de modo que eles pudessem ter acesso às razões pelas quais suas obras não seriam adquiridas pelo Programa. Como coordenadores da equipe de avaliação dos livros didáticos de Biologia, apresentamos, no presente artigo, as bases teórico-metodológicas e os resultados da análise que conduzimos, bem como uma avaliação da relação entre a qualidade das obras recomendadas e sua frequência de escolha pelos professores de ensino médio da rede pública atendida pelo Programa.

O Programa Nacional do Livro para o Ensino Médio sofreu, em sua concepção, significativa influência do programa correspondente para o ensino fundamental, o PNLD, que vem avaliando as obras didáticas adquiridas pelo governo brasileiro desde 1995. Não obstante as críticas que têm sido feitas aos programas de avaliação do MEC (MUNAKATA, 2002; MEGID NETO, 2002; MEGID NETO; FRACALANZA, 2003), parece-nos indiscutível que ele tenha alcançado resultados notáveis quanto à melhoria de qualidade das obras didáticas fornecidas para as escolas públicas brasileiras. Assim, na construção do processo de avaliação do PNLEM/2007 e, em particular, na avaliação das obras didáticas de Biologia, buscamos apoio na experiência e nas bases teórico-metodológicas do PNLD, no qual todos os autores do presente artigo também estiveram envolvidos. Além disso, o PNLEM/ 2007 se beneficiou das investigações e dos debates sobre livros didáticos na comunidade brasileira de pesquisadores em educação científica e em educação, em termos mais gerais (e.g., PRETTO, 1985; FRACALANZA, 1993; BIZZO et al., 1996; MOHR, 2000; MEGID NETO; FRACALANZA, 2003).

Os objetivos do PNLEM estão sendo alcançados de maneira gradual. A primeira aquisição de livros didáticos no âmbito do Programa ocorreu, de forma experimental, entre 2004 e 2005, incluindo apenas Português e Matemática, as regiões Norte e Nordeste do país, e a primeira série do ensino médio. Nessa ocasião, 2,7 milhões de livros foram distribuídos pelo MEC para 1,3 milhões de estudantes de 5.392 escolas. Em 2006, a distribuição de livros didáticos de Português e Matemática foi universalizada, atendendo todas as séries do ensino médio em todas as escolas públicas do país, com exceção dos estados de Minas Gerais e Paraná, que desenvolvem programas próprios. Naquele ano, sete milhões de estudantes de 13,2 mil escolas receberam 12,5 milhões de livros. Em 2005, foram avaliados livros de todas as disciplinas do ensino médio, para aquisição a partir de 2007. Nesse ano, foram distribuídos livros de Português, Matemática e Biologia para todas as séries e em todas as escolas de ensino médio do país, com exceção do estado de Minas Gerais, que deu continuidade ao seu programa próprio. O PNLEM/2007 já distribuiu 9,1 milhões de livros, beneficiando 6,9 milhões de alunos em 15,2 mil escolas. Dando continuidade à universalização do Programa, os professores fizeram, em 2007, a escolha de livros de Química e História. Em 2008, foi prevista a distribuição 7,2 milhões de livros de História e 7,2 milhões de livros de Química a estudantes de todas as séries do ensino médio, em todo o país, exceto Minas Gerais. Além disso, previu-se para 2008 a reposição de livros de Português, Matemática e Biologia, envolvendo a distribuição de 2,3 milhões de livros.2 2 A fonte dessas informações se encontra no portal do MEC: http://portal.mec.gov.br/seb/index.php?option=content&task=view&id=648&Itemid=666

É um fato bem conhecido que uma série de problemas tem marcado os processos de escolha de livros didáticos, não sendo esta realizada sempre pelos professores, como deveria ser o caso. Esses problemas são em parte decorrentes do fato de que as escolas de ensino fundamental e médio em nosso país não são administradas pelo Ministério da Educação, mas por estados e municípios, o que priva em parte o MEC do controle sobre como se dá o processo de escolha. De qualquer modo, não nos parece razoável supor que esse é um problema que poderia superar os benefícios de programas como o PNLD e o PNLEM. Afinal, eles dão acesso a materiais didáticos que cumprem papel importante no processo de ensino e aprendizagem e que boa parte dos estudantes das escolas públicas dificilmente poderia adquirir, e, além disso, a escolha de livros didáticos é sempre feita dentro de um universo de livros avaliados e recomendados por equipes que combinam especialistas em educação e em disciplinas específicas, garantindo um patamar de qualidade aceitável para as obras adquiridas.

Por fim, a compreensão adequada dos processos de análise de livros didáticos promovidos pelo MEC depende de não se perder de vista que se trata de uma avaliação feita de modo a orientar a compra de materiais didáticos com uma qualidade mínima, aferida de acordo com critérios decididos por um comitê técnico que reúne funcionários do MEC e os coordenadores das equipes de avaliação, oriundos das universidades parceiras, e divulgados no edital de convocação do Programa. A decisão de excluir uma obra didática do repertório de materiais que podem ser escolhidos pelos professores e, logo, comprados pelo MEC implica um significativo custo financeiro para as editoras que submeteram suas obras à análise. A importância de ter isso em vista reside em compreender que os juízos feitos na avaliação, além de serem estritamente baseados nos critérios divulgados no edital, devem também evitar a construção de argumentos poderosos pelas editoras, em possíveis ações legais que elas movam contra o processo de avaliação. Assim, apreciações críticas que nós, como pesquisadores educacionais, podemos fazer sobre os materiais didáticos, mas que dependem da aceitação de pressupostos pautados em alguma teoria de ensino, aprendizagem, ou outra teoria qualquer, não podem ser feitas com a mesma tranquilidade nesse processo de avaliação de livros didáticos. Por exemplo, não se pode desaprovar uma obra didática no âmbito de programas como o PNLD ou o PNLEM por ela não se mostrar suficientemente construtivista. Isso porque a própria ideia do que seja o construtivismo pode ser colocada sob disputa (e.g., BICKHARD, 1997; GEELAN, 1997; EL-HANI; BIZZO, 2002), mas, mais do que isso, não se pode defender que uma obra didática deva necessariamente ser alinhada com um construtivismo de qualquer tipo, particularmente quando se assume a visão de que uma diversidade de tipos de obras didáticas deve estar disponível para os professores, como se afirma explicitamente no edital de convocação do PNLEM. Isso explica por que não há um alinhamento completo entre perspectivas críticas sobre livros didáticos que encontramos na comunidade acadêmica e as perspectivas que podem ser assumidas em um processo de análise como o que é levado a cabo pelo MEC. Esse é um exemplo, entre vários, de um aspecto dos programas de avaliação de livros didáticos do MEC que não pode ser perdido de vista, sob pena de se fazer críticas a tais programas que não conduzem ao seu aprimoramento, porque não levam em conta informações cruciais sobre a natureza e a intenção desses programas. Daí a importância, em nosso entendimento, de se apresentar e discutir o processo de avaliação de livros didáticos empreendido pelo MEC nos termos propostos no presente artigo.

2. A avaliação de livros didáticos no PNLEM/2007

Um comitê composto pelos coordenadores de todas as equipes de avaliação (Biologia, Física, Química, Geografia, História, Português e Matemática)3 3 Obras de Espanhol também foram avaliadas pelo programa, mas sua inclusão ocorreu apenas alguns meses após a elaboração do edital. , pela diretora de Educação Básica à época, Profa. Lucia Lodi, e pelos técnicos do MEC elaboraram um edital público de convocação das editoras para submeter obras didáticas à avaliação pelo PNLEM/2007. Os critérios que seriam usados na avaliação das obras, de modo a recomendá-las ou não para aquisição pelo MEC, bem como para classificação das obras recomendadas eram apresentados pelo edital. Havia critérios gerais para todas as disciplinas, bem como critérios específicos para cada área. Em particular, as áreas de ciências naturais (Física, Química e Biologia) elaboraram critérios específicos e fichas de avaliação comuns.

2.1. Critérios de avaliação

Os critérios de avaliação foram baseados em oito pressupostos: (1) O livro didático deve ser correto em seus conteúdos e procedimentos, mostrando-se consistente com o conhecimento atualmente aceito da disciplina para a qual está voltado, bem como com os parâmetros curriculares nacionais; (2) O livro deve permitir que os professores propiciem aos seus estudantes experiências pedagógicas significativas, conectadas com suas circunstâncias sociais; (3) As características gerais das escolas públicas, os perfis diversificados de professores e estudantes, e situações interativas típicas de salas de aula do ensino médio devem ser levados em consideração pelo livro didático; (4) Ele deve contribuir para que sejam alcançados os objetivos gerais da educação média, conforme estabelecidos na Lei de Diretrizes e Bases da Educação (LDB, lei n. 9394/96); (5) O livro não deve reforçar estereótipos ou veicular preconceitos de qualquer espécie, tanto em seu texto quanto em suas ilustrações; (6) Ele não pode ignorar discussões atuais sobre teorias e práticas pedagógicas; (7) Ele deve estar de acordo com as leis brasileiras atuais em termos gerais, e não apenas com as leis relativas à educação; (8) O livro didático deve dar espaço ao professor para que escolha outros materiais para complementar sua prática, de acordo com o projeto político-pedagógico de sua escola.

Para os propósitos da avaliação, uma "obra didática" foi definida como todo o conjunto de materiais para uso nos três anos do ensino médio. O edital de convocação do PNLEM/2007 previa a possibilidade de as editoras submeterem vários modelos alternativos de coleções, com diversas quantidades de volumes. Contudo, todas as obras didáticas que analisamos caíam em dois tipos, como era esperado, pela realidade do mercado editorial brasileiro: (1) coleções de três volumes, um para cada série do ensino médio; (2) volumes únicos, cobrindo os três anos do ensino médio. No caso das coleções, a não-recomendação de um volume apenas era suficiente para excluir a obra do Programa.

A equipe de avaliação de Biologia foi composta por 26 professores de universidades públicas (todos com títulos de doutorado) e dois professores de ensino médio.4 4 Além dos três coordenadores, os seguintes pesquisadores/professores universitários compuseram a equipe: como avaliadores, André Luis Laforga Vanzela (UEL), Ângela Freire Lima e Souza (UFBA), Antonio Carlos Marques (USP), Blandina Felipe Viana (UFBA), Clarice Sumi Kawasaki (USP-RP), Claudia Luizon (UFBA), Deborah Faria (UESC), Diogo Meyer (USP), Elianne Omena (UFBA), Elisabeth Spinelli de Oliveira (USP-RP), José Geraldo de Aquino Assis (UFBA), Josmara Fregoneze (UFBA), Luciano Paganucci (UEFS), Marcelo Napoli (UFBA), Márcio Zikán Cardoso (UFRN), Nusa de Almeida Silveira (UFG), Paulo Antunes Horta (UFPB), Paulo Takeo Sano (USP), Rodrigo Zucoloto (UFBA), Sueli Almuiña Holmer da Silva (UFBA), Vivian Leyser da Rosa (UFSC). Como leitores críticos, Luiz Marcelo de Carvalho (UNESP – Rio Claro) e Rosana Tidon (UnB). Os seguintes professores de ensino médio atuaram como leitores críticos: Mônica Ismerim Barreto (Rede estadual – SE) e Helenadja Mota Rios Pereira (Rede estadual – BA). A adequação de linguagem das resenhas que compõem o catálogo de obras didáticas de Biologia do PNLEM/2007 foi feita por Paulo Takeo Sano. A revisão de linguagem foi realizada por América Lúcia Silva Cesar (UFBA). A equipe de apoio foi formada por Aline Mota e Maurício Takashi. O processo de avaliação permitiu análise detalhada e comparativa de todas as obras de Biologia submetidas pelas editoras (ver a seguir).

A ferramenta de análise utilizada para padronizar a avaliação continha 15 critérios para aprovação/exclusão de obras didáticas e 45 critérios de classificação das obras aprovadas, com base em sua qualidade comparativa. Essa ferramenta pode ser examinada em Rocha et al. (2006). As obras aprovadas não tiveram sua qualidade comparativa expressa por quaisquer índices explícitos, como, por exemplo, as estrelas usadas pelo PNLD até algum tempo atrás. A análise comparativa serviu para balizar a redação das resenhas, de modo que a distribuição de comentários sobre as qualidades e deficiências das obras pudesse dar ao professor condições para uma análise comparativa mais bem-informada das obras recomendadas.

Quatro classes de critérios foram usadas na avaliação: (1) correção e adequação conceituais, e precisão da informação básica fornecida; (2) adequação e coerência metodológicas; (3) promoção de visões adequadas sobre a construção do conhecimento científico; (4) princípios éticos/educação para a cidadania. A terceira classe de critérios foi exclusiva das ciências naturais.

A ferramenta de análise se inicia com uma pequena descrição da estrutura da obra didática pelo avaliador, seguida por um espaço para apresentação do sumário de conteúdos fornecido pela obra. Os critérios eliminatórios são então apresentados, devendo o avaliador indicar se o livro exibe ou não cada um dos problemas listados, oferecendo argumentos e exemplos sempre que for indicado que a obra apresenta determinada deficiência. Em seguida, os critérios de classificação são apresentados, com a seguinte escala: ótimo, bom, regular, insatisfatório. Ao final, a ferramenta contém tabelas de síntese (que não foram incluídas no catálogo publicado), nas quais o avaliador devia registrar os resultados finais por critério, podendo, assim, visualizar o resultado geral da análise da obra. Essas tabelas foram importantes, na medida em que orientaram a decisão final quanto à inclusão ou exclusão de uma obra do PNLEM/2007, bem como nortearam a análise qualitativa das obras aprovadas.

A primeira classe de critérios estabelecia que uma obra didática seria excluída do Programa se: (1) contivesse conceitos formulados erroneamente; oferecesse informações básicas erradas e/ou desatualizadas; e/ou mobilizasse conceitos e informações de modo inadequado, levando os estudantes a construir uma compreensão incorreta das explicações e/ou descrições apresentadas; (2) contivesse ilustrações que veiculassem ideias erradas sobre conceitos, ideias incorretas sobre as dimensões ou cores do que fosse representado, sem indicação apropriada de escalas ou cores-fantasia.

Entre os critérios de classificação incluídos nesta classe, encontramos (1) a qualidade geral do tratamento conceitual; (2) o uso apropriado de analogias na explicação de conceitos, teorias, fenômenos, com explicitação do significado analógico/metafórico, evitando que analogias sejam tomadas como descrições da realidade; (3) clareza e suficiência dos textos, de modo a permitir compreensão apropriada e exploração crítica dos conteúdos pelos estudantes; (4) explicação apropriada do vocabulário específico apresentado, seja no corpo do texto, seja em glossário, caso a obra utilizasse esse recurso; (5) uso correto da linguagem no livro didático.

De acordo com a segunda classe de critérios, uma obra didática seria excluída se (1) o manual do professor não apresentasse claramente as bases teórico-metodológicas que orientaram sua elaboração; não articulasse apropriadamente suas opções metodológicas, caso houvesse mais de uma; e/ou houvesse discordância entre as bases teórico-metodológicas e a proposta concretizada no livro do aluno; (2) fossem propostas atividades que trouxessem riscos de tal ordem para estudantes e professores que não deveriam ser realizadas, ou, no caso daquelas que pudessem ser feitas em sala de aula, não houvesse avisos suficientes sobre riscos potenciais e/ou informação suficiente sobre procedimentos de segurança que deveriam ser empregados; (3) a metodologia empregada privilegiasse memorização e aprendizagem mecânica de conteúdos e terminologia, em vez de estimular o desenvolvimento do pensamento autônomo e crítico, e a compreensão das relações entre o conhecimento científico e as vidas dos estudantes; (4) fossem propostos experimentos e demonstrações cuja realização dificilmente fosse possível, com resultados implausíveis e/ou veiculando ideias equivocadas sobre fenômenos e modelos explicativos; e/ou não fosse levado em consideração o impacto ambiental dos resíduos gerados pelos experimentos e demonstrações propostos.

Os critérios classificatórios incluídos nessa classe diziam respeito, por exemplo, (1) ao uso adequado dos conhecimentos prévios e das experiências culturais dos estudantes; (2) ao estímulo do desenvolvimento de habilidades relacionadas à comunicação oral e científica; (3) ao estabelecimento de relações entre as ideias científicas e a realidade brasileira e, em particular, à referência a organismos típicos da flora e da fauna brasileiras; (4) à promoção de atividades que exigem trabalho cooperativo, entre outros aspectos.

Essa classe abrangia, ainda, dois conjuntos especiais de critérios, um relativo ao manual do professor e outro concernente a aspectos gráficos e editoriais. No que diz respeito ao manual do professor, foi analisado, por exemplo, se (1) ele oferecia uma descrição da estrutura geral da obra, explicando a articulação entre suas partes/unidades e os objetivos específicos de cada uma delas; (2) as orientações para a abordagem do conteúdo em sala de aula eram claras e precisas; (3) atividades e leituras complementares eram sugeridas; (4) bases para a correção e a discussão de exercícios e atividades conceitualmente consistentes eram oferecidas; (5) o processo de avaliação era discutido criticamente, sugerindo-se instrumentos diversificados de avaliação, entre outros itens. Os aspectos gráficos e editoriais se referiam à qualidade geral da impressão e organização da obra, à adequação das ilustrações para os fins pedagógicos pretendidos, à presença de referências na obra, etc. Havia, na ferramenta de avaliação, quatro critérios de exclusão/aprovação e 27 critérios de classificação relativos à adequação e à coerência metodológica.

Quanto aos princípios éticos e à educação para a cidadania, seria excluída do Programa qualquer obra didática que (1) privilegiasse determinados grupos sociais ou regiões geográficas do país; (2) veiculasse preconceitos ou estereótipos relacionados a gênero, cor, origem, condição econômico-social, etnia, orientação sexual, linguagem ou qualquer outra forma de discriminação; (3) incluísse material contrário à legislação vigente para a criança e o adolescente, no que diz respeito a fumo, bebidas alcoólicas, medicamentos, drogas, armamentos etc.; (4) exibisse publicidade de artigos, serviços ou organizações comerciais, incentivando o consumo de produtos específicos; (5) fizesse doutrinação religiosa; e (6) veiculasse ideias que promovessem desrespeito ao meio ambiente. Nos critérios de classificação, as obras foram avaliadas quanto (1) ao tratamento críticos de questões de gênero, de relações étnico-raciais e de relações sociais; (2) à promoção das minorias sociais; (3) aos cuidados com o uso de abordagem antropocêntrica, em particular, de caracterizações dos seres vivos baseadas em sua utilidade ou nocividade para o ser humano; (4) ao incentivo a uma atitude de respeito ao meio ambiente, a partir de uma abordagem realista e equilibrada das questões ambientais. A ferramenta de avaliação incluía quatro itens de aprovação/exclusão e cinco itens classificatórios relativos a princípios éticos e educação para a cidadania.

As obras didáticas foram também analisadas quanto à promoção de visões adequadas sobre a natureza da ciência. Nesse caso, é fundamental reconhecer a diversidade de visões sobre a construção do conhecimento científico no campo da filosofia das ciências, o que torna difícil dizer o que seria uma concepção adequada sobre o trabalho científico (MARTIN et al., 1990; ALTERS, 1997; GIL-PÉREZ et al., 2001). A esse respeito, nossa posição se baseia no pressuposto de que é possível identificar um campo de ideias atualmente menos controversas sobre a natureza da ciência, apesar da inexistência de qualquer posição epistemológica que possa ser dita consensual e do caráter inegavelmente complexo, dinâmico e multifacetado do trabalho científico (EL-HANI, 2006). É necessário ser claro, contudo, quanto à posição de onde falamos ao apresentarmos qualquer lista de concepções adequadas sobre a natureza da ciência. Parece-nos, assim, que o conjunto de ideias sobre a natureza da ciência que alguns autores têm apresentado como menos controversas (e.g., GIL-PÉREZ et al., 2001) pode ser descrito como uma explicação pós-positivista geral sobre a ciência, que vem tendo grande aceitação por filósofos das ciências desde a década de 1960, não obstante as importantes diferenças entre as posições epistemológicas particulares que cada um deles defende. Em virtude da natureza potencialmente controversa dessa classe de critérios, limitamos nossa análise a um conjunto mínimo de critérios, evitando requisitos que fossem, de um lado, mais controversos e, de outro, pouco prováveis de serem observados em livros didáticos de ensino médio.

De acordo com essa classe de critérios, seria excluída do Programa a obra que (1) apresentasse a ciência como a única forma de conhecimento, sem reconhecer a diversidade de formas do conhecimento humano e as diferenças entre elas; (2) tratasse o conhecimento científico como uma verdade absoluta ou um retrato da realidade tal como ela é; (3) descrevesse a ciência como uma atividade neutra, sem reconhecer a influência de valores e interesses sobre o trabalho científico; (4) privilegiasse teorias e conceitos secundários, ou teorias pseudocientíficas, em vez dos conceitos e teorias centrais, estruturadoras do pensamento biológico; (5) não abordasse conceitos e teorias de modo a tornar mais provável que os estudantes construam uma visão integrada do conhecimento biológico.

Os critérios classificatórios relativos à construção do conhecimento científico incluíam, entre outros, (1) um tratamento adequado da história da ciência, de modo integrado à construção de conceitos, sem se limitar a biografias de cientistas e a descobertas isoladas; (2) uma abordagem adequada dos modelos científicos, evitando, em particular, sua reificação, i.e., a confusão entre modelos e realidade; (3) uma discussão apropriada dos métodos científicos, evitando apresentar um suposto "Método Científico" como uma sequência rígida de etapas a serem seguidas linear e mecanicamente; (4) a proposta de atividades que estimulassem o desenvolvimento de uma atitude investigativa, tais como tarefas nas quais os estudantes levantassem hipóteses sobre os fenômenos naturais e planejassem meios de testá-las, ou nas quais fizessem uso de evidências para julgar a plausibilidade de modelos e explicações; (5) um tratamento das relações entre ciência, tecnologia e sociedade, favorecendo o emprego do conhecimento científico na compreensão de problemas sociais atuais e relevantes, como um elemento importante para as tomadas de decisão. A ferramenta continha cinco itens de aprovação/exclusão e oito itens classificatórios relativos à construção do conhecimento científico.

2.2. Procedimentos da avaliação dos livros didáticos de Biologia

O processo de avaliação incluiu dois estágios. Em um estágio preliminar, o Instituto de Pesquisas Tecnológicas do Estado de São Paulo (IPT) verificou se as obras didáticas estavam de acordo com especificações técnicas descritas no edital de convocação do PNLEM/2007. Em seguida, a avaliação pedagógica foi realizada por uma equipe que incluía, além dos três coordenadores, 21 professores universitários, especialistas em diferentes campos das ciências biológicas ou em pesquisa em ensino de Biologia. A equipe foi montada de modo a incluir membros das diversas regiões do Brasil. Dois grupos de leitores críticos também compunham a equipe, um composto por professores de ensino médio, que avaliaram criticamente as resenhas de obras didáticas para o catálogo destinado aos professores, outro, por dois professores universitários e pesquisadores, que analisaram criticamente os pareceres enviados a editoras e autores para justificar a exclusão de obras do Programa.

A equipe de 21 avaliadores foi dividida em três grupos, a depender da especialidade, considerando-se três áreas amplas: Genética/ Biologia Celular e Molecular; Botânica/Ecologia; Zoologia/Fisiologia. Um grupo de três ou quatro avaliadores, organizado de modo a cobrir todas essas áreas de conteúdos, foi responsável por cada obra didática. Um coordenador ficou responsável por cada grupo, buscando-se preencher aspectos da avaliação que estavam potencialmente ausentes, com base no fato de que um dos coordenadores é especialista em Zoologia e Ecologia, outro, em Botânica, e o terceiro, em pesquisa em ensino de Biologia, com formação em Genética e Biologia Celular e Molecular. A distribuição de avaliadores e coordenadores foi feita de maneira a incluir pesquisadores em ensino de Biologia em cada grupo.

Cada avaliador analisou uma cópia não-identificada da obra didática (sem informações que permitissem identificar títulos, autores e editora) e preencheu uma ficha de avaliação completa, com sua apreciação individual. O coordenador de cada grupo analisou criticamente as fichas preenchidas por todos os membros, discutindo com estes os argumentos e juízos que elas continham. A partir de tal análise crítica, cada avaliador modificou sua ficha de avaliação e, em seguida, o grupo construiu coletivamente uma ficha que reunia os argumentos e juízos de todos os avaliadores, alterados a partir da análise crítica do coordenador, de modo a expressar a avaliação da obra pelo grupo. Essa ficha coletiva foi analisada criticamente pelo coordenador e, após várias rodadas de discussão com o grupo, chegou-se a uma versão final da ficha, que continha um juízo final sobre a aprovação ou exclusão da obra do Programa. Nesse processo, os três coordenadores discutiam entre si o resultado das avaliações dos seus grupos, de modo a garantir que o mesmo nível de rigor de análise permeasse a avaliação de todas as obras avaliadas.

Se excluída, a obra didática não seria revisada para o catálogo e não poderia ser comprada pelo Ministério da Educação. Nesse caso, os avaliadores construíam um parecer de exclusão detalhado, indicando claramente, e com fartura de exemplos, as falhas da obra que sustentavam a decisão inequívoca de excluí-la do catálogo. Uma vez preparado pelos avaliadores, esse parecer foi analisado criticamente pelo coordenador de cada grupo, modificado a partir de tal análise e então discutido pela equipe de três coordenadores. O resultado era um parecer de exclusão preliminar, que foi então analisado criticamente pelos leitores críticos, modificado pelos coordenadores de acordo com as sugestões, alcançando assim sua versão final. O parecer era, então, encaminhado ao MEC, que o repassava às editoras, para que as mesmas tomassem conhecimento dos problemas encontrados, que justificavam a exclusão da obra do PNLEM/2007.

Caso aprovada, a obra seria incluída no catálogo para os professores. Desse modo, um documento de caráter bem diferente daquele dos pareceres de exclusão deveria ser preparado por cada grupo de avaliadores, com o propósito de orientar a escolha dos livros pelos professores de ensino médio. Tratava-se de uma revisão apresentando os pontos fortes e fracos das obras, com base nos itens classificatórios da ficha de avaliação. Uma primeira versão da resenha era preparada pelos avaliadores e revisada, após análise crítica pelo coordenador do grupo. Após algumas rodadas de discussão dentro dos grupos, uma versão mais aprimorada da resenha era discutida pelos três coordenadores e modificada com base nessa discussão. As resenhas foram reestruturadas por um membro da equipe que tinha ampla experiência na avaliação de livros didáticos, de modo a torná-las mais adequadas para sua audiência, e foram então analisadas pelos professores de ensino médio que atuaram na equipe como leitores críticos. Os documentos finais resultaram da revisão pelos coordenadores após a análise dos leitores críticos e correspondem às resenhas publicadas no catálogo para os professores (ROCHA et al., 2006).

Cada resenha contém quatro partes: uma síntese avaliativa, na qual os aspectos fortes e fracos da obra didática são explicados brevemente; um sumário, apresentando os tópicos abordados, na ordem em que aparecem na obra e distribuídos por volume, no caso de coleções de três volumes; uma seção de análise crítica, detalhando aspectos positivos e negativos da obra no que diz respeito ao tratamento conceitual, aos aspectos pedagógico-metodológicos, à construção do conhecimento científico, aos princípios éticos e sua relação com a educação para a cidadania, ao manual do professor e aos aspectos gráfico-editoriais; e, por fim, uma seção de recomendações aos professores, com uma série de sugestões e cuidados relativos ao uso da obra em sala de aula.

Inicialmente, foram concebidos dois modelos de resenha: um com maior nível de detalhamento na análise crítica e com texto mais impessoal, e outro com menor nível de detalhamento e linguagem mais coloquial, que tratava cada professor como um indivíduo (usando sentenças tais como "você, professora ou professor, pode se beneficiar dos experimentos propostos nessa obra"). Os dois modelos foram avaliados pelas leitoras críticas do ensino médio, que indicaram preferência pelo estilo de linguagem mais coloquial, mas julgaram necessário o detalhamento da seção de análise crítica. Desse modo, optou-se por um terceiro modelo, que reunisse ambas as características. As resenhas foram ainda organizadas de modo a atender a dois tipos de leitores: aqueles que buscam maior detalhamento quanto aos pontos positivos e negativos da obra (a partir da leitura da seção de análise crítica, a mais longa) e aqueles que procuram uma avaliação mais global (a partir das seções "síntese avaliativa" e "recomendações ao professor", escritas em tom mais coloquial), mas com informações suficientes para avaliar comparativamente as obras e fazer uma escolha informada.

Considerando-se todo o processo de avaliação, cada obra teve todo o seu conteúdo analisado por quatro ou cinco especialistas. Os pareceres de exclusão foram examinados por nove ou dez e as resenhas, por dez ou onze especialistas. O processo de avaliação incluiu, assim, várias etapas de verificação e comparação da qualidade das análises, pareceres e resenhas, o que contribuiu significativamente para a confiabilidade e a validade dos resultados.

3. Resultados da avaliação dos livros didáticos de biologia

Vinte obras didáticas de várias editoras foram submetidas ao Programa. Duas obras foram excluídas na análise técnica realizada pelo IPT. Portanto, 18 obras foram submetidas à avaliação pedagógica. Nove obras (50%) foram aprovadas, e nove, excluídas do Programa.

Entre as 18 obras, apenas uma não havia sido escrita por autores brasileiros, consistindo em adaptação de uma obra publicada na Itália. Na análise pedagógica, ela foi excluída do programa.

O número de autores por obra avaliada variou de um a cinco, sendo que a maioria (14 obras) apresentou um ou dois autores. Dezesseis das obras avaliadas indicaram a formação de pelo menos um dos autores: com exceção de duas delas (em que os autores são formados em Ciências e Medicina), os autores têm formação graduada (licenciatura e/ou bacharelado) em Biologia, Ciências Biológicas ou História Natural. Em dez obras, pelo menos um dos autores tem formação pós-graduada em algum nível, em áreas afins à Biologia ou à Educação; em nove, pelo menos um dos autores tem título de mestre ou superior, e em seis, pelo menos um dos autores possui título de doutor (Tabela 1). Comparando-se as obras excluídas e recomendadas pelo PNLEM/2007, não há diferença clara entre o número de autores ou sua formação. Há número semelhante de obras recomendadas e excluídas com autores doutores (3 e 3, respectivamente), mestres (5 e 4) e especialistas (5 e 5) (Tabela 1).

3.1. Problemas encontrados nas obras excluídas

Todas as nove obras excluídas (Tabela 2) apresentavam problemas conceituais graves, tanto no corpo do texto (item 1) quanto nas ilustrações (item 2). Sete obras exibiam problemas em todas as outras três classes de critérios de avaliação. No que diz respeito aos aspectos pedagógico-metodológicos, os problemas mais comuns foram os seguintes: falta de coerência entre as bases teórico-metodológicas presentes no manual do professor e a proposta concretizada na obra didática (item 3 – em 6 obras) e deficiências na apresentação de experimentos plausíveis, que veiculem ideias corretas sobre as teorias e os modelos subjacentes (item 6 – 4 obras). Propostas de experimentos que trazem riscos para estudantes e professores (item 4) e abordagens que privilegiam aprendizagem mecânica (item 5) foram encontradas em três e duas obras, respectivamente.

Os problemas mais comuns relativos à construção do conhecimento científico foram os seguintes: ausência de tratamento conceitual que favoreça construção de corpos integrados de conhecimento (item 11 – 7 obras), deficiências na abordagem de teorias estruturadoras do pensamento biológico ou ênfase sobre teorias e conceitos secundários, ou teorias pseudocientíficas (item 10 – 3 obras), e uso inadequado de analogias e metáforas ou falha em tornar explícitas as diferenças entre elas e os fenômenos naturais em si mesmos (item 9 – 2 obras). Apenas uma obra apresentou a ciência como a única fonte do conhecimento humano (item 7), enquanto outra tratou o conhecimento científico como verdade absoluta, produzida por trabalho científico neutro (item 8).

Dois tipos de problemas éticos estavam ausentes de todas as obras: doutrinação religiosa (item 14) e estímulo a uma relação desrespeitosa com o ambiente (item 15). Os demais itens foram encontrados com frequência nas obras excluídas. Em sete obras, foi observada uma representação privilegiada de grupos sociais particulares ou preconceitos relativos a cor da pele, classe social, origem étnica, gênero etc. (item 12). Em cinco obras, leis brasileiras não eram obedecidas (por exemplo, presença de imagens associando crianças e adolescentes ao uso de drogas) ou propaganda de produtos comerciais foi encontrada (item 13).

3.2. Aspectos positivos das obras aprovadas

A qualidade geral das nove obras aprovadas permite seu uso com proveito pelos professores das escolas públicas. Elas formam um conjunto diversificado em termos de suas qualidades específicas, estimadas em termos de itens considerados bons ou muito bons nas fichas de avaliação preenchidas por cada grupo de avaliadores (Tabela 3), mas esse é um aspecto positivo, na medida em que torna possível que os professores escolham a obra que se mostre mais adequada à sua prática pedagógica. A Tabela 3 deixa claro, ainda, que há variabilidade na qualidade geral das obras aprovadas, como mostra o número de itens em que cada uma delas foi avaliada positivamente, embora todas elas tenham satisfeito os critérios mínimos de qualidade.

As qualidades mais frequentes relativas aos aspectos conceituais incluíram o tratamento integrado dos conteúdos, embora com limites decorrentes do grau de fragmentação do conhecimento biológico escolar (sendo este juízo comparativo, i.e., feito relativamente ao grau de desconexão das obras que não exibiram esta qualidade) (6 obras), o grau de atualização dos conteúdos (5), a presença de glossário (5) e a presença de índice (4). A maioria das obras exibia aspectos positivos relacionados à adequação e à coerência metodológicas: a contextualização do conhecimento em relação à vida cotidiana era comum em seis obras, e seis obras propunham atividades que estimulavam a investigação e a comunicação científica. O uso das concepções prévias dos estudantes como base para a construção do conhecimento era uma estratégia importante em cinco obras. Foram também encontrados aspectos positivos relativos à construção do conhecimento: cinco obras tratavam a ciência como uma empreitada histórica e socialmente situada; quatro discutiam, em alguma medida, a ideia de que o conhecimento científico não é absolutamente verdadeiro; três estimulavam discussão sobre as relações entre ciência, tecnologia e sociedade; e três usavam analogias de modo fértil e adequado.

Aspectos positivos relacionados à educação para a cidadania eram mais raros nas obras aprovadas. Embora seis obras apresentassem bom tratamento de problemas contemporâneos, outros aspectos, como uma visão crítica de questões raciais/étnicas e o incentivo à promoção das minorias, estavam praticamente ausentes. O manual do professor mostrou notável variação de qualidade entre as obras. A qualidade mais frequente foi a proposta de atividades complementares, observada em cinco obras. Em cinco obras, os aspectos gráfico-editoriais contribuíam de modo notável para o trabalho pedagógico.

3.3. Alguns resultados da escolha das obras didáticas pelos professores

Nós também verificamos se a qualidade geral das obras recomendadas, avaliada com base no número de itens considerados bons ou muito bons nas fichas de avaliação, esteve refletida na escolha das mesmas pelos professores do ensino médio, após o catálogo ter sido disponibilizado.5 5 Os dados relativos às escolhas das obras pelos professores foram gentilmente cedidos pela Profa. Lucia Lodi. Observa-se uma associação muito fraca entre as duas variáveis (Figura 1): obras muito bem-avaliadas, com quinze ou mais itens bons ou muito bons, foram muito desigualmente escolhidas pelos professores, incluindo a menor (0,9%) e as maiores (23,0% e 21,3%) porcentagens de escolha. Obras menos bem-avaliadas (seis ou menos itens bons ou muito bons) também foram desigualmente escolhidas (entre 3,4 e 16,3%). O formato da coleção, se em um volume único ou com um volume para cada série, também parece não ter influenciado a escolha. As duas obras mais escolhidas incluíam, por exemplo, uma de volume único e outra em três volumes. Entre as menos escolhidas, temos duas em volume único e uma em três volumes (Figura 1). O desmembramento da análise por classe de critério de avaliação não mostra que algum aspecto particular da obra tenha influenciado a escolha dos professores, talvez com exceção dos aspectos gráfico-editoriais. Para esse critério, houve uma tendência de maior escolha para as obras mais bem-avaliadas (Figura 2). Isso indica que outros fatores, que não a avaliação apresentada nas resenhas das obras (p. ex., tradição da obra, estratégia de marketing, nível de exigência da obra para o professor em seu trabalho pedagógico, problemas ocorridos no processo de seleção das obras nos sistemas estaduais e municipais de ensino que resultam em dificuldades ou mesmo impossibilidade da efetiva escolha pelos professores etc.), devem ter influenciado de modo mais importante na distribuição de obras selecionadas para compra pelo governo brasileiro.



4. Programas de avaliação, compra e distribuição de livros didáticos do MEC: Aspectos positivos e limitações

As contribuições do Programa Nacional do Livro para o Ensino Médio para a qualidade do ensino médio brasileiro dificilmente podem ser negadas. Em primeiro lugar, trata-se de um programa que vem distribuindo materiais didáticos aos quais os estudantes das escolas públicas brasileiras dificilmente teriam acesso, em vista de suas origens socioeconômicas e do elevado custo dos livros didáticos em nosso país. Além disso, a qualidade mínima das obras distribuídas foi garantida por um processo de avaliação caracterizado por uma série de medidas para sua confiabilidade e validade, conforme discutido no presente artigo. O Programa pode contribuir, ainda, para o estabelecimento de um padrão geral de qualidade das obras didáticas publicadas em nosso país, sem necessariamente homogeneizá-las, como a diversidade das qualidades exibidas pelas obras aprovadas indica. Para evitar essa homogeneização, é muito importante manter um amplo leque de critérios norteando o processo de avaliação das obras. As obras excluídas do Programa, por sua vez, exibiam grande número de deficiências, nas mais diferentes classes de critérios de avaliação, mostrando-se potencialmente muito prejudiciais à construção de boas práticas pedagógicas e à aprendizagem dos estudantes. Essas deficiências justificaram a decisão de não certificá-las para compra pelo Ministério da Educação. Contudo, é interessante notar que apenas os indicadores de qualidade das obras e seu modo de organização em volume único ou em vários volumes não determinaram a porcentagem de escolha das mesmas pelos professores do ensino médio. Uma investigação sobre as bases de decisão utilizadas nesse processo seria altamente relevante para aperfeiçoar o sistema de avaliação, escolha e distribuição de livros didáticos para as escolas públicas. Em particular, é importante identificar quais são os fatores que têm influenciado de modo mais importante a distribuição dos livros comprados pelo governo, de modo que seja possível intervir sobre esses fatores, quando possível, de modo a aumentar a determinação das escolhas das obras pelos critérios de qualidade utilizados no Programa.

Os programas de avaliação de livros didáticos do MEC têm sido alvo de uma série de críticas (e.g., BATISTA ET AL., 2004; MEGID NETO, 2002; MUNAKATA, 2002; MEGID NETO; FRACALANZA, 2003). É importante que as críticas a esses programas sejam ponderadas, reconhecendo, como fazem Batista et al. (2004), que eles têm apresentado impacto positivo, com ganhos educacionais, sociais e políticos, mas, ao mesmo tempo, mostram limitações. Entre os ganhos positivos, os mais visíveis, significativos e, em nosso entendimento, inegáveis, dizem respeito à melhoria da qualidade dos livros didáticos nas salas de aula da rede pública e ao impacto social da distribuição gratuita de materiais didáticos para as camadas de baixa renda da população. Entre as limitações, merecem destaque os problemas enfrentados na escolha dos livros didáticos pelos professores. Além disso, parece-nos importante uma ação concertada sobre todos os elementos envolvidos na complexidade do sistema escolar e, em particular, da sala de aula. Os aspectos positivos dos programas de avaliação, compra e distribuição de livros didáticos do MEC foram mencionados na abertura desta seção. Nos parágrafos restantes, examinaremos brevemente alguns de seus limites.

Algumas críticas que são feitas a esses programas não têm na devida conta, em nossa visão, a sua natureza. Megid Neto e Fracalanza (2003, p. 149-150), por exemplo, argumentam que especialistas da equipe de Ciências dos Guias divulgados pelo MEC a partir de 1996 não "estabelecem – como critérios para avaliação de livros didáticos – os atributos mais específicos do ensino de Ciências, ou seja, os fundamentos ou bases teórico-metodológicas que demarcam, que distinguem o campo curricular das Ciências Naturais das demais disciplinas do currículo escolar". O grande problema, contudo, é que, até onde temos conhecimento, não há um consenso, na área de pesquisa em ensino de Ciências, sobre quais seriam esses fundamentos ou bases teórico-metodológicas. Antes pelo contrário, esse nos parece um campo de disputas e, como discutimos acima, critérios que podem ser facilmente alvo de disputa não podem cumprir papel central numa avaliação com a natureza daquelas feitas no âmbito do PNLD e do PNLEM.

A participação na avaliação de livros didáticos empreendida pelo MEC não nos compromete, decerto, com uma visão acrítica do papel desses materiais na educação brasileira. De um lado, não temos dúvida de que os livros didáticos são importantes materiais de apoio ao trabalho docente e à aprendizagem dos estudantes. Bons livros didáticos favorecem a aprendizagem (LEE et al., 1993; FRANZOLIN; BIZZO, 2007). De outro, é evidente que seu papel se tornou excessivo no sistema educacional brasileiro, nas últimas quatro décadas. Esse não é, contudo, um problema exclusivo de nosso país. Tanto no Brasil quanto em outros países, tem sido mostrado que o livro didático se tornou o principal controlador do currículo, sendo usado pelos professores para a seleção de conteúdos, atividades de aprendizagem e modos de avaliação (BALL; FEIMAN-NEMSER, 1998; GAYÁN; GARCÍA, 1997; BELTRÁN et al., 2003; CARVALHO et al., 2005). Podemos considerar, inclusive, esse fato como um problema e, ao mesmo tempo, uma oportunidade, uma vez que mudanças nos livros didáticos podem se refletir, eventualmente, em deslocamentos positivos do sistema educacional, algo que, em nosso entendimento, tem ocorrido desde a implantação do PNLD, em meados dos anos 1990, ainda que esse Programa – assim como o PNLEM – tenha inegáveis limites. Seja como for, a inclusão de critérios de avaliação que consideram o papel do livro didático na organização e na implementação do currículo não implica, decerto, alguma negação do papel central do professor na construção de seu trabalho pedagógico ou falta de crítica dessa extensão do papel do livro didático para além das fronteiras que lhe cabem. Trata-se, apenas, de que, na medida em que os livros que os professores usarão têm essa natureza, é importante que esses aspectos sejam incluídos na avaliação, inclusive como meio de colocar em discussão como as obras didáticas têm lidado com eles. Certamente, não há como propor esses aspectos no âmbito dos critérios de exclusão, mas eles têm sido postos em xeque nos critérios classificatórios dos livros didáticos.

É claro que não podemos negar que se mantêm no livro didático de Biologia do ensino médio, após o PNLEM/2007, problemas importantes, como a valorização excessiva de um ensino informativo e teórico, como aponta Krasilchik (2004). Na maioria dos livros, permanece também a apresentação de uma ciência descontextualizada, separada da sociedade e do cotidiano, como criticam Campos e Cachapuz (1997), ainda que mudanças possam vir a ocorrer no futuro, com a inclusão, na avaliação de Biologia do PNLEM/2007, de critérios voltados para a epistemologia e a história das ciências. Não obstante, após mais de dez anos de avaliação de livros didáticos pelo PNLD, houve avanços importantes quanto à qualidade e à diversidade das obras didáticas disponíveis para os professores.

Um dos aspectos que mais causa preocupação no processo de avaliação e escolha de livros didáticos para as escolas públicas brasileiras é a fragilidade da escolha pelo professor. Trata-se de um ponto fraco no processo que pode, inclusive, comprometer todo o Programa. Por exemplo, Kanashiro (2008) mostra, no caso de um livro de Geografia bem-avaliado pelo PNLD/2004, que os professores pouco usaram uma obra didática de cuja escolha não haviam participado. Assim, a participação ativa e democrática do professor em sua seleção é um aspecto essencial da política do livro didático (NUÑEZ et al., 2003). Contudo, para que esse aspecto se concretize, é necessário empoderar o professor, tanto no que diz respeito aos conhecimentos de que necessita para fazer uma escolha justificada, o que remete à sua formação, quanto no que concerne a uma posição sociopolítica que impeça que seu direito de escolha seja alijado por secretários de educação, diretores de escolas etc. Considerando o primeiro fator, é sem dúvida importante que os professores estejam capacitados para ir muito além, em seu trabalho com o livro didático, de uma preparação para selecionar livros nos catálogos produzidos pelas equipes de avaliação dos programas do MEC.

Por fim, não obstante os aspectos positivos e os limites dos programas de avaliação de livros didáticos pelo governo brasileiro, um problema central nas tentativas de mudança do sistema educacional reside na falta de sistematicidade, coerência e organicidade. Ahl e Allen (1996) definem um sistema complexo como aquele no qual pequenos detalhes estão ligados a grandes resultados e, além disso, vários níveis de explicação precisam ser abordados simultaneamente para sua compreensão. Indo além dessa definição, cabe destacar, também, uma relação inversa entre detalhes e resultados em sistemas complexos. Quando apresentam mecanismos homeostáticos, grandes mudanças em sua estrutura interna podem não se traduzir em mudanças substanciais em seu comportamento global. Em suma, um sistema complexo exibe relação não-linear entre suas partes e seu comportamento global: de um lado, pequenas mudanças nas partes podem ter grandes efeitos sobre o comportamento; de outro, grandes mudanças podem ter pequenos efeitos. Tudo depende da natureza da mudança, do estado do sistema, da natureza de sua rede interna de relações etc.

Chamamos a atenção para esses aspectos para argumentar que o sistema educacional exibe tais não-linearidades e pode, assim, ser considerado um sistema complexo. Num sistema dessa natureza, modificações que afetam apenas parte limitada de seus componentes podem ter efeitos profundamente desorganizadores. A intervenção em tal sistema requer uma compreensão acurada dos vários componentes que o compõem e das relações entre eles, e uma ação concertada, que permita mudar de modo articulado e organizado os componentes e suas relações. Um dos problemas mais sérios que detectamos, portanto, nas reformas educacionais propostas pelos governos brasileiros nas últimas duas décadas diz respeito à ausência dessa ação concertada. Busca-se mudar o currículo, ou os livros didáticos, ou a formação de professores, sem que se produza um plano devidamente articulado para a reformulação do sistema educacional como um todo. Isso resulta em descompassos entre os componentes do sistema, como nota Tolentino Neto (2003), por exemplo, ao analisar o processo de escolha de livros didáticos de professores do ensino fundamental. Frente à ausência de tal esforço articulado e a longo termo de mudança da educação brasileira, iniciativas como o PNLD e o PNLEM, ou os PCNs, ou as políticas de formação de professor, têm alcance limitado e podem resultar em desarticulações importantes dos vários componentes do processo educacional.

AGRADECIMENTOS

Agradecemos ao Ministério da Educação e, em particular, à Profa. Lucia Lodi e sua equipe pelo apoio durante a avaliação dos livros didáticos de Biologia. Agradecemos também a toda a equipe de avaliadores das obras didáticas de Biologia no PNLEM/2007, sem a qual os resultados obtidos não teriam sido possíveis.

LISTA DE OBRAS DIDÁTICAS APROVADAS

ADOLFO, A.; CROZETTA, M.; Lago, S. Biologia. São Paulo: IBEP, 2005.

AMABIS, J. M.; MARTHO, G. R. Biologia. São Paulo: Moderna, 2005.

FAVARETTO, J. A.; Mercadante, C. Biologia. São Paulo: Moderna, 2005.

FROTA-PESSOA, O. Biologia. São Paulo: Scipione, 2005.

LAURENCE, J. Biologia. São Paulo: Nova Geração, 2005.

LINHARES, S.; GEWANDSNAJDER, F. Biologia. São Paulo: Ática, 2005.

LOPES, S.; ROSSO, S. Biologia. São Paulo: Saraiva, , 2005.

PAULINO, W. R. Biologia. São Paulo: Ática, 2005.

SILVA JÚNIOR, César; SASSON, Sezar (César & Sezar). Biologia. São Paulo: Saraiva, 2005.

REFERÊNCIAS

AHL, V.; ALLEN, T. F. H. Hierarchy theory: A vision, vocabulary, and epistemology. New York: Columbia University Press, 1996.

ALTERS, B. J. Whose nature of science? Journal of Research in Science Teaching, 34, p. 39-55, 1997.

BALL, D. L.; FEIMAN-NEMSER, S. Using textbooks and teachers' guides: A dilemma for beginning teachers and teacher educators. Curriculum Inquiry, 18, p. 401-423, 1988.

BATISTA, A. A. G.; VAL, M. G. F. C.; ROJO, R. H. R. Língua Portuguesa no PNLD 2005: Significados de uma política pública de avaliação de livros didáticos. Anais do 2º Congresso Brasileiro de Extensão Universitária, 2004. Disponível em <http://www.ufmg.br/congrext/Educa/Educa111.pdf>, acesso em 08.12.09.

BELTRÁN, I. B.; RAMALHO, B. L.; SILVA, I. K. P.; CAMPOS, A. P. N. a seleção dos livros didáticos: Um saber necessário ao professor. O caso do ensino de Ciências. Revista Iberoamericana de Educación, 25/04/03. Disponível em <http://www.rieoei.org/deloslectores/427Beltran.pdf>, acesso em 08.12.09.

BICKHARD, M. H. Constructivisms and relativisms: A shopper's guide. Science & Education, 6, p. 29-42, 1997.

BIZZO, N.; MORAIS, C. DE; EL-HANI, C. N.; GIOPPO, C.; OLIVEIRA, D. L.; CARRIJO, I. L. M.; ALMEIDA, M. A.; MAESTRELLI, S. R.; ROSA;V. L. DA; PEDROSA, T. Graves erros de conceito em livros didáticos de Ciências. Ciência Hoje, 21, p. 26-35, 1996.

CARVALHO, G. S.; SILVA, R.; CLÉMENT, P. Historical analysis of Portuguese primary school textbooks (1920-2005) on the topic of digestion. Proceedings of the International History, Philosophy, Sociology & Science Teaching Conference, 2005, Disponível em <http://www.ihpst2005.leeds.ac.uk/papers/Carvalho_Silva_Clement.pdf>, acesso em 08.12.09.

EL-HANI, C. N. Notas sobre o ensino de história e filosofia das ciências na educação científica de nível superior. In: SILVA, C. C. (Org.) História e Filosofia da Ciência no Ensino de Ciências: Da Teoria à Sala de Aula. São Paulo: Editora Livraria da Física, 2006, p. 3-21.

EL-HANI, C. N.; BIZZO, N. Formas de construtivismo: Construtivismo contextual e mudança conceitual. Ensaio: Pesquisa em Educação em Ciências, 4, p. 1-25, 2002.

FRACALANZA, H. O que sabemos sobre os livros didáticos para o ensino de Ciências no Brasil. Tese (Doutorado em Educação). Faculdade de Educação, Unicamp, 1993.

FRANZOLIN, F.; BIZZO, N. Conceitos de biologia em livros didáticos de educação básica e na academia: uma metodologia de análise. Atas do VI Encontro Nacional de Pesquisa em Educação em Ciências. Florianópolis, SC, 2007. Disponível em <http://www.fae.ufmg.br/abrapec/viempec/CR2/p1041.pdf>, acesso em 08.12.09.

GAYÁN, E.; GARCÍA, P. E. como escoger un libro de texto? Desarrollo de un instrumento para evaluar los libros de texto de ciencias experimentales. Enseñanza de las ciencias, Número Extra, V Congresso, p. 249-250, 1997.

GEELAN, D. R. Epistemological anarchy and the many forms of constructivism. Science & Education, 6, p. 15-28, 1997.

GIL-PÉREZ, D.; FERNÁNDEZ MONTORO, I.; CARRASCOSA ALÍS, J.; CACHAPUZ, A.; PRAIA, J. Para uma imagem não-deformada do trabalho científico. Ciência & Educação, 7, p. 125-153, 2001.

KANASHIRO, C. S. Livro didático de Geografia: PNLD, materialidade e uso na sala de aula. Dissertação (Mestrado em Comunicação). Escola de Comunicação e Artes, USP, 2008.

LEE, O.; EICHINGER, D. C.; ANDERSON, C.W.; BERKHEIMER, G. D.; BLAKESLEE, T. D. Changing middle school students' conceptions of matter and molecules. Journal of Research in Science Teaching, 30, p. 249-270, 1993.

MARTIN, B.; KASS, H.; BROUWER, W. Authentic science: A diversity of meanings. Science Education, 74, p. 541-554, 1990.

MEGID NETO, J. Representações e novas perspectivas do livro didático na área de Ciências: o que nos dizem os professores, as pesquisas acadêmicas e os documentos oficiais. In: MARFAN, M. A. (Org.). Congresso Brasileiro de Qualidade na Educação. Formação de Professores. Volume 1. Brasília: MEC, SEF, 2002.

MEGID NETO, J.; FRACALANZA, H. O livro didático de Ciências: Problemas e soluções. Ciência & Educação, 9, p. 147-157, 2003.

MOHR, A. Análise do conteúdo de "saúde" em livros didáticos. Ciência & Educação, 6, p. 89-106, 2000.

MUNAKATA, K. Livro didático e formação do professor são incompatíveis? In: MARFAN, M. A. (Org.). Congresso Brasileiro de Qualidade na Educação. Formação de Professores. Volume 1. Brasília: MEC, SEF, 2002.

NUÑEZ, I. B.; RAMALHO, B. L.; SILVA, I. K. P.; CAMPOS, A. P. N. A seleção dos livros didáticos: Um saber necessário ao professor. O caso do ensino de ciências. Revista Iberoamericana de Educación, 25/04/2003. Disponível em <http://www.rieoei.org/did_mat1.htm>, acesso em 08.12.09.

PRETTO, N. L. A Ciência nos Livros Didáticos. Campinas/Salvador: Editora da Unicamp-CED/UFBA, 1985.

ROCHA, P. L. B.; ROQUE, N.; VANZELA, A. L. L.; SOUZA, A. F. L.; MARQUES, A. C.; VIANA, B. F.; EL-HANI, C. N.; KAWASAKI, C. S.; LUIZON, C.; FARIA, D.; MEYER, D.; OMENA, E.; OLIVEIRA, E. S.; ASSIS, J. G. A.; FREGONEZE, J.; PAGANUCCI, L.; NAPOLI, M.; CARDOSO, M. Z.; SILVEIRA, N. A.; HORTA, P. A.; SANO, P. T.; ZUCOLOTO, R.; SILVA, S. A. H.; ROSA, V. L. Catálogo do Programa Nacional do Livro para o Ensino Médio (PNLEM): Biologia. Brasília: MEC, 2006. Disponível em <http://www.fnde.gov.br/home/ld_ensinomedio/guia_biologia_pnlem2007.pdf>, acesso em 08.12.09.

TOLENTINO NETO, L. C. B. O processo de escolha do livro didático de ciências por professores de 1ª a 4ª séries. Dissertação (Mestrado em Educação). Faculdade de Educação, USP, 2003.

NOTAS

Contato:

Universidade Federal da Bahia

Instituto de Biologia

Departamento de Biologia Geral

Rua Barão do Geremoabo, 147

Campus Universitário de Ondina

Ondina

Salvador – BA

CEP 40170-290

Recebido: 11/01/2010

Aprovado: 06/04/2010

  • ADOLFO, A.; CROZETTA, M.; Lago, S. Biologia São Paulo: IBEP, 2005.
  • AMABIS, J. M.; MARTHO, G. R. Biologia São Paulo: Moderna, 2005.
  • FAVARETTO, J. A.; Mercadante, C. Biologia São Paulo: Moderna, 2005.
  • FROTA-PESSOA, O. Biologia São Paulo: Scipione, 2005.
  • LAURENCE, J. Biologia São Paulo: Nova Geração, 2005.
  • LINHARES, S.; GEWANDSNAJDER, F. Biologia São Paulo: Ática, 2005.
  • LOPES, S.; ROSSO, S. Biologia São Paulo: Saraiva, , 2005.
  • PAULINO, W. R. Biologia São Paulo: Ática, 2005.
  • SILVA JÚNIOR, César; SASSON, Sezar (César & Sezar). Biologia São Paulo: Saraiva, 2005.
  • AHL, V.; ALLEN, T. F. H. Hierarchy theory: A vision, vocabulary, and epistemology. New York: Columbia University Press, 1996.
  • ALTERS, B. J. Whose nature of science? Journal of Research in Science Teaching, 34, p. 39-55, 1997.
  • BALL, D. L.; FEIMAN-NEMSER, S. Using textbooks and teachers' guides: A dilemma for beginning teachers and teacher educators. Curriculum Inquiry, 18, p. 401-423, 1988.
  • BATISTA, A. A. G.; VAL, M. G. F. C.; ROJO, R. H. R. Língua Portuguesa no PNLD 2005: Significados de uma política pública de avaliação de livros didáticos. Anais do 2º Congresso Brasileiro de Extensão Universitária, 2004. Disponível em <http://www.ufmg.br/congrext/Educa/Educa111.pdf>, acesso em 08.12.09.
  • BELTRÁN, I. B.; RAMALHO, B. L.; SILVA, I. K. P.; CAMPOS, A. P. N. a seleção dos livros didáticos: Um saber necessário ao professor. O caso do ensino de Ciências. Revista Iberoamericana de Educación, 25/04/03. Disponível em <http://www.rieoei.org/deloslectores/427Beltran.pdf>, acesso em 08.12.09.
  • BICKHARD, M. H. Constructivisms and relativisms: A shopper's guide. Science & Education, 6, p. 29-42, 1997.
  • BIZZO, N.; MORAIS, C. DE; EL-HANI, C. N.; GIOPPO, C.; OLIVEIRA, D. L.; CARRIJO, I. L. M.; ALMEIDA, M. A.; MAESTRELLI, S. R.; ROSA;V. L. DA; PEDROSA, T. Graves erros de conceito em livros didáticos de Ciências. Ciência Hoje, 21, p. 26-35, 1996.
  • CARVALHO, G. S.; SILVA, R.; CLÉMENT, P. Historical analysis of Portuguese primary school textbooks (1920-2005) on the topic of digestion. Proceedings of the International History, Philosophy, Sociology & Science Teaching Conference, 2005, Disponível em <http://www.ihpst2005.leeds.ac.uk/papers/Carvalho_Silva_Clement.pdf>, acesso em 08.12.09.
  • EL-HANI, C. N. Notas sobre o ensino de história e filosofia das ciências na educação científica de nível superior. In: SILVA, C. C. (Org.) História e Filosofia da Ciência no Ensino de Ciências: Da Teoria à Sala de Aula. São Paulo: Editora Livraria da Física, 2006, p. 3-21.
  • EL-HANI, C. N.; BIZZO, N. Formas de construtivismo: Construtivismo contextual e mudança conceitual. Ensaio: Pesquisa em Educação em Ciências, 4, p. 1-25, 2002.
  • FRACALANZA, H. O que sabemos sobre os livros didáticos para o ensino de Ciências no Brasil Tese (Doutorado em Educação). Faculdade de Educação, Unicamp, 1993.
  • FRANZOLIN, F.; BIZZO, N. Conceitos de biologia em livros didáticos de educação básica e na academia: uma metodologia de análise. Atas do VI Encontro Nacional de Pesquisa em Educação em Ciências. Florianópolis, SC, 2007. Disponível em <http://www.fae.ufmg.br/abrapec/viempec/CR2/p1041.pdf>, acesso em 08.12.09.
  • GAYÁN, E.; GARCÍA, P. E. como escoger un libro de texto? Desarrollo de un instrumento para evaluar los libros de texto de ciencias experimentales. Enseñanza de las ciencias, Número Extra, V Congresso, p. 249-250, 1997.
  • GEELAN, D. R. Epistemological anarchy and the many forms of constructivism. Science & Education, 6, p. 15-28, 1997.
  • GIL-PÉREZ, D.; FERNÁNDEZ MONTORO, I.; CARRASCOSA ALÍS, J.; CACHAPUZ, A.; PRAIA, J. Para uma imagem não-deformada do trabalho científico. Ciência & Educação, 7, p. 125-153, 2001.
  • KANASHIRO, C. S. Livro didático de Geografia: PNLD, materialidade e uso na sala de aula. Dissertação (Mestrado em Comunicação). Escola de Comunicação e Artes, USP, 2008.
  • LEE, O.; EICHINGER, D. C.; ANDERSON, C.W.; BERKHEIMER, G. D.; BLAKESLEE, T. D. Changing middle school students' conceptions of matter and molecules. Journal of Research in Science Teaching, 30, p. 249-270, 1993.
  • MARTIN, B.; KASS, H.; BROUWER, W. Authentic science: A diversity of meanings. Science Education, 74, p. 541-554, 1990.
  • MEGID NETO, J. Representações e novas perspectivas do livro didático na área de Ciências: o que nos dizem os professores, as pesquisas acadêmicas e os documentos oficiais. In: MARFAN, M. A. (Org.). Congresso Brasileiro de Qualidade na Educação. Formação de Professores Volume 1. Brasília: MEC, SEF, 2002.
  • MEGID NETO, J.; FRACALANZA, H. O livro didático de Ciências: Problemas e soluções. Ciência & Educação, 9, p. 147-157, 2003.
  • MOHR, A. Análise do conteúdo de "saúde" em livros didáticos. Ciência & Educação, 6, p. 89-106, 2000.
  • MUNAKATA, K. Livro didático e formação do professor são incompatíveis? In: MARFAN, M. A. (Org.). Congresso Brasileiro de Qualidade na Educação. Formação de Professores Volume 1. Brasília: MEC, SEF, 2002.
  • NUÑEZ, I. B.; RAMALHO, B. L.; SILVA, I. K. P.; CAMPOS, A. P. N. A seleção dos livros didáticos: Um saber necessário ao professor. O caso do ensino de ciências. Revista Iberoamericana de Educación, 25/04/2003. Disponível em <http://www.rieoei.org/did_mat1.htm>, acesso em 08.12.09.
  • PRETTO, N. L. A Ciência nos Livros Didáticos Campinas/Salvador: Editora da Unicamp-CED/UFBA, 1985.
  • ROCHA, P. L. B.; ROQUE, N.; VANZELA, A. L. L.; SOUZA, A. F. L.; MARQUES, A. C.; VIANA, B. F.; EL-HANI, C. N.; KAWASAKI, C. S.; LUIZON, C.; FARIA, D.; MEYER, D.; OMENA, E.; OLIVEIRA, E. S.; ASSIS, J. G. A.; FREGONEZE, J.; PAGANUCCI, L.; NAPOLI, M.; CARDOSO, M. Z.; SILVEIRA, N. A.; HORTA, P. A.; SANO, P. T.; ZUCOLOTO, R.; SILVA, S. A. H.; ROSA, V. L. Catálogo do Programa Nacional do Livro para o Ensino Médio (PNLEM): Biologia. Brasília: MEC, 2006. Disponível em <http://www.fnde.gov.br/home/ld_ensinomedio/guia_biologia_pnlem2007.pdf>, acesso em 08.12.09.
  • TOLENTINO NETO, L. C. B. O processo de escolha do livro didático de ciências por professores de 1ª a 4ª séries Dissertação (Mestrado em Educação). Faculdade de Educação, USP, 2003.
  • 1
    O catálogo está disponível em:
  • 2
    A fonte dessas informações se encontra no portal do MEC:
  • 3
    Obras de Espanhol também foram avaliadas pelo programa, mas sua inclusão ocorreu apenas alguns meses após a elaboração do edital.
  • 4
    Além dos três coordenadores, os seguintes pesquisadores/professores universitários compuseram a equipe: como avaliadores, André Luis Laforga Vanzela (UEL), Ângela Freire Lima e Souza (UFBA), Antonio Carlos Marques (USP), Blandina Felipe Viana (UFBA), Clarice Sumi Kawasaki (USP-RP), Claudia Luizon (UFBA), Deborah Faria (UESC), Diogo Meyer (USP), Elianne Omena (UFBA), Elisabeth Spinelli de Oliveira (USP-RP), José Geraldo de Aquino Assis (UFBA), Josmara Fregoneze (UFBA), Luciano Paganucci (UEFS), Marcelo Napoli (UFBA), Márcio Zikán Cardoso (UFRN), Nusa de Almeida Silveira (UFG), Paulo Antunes Horta (UFPB), Paulo Takeo Sano (USP), Rodrigo Zucoloto (UFBA), Sueli Almuiña Holmer da Silva (UFBA), Vivian Leyser da Rosa (UFSC). Como leitores críticos, Luiz Marcelo de Carvalho (UNESP – Rio Claro) e Rosana Tidon (UnB). Os seguintes professores de ensino médio atuaram como leitores críticos: Mônica Ismerim Barreto (Rede estadual – SE) e Helenadja Mota Rios Pereira (Rede estadual – BA). A adequação de linguagem das resenhas que compõem o catálogo de obras didáticas de Biologia do PNLEM/2007 foi feita por Paulo Takeo Sano. A revisão de linguagem foi realizada por América Lúcia Silva Cesar (UFBA). A equipe de apoio foi formada por Aline Mota e Maurício Takashi.
  • 5
    Os dados relativos às escolhas das obras pelos professores foram gentilmente cedidos pela Profa. Lucia Lodi.
  • Datas de Publicação

    • Publicação nesta coleção
      01 Jun 2011
    • Data do Fascículo
      Abr 2011

    Histórico

    • Recebido
      11 Jan 2010
    • Aceito
      06 Abr 2010
    Faculdade de Educação da Universidade Federal de Minas Gerais Avenida Antonio Carlos, 6627., 31270-901 - Belo Horizonte - MG - Brasil, Tel./Fax: (55 31) 3409-5371 - Belo Horizonte - MG - Brazil
    E-mail: revista@fae.ufmg.br