Acessibilidade / Reportar erro

OS SISTEMAS DE AVALIAÇÃO EM LARGA ESCALA E SEUS RESULTADOS: O PISA E SUAS POSSÍVEIS IMPLICAÇÕES PARA O ENSINO DE CIÊNCIAS

LOS SISTEMAS DE EVALUACIÓN EN GRAN ESCALA Y SUS RESULTADOS: EL PISA Y SUS POSIBLES IMPLICACIONES PARA LA ENSEÑANZA DE LAS CIENCIAS

LARGE-SCALE ASSESSMENTS AND ITS RESULTS: PISA AND ITS POSSIBLE IMPLICATIONS FOR SCIENCE EDUCATION

RESUMO:

O panorama vivido atualmente pelos professores é permeado por sistemas de avaliação em larga escala. O objetivo do presente trabalho é apresentar, através do levantamento em periódicos nacionais e internacionais, possíveis demandas e/ou considerações para a área de ensino de Ciências, com o advento das avaliações em larga escala. Para a realização desta pesquisa, consultamos os periódicos que atendem ao Ensino de Ciências no Qualis Periódicos da CAPES Brasil, tendo como foco a alfabetização científica e sua relação com as avaliações em larga escala. Os resultados apontam a predominância de discussões sobre o PISA e, mediante análise da repercussão dos resultados de tal programa, concluímos pela necessidade de pesquisas que envolvam discutir o impacto dessas avaliações para o ensino de Ciências em temas importantes como: abordagem de conteúdos, formação de professores, políticas públicas para o ensino de Ciências, geração de currículos e compreensão pública da Ciência.

Palavras-chave:
Ensino de ciências; Avaliação em larga escala; Levantamento bibliográfico.

RESUMEN:

El panorama vivido actualmente por los profesores está impregnado por sistemas de evaluación a gran escala. El objetivo del presente trabajo es presentar, a través del levantamiento en periódicos nacionales e internacionales, posibles demandas y / o consideraciones para el área de enseñanza de las Ciencias, con el advenimiento de las evaluaciones a gran escala. Para la realización de esta investigación, consultamos los periódicos que atienden a la Enseñanza de las Ciencias en el Qualis Periódicos de la CAPES Brasil, teniendo como foco la alfabetización científica y su relación con las evaluaciones a gran escala. Los resultados apuntan a la predominancia de discusiones sobre el PISA y, mediante el análisis de la repercusión de los resultados de dicho programa, concluimos por la necesidad de investigaciones que involucran discutir el impacto de esas evaluaciones para la enseñanza de las ciencias en temas importantes como: abordaje de contenidos, formación de profesores, políticas públicas para la enseñanza de las ciencias, generación de currículos y comprensión pública de la ciencia.

Palabras clave:
Enseñanza de las ciencias; Evaluación a gran escala; Literatura.

ABSTRACT:

The panorama currently experienced by teachers is permeated by large-scale assessments. The objective of the present work is to present, through national and international journals, possible demands and / or considerations for the area of ​​Science Education, with the advent of large scale evaluations. For the accomplishment of this research, we consulted the periodicals that attend the Science Education in the Periodic Qualis of CAPES Brazil, focusing on scientific literacy and its relation with the evaluations in large scale. The results point to the predominance of discussions about PISA and, through analysis of the repercussion of the results of such program, we conclude that there is a need for research that involves discussing the impact of these assessments on the teaching of science in important topics such as: content approach, teachers education, public policies for teaching science, generating curricula and public understanding of science.

Keywords:
Science Education; Large-scale assessment; Bibliography.

CENÁRIOS E CONTEXTOS RELEVANTES PARA A PROPOSIÇÃO DESTE ESTUDO

O panorama vivido atualmente pelos professores, permeado por sistemas de avaliação em larga escala (como o Programa Internacional de Avaliação dos Estudantes/Programme for International Student Assessment - PISA, por exemplo) demanda refletir sobre o impacto dessas avaliações de desempenho escolar no cotidiano do professor. De modo mais propositivo, caberia investigar quais seriam as implicações dos resultados das avaliações externas e em larga escala propostas para o ensino de Ciências.

A todo o processo educativo cabe uma série de etapas. Em maior ou menor medida, os professores entendem que o ensino e a aprendizagem ocorrem graças a uma ordem de ações que, muito embora sejam variáveis entre as práticas, procuram contemplar as mesmas expectativas. De modo geral, poderíamos organizar estas práticas segundo as etapas mais conhecidas e aplicadas por diversos professores, a saber: levantar conhecimentos prévios dos alunos; partir daquilo que eles já conhecem para propor um novo conteúdo; trabalhar com o conteúdo conceitual propriamente dito; utilizar determinados procedimentos para promover a ação do aluno diante do objeto de conhecimento; retomar as discussões e, por fim (mas não menos importante), avaliar.

A avaliação caminha com a prática de ensino de forma concomitante. Existem diversos tipos de avaliação e diversas propostas refletindo sobre “como avaliar”. A avaliação parece ser o “termômetro” do professor, o “instrumento” com o qual este consegue detectar o alcance de sua prática e, ao mesmo tempo, o envolvimento do aluno com o seu próprio aprendizado. Longe de ser um argumento definitivo acerca da avaliação na escola, pontuamos que o professor busca medir o aprendizado do aluno tendo em vista, a partir destes resultados, encontrar pontos fortes e fracos em sua própria prática que merecerão atenção especial, dependendo dos resultados observados em seu instrumento de avaliação.

Acompanhando o movimento da própria sociedade que exige, especialmente da esfera pública, o oferecimento de serviços dos mais diversos com qualidade, a Educação também passou a ser objeto de políticas que pretendem (através de muitas ações e, entre elas, a avaliação em larga escala) responder às expectativas sociais apontando resultados positivos e animadores de maneira que todos se sintam beneficiados e respondidos.

O que se sabe hoje é que, aos olhos do professor, a avaliação em larga escala surge em sua rotina de trabalho repleta de sentidos e finalidades. Sujeitos às políticas oficiais e a um currículo apresentado em escala estadual e, até mesmo federal, o professor faz parte desta avaliação tanto quanto seu aluno. Os resultados dessas avaliações tornados públicos através da mídia e de publicações específicas como matrizes de referência para a análise dos dados gerados, colocam o professor novamente em situação de reflexão sobre o que se pretende com essas avaliações e em quê elas podem contribuir para a efetiva qualidade em Educação. Mas, em que medida essas questões podem ser discutidas e qual a relevância deste debate para o ensino de Ciências?

No âmbito de tais indagações, o objetivo deste trabalho é o de expor, mediante levantamento em periódicos nacionais e internacionais e análises de incidências dos resultados em diferentes países, possíveis demandas constituídas para a área de ensino de Ciências com o advento das avaliações em larga escala considerando a realidade brasileira.

SOBRE AS AVALIAÇÕES EM LARGA ESCALA E SUA RELAÇÃO COM A EDUCAÇÃO: O PISA EM FOCO

Os trabalhos que se dedicaram a delinear o “estado da arte” da avaliação no Brasil (AZEVEDO, 2000; WAISENFISZ, 1991 apud COELHO, 2008COELHO, M. I. M. (2008) Vinte anos de avaliação da educação básica no Brasil: aprendizagens e desafios. Ensaio: avaliação, políticas públicas. 16, 59, 229-258. Disponível em: Disponível em: http://www.scielo.br/pdf/ensaio/v16n59/v16n59a05.pdf Acesso em: 25 ago. 2016.
http://www.scielo.br/pdf/ensaio/v16n59/v...
) quase sempre acabam vinculando estas discussões às questões que envolvem a avaliação em larga escala, tanto quanto à noção de que avaliações desta natureza, no Brasil, surgiram em consonância, quiçá subordinação, com as propostas de avaliação em âmbito internacional. Tais propostas, encabeçadas pelos Estados Unidos em 1970, coincidem com a construção de indicadores internacionais de qualidade da educação elaborados pela Organização para a Cooperação e Desenvolvimento Econômico (OCDE).

Bonamino e Sousa (2012BONAMINO, A.; SOUSA, S. Z. (2012) Três gerações de avaliação da educação básica no Brasil: interfaces com o currículo da / na escola. Educação e Pesquisa, 38, 2, 373-388. Disponível em: Disponível em: http://www.scielo.br/pdf/ep/v38n2/aopep633.pdf Acesso em: 25 ago. 2016.
http://www.scielo.br/pdf/ep/v38n2/aopep6...
) identificam, em suas análises, três gerações de avaliação em larga escala no Brasil: a primeira geração estaria mais voltada para um diagnóstico da qualidade da educação oferecida em nosso país sem consequências ou impactos diretos para as escolas e os currículos. Entretanto, outros dois modelos de avaliação surgem com a finalidade de, a partir dos resultados gerados pelos alunos, subsidiar políticas de responsabilização com atribuição de consequências para os agentes escolares bem como influenciar, em maior ou menor medida, o currículo. Essas seriam as avaliações de segunda e de terceira gerações.

Através de um resgate histórico detalhado das políticas de implementação das avaliações em larga escala no país, Werle (2011WERLE, F. O. (2011) Políticas de avaliação em larga escala na educação básica: do controle do resultado à intervenção nos processos de operacionalização do ensino. Ensaio: avaliação, políticas públicas. v. 19, n. 73. Disponível em: Disponível em: http://www.scielo.br/pdf/ensaio/v19n73/03.pdf Acesso em: 25 ago. 2016.
http://www.scielo.br/pdf/ensaio/v19n73/0...
) reforça sua preocupação com as influências que os sistemas de avaliação, quase que “unificados” por procedimentos e intenções, podem ter no cotidiano da escola, destacando que estes resultados podem gerar uma racionalização voltada apenas para resultados.

Analisando os sistemas de avaliação de cinco estados brasileiros (Bahia, Ceará, Minas Gerais, Paraná e São Paulo), Sousa e Oliveira (2010SOUSA, S. Z.; OLIVEIRA, R. P. de. (2010) Sistemas estaduais de avaliação: uso dos resultados, implicações e tendências. Cadernos de Pesquisa, 40, 141, 793-822. Disponível em: Disponível em: http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0100-15742010000300007&lng=en&nrm=iso Acesso em: 25 ago. 2016.
http://www.scielo.br/scielo.php?script=s...
) concluem que ainda há muito a ser feito para que essas avaliações não se limitem apenas a mapear as dificuldades e tornar públicas as informações sobre o rendimento dos alunos que muitas vezes não é capaz de refletir, apenas na execução de uma prova, os condicionantes cotidianos e sociais (contextuais, intra e extraescolares) que também influenciam a aprendizagem.

Importa destacar aqui que entendemos que as condições de ação, transformação e melhoria geradas pelas avaliações e citadas por Sousa e Oliveira (2010SOUSA, S. Z.; OLIVEIRA, R. P. de. (2010) Sistemas estaduais de avaliação: uso dos resultados, implicações e tendências. Cadernos de Pesquisa, 40, 141, 793-822. Disponível em: Disponível em: http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0100-15742010000300007&lng=en&nrm=iso Acesso em: 25 ago. 2016.
http://www.scielo.br/scielo.php?script=s...
) não têm apenas a prática docente como única responsável. É necessário avançar também (levando-se em conta os resultados dessas avaliações) nas questões sociais que envolvem os alunos e professores como: condições de trabalho, melhorias nas escolas, fornecimento de materiais, livros, e, sobretudo uma formação de professores que respeite o que esses profissionais têm feito pela escola (ainda que com muita dificuldade e algum equívoco) na situação em que ela se encontra e com todas as limitações possíveis, pois os custos de implementação dessas avaliações são muito altos para que sirvam apenas à reiteração do que já se sabe (SOUSA e OLIVEIRA, 2010SOUSA, S. Z.; OLIVEIRA, R. P. de. (2010) Sistemas estaduais de avaliação: uso dos resultados, implicações e tendências. Cadernos de Pesquisa, 40, 141, 793-822. Disponível em: Disponível em: http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0100-15742010000300007&lng=en&nrm=iso Acesso em: 25 ago. 2016.
http://www.scielo.br/scielo.php?script=s...
, p. 818) em termos de dificuldades e desafios.

Discutir sobre a qualidade da educação no Brasil ofereceu a muitos especialistas a chance de problematizar o papel do Estado diante de políticas de avaliação em larga escala. O uso dos resultados de provas no Brasil como o SARESP (Sistema de Avaliação do Rendimento Escolar do Estado de São Paulo) no estado de São Paulo, da Prova Brasil, do ENEM (Exame Nacional do Ensino Médio) e ENADE (Exame Nacional de Desempenho dos Estudantes) em âmbito federal e do PISA (Programme for International Student Assessment/Programa Internacional de Avaliação dos Estudantes) em âmbito internacional, equivocadamente têm se limitado - para a sociedade e os meios de comunicação - à função de ranking de “escolas boas” e “escolas ruins” e suas intenções de fornecer dados para a criação de políticas de formação de professores nem sempre são bem sucedidas. E em alguns casos, oferecer bonificação aos professores de acordo com os índices atingidos pela escola afastou (ainda que indiretamente) a proposta dessas avaliações de sua função precípua: oferecer subsídios para a reformulação da prática docente ou até mesmo referendar práticas que funcionam muito bem. Além desses elementos, partindo-se para uma reflexão de caráter sociológico, a simples criação e aplicação dessas avaliações, historicamente, indicam a existência de uma lógica neoliberal e de mercado que conseguiu alcançar (e ultrapassar) os muros da escola, colocando professores e alunos à mercê de interesses externos ao ambiente escolar. Paralelo a isso, é possível elencar outros fatores tais como: a universalização do ensino; as diferenças sociais entre os alunos e as escolas avaliados; a prática docente como resultado de uma série de outros fatores (acúmulo de cargo, horas de trabalho, cumprimento do currículo oficial ou a opção por não fazê-lo; cursos de formação continuada cujos resultados nunca chegam aos alunos, entre outros) e as políticas públicas de suporte à escola que muitas vezes deixam a desejar (BARRETO, 2001BARRETO, E. S. de S. (2001) A avaliação na educação básica entre dois modelos. Educação e Sociedade, 22, 75, 48-66. Disponível em: Disponível em: http://www.educadores.diaadia.pr.gov.br/arquivos/File/2010/artigos_teses/2010/Pedagogia/aav_ed_bas.pdf Acesso em: 25 ago. 2016.
http://www.educadores.diaadia.pr.gov.br/...
; SANTOS, 2002SANTOS, L. L. de C. P. (2002) Políticas públicas para o ensino fundamental: parâmetros curriculares nacionais e sistema nacional de avaliação (SAEB). Educação & Sociedade, 23, 80, 346-367. Disponível em: Disponível em: http://www.scielo.br/pdf/es/v23n80/12936.pdf Acesso em: 25 ago. 2016.
http://www.scielo.br/pdf/es/v23n80/12936...
; SOUSA E OLIVEIRA, 2003SOUZA, S. Z. L; e OLIVEIRA, R. P. de. (2003) Políticas de avaliação da educação e quase mercado no Brasil. Educação e Sociedade, 24, 84, 873-895. Disponível em: Disponível em: http://www.scielo.br/pdf/es/v24n84/a07v2484.pdf Acesso em: 25 ago. 2016.
http://www.scielo.br/pdf/es/v24n84/a07v2...
; MACHADO, 2007MACHADO, N. J. (2007) Qualidade da educação: cinco lembretes e uma lembrança. Estudos Avançados, 21, 61, 277-294 Disponível em: Disponível em: http://www.scielo.br/pdf/ea/v21n61/a18v2161.pdf Acesso em: 25 ago. 2016.
http://www.scielo.br/pdf/ea/v21n61/a18v2...
; COELHO, 2008COELHO, M. I. M. (2008) Vinte anos de avaliação da educação básica no Brasil: aprendizagens e desafios. Ensaio: avaliação, políticas públicas. 16, 59, 229-258. Disponível em: Disponível em: http://www.scielo.br/pdf/ensaio/v16n59/v16n59a05.pdf Acesso em: 25 ago. 2016.
http://www.scielo.br/pdf/ensaio/v16n59/v...
; CABRITO, 2009CABRITO, B. G. (2009) Avaliar a qualidade em Educação: avaliar o quê? Avaliar como? Avaliar para quê? Caderno Cedes, 29, 78, 178-200. Disponível em: Disponível em: http://www.enf.ufmg.br/site_novo/modules/mastop_publish/files/files_4c769114e2924.pdf Acesso em: 25 ago. 2016.
http://www.enf.ufmg.br/site_novo/modules...
).

Ao realizarmos o levantamento de artigos para compor as análises deste trabalho, notamos uma presença quase majoritária de artigos que discutem o PISA como avaliação em larga escala que impacta amplamente em ações na Educação de todo o mundo, influenciando inclusive, as avaliações em larga escala propostas internamente nos países participantes.

Por seu turno, a literatura nacional acima mencionada documenta a conspícua lacuna de discussões que, pautadas em análises dos resultados obtidos pelos estudantes brasileiros, viabilizassem um cotejamento qualificado entre, de um lado: a) conteúdos priorizados (conteúdos de sistemas físicos, de sistemas vivos, do sistema Terra e espaço); b) contextos (saúde e doença, recursos naturais, qualidade ambiental, riscos, fronteira entre ciência e tecnologia); c) as diferentes modalidades de itens da prova (itens comuns, itens novos, itens de múltipla escolha simples, itens de múltipla escolha complexos, resposta aberta) e, de outro, as competências prioritárias (explicar fenômenos cientificamente, avaliar e planejar experimentos científicos e interpretar dados e evidências cientificamente) e as incidências das mesmas nos conteúdos curriculares, em especial, em redes de ensino públicas no Brasil.

Estima-se oportuno, assim, investigar em que extensão a descrição e a análise dos impactos dos resultados do PISA em diferentes países, como exemplo consensual de avaliação externa em larga escala, poderia documentar e fomentar subsídios para definição de agendas de discussão e de análises de impactos dos resultados dos estudantes brasileiros para aprimoramento das condições de consolidação da educação científica em nosso país.

METODOLOGIA

Para o desenvolvimento desta pesquisa, realizamos uma busca em periódicos para ampliar os horizontes de discussão acerca das possíveis demandas que poderiam surgir para o Ensino de Ciências a partir da implantação dos sistemas de avaliação em larga escala. Dessa forma, estabelecemos como critério de busca os periódicos que atendem ao Ensino de Ciências dentro da grande área de Ensino no banco de dados Qualis Periódicos da CAPES (Coordenação de Aperfeiçoamento de Pessoal de Nível Superior), agência brasileira de fomento à pesquisa que atua na expansão e consolidação da pós-graduação strictu sensu - mestrado e doutorado - em todos os estados do país. O banco de dados de periódicos foi atualizado em 2013 com dados do triênio 2010-2012. A partir dessa busca, pudemos detectar alguns artigos que exploram os temas de interesse para a pesquisa.

Para tanto, elegemos alguns termos que deveriam orientar e refinar nossa busca nos bancos de dados online dos periódicos consultados. Utilizamos os termos: alfabetização científica / indicadores de alfabetização científica / avaliação em larga escala como esferas de interesse. Quando nos deparamos com periódicos em outras línguas como o Espanhol e o Inglês, fizemos o uso das seguintes traduções dos termos para mantermo-nos fiéis aos temas que gostaríamos de explorar: alfabetización científica / scientific literacy; indicadores de la alfabetización científica / indicators of scientific literacy e/ou literacy skills; evaluación / large-scale assessment.

O Quadro 1 (Anexo) apresenta a lista de periódicos consultados durante as atividades de busca bibliográfica. Foram encontrados um total de 22 (vinte e dois) artigos que correspondiam aos nossos interesses.

Para facilitar a compreensão dos debates propostos acerca das possíveis implicações dos sistemas de avaliação em larga escala para o ensino de Ciências, optamos por criar quatro grandes categorias a partir da análise de conteúdo (BARDIN, 2011BARDIN, L. Análise de conteúdo. São Paulo: Edições 70, 2011.) para apresentar os trabalhos encontrados que, em diferentes abordagens, priorizaram a reflexão sobre a relação ensino de ciências e avaliação em larga escala.

Assim, apresentamos a seguir uma proposta de categorização ou de caracterização dos artigos selecionados.

Inicialmente há artigos que destacam a avaliação dos estudantes, tendo como foco os resultados apresentados pelos estudantes nas avaliações em Ciências e as informações que podem ser exploradas sobre eles nos relatórios pedagógicos publicados posteriormente a essas avaliações, com dados como: interesse pela Ciência, baixo ou alto rendimento, entre outros elementos que foram eleitos pelos pesquisadores.

Foram identificados também artigos que apontam demandas para a formação de professores, apresentando diferentes posicionamentos sobre o uso dos resultados dessas avaliações como possíveis orientações de formação.

A terceira categoria é constituída por artigos que sinalizam implicações para o ensino de Ciências, partindo dos resultados apresentados pelos alunos e da forma e conteúdo apresentados nas provas de Ciências de modo que os pesquisadores apontam algumas considerações para a área.

E por fim, a quarta caracterização designa artigos que discutem políticas necessárias e/ou implementadas nos sistemas educacionais de diferentes partes do mundo a partir dos resultados dessas avaliações, com ênfase na necessária cautela ao se implementar tais políticas a partir de resultados de avaliações em larga escala.

O total de 22 (vinte e dois) artigos encontrados estão distribuídos da seguinte forma, entre as categorias: avaliação dos estudantes: 9 (nove); formação de professores: 3 (três); implicações para o ensino de ciências: 4 (quatro); políticas: 6 (seis).

DISCUSSÃO: O QUE DIZEM AS PESQUISAS EM ENSINO DE CIÊNCIAS SOBRE O IMPACTO DAS AVALIAÇÕES EM LARGA ESCALA?

Nota-se atualmente, assim como nas demais áreas do conhecimento, que a formação do aluno e do futuro cidadão participativo requer uma preocupação com a sua formação global. E assim como nas demais áreas, no ensino de Ciências essa preocupação já começa a se delinear nos anos iniciais do ensino fundamental especialmente no tocante à alfabetização científica1 e ao posicionamento da criança diante de questões sobre a preservação ambiental, higiene, saúde, entre outros temas previstos para essa faixa da escolarização. Com o avanço na escolaridade, essa preocupação caminha no sentido de oferecer ao aluno a chance de se posicionar diante de questões sócio-científicas, argumentar e utilizar elementos que deem sustentação a esses argumentos (LORENZETTI e DELIZOICOV, 2001LORENZETTI, L., DELIZOICOV, D. (2001) Alfabetização cientifica no contexto das séries iniciais. Ensaio: Pesquisa em educação em ciências - Vol 3, n 1.17 p. Disponível em: Disponível em: http:// w ww. fae.ufmg.br/e nsaio/v3_n1/le onir.PD F Acesso em: 25 ago. 2016.
http:// w ww. fae.ufmg.br/e nsaio/v3_n1/...
; SASSERON e CARVALHO, 2008SASSERON, L.; CARVALHO., A.M.P. (2008) Almejando a alfabetização científica no ensino fundamental: A proposição e a procura de indicadores do processo. Investigações em Ensino de Ciências, vol. 13 (3). Disponível em: Disponível em: https://www.edisciplinas.usp.br/pluginfile.php/77308/mod_resource/content/1/Texto%204%20-%20Almejando%20a%20AC.pdf Acesso em: 25 ago. 2016.
https://www.edisciplinas.usp.br/pluginfi...
; BIZZO, 2009, entre outros). Avaliar essas posturas e, concomitantemente, os conteúdos curriculares aliados a ela (conceitos, procedimentos e atitudes) aponta para a necessidade de delinear o perfil de aluno que se pretende formar.

Nesse sentido, as políticas de avaliação em larga escala também procuram traçar um perfil do que se espera que o aluno aprenda em cada ano na escola. E esses critérios também impactam na produção acadêmica para o ensino de Ciências que buscam problematizar e elucidar os objetivos e demandas dessas políticas para a área.

Os trabalhos discutidos a seguir procuraram compreender as propostas das avaliações em larga escala para o ensino de Ciências bem como refletir, junto com seus autores, acerca do impacto e influências dessas avaliações para a prática docente e para aprendizagem dos alunos em Ciências.

Nos estudos selecionados constatou-se a predominância de discussões sobre os resultados do PISA e seu impacto para o ensino de Ciências. Os resultados da referida avaliação permitiram aos pesquisadores diferentes interpretações e argumentações na busca por compreender como os alunos, no exercício de execução das provas, a saber, ao trabalharem com seus conhecimentos em Ciências, podem fornecer relevantes subsídios para análises dos vínculos entre prioridades de conteúdos conceituais e aprendizagens (habilidades) preconizadas nas matrizes de referência de currículos de Ciências na Educação Básica.

O PISA, sinteticamente, objetiva gerar medidas (evidências) qualificadas sobre a relação entre conhecimentos e habilidades por alunos, a partir de 15 anos, nas áreas de ciências, leitura, matemática e resolução colaborativa de problemas. Apresenta-se como parcela integrante de um conjunto de avaliações nacionais e internacionais coordenado pela Diretoria de Avaliação da Educação Básica (DAEB) do Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP) e viabiliza análises juntamente com os desempenhos de alunos dos países membros da Organização para Cooperação e Desenvolvimento Econômico (OCDE), acrescido de 35 países e economias parceiras.

Na última edição do PISA, em 2015, os itens no instrumento cognitivo de letramento científico envolveram três classes de competências (explicar fenômenos cientificamente, avaliar e planejar experimentos científicos e interpretar dados e evidências cientificamente), abrangendo um total de 184 itens nas categorias de múltipla escolha simples (54), múltipla escolha complexa (66) e resposta aberta (64), envolvendo três modalidades de conhecimentos de conteúdo (sistemas físicos, sistemas vivos e sistemas Terra e espaço), bem como as três demandas cognitivas (baixa, média e alta) (BRASIL, 2016BRASIL, MINISTÉRIO DA EDUCAÇÃO/INEP. Brasil no PISA 2015: Análises e reflexões sobre o desempenho dos estudantes brasileiros. OCDE/Organização para a Cooperação e Desenvolvimento Econômico - São Paulo: Fundação Santilana, 2016.).

Neste contexto, o desempenho médio dos alunos brasileiros (401 pontos) ficou abaixo da média dos alunos dos países da OCDE (493 pontos) em ciências (BRASIL, 2016BRASIL, MINISTÉRIO DA EDUCAÇÃO/INEP. Brasil no PISA 2015: Análises e reflexões sobre o desempenho dos estudantes brasileiros. OCDE/Organização para a Cooperação e Desenvolvimento Econômico - São Paulo: Fundação Santilana, 2016.). Estima-se relevante cotejar tal resultado com dois parâmetros de análise.

Como parâmetro inicial, cabe destacar que, em relação à última edição do PISA com foco em Ciências, em 2006, na qual a média foi de 390 pontos, constatou-se uma elevação aproximada de 10 pontos. Embora se constitua em mudança sem significância estatística, dois pontos mostram-se relevantes: a) para o mesmo período, as médias dos países da OCDE evidenciaram leve declínio, contudo, também destituído de significância estatística; b) em termos de ampliação de escolarização, atualmente o Brasil registra 71% dos jovens na faixa de 15 anos matriculados na escola a partir da 7ª série, índice superior em 15 pontos em relação aos dados de 2003, de modo à variação positiva de 10 pontos na média em ciências diante da expansão do acesso escolar, ou seja, ampliação de acesso sem declínio de desempenho, instiga investigações sobre os fatores responsáveis por tais indicadores positivos.

Como segundo parâmetro, de modo mais estratificado, foram constatadas variações nos valores das médias em função das distintas dependências administrativas: federal (517 pontos), particular (487), estadual (394 pontos) e municipal (329 pontos).

Temos, assim, características de resultados que nitidamente impõem ampliações no escopo da literatura que trata dos impactos das avaliações externas no cenário da Educação Básica: a ampliação das condições de acesso com manutenção da média dos níveis de desempenho foi registrada diante de discrepâncias nos valores das distintas dependências administrativas.

Estima-se, neste estudo, que investigar (a) em que extensão tais discrepâncias estão documentadas nos desempenhos das três classes de competências priorizadas no PISA, bem como (b) em que extensão as mesmas se expressam também nas categorias de análise consideradas neste estudo (avaliação dos estudantes, formação de professores, implicações para o ensino de Ciências e políticas implementadas) poderia subsidiar análises de incidências dos resultados das avaliações externas na atuação profissional dos professores da Educação Básica como modo de cumprimento da preconizada função diagnóstica de tais avaliações.

Na ausência de tais análises, segue a descrição e a discussão de modelos de interpretação dos impactos dos resultados do PISA registrados em diferentes países, considerando as categorias adotadas neste estudo, como fomento para a necessária ampliação do escopo dos conhecimentos sobre as funções das avaliações externas, como políticas públicas, na melhoria da qualidade das condições de ensino e de formação.

(1) Avaliação dos estudantes

Iniciamos nossas reflexões pelo grupo de artigos que exploram a avaliação dos estudantes com a pesquisa de Yip, Chiu e Ho (2004YIP, D. Y.; CHIU, M. M.; HO, E. S. C. (2004) Hong Kong student achievement in OECD-PISA study: gender differences in science content, literacy skills and test item formats. International Journal of Science and Mathematics Education, 2, 1, 91-106. Disponível em: Disponível em: http://www.link.springer.com/content/pdf/10.1023%2FB%3AIJMA.0000026537.85199.36.pdf Acesso em: 25 ago. 2016.
http://www.link.springer.com/content/pdf...
) que se dedicaram a analisar as diferenças na alfabetização científica dos alunos sob o critério de gêneros (meninas e meninos) medidos pelo OCDE-PISA. Os pesquisadores se concentraram em 2.437 alunos de 140 escolas de Hong Kong. Alegando que meninas e meninos possuem diferentes estilos de aprendizagem e apresentando a literatura que fundamenta suas ideias, os autores analisam os relatórios produzidos através dos resultados do PISA e destacam que, apesar dessas diferenças serem estatisticamente irrelevantes nas conclusões, elas parecem sinalizar que meninas e meninos possuem facilidades em diferentes temáticas dentro das Ciências e que, dependendo da forma como a prova é elaborada, esse resultado pode se tornar mais equilibrado. Os pesquisadores destacam ainda que avaliações elaboradas de forma tendenciosa, de maneira a privilegiar as habilidades de um ou outro gênero, podem ter implicações educacionais no nível de alfabetização científica dos alunos bem como implicações de carreira, desencorajando um gênero ou outro a seguir carreira em Ciências. Nesse sentido, os grupos que elaboram as avaliações precisam estar atentos à maneira como essas avaliações serão elaboradas e os autores consideram a prova do PISA como um bom exemplo na elaboração de avaliações mais equivalentes.

A preocupação dos autores com relação à equidade de oportunidades para que os alunos se interessem por Ciências faz sentido. Trabalhar e pesquisar em Ciências durante muitos anos foi privilégio masculino. Aos poucos, as mulheres também se inseriram na área lembrando que para isso, muitos paradigmas e preconceitos precisaram ser quebrados como, por exemplo, a inserção e ampliação do espaço da mulher no mercado de trabalho e o reconhecimento de que ela também é capaz, tanto quanto o homem, de assumir e se responsabilizar por cargos de chefia e liderança diante de grupos de trabalho. Porém, percebe-se nos dias de hoje que um desafio significativo da área de ensino de Ciências supera a questão do gênero: manter as crianças e os jovens - independente de gênero - interessados pelas Ciências a ponto de optarem por seguir carreiras científicas ou trabalhar em campos relacionados às Ciências.

Discutindo a experiência bem sucedida da Finlândia com o PISA, Lavonen e Laaksonen (2009LAVONEN, J.; LAAKSONEN, S. (2009) Context of teaching and learning school science in Finland: reflections on PISA 2006 results. Journal of Research in Science Teaching, 46, 8, 922-944. Disponível em: Disponível em: http://www.onlinelibrary.wiley.com/doi/10.1002/tea.20339/pdf Acesso em: 25 ago. 2016.
http://www.onlinelibrary.wiley.com/doi/1...
) realizam um estudo em que discutem o sucesso dos alunos finlandeses nas avaliações do PISA 2006 que, segundo os pesquisadores, está diretamente vinculado às opiniões dos alunos sobre suas aulas de Ciências, seus interesses na área e nas carreiras científicas, e também pela política educacional em Ciências da Finlândia.

Para concretizar este estudo, os autores analisam as respostas dadas pelos alunos finlandeses ao “Questionário do Estudante PISA 2006” e também pelos professores no “Questionário da Escola PISA 2006”, ambos os dados disponíveis em documentos publicados pela OCDE.

A análise dos pesquisadores destaca que os indicadores de alto nível de desempenho dos estudantes no PISA 2006 em Ciências estão relacionadas com suas compreensões sobre Ciências, o interesse em Física e Química e à clareza da utilidade dos estudos em Ciências para prepará-los para trabalhos futuros na área. Do ponto de vista dos professores, um dos principais motivos da alta pontuação da Finlândia na avaliação está relacionado com a prática docente que inclui: demonstrações dos professores, atividades práticas em sala de aula e a possibilidade dada ao estudante de elaborar suas conclusões nas atividades propostas. Acerca das políticas educacionais, os pesquisadores acreditam que um conhecimento que valorize o social, a igualdade educacional, a devolução do poder de decisão aos níveis locais de ensino e a formação de professores podem ser fatores por trás do alto desempenho de alunos finlandeses.

Contudo, os pesquisadores destacam que, apesar das altas pontuações, um dado muito importante que pôde ser mapeado em suas análises diz respeito ao pouco interesse desses alunos em seguir carreira científica ou trabalhar em campos relacionados às Ciências. Nesse sentido, Lavonen e Laaksonen apontam para a necessidade de práticas que valorizem esse fazer científico e resgatem o interesse dos alunos para a Ciência.

Discutindo a alfabetização científica e as atitudes dos estudantes, Bybee e McCrae (2011BYBEE, R.; McCRAE, B. (2011) Scientific Literacy and Student Attitudes: perspectives from PISA 2006 science. International Journal of Science Education, 33, 1, 7-26. Disponível em: Disponível em: http://www.dx.doi.org/10.1080/09500693.2010.518644 Acesso em: 25 ago. 2016.
http://www.dx.doi.org/10.1080/09500693.2...
) buscam encontrar, através dos resultados do PISA 2006 publicados pela OCDE e que teve como foco as Ciências, possíveis relações entre os conhecimentos e atitudes dos estudantes e o desenvolvimento de competências que são essenciais para a alfabetização científica.

Destacando que as atitudes individuais dos alunos assumem um papel importante no interesse e atenção que esses estudantes oferecem à Ciência, Bybee e McCrae refletem sobre a dimensão atitudinal de análise oferecida pelo PISA 2006 em relação à compreensão da Ciência que envolve os seguintes temas: interesse em Ciências; suporte para a investigação científica; responsabilidade sobre recursos e ambientes; interesse em aprender Ciências; diferenças de gênero (meninos e meninas) no interesse em aprender Ciência; interesses gerais em aprender Ciências. Os autores concluem que até mesmo o desinteresse do estudante pela Ciência pode estar relacionado às suas atitudes e nesse sentido o PISA trouxe resultados e novos itens de avaliação que contribuem para a compreensão dos interesses dos alunos, oferecendo novos entendimentos para a composição de currículos e práticas docentes.

No ano de 2012 Gil-Flores (2012)GIL-FLORES, J. (2012) Actitudes del alumnado español hacia las ciencias en la evaluación PISA 2006. Enseñanza de las Ciências, 30, 2, 131-152. Disponível em: Disponível em: http://www.revistes.uab.cat/ensciencias/article/view/220/pdf Acesso em: 25 ago. 2016.
http://www.revistes.uab.cat/ensciencias/...
apresentou em sua pesquisa uma análise de atitudes dos alunos espanhóis em Ciências na realização do PISA 2006, buscando compreender a relação entre as atitudes almejadas e o desempenho dos alunos nas avaliações. Assim como nas pesquisas anteriores, a análise de dados foi feita a partir dos resultados espanhóis disponíveis no relatório do PISA 2006 publicados pela OCDE e levantam novamente a preocupação acerca do pouco interesse dos alunos pelas Ciências.

Nesse sentido, o pesquisador destaca a importância de ampliar envolvimento de alunos e professores com a educação científica para resgatar o interesse dos alunos e ampliar suas competências, caso contrário, o país tem muito a perder. Daí a importância também, segundo Gil-Flores, de manterem-se os esforços na investigação das atuações e relações entre professores e alunos nesse contexto.

Anderson et al (2007ANDERSON, J. O.; LIN, H-S.; TREAGUST, D. F.; ROSS, S. P.; YORE, L. D. (2007) Using large scale assessment datasets for research in science and mathematics education: programme for international student assessment (PISA). International Journal of Science and Mathematics Education, 5, 4, 591-614. Disponível em: Disponível em: http://www.link.springer.com/content/pdf/10.1007%2Fs10763-007-9090-y.pdf Acesso em: 25 ago. 2016.
http://www.link.springer.com/content/pdf...
) também colocam em pauta a discussão sobre o uso dos resultados do PISA. A fim de fornecer exemplos dos trabalhos que podem ser feitos com esses dados, os autores descrevem e discutem os resultados gerados a partir do PISA 2000 e PISA 2003 em termos de comparações internacionais de desempenho. Eles realizam uma análise, a partir de um teste piloto realizado em Taiwan para o PISA 2006, com foco na alfabetização científica suscitando reflexões sobre as implicações e potencialidades dos dados de 2000 e 2003 para facilitar a investigação sobre alfabetização científica e matemática naquele período.

Ao longo do trabalho, os autores fazem um histórico das avaliações de 2000, 2003 e 2006 analisando os dados gerados respectivamente para leitura, Matemática e Ciências e levantam as implicações desses dados para pesquisa em alfabetização científica e matemática. Como um importante dado, os autores destacam que ao realizar a análise de rendimento dos alunos de acordo os resultados do PISA, foi possível perceber as correlações entre desempenho dos alunos em matemática, ciências e leitura e destacar, desta forma, que procedimentos adquiridos em diferentes áreas podem contribuir para o desenvolvimento de outras.

O trabalho acima exposto destaca novamente influência de outras áreas para o bom aprendizado em Ciências. Parece ser um dado relevante o fato de práticas de ensino interdisciplinares favorecerem os resultados em Ciências, especialmente quando se discute alfabetização científica. Ou seja, o conhecimento de conteúdo em Ciências é essencial e não pode ser minimizado. Contudo, o sujeito alfabetizado cientificamente precisa também participar de práticas que favoreçam a aprendizagem de procedimentos através do quais ele irá lançar mão desses conteúdos aprendidos em diversas esferas da vida. E isso pode implicar na necessária relação entre os conteúdos de Ciências e as demais áreas que compõem a vida desse sujeito, como a Linguagem, a História e o Cálculo, por exemplo.

Buscando relacionar a visão global proposta pelo PISA e a visão local e relacionando ambas para compreender-lhes o impacto, alguns pesquisadores debruçaram-se sobre os resultados de seus países e os dados da realidade vivida em seus sistemas de ensino nacionais para mapear resultados e desafios impostos por avaliações em escala global.

Hatzinikita, Dimopoulos e Christidou (2008HATZINIKITA, V.; DIMOPOULOS, K.; CHRISTIDOU, V. (2008) PISA test items and school textbook related to science: a textual comparision. Science Education, 92, 4, 664-687. Disponível em: Disponível em: http://www.onlinelibrary.wiley.com/doi/10.1002/sce.20256/pdf Acesso em: 25 ago. 2016.
http://www.onlinelibrary.wiley.com/doi/1...
) buscam, através da comparação de textos, interpretar as relações existentes entre os itens de avaliação do PISA em Ciências e os conteúdos presentes nos livros didáticos de Ciências na Grécia.

Destacando que tanto os itens de avaliação do PISA quanto as atividades dos livros didáticos gregos podem demandar diferentes posturas e saberes dos alunos diante de cada proposta, os autores fazem uma comparação dos propósitos de cada publicação (avaliação PISA versus livro didático). A amostra do estudo foi composta por textos e itens de testes de Ciências das provas do PISA disponíveis publicamente e seis livros didáticos de Ciências (dois livros didáticos de Biologia, dois de Física e dois de Química) utilizados em todas as escolas secundárias de 13 a 15 anos de idade na Grécia, durante o período de 1997 a 2006. Na Grécia, os livros didáticos em todas as disciplinas são desenvolvidos pelo Instituto Pedagógico sob a autorização do Ministério da Educação e dos Assuntos Religiosos, sendo obrigatórios para todas as escolas públicas e privadas. Ambos os materiais foram analisados com foco em dois critérios principais: linguística e visual.

A análise desses materiais indica, segundo os autores, que as atividades propostas nas avaliações do PISA e nos livros didáticos utilizados cotidianamente pelos estudantes gregos exigem diferentes posturas por parte dos alunos, de modo que o livro didático apresenta o conteúdo de forma acadêmica e o visual aproximado do cotidiano e do domínio público da Ciência. Já as questões do PISA apresentam o oposto, com questões próximas do cotidiano e do domínio público da Ciência e visual acadêmico.

Apontando essas diferenças e destacando que a forma como interpretam o conteúdo científico para um ou outro contexto exige diferentes procedimentos e tratamento de informações por parte dos alunos, Hatzinikita, Dimopoulos e Christidou acreditam que essa disparidade entre os materiais pode ser responsável pelo baixo desempenho da Grécia nas avaliações do PISA. Além disso, os autores destacam a necessidade dos agentes pedagógicos oficiais (departamentos e agências governamentais) e não-oficiais (como os professores de Ciências) recontextualizarem o ensino de Ciências nas escolas, aproximando as abordagens para que os dados sejam o mais significativo e real possível.

Milford, Ross e Anderson (2010MILFORD, T., ROSS, S. P., ANDERSON, J. O. (2010) An opportunity to better understand schooling: the growing presence of PISA in the Americas. International Journal of Science and Mathematics Education, 8, 3, 453-473. Disponível em: Disponível em: http://www.link.springer.com/content/pdf/10.1007%2Fs10763-010-9201-z.pdf Acesso em: 25 ago. 2016.
http://www.link.springer.com/content/pdf...
) apresentam, em seu estudo, um panorama do alcance do PISA nas Américas (Norte e Sul). Após uma extensa análise do PISA nas Américas e do alcance de seus resultados para compreender as mudanças em Educação nos diversos países, o trabalho se dedica a apontar as relações entre a escola e os fatores de desempenho dos estudantes nessas avaliações, encontrando íntima relação entre o repertório que o aluno traz para a escola e seu rendimento. Ao final do estudo, os autores destacam os esforços empreendidos pela América Latina no sentido de oferecer políticas públicas como a universalização do ensino, por exemplo, que podem ser medidas fundamentais para melhorar os resultados desses exames, também em Ciências. Contudo, relembram a importância de considerar esses dados para além de meras comparações entre países. O contexto vivido pelos alunos e o ambiente escolar devem ser considerados como fatores fundamentais para que esses resultados se tornem melhores.

Lin e Shi (2013LIN, E., e SHI, Q. (2013) Exploring individual and school-related factors and environmental literacy: comparing U.S. and Canada using PISA 2006. International Journal of Science and Mathematics Education, 11, 1, 1-25. Disponível em: Disponível em: http://www.link.springer.com/content/pdf/10.1007%2Fs10763-012-9396-2.pdf Acesso em: 25 ago. 2016.
http://www.link.springer.com/content/pdf...
) também utilizam como comparativo os dados do PISA 2006 em Ciências para compreender os fatores individuais e escolares que influenciam no que eles chamam de “alfabetização ambiental” nos Estados Unidos e no Canadá, comparando o desempenho dos alunos em relação ao conhecimento, consciência, atitudes e comportamentos acerca de questões ambientais. Os autores apontam que houve diferenças entre os resultados dos países, mas concluem que estar alfabetizado cientificamente e assumir comportamentos favoráveis à alfabetização ambiental implica necessariamente em fatores tanto internos quanto externos dos alunos.

Anagnostopoulou et al (2013ANAGNOSTOPOULOU, K.; HATZINIKITA, V.; CHRISTIDOU, V.; KOSTAS, D. (2013) PISA Test Items and School-Based Examinations in Greece: Exploring the relationship between global and local assessment discourses. International Journal of Science Education, 35, 4, 636-662. Disponível em: http://www.dx.doi.org/10.1080/09500693.2011.604801 Acesso em: São Paulo: Edições 70.
http://www.dx.doi.org/10.1080/09500693.2...
) ainda se dedicam a compreender os dados do PISA 2006 em Ciências porém com uma abordagem diferenciada: comparando ações de avaliação local com os itens de avaliação global, buscando relações entre eles. Para analisar os dados, os pesquisadores compararam as questões da prova de Ciências do PISA tornadas públicas por documentos da OCDE e as questões da prova de Biologia realizadas no fim do ano pelos alunos gregos.

Segundo os autores existem disparidades detectadas entre o rendimento observado no teste internacional e no teste nacional. Uma vez detectado que os alunos gregos respondem linguisticamente e visualmente de maneiras diferentes a ambos os testes (que nesse sentido, são proporcionalmente opostos), os pesquisadores apontam para a urgência de que avaliações em larga escala levem também em consideração as especificidades locais e nacionais, atentando para que o discurso global não perca de vista a relevância do discurso local para dimensionar resultados.

Reconhecemos as preocupações acima elencadas por diversos pesquisadores sobre o quanto as avaliações em larga escala e os critérios impostos por elas muitas vezes desconsideram a particularidade vivida por cada sistema de ensino em diversas partes do mundo. Reconhecemos também que existem critérios, fórmulas e padrões para a elaboração dessas provas e que esses critérios são apresentados à sociedade nos relatórios pedagógicos derivados dessas ações. Contudo, não podemos perder de vista a percepção que, principalmente os professores enquanto sujeitos da Educação tanto quanto seus alunos possuem dessas avaliações e quais as influências delas em sua formação.

(2) Formação de professores

Na tentativa de compreender as implicações desses resultados tanto para a Academia quanto para a escola, seria inevitável que alguns trabalhos também discutissem o impacto desses resultados na ação e na formação de professores em Ciências.

Nesse sentido, Pinto e Boudamoussi (2009PINTO, R.; BOUDAMOUSSI, S. E. (2009) Scientific Processes in PISA Tests Observed for Science Teachers. International Journal of Science Education, 31, 16, 2.137-2.159. Disponível em: Disponível em: http://www.dx.doi.org/10.1080/09500690802559074 Acesso em: 25 ago. 2016.
http://www.dx.doi.org/10.1080/0950069080...
) realizaram uma pesquisa com trinta professores de Ciências em atividade na Espanha. A pesquisa foi feita através de um questionário com perguntas abertas sobre os seguintes temas: descrever; explicar e prever fenômenos científicos; compreender investigações científicas e interpretar evidências científicas; e conclusões.

O objetivo foi analisar o ponto de vista dos professores colaboradores sobre as competências e sobre os processos científicos avaliados pelo teste de Ciências do PISA, apontando através dos resultados dos questionários, quais das competências avaliadas foram as mais frequentemente identificadas pelos professores; quais as competências que eles consideram que os alunos apresentam mais dificuldade, e, quais as atividades que eles utilizam em suas aulas para promover competências semelhantes.

As pesquisadoras destacam, em seus resultados, que a preocupação dos professores em determinados temas explorados pelo PISA variam especialmente quando dizem respeito a conteúdos nos quais eles acreditam que seus alunos teriam mais dificuldade. Outro dado importante, segundo as autoras, implica no fato de que os professores também sinalizaram como preocupação para um bom rendimento nas provas, a necessidade de uma leitura fluente e de um melhor gerenciamento da atenção e do tempo por parte dos alunos. As autoras destacam três pontos que consideram importantes, a partir de seus dados para formar os professores para trabalharem com as propostas exigidas por testes como o PISA: em primeiro lugar, promover atividades de formação geral que podem ser propostas para ajudar os professores a conhecer mais sobre os “processos científicos” necessários na educação científica e como esses processos podem ser avaliados; em segundo lugar , as atividades de formação mais específicas que podem ser propostas a fim de ajudar os professores a identificarem as situações nas quais os alunos seriam confrontados tanto na vida real quanto durante a sua educação escolar, promovendo uma reflexão sobre as atividades de sala de aula que seriam mais adequadas para promover diferentes tipos de competência em Ciências; e em terceiro lugar, a necessidade de desenvolver atividades ou identificar aquelas já existentes que ajudam os professores a colocarem mais ênfase nos diferentes processos científicos em suas aulas.

Knipprath (2010KNIPPRATH, H. (2010) What PISA tells us about the quality and inequality of japanese education in mathematics and science. International Journal of Science and Mathematics Education, 8, 3, 389-408. Disponível em: Disponível em: http://www.link.springer.com/content/pdf/10.1007%2Fs10763-010-9196-5.pdf Acesso em: 25 ago. 2016.
http://www.link.springer.com/content/pdf...
) propõe-se a investigar o que os resultados do PISA podem informar acerca da qualidade e da desigualdade da Educação japonesa em Matemática e Ciências. O estudo explorou a validade de diferentes pontos de vista e abordou a questão da desigualdade de oportunidades educacionais, aspectos que não têm sido investigados pelos dados representativos de avaliações em larga escala. De acordo com o PISA, os estudantes japoneses tiveram um bom desempenho, mas segundo o pesquisador, a queda é visível entre 2003 e 2006 para a Matemática.

A autora destaca que muitos pesquisadores estrangeiros vão ao Japão para conhecer as experiências educacionais bem sucedidas. Contudo, segundo a pesquisadora, desde 1999 a Academia vem discutindo o declínio na Educação, pois mesmo que os alunos apresentem ou não bons resultados, os professores não diferem seus métodos e os alunos são tratados da mesma forma em todas as escolas. Assim como os pesquisadores acima citados, Knipprath também pontua a forte relação entre os resultados alcançados e o contexto dos alunos, destacando ainda que nem sempre o alto ou baixo rendimento significa, respectivamente, aulas boas ou ruins. Além disso, ela aponta uma particularidade dos dados do Japão se comparado aos demais países: os dados socioeconômicos dos alunos geralmente estão vinculados às escolas que irão cursar e essa estratificação dos estudantes e das escolas na sociedade japonesa torna a análise muito mais criteriosa e particular. Por isso, as análises dos resultados de avaliações em larga escala como o PISA não podem ser reduzidos aos números que geram.

Klieger e Bar-Youssef (2011KLIEGER, A., BAR-YOSSEF, N. (2011) Professional development of science teachers as a reflection of large-scale assessment. International Journal of Science and Mathematics Education, 9, 4, 771-791. Disponível em: Disponível em: http://www.link.springer.com/content/pdf/10.1007%2Fs10763-010-9216-5.pdf Acesso em: 25 ago. 2016.
http://www.link.springer.com/content/pdf...
) nos apresentam a discussão sobre a influência dos sistemas de avaliação em larga escala na formação do professor de Ciências na educação israelense. Segundo os autores, a formação de professores ainda é um desafio em muitos países, mas consideram que os resultados gerados pelos sistemas de avaliação em larga escala (nacional e internacional) oferecem aos mesmos a oportunidade de melhorarem o ensino e, por consequência, a aprendizagem de seus alunos em Ciências.

Os pesquisadores desenvolveram um programa de formação de professores de Ciências com base no currículo e nas avaliações em larga escala atendendo aos seguintes temas: estratégias de ensino e aprendizagem; métodos de investigação científica e tecnológica; itens em testes; trabalho em equipe; ensino a distância. O modelo de formação é em longo prazo e integra conhecimentos teóricos e práticos. Participaram de ações de formação 196 professores de Ciências, por três anos, quando então foi solicitada a resposta a um questionário sobre a formação oferecida para os professores envolvidos, mas apenas 55 devolveram o questionário respondido. Também foram feitas entrevistas com o objetivo de trazer dados qualitativos para a análise.

Segundo os pesquisadores, os dados registrados através da fala e da escrita dos professores demonstram a possibilidade do uso dos resultados de sistemas de avaliação em larga escala para orientar práticas de formação de professores, destacando que qualquer ação de formação deve primar para uma efetiva mudança na sala de aula e na aprendizagem dos alunos.

Observa-se que os trabalhos acima expostos apresentam possibilidades e impactos positivos e negativos para a formação de professores com o advento de tais avaliações em seu cotidiano profissional. É notório que os resultados dessas provas podem levantar temas que precisam ser mais bem explorados pelos professores e pela escola, uma vez que podem ser dados coletados em escala mundial, estadual e municipal. Contudo, um fator não pode ser esquecido: mais do que números, o que pode realmente favorecer a formação de professores em Ciências é a realidade na qual eles e seus alunos estão inseridos. Minimizar a influência e a importância que possuem o contexto em que vivem, as condições materiais e humanas nas quais estudam e lecionam, os condicionantes políticos e pedagógicos aos quais ambos estão submetidos é tornar os resultados em Educação mera métrica.

Entendemos a partir dessas análises que a formação de professores pode reconhecer esses resultados como referência, mas não pode apoiar-se somente neles.

(3) Implicações para o ensino de Ciências.

Tendo como repertório muitas dessas reflexões, alguns pesquisadores se dedicaram a compreender - uma vez que os sistemas de avaliação em larga escala avançaram das áreas de Língua e Matemática para áreas mais específicas como as Ciências - em que medida a elaboração, os processos e os resultados dessas avaliações trariam implicações para o ensino de Ciências.

Sobre os modelos de avaliação no ensino de Ciências, Klassen (2006KLASSEN, S. (2006) Contextual Assessment in Science Education: background, issues, and policy. Science Education, 90, 5, 820-851. Disponível em: Disponível em: http://www.onlinelibrary.wiley.com/doi/10.1002/sce.20150/pdf Acesso em: 25 ago. 2016.
http://www.onlinelibrary.wiley.com/doi/1...
) realiza um resgate histórico dos até então propostos, conhecidos como modelos tradicionais de avaliação e coloca em pauta as mudanças constantes nas avaliações para atender a uma nova forma de ensinar Ciências. Nesse sentido, o autor destaca que essas mudanças ocorreram graças a uma revolução na maneira de compreender a aprendizagem - do comportamento à psicologia cognitivista -, à evolução da filosofia da ciência, e ao surgimento do construtivismo, e que o estudo dos processos cognitivos do indivíduo, colocando-o em um papel ativo em sua aprendizagem, geraram, como resultado, uma grande ênfase na aprendizagem e avaliação. Estas mudanças deram origem ao desenvolvimento de diversas metodologias de avaliação no ensino de Ciências, como, por exemplo, a avaliação por mapeamento, avaliação por desempenho e avaliação por portfólio.

Após discutir as origens dos modelos clássicos de avaliação no século XX - com raízes empiristas, behavioristas e psicométricas - e os posicionamentos gerados a partir destas formas de avaliar - criticismo, a diminuição da discussão do behaviorismo, e a necessária emergência de novas formas de avaliar - provocaram novos rumos para as teorias da aprendizagem. Klassen atribui a essas novas posturas de pensamento acerca da avaliação em Ciências à influência crescente de Piaget, à teoria de Ausubel como alternativa para essas reflexões, à influência de Gagne, às contribuições de Vygotsky para a Educação bem como à criação de novas propostas de avaliação a partir dessas influências. Como modelos de avaliação propostos para o ensino de Ciências ao longo dos anos, o autor destaca: o mapa conceitual, avaliação de desempenho (também conhecida como avaliação em larga escala) e o portfólio (o tipo de avaliação que compila as atividades realizadas em sala de aula). Ao analisar cada um desses, Klassen destaca que qualquer que seja o modelo que esteja em ação pode ser um que torne a avaliação descontextualizada, dependendo da forma como é proposto. Nesse sentido, quem pesquisa as propostas de avaliação em ensino de Ciências encontra muito mais perguntas do que respostas e precisa ficar atento aos aspectos discutidos a seguir.

Como primeiro aspecto, cumpre destacar a necessária reconsideração das críticas feitas aos testes, críticas estas que trouxeram mudanças importantes rumo a uma avaliação mais contextualizada, mas que ainda podem ser uma boa alternativa de avaliação em Ciências. Apresenta-se como segundo aspecto, dar validade e confiabilidade a diversas formas de evidências na pesquisa publicadas juntamente com vários argumentos teóricos. O terceiro, ressalta como imperativo refletir sobre o nível apropriado de implementação de qualquer sistema de avaliação, que vai desde a avaliação formativa em sala de aula até a avaliação somativa de todo o sistema. Como quarto aspecto, cumpre reconhecer a importância da unidade de destino apropriado para qualquer esquema de avaliação proposto: o aluno como indivíduo ou a escola.

Em seu artigo, Bybee, McCrae e Laurie (2009BYBEE, R.; McCRAE, B.; LAURIE, R. (2009). PISA 2006: An Assessment of Scientific Literacy. Journal of Research in Science Teaching, 46, 8, 865-883. Disponível em: Disponível em: http://www.onlinelibrary.wiley.com/doi/10.1002/tea.20333/pdf Acesso em: 25 ago. 2016.
http://www.onlinelibrary.wiley.com/doi/...
) apresentam as principais características do componente científico no PISA 2006, discutindo a definição de alfabetização científica e as três competências que a constituem, os contextos utilizados para elaboração das unidades de avaliação e itens, o papel do conhecimento científico, e por fim, a importância dada à atitude em relação à Ciência nesta avaliação.

Segundo os autores, o relatório do PISA 2006 define alfabetização científica (e as questões são elaboradas tendo como referência esta definição) a partir dos seguintes aspectos: contextos científicos (dizem respeito a situações vividas pelos alunos envolvendo Ciência e Tecnologia); competências científicas (diz respeito à identificação de conteúdos científicos, explicação científica de um fenômeno e uso de evidências para isso); os domínios do conhecimento científico (a compreensão dos estudantes sobre conceitos científicos e sobre a natureza da Ciência) e as atitudes dos estudantes frente à Ciência (seus interesses em Ciências, apoio à investigação científica e responsabilidade em relação a recursos e ambientes). Após analisarem o relatório do PISA 2006 para Ciência e a participação dos países nessa avaliação, os autores destacam que o que diferencia o PISA de outras iniciativas em avaliação que vêm sendo propostas é que ele abrange a avaliação em Ciências em escala mundial. Dessa maneira, o alto nível de participação pode revelar dados importantes sobre a alfabetização científica em diversos países.

Olsen, Prenzel e Martin (2011OLSEN, R. V.; PRENZEL, M.; MARTIN, R. (2011) Interest in Science: A many faceted picture painted by data from the OECD PISA study. International Journal of Science Education, 33, 1, 1-6. Disponível em: Disponível em: http://www.dx.doi.org/10.1080/09500693.2010.518639 Acesso em: 25 ago. 2016.
http://www.dx.doi.org/10.1080/09500693.2...
), em um texto editorial do número especial sobre avaliação do International Journal of Science Education, destacam o PISA como uma iniciativa interessante para elencar dados a serem estudados e melhor compreendidos pelos pesquisadores em ensino de Ciências. Os autores destacam ainda que a definição de alfabetização científica como uma construção multifacetada assumida pelo PISA é necessária e adequada na constante busca por um ensino de Ciências que forme também cidadãos.

Para Drechsel, Carstensen e Prenzel (2011DRECHSEL, B.; CARSTENSEN, C.; PRENZEL, M. (2011) The role of Content and Context in PISA interest scales: a study of the embedded interest items in the PISA 2006 science assessment. International Journal of Science Education, 33, 1, 73-95. Disponível em: Disponível em: http://www.dx.doi.org/10.1080/09500693.2010.518646 Acesso em: 25 ago. 2016.
http://www.dx.doi.org/10.1080/09500693.2...
) os resultados do PISA 2006 trazem importantes elementos para compreender o papel do conteúdo e do contexto nas escalas de interesse sobre Ciências elencadas pela avaliação. Com foco no “interesse pela Ciência” como uma das atitudes consideradas necessárias para a alfabetização científica, foram analisados os dados do PISA 2006 para situar com maior precisão os interesses dos estudantes. Na realização dessas análises os autores apontam problemas metodológicos e possíveis melhorias para avaliações posteriores na tentativa de oferecer maior clareza para a compreensão das atitudes e interesses dos alunos.

Mesmo com todo esse complexo cenário e nas diversas discussões que o advento dessas avaliações gerou para o ensino de Ciências (modelos de avaliação; a alfabetização científica como uma prática multifacetada; a influência do conteúdo e contexto e as melhorias na elaboração das provas, por exemplo) e considerando que muito provavelmente essas preocupações permeiam outras áreas, parece comum e cotidiano para os meios de comunicação e para a sociedade em geral criar “rankings” entre países, publicar melhorias ou defasagens a partir de resultados de provas e definir e sancionar políticas a partir desses resultados como se esta fosse a forma definitiva e inquestionável de mapear a qualidade de ensino entre os países, estados e municípios.

Preocupados com os rumos que essas reflexões podem tomar, alguns pesquisadores também se dedicaram a refletir sobre possíveis impactos dessas ações de avaliação em larga escala para políticas educacionais. Levando em consideração que essas avaliações geram resultados para Ciências e também para muitas outras áreas, o risco de tomá-las como base para mudanças nas políticas que afetam professores e alunos é grande e os efeitos gerados por essas ações podem ser diversos.

(4) Políticas

Em seu estudo, Chi-Lau (2009) analisa através dos quadros de avaliação e dos itens de amostra publicados, como a alfabetização científica tem sido trabalhada pelas provas do PISA. Neste caso, foram analisados os resultados das provas dos anos 2000, 2003 e 2006 tendo como contexto a reforma educacional em Hong Kong.

O pesquisador reconhece que nas provas de 2000 e 2003 as questões sobre a natureza da Ciência e as relações CTS - Ciência, Tecnologia e Sociedade - foram esquecidas quando comparadas à prova do ano de 2006 que construiu uma compreensão da alfabetização científica para o ensino de Ciências. Esses problemas, aliados a outros menores, como por exemplo, o conceito de “questões cientificamente investigáveis” e “identificar a pergunta de pesquisa em uma investigação” presentes nos itens de avaliação, podem suscitar preocupações sobre o quanto a alfabetização científica realmente está presente nas provas do PISA. Contudo, destaca que as críticas levantadas acerca do PISA precisam ser consideradas com cuidado já que este modelo de avaliação parece ser o melhor modelo elaborado até o momento, mas que necessita de ajustes para que seus resultados sejam considerados efetivamente. Nesse sentido, Chi-Lau alerta para que as políticas públicas tenham cautela ao tomar decisões em Educação considerando apenas os rankings e dados gerados pelo PISA, sem compreender melhor as limitações e o potencial dessa avaliação.

Tendo em vista o foco na análise dos dados gerados também pelo PISA 2006 para uma linha de estudos em ensino de Ciências, Sadler e Zeidler (2009SADLER, T. D.; ZEIDLER, D. L. (2009) Scientific Literacy, PISA, and Socioscientific Discourse: assessment for progressive aims of science education. Journal of Research in Science Teaching, 46, 8, 909-921. Disponível em: Disponível em: http://www.onlinelibrary.wiley.com/doi/10.1002/tea.20327/pdf Acesso em: 25 ago. 2016.
http://www.onlinelibrary.wiley.com/doi/1...
) optam por trazer a discussão desses resultados à luz das discussões sobre as questões sociocientíficas. No artigo, os autores também apresentam a definição de alfabetização científica assumida pelo PISA 2006 e, paralelamente, destacam os debates em ensino de Ciências acerca do ensino a partir de questões sociocientíficas buscando mapear as relações possíveis entre os resultados apontados pela avaliação e o ensino almejado pelas discussões acadêmicas.

Como importante resultado destas análises, Sadler e Zeidler fazem questão de ressaltar sua preocupação quando a avaliação passa a “dirigir” a Educação. Em suas reflexões os pesquisadores destacam que, sobretudo para o trabalho com questões sociocientíficas se torna perigoso apoiar práticas de ensino apenas em resultados das provas sob pena de muitos conteúdos em Ciências deixarem de ser explorados. Outra preocupação marcante é que o trabalho com questões sociocientíficas envolve posturas dos alunos diante do conhecimento, como por exemplo, o raciocínio complexo, a reflexão, o engajamento cívico e a autoridade, nenhum dos quais é facilmente detectado nas avaliações de qualquer tipo, muito menos em programas internacionais de larga escala. Eles reconhecem os esforços que estão sendo empreendidos pela equipe do PISA para aproximar a avaliação do que se espera para um ensino de Ciências de qualidade. Porém, reiteram que se políticos e pesquisadores estão realmente interessados em apoiar o desenvolvimento da alfabetização científica em todos os alunos, eles devem considerar os dados de teste e de projetos internacionais como o PISA apenas como um elemento a mais dentro do contexto maior da Educação uma vez que existem aspectos e vivências em sala de aula que não podem ser representados em avaliações em larga escala.

Neumann, Fischer e Kauertz (2010NEUMANN, K.; FISCHER, H. E.; KAUERTZ, A. (2010) From PISA to educational standards: the impact os large-scale assessments on science education in Germany. International Journal of Science and Mathematics Education, 8, 3, 545-563 Disponível em: Disponível em: http://www.link.springer.com/content/pdf/10.1007%2Fs10763-010-9206-7.pdf Acesso em: 25 ago. 2016.
http://www.link.springer.com/content/pdf...
) nos apresentam o impacto da avaliação em larga escala na Educação alemã quando destacam que após os resultados no PISA, a educação neste país passou por um processo de reforma. Os autores discutem como era o sistema de educação alemão antes dos resultados do PISA e que as mudanças propostas pela reforma educacional permitiram uma ampliação da compreensão de competências e níveis de proficiência. Além disso, os autores destacam que a reforma trouxe uma compreensão de alfabetização científica mais próxima daquela discutida pelas pesquisas vinculadas à Educação anglo-saxã, oferecendo ao sistema educacional alemão uma nova forma de trabalhar com a educação científica, aproximando o ensino de Ciências da vida e também da compreensão do aluno enquanto cidadão.

Analisando os resultados da Irlanda no PISA 2006, Gilleece, Cosgrove e Sofroniou (2010) se dedicam a buscar dados acerca das características dos estudantes e das escolas que podem ser decisivas para baixo e alto desempenho em Matemática e Ciências no PISA. Ao realizar essas análises, os autores destacam que o maior número de variáveis analisadas está mais vinculado ao baixo do que ao alto desempenho dos alunos. O nível dos estudantes, a língua materna, a intenção de deixar a escola cedo, o status socioeconômico, o nível de ensino, o capital cultural e a presença de livros em casa estão significativamente relacionados com o sucesso dos alunos em matemática e ciências. No nível da escola, apenas o status socioeconômico médio da escola é estatisticamente significativo.

Os autores demonstram também uma preocupação em relação às mudanças feitas baseadas em avaliações, destacando que apenas os dados gerados por elas não podem ser considerados significativos para alterações em políticas públicas uma vez que, além de resultados, é necessário levar em consideração o contexto vivido por e alunos e escolas, critério este quase nunca observado ou mensurado pelos resultados dessas avaliações.

Marx (2012MARX, R. W. (2012) Large-Scale Interventions in Science Education: the road to utopia? Journal of Research in Science Teaching, 49, 3, 420-427. Disponível em: Disponível em: http://www.onlinelibrary.wiley.com/doi/10.1002/tea.21002/pdf Acesso em: 25 ago. 2016.
http://www.onlinelibrary.wiley.com/doi/1...
), em seu estudo sobre políticas de intervenção em larga escala promovidas pelo governo americano para a Educação realiza um apelo à comunidade científica americana no sentido de estar atenta às políticas e reformas propostas apoiando ações que façam a diferença, principalmente para alunos e professores em Ciências, que sofrem influência direta das escolhas feitas politicamente. (MARX, 2012MARX, R. W. (2012) Large-Scale Interventions in Science Education: the road to utopia? Journal of Research in Science Teaching, 49, 3, 420-427. Disponível em: Disponível em: http://www.onlinelibrary.wiley.com/doi/10.1002/tea.21002/pdf Acesso em: 25 ago. 2016.
http://www.onlinelibrary.wiley.com/doi/1...
, p. 423)

E por fim, Sothayapetch, Lavonen e Juuti (2013SOTHAYAPETCH, P.; LAVONEN, J.; JUUTI, K. (2013) A comparative analysis of PISA scientific literacy framework in Finnish and Thai science curricula. Science Education International, 24, 1, 78-97. Disponível em: Disponível em: http://www.icaseonline.net/sei/march2013/p4.pdf Acesso em: 25 ago. 2016.
http://www.icaseonline.net/sei/march2013...
) oferecem, em seu estudo, uma análise comparativa entre a alfabetização científica proposta pelo PISA 2006 em Ciências e nos currículos de Ciências da Finlândia e Tailândia. Na análise, foram adotadas as quatro categorias principais propostas pelo PISA: (1) conhecimento da Ciência, (2) o conhecimento sobre a Ciência, (3) competências e (4) contextos. Antes de socializar as análises, os autores fazem um histórico do ensino de Ciências na Finlândia e na Tailândia.

A análise revelou que o currículo tailandês é mais semelhante às propostas do PISA do que o currículo finlandês. Foi possível notar ainda, segundo os autores, que o currículo tailandês enfatiza o processo científico e o currículo finlandês valoriza os conceitos e contextos nos quais esses conceitos se encontram. Sothayapetch, Lavonen e Juuti destacam ainda a importância das intenções curriculares estarem explícitas no texto do currículo bem como a relevância e influência que o papel do professor e dos livros didáticos disponíveis para ele têm na formação científica de qualidade de seus alunos.

Por fim, os trabalhos apresentados acima demonstram o quanto as produções acadêmicas em Ciências também estão envolvidas na busca por tentar compreender os impactos dos sistemas de avaliação em larga escala para o ensino de Ciências em escala mundial. E também como cada país e a comunidade científica em geral têm trabalhado com os resultados dessas avaliações no sentido de tentar compreender melhor qual é o seu papel no ensino atual e quais os benefícios ou desafios impostos à área a partir de sua implantação.

CONCLUSÕES E POSSÍVEIS IMPLICAÇÕES PARA A ÁREA.

Ao longo deste levantamento realizado na busca por trabalhos que abordassem os sistemas de avaliação em larga escala no ensino de Ciências, encontramos grande número de trabalhos internacionais que se apoiaram nos resultados do PISA para compreender os determinantes que posicionaram seus países em uma ou outra colocação no ranking mundial.

As evidências expostas e discutidas acerca dos exemplos de análises dos impactos dos resultados do PISA em diferentes países objetivaram ampliar o escopo de investigações sobre elementos instrucionais e formativos de tais resultados no contexto das diferentes modalidades de dependências administrativas responsáveis pela formação educacional dos jovens naquele país.

Estima-se que tal ampliação de escopo configura-se como condição necessária para atendimento de outra demanda tão relevante, quanto urgente. No Plano Nacional de Educação (PNE 2014-2024 - Lei n. 13005/2004), a Meta 7 preconiza “Fomentar a qualidade da Educação Básica em todas as etapas e modalidades, com melhoria do fluxo escolar e da aprendizagem de modo a atingir as seguintes médias nacionais para o IDEB: 6,0 nos anos iniciais do Ensino Fundamental; 5,5 nos anos finais do Ensino Fundamental; 5,2 no Ensino Médio”. Por seu turno, na Estratégia 11 da Meta 7 do PNE, o PISA foi designado como instrumento externo de referência na avaliação de aprendizagem, inclusive com projeções de resultados esperados.

Após a exposição dos trabalhos acima elencados, podemos notar que em todo o mundo a proposta de avaliações em larga escala também para o ensino de Ciências suscita na academia diversos posicionamentos.

Os temas explorados nesses artigos apontam ainda algumas demandas relevantes de pesquisa para o ensino de Ciências em busca de compreender como os estudantes se relacionam com esta área do conhecimento.

Concluímos, portanto, apontando a necessidade de pesquisas que envolvam a análise do impacto dessas ações de avaliação para o ensino de Ciência, também no Brasil, com especial atenção a: abordagem de conteúdos, formação de professores, políticas públicas para o ensino de Ciências, geração de currículos e compreensão pública da Ciência, considerando que todas estas ações podem estar, em maior ou menor medida, sofrendo grande influência dos resultados dessas avaliações.

REFERÊNCIAS

  • ANAGNOSTOPOULOU, K.; HATZINIKITA, V.; CHRISTIDOU, V.; KOSTAS, D. (2013) PISA Test Items and School-Based Examinations in Greece: Exploring the relationship between global and local assessment discourses. International Journal of Science Education, 35, 4, 636-662. Disponível em: http://www.dx.doi.org/10.1080/09500693.2011.604801 Acesso em: São Paulo: Edições 70.
    » http://www.dx.doi.org/10.1080/09500693.2011.604801
  • ANDERSON, J. O.; LIN, H-S.; TREAGUST, D. F.; ROSS, S. P.; YORE, L. D. (2007) Using large scale assessment datasets for research in science and mathematics education: programme for international student assessment (PISA). International Journal of Science and Mathematics Education, 5, 4, 591-614. Disponível em: Disponível em: http://www.link.springer.com/content/pdf/10.1007%2Fs10763-007-9090-y.pdf Acesso em: 25 ago. 2016.
    » http://www.link.springer.com/content/pdf/10.1007%2Fs10763-007-9090-y.pdf
  • BARDIN, L. Análise de conteúdo. São Paulo: Edições 70, 2011.
  • BARRETO, E. S. de S. (2001) A avaliação na educação básica entre dois modelos. Educação e Sociedade, 22, 75, 48-66. Disponível em: Disponível em: http://www.educadores.diaadia.pr.gov.br/arquivos/File/2010/artigos_teses/2010/Pedagogia/aav_ed_bas.pdf Acesso em: 25 ago. 2016.
    » http://www.educadores.diaadia.pr.gov.br/arquivos/File/2010/artigos_teses/2010/Pedagogia/aav_ed_bas.pdf
  • BIZZO, N. Ciências: fácil ou difícil? Editora Ática, São Paulo. 2000.
  • BONAMINO, A.; SOUSA, S. Z. (2012) Três gerações de avaliação da educação básica no Brasil: interfaces com o currículo da / na escola. Educação e Pesquisa, 38, 2, 373-388. Disponível em: Disponível em: http://www.scielo.br/pdf/ep/v38n2/aopep633.pdf Acesso em: 25 ago. 2016.
    » http://www.scielo.br/pdf/ep/v38n2/aopep633.pdf
  • BRASIL, MINISTÉRIO DA EDUCAÇÃO/INEP. Brasil no PISA 2015: Análises e reflexões sobre o desempenho dos estudantes brasileiros. OCDE/Organização para a Cooperação e Desenvolvimento Econômico - São Paulo: Fundação Santilana, 2016.
  • BYBEE, R.; McCRAE, B. (2011) Scientific Literacy and Student Attitudes: perspectives from PISA 2006 science. International Journal of Science Education, 33, 1, 7-26. Disponível em: Disponível em: http://www.dx.doi.org/10.1080/09500693.2010.518644 Acesso em: 25 ago. 2016.
    » http://www.dx.doi.org/10.1080/09500693.2010.518644
  • BYBEE, R.; McCRAE, B.; LAURIE, R. (2009). PISA 2006: An Assessment of Scientific Literacy. Journal of Research in Science Teaching, 46, 8, 865-883. Disponível em: Disponível em: http://www.onlinelibrary.wiley.com/doi/10.1002/tea.20333/pdf Acesso em: 25 ago. 2016.
    » http://www.onlinelibrary.wiley.com/doi/10.1002/tea.20333/pdf
  • CABRITO, B. G. (2009) Avaliar a qualidade em Educação: avaliar o quê? Avaliar como? Avaliar para quê? Caderno Cedes, 29, 78, 178-200. Disponível em: Disponível em: http://www.enf.ufmg.br/site_novo/modules/mastop_publish/files/files_4c769114e2924.pdf Acesso em: 25 ago. 2016.
    » http://www.enf.ufmg.br/site_novo/modules/mastop_publish/files/files_4c769114e2924.pdf
  • CHI LAU, K. (2009) A critical examination of PISA’s assessment on scientific literacy. International Journal of Science and Mathematics Education, 7, 6, 1061-1088. Disponível em: Disponível em: http://www.link.springer.com/content/pdf/10.1007%2Fs10763-009-9154-2.pdf Acesso em: 25 ago. 2016.
    » http://www.link.springer.com/content/pdf/10.1007%2Fs10763-009-9154-2.pdf
  • COELHO, M. I. M. (2008) Vinte anos de avaliação da educação básica no Brasil: aprendizagens e desafios. Ensaio: avaliação, políticas públicas. 16, 59, 229-258. Disponível em: Disponível em: http://www.scielo.br/pdf/ensaio/v16n59/v16n59a05.pdf Acesso em: 25 ago. 2016.
    » http://www.scielo.br/pdf/ensaio/v16n59/v16n59a05.pdf
  • DRECHSEL, B.; CARSTENSEN, C.; PRENZEL, M. (2011) The role of Content and Context in PISA interest scales: a study of the embedded interest items in the PISA 2006 science assessment. International Journal of Science Education, 33, 1, 73-95. Disponível em: Disponível em: http://www.dx.doi.org/10.1080/09500693.2010.518646 Acesso em: 25 ago. 2016.
    » http://www.dx.doi.org/10.1080/09500693.2010.518646
  • GIL-FLORES, J. (2012) Actitudes del alumnado español hacia las ciencias en la evaluación PISA 2006. Enseñanza de las Ciências, 30, 2, 131-152. Disponível em: Disponível em: http://www.revistes.uab.cat/ensciencias/article/view/220/pdf Acesso em: 25 ago. 2016.
    » http://www.revistes.uab.cat/ensciencias/article/view/220/pdf
  • GILLEECE, L., COSGROVE, J,. SOFRONIOU, N. (2010) Equity in mathematics and science outcomes: characteristics associated with high and low achievement on PISA 2006 in Ireland. International Journal of Science and Mathematics Education, 8, 3, 475-496. Disponível em: Disponível em: http://www.link.springer.com/content/pdf/10.1007%2Fs10763-010-9199-2.pdf Acesso em: 25 ago. 2016
    » http://www.link.springer.com/content/pdf/10.1007%2Fs10763-010-9199-2.pdf
  • HATZINIKITA, V.; DIMOPOULOS, K.; CHRISTIDOU, V. (2008) PISA test items and school textbook related to science: a textual comparision. Science Education, 92, 4, 664-687. Disponível em: Disponível em: http://www.onlinelibrary.wiley.com/doi/10.1002/sce.20256/pdf Acesso em: 25 ago. 2016.
    » http://www.onlinelibrary.wiley.com/doi/10.1002/sce.20256/pdf
  • HOLBROOK, J.; RANNIKMAE, M. (2009) The Meaning of Scientific Literacy. International Journal of Environmental & Science Education. v. 4, n. 3. Disponível em: Disponível em: http://www.ut.ee/BG/miia_rannikmae/Publications/The_Meaning_of_Scientific_Literacy.pdf Acesso em: 25 ago. 2016.
    » http://www.ut.ee/BG/miia_rannikmae/Publications/The_Meaning_of_Scientific_Literacy.pdf
  • KLASSEN, S. (2006) Contextual Assessment in Science Education: background, issues, and policy. Science Education, 90, 5, 820-851. Disponível em: Disponível em: http://www.onlinelibrary.wiley.com/doi/10.1002/sce.20150/pdf Acesso em: 25 ago. 2016.
    » http://www.onlinelibrary.wiley.com/doi/10.1002/sce.20150/pdf
  • KLIEGER, A., BAR-YOSSEF, N. (2011) Professional development of science teachers as a reflection of large-scale assessment. International Journal of Science and Mathematics Education, 9, 4, 771-791. Disponível em: Disponível em: http://www.link.springer.com/content/pdf/10.1007%2Fs10763-010-9216-5.pdf Acesso em: 25 ago. 2016.
    » http://www.link.springer.com/content/pdf/10.1007%2Fs10763-010-9216-5.pdf
  • KNIPPRATH, H. (2010) What PISA tells us about the quality and inequality of japanese education in mathematics and science. International Journal of Science and Mathematics Education, 8, 3, 389-408. Disponível em: Disponível em: http://www.link.springer.com/content/pdf/10.1007%2Fs10763-010-9196-5.pdf Acesso em: 25 ago. 2016.
    » http://www.link.springer.com/content/pdf/10.1007%2Fs10763-010-9196-5.pdf
  • LAVONEN, J.; LAAKSONEN, S. (2009) Context of teaching and learning school science in Finland: reflections on PISA 2006 results. Journal of Research in Science Teaching, 46, 8, 922-944. Disponível em: Disponível em: http://www.onlinelibrary.wiley.com/doi/10.1002/tea.20339/pdf Acesso em: 25 ago. 2016.
    » http://www.onlinelibrary.wiley.com/doi/10.1002/tea.20339/pdf
  • LIN, E., e SHI, Q. (2013) Exploring individual and school-related factors and environmental literacy: comparing U.S. and Canada using PISA 2006. International Journal of Science and Mathematics Education, 11, 1, 1-25. Disponível em: Disponível em: http://www.link.springer.com/content/pdf/10.1007%2Fs10763-012-9396-2.pdf Acesso em: 25 ago. 2016.
    » http://www.link.springer.com/content/pdf/10.1007%2Fs10763-012-9396-2.pdf
  • LORENZETTI, L., DELIZOICOV, D. (2001) Alfabetização cientifica no contexto das séries iniciais. Ensaio: Pesquisa em educação em ciências - Vol 3, n 1.17 p. Disponível em: Disponível em: http:// w ww. fae.ufmg.br/e nsaio/v3_n1/le onir.PD F Acesso em: 25 ago. 2016.
    » http:// w ww. fae.ufmg.br/e nsaio/v3_n1/le onir.PD
  • MACHADO, N. J. (2007) Qualidade da educação: cinco lembretes e uma lembrança. Estudos Avançados, 21, 61, 277-294 Disponível em: Disponível em: http://www.scielo.br/pdf/ea/v21n61/a18v2161.pdf Acesso em: 25 ago. 2016.
    » http://www.scielo.br/pdf/ea/v21n61/a18v2161.pdf
  • MARX, R. W. (2012) Large-Scale Interventions in Science Education: the road to utopia? Journal of Research in Science Teaching, 49, 3, 420-427. Disponível em: Disponível em: http://www.onlinelibrary.wiley.com/doi/10.1002/tea.21002/pdf Acesso em: 25 ago. 2016.
    » http://www.onlinelibrary.wiley.com/doi/10.1002/tea.21002/pdf
  • MILFORD, T., ROSS, S. P., ANDERSON, J. O. (2010) An opportunity to better understand schooling: the growing presence of PISA in the Americas. International Journal of Science and Mathematics Education, 8, 3, 453-473. Disponível em: Disponível em: http://www.link.springer.com/content/pdf/10.1007%2Fs10763-010-9201-z.pdf Acesso em: 25 ago. 2016.
    » http://www.link.springer.com/content/pdf/10.1007%2Fs10763-010-9201-z.pdf
  • NEUMANN, K.; FISCHER, H. E.; KAUERTZ, A. (2010) From PISA to educational standards: the impact os large-scale assessments on science education in Germany. International Journal of Science and Mathematics Education, 8, 3, 545-563 Disponível em: Disponível em: http://www.link.springer.com/content/pdf/10.1007%2Fs10763-010-9206-7.pdf Acesso em: 25 ago. 2016.
    » http://www.link.springer.com/content/pdf/10.1007%2Fs10763-010-9206-7.pdf
  • OCDE. Programme for International Student Assessment (PISA) - About Pisa. Paris: 2013. Disponível em: Disponível em: http://www.oecd.org/pisa/aboutpisa/ Acesso em: 25 ago. 2016.
    » http://www.oecd.org/pisa/aboutpisa/
  • OLSEN, R. V.; PRENZEL, M.; MARTIN, R. (2011) Interest in Science: A many faceted picture painted by data from the OECD PISA study. International Journal of Science Education, 33, 1, 1-6. Disponível em: Disponível em: http://www.dx.doi.org/10.1080/09500693.2010.518639 Acesso em: 25 ago. 2016.
    » http://www.dx.doi.org/10.1080/09500693.2010.518639
  • PINTO, R.; BOUDAMOUSSI, S. E. (2009) Scientific Processes in PISA Tests Observed for Science Teachers. International Journal of Science Education, 31, 16, 2.137-2.159. Disponível em: Disponível em: http://www.dx.doi.org/10.1080/09500690802559074 Acesso em: 25 ago. 2016.
    » http://www.dx.doi.org/10.1080/09500690802559074
  • PIZARRO, M. V. Alfabetização científica nos anos iniciais: necessidades formativas e aprendizagens profissionais da docência no contexto dos sistemas de avaliação em larga escala, 2014. 355f. TESE (Doutorado em Educação para a Ciência). Faculdade de Ciências, UNESP, Bauru, 2014. Disponível em: Disponível em: http://wwwp.fc.unesp.br/BibliotecaVirtual/DetalhaDocumentoAction.do?idDocumento=653 Acesso em: 25 ago. 2016.
    » http://wwwp.fc.unesp.br/BibliotecaVirtual/DetalhaDocumentoAction.do?idDocumento=653
  • SADLER, T. D.; ZEIDLER, D. L. (2009) Scientific Literacy, PISA, and Socioscientific Discourse: assessment for progressive aims of science education. Journal of Research in Science Teaching, 46, 8, 909-921. Disponível em: Disponível em: http://www.onlinelibrary.wiley.com/doi/10.1002/tea.20327/pdf Acesso em: 25 ago. 2016.
    » http://www.onlinelibrary.wiley.com/doi/10.1002/tea.20327/pdf
  • SANTOS, L. L. de C. P. (2002) Políticas públicas para o ensino fundamental: parâmetros curriculares nacionais e sistema nacional de avaliação (SAEB). Educação & Sociedade, 23, 80, 346-367. Disponível em: Disponível em: http://www.scielo.br/pdf/es/v23n80/12936.pdf Acesso em: 25 ago. 2016.
    » http://www.scielo.br/pdf/es/v23n80/12936.pdf
  • SASSERON, L.; CARVALHO., A.M.P. (2008) Almejando a alfabetização científica no ensino fundamental: A proposição e a procura de indicadores do processo. Investigações em Ensino de Ciências, vol. 13 (3). Disponível em: Disponível em: https://www.edisciplinas.usp.br/pluginfile.php/77308/mod_resource/content/1/Texto%204%20-%20Almejando%20a%20AC.pdf Acesso em: 25 ago. 2016.
    » https://www.edisciplinas.usp.br/pluginfile.php/77308/mod_resource/content/1/Texto%204%20-%20Almejando%20a%20AC.pdf
  • SASSERON, L. H. ; CARVALHO, A. M. P. (2011) Alfabetização Científica: uma revisão bibliográfica. Investigações em Ensino de Ciências (Online), v. 16, n. 1. Disponível em: Disponível em: http://www.if.ufrgs.br/ienci/artigos/Artigo_ID254/v16_n1_a2011.pdf Acesso em 25 ago. 2016.
    » http://www.if.ufrgs.br/ienci/artigos/Artigo_ID254/v16_n1_a2011.pdf
  • SOTHAYAPETCH, P.; LAVONEN, J.; JUUTI, K. (2013) A comparative analysis of PISA scientific literacy framework in Finnish and Thai science curricula. Science Education International, 24, 1, 78-97. Disponível em: Disponível em: http://www.icaseonline.net/sei/march2013/p4.pdf Acesso em: 25 ago. 2016.
    » http://www.icaseonline.net/sei/march2013/p4.pdf
  • SOUZA, S. Z. L; e OLIVEIRA, R. P. de. (2003) Políticas de avaliação da educação e quase mercado no Brasil. Educação e Sociedade, 24, 84, 873-895. Disponível em: Disponível em: http://www.scielo.br/pdf/es/v24n84/a07v2484.pdf Acesso em: 25 ago. 2016.
    » http://www.scielo.br/pdf/es/v24n84/a07v2484.pdf
  • SOUSA, S. Z.; OLIVEIRA, R. P. de. (2010) Sistemas estaduais de avaliação: uso dos resultados, implicações e tendências. Cadernos de Pesquisa, 40, 141, 793-822. Disponível em: Disponível em: http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0100-15742010000300007&lng=en&nrm=iso Acesso em: 25 ago. 2016.
    » http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0100-15742010000300007&lng=en&nrm=iso
  • WERLE, F. O. (2011) Políticas de avaliação em larga escala na educação básica: do controle do resultado à intervenção nos processos de operacionalização do ensino. Ensaio: avaliação, políticas públicas. v. 19, n. 73. Disponível em: Disponível em: http://www.scielo.br/pdf/ensaio/v19n73/03.pdf Acesso em: 25 ago. 2016.
    » http://www.scielo.br/pdf/ensaio/v19n73/03.pdf
  • YIP, D. Y.; CHIU, M. M.; HO, E. S. C. (2004) Hong Kong student achievement in OECD-PISA study: gender differences in science content, literacy skills and test item formats. International Journal of Science and Mathematics Education, 2, 1, 91-106. Disponível em: Disponível em: http://www.link.springer.com/content/pdf/10.1023%2FB%3AIJMA.0000026537.85199.36.pdf Acesso em: 25 ago. 2016.
    » http://www.link.springer.com/content/pdf/10.1023%2FB%3AIJMA.0000026537.85199.36.pdf
  • 1
    Reconhecemos que existem múltiplas interpretações na literatura sobre o uso de termos como “alfabetização científica”, “letramento científico” e “enculturação científica” (HOLBROOK e RANNIKMAE, 2009; SASSERON e CARVALHO, 2011, entre outros) e embora consideremos de extrema importância os múltiplos pontos de vista apresentados, não pretendemos explorar esta discussão para não fugir do escopo do trabalho.

ANEXO

Quadro 1:
Lista de periódicos consultados no banco de dados Qualis Periódicos da Capes (Brasil), atualizado em 2013 com dados do triênio 2010-2012 (Área de Ensino). Fonte: PIZARRO, 2014.

Datas de Publicação

  • Publicação nesta coleção
    2017

Histórico

  • Recebido
    12 Set 2016
  • Aceito
    15 Ago 2017
Faculdade de Educação da Universidade Federal de Minas Gerais Av. Antonio Carlos, 6627, CEP 31270-901 Belo Horizonte, Minas Gerais, Brasil, Tel.: (55 31) 3409-5338, Fax: (55 31) 3409-5337 - Belo Horizonte - MG - Brazil
E-mail: ensaio@fae.ufmg.br