Algumas reflexões acerca dos saberes dos alunos em Portugal

Some reflections on students' knowledge in Portugal

DEBATES

Algumas reflexões acerca dos saberes dos alunos em Portugal

Some reflections on students' knowledge in Portugal

Domingos Fernandes

Doutor em Educação e professor associado, com agregação, da Faculdade de Psicologia e de Ciências da Educação, Universidade de Lisboa. E-mail: [e-mail]

RESUMO

A principal finalidade deste artigo é a de discutir questões que estão relacionadas com o processo de determinar o que os alunos sabem e são capazes de fazer no contexto do sistema educativo português. Tal processo, por norma, está demasiado dependente das avaliações externas (e.g., exames nacionais estandardizados), cujas limitações estão bem identificadas na literatura. É necessário integrar e ter na devida conta as avaliações internas porque a sua natureza tem o potencial para nos proporcionar uma compreensão mais abrangente e mais profunda acerca do que os alunos sabem. A discussão das principais características das avaliações externas permitiu elaborar reflexões acerca de alguns desafios contemporâneos que têm de ser enfrentados pela sociedade portuguesa.

Palavras-chave: Saberes dos alunos. Avaliação das aprendizagens. Avaliação interna. Avaliação externa.

ABSTRACT

This paper brings a discussion on issues that should be taken into account in the process of finding out what students know in the context of the Portuguese education system. That process is too dependent on external assessment tools (i.e., national standardized examinations), whose limitations are well established in related works. There is a need to seriously consider internal assessment as it has the potential to provide us with a wider and deeper understanding of what students know. The discussion of the main features of external assessment allowed reflections on some contemporary challenges that must be faced by the Portuguese society.

Key words: Students' knowledge. Learning assessment. Internal assessment. External assessment.

Introdução

O principal objectivo deste artigo é o de discutir algumas das questões que me parecem estar associadas à caracterização dos saberes dos alunos em Portugal. Está organizado em seis secções principais. Na primeira, discute-se processos de recolha de informação normalmente utilizados para avaliar o que os alunos sabem e são capazes de fazer, referindo as suas limitações. Na segunda, discute-se o tipo de saberes que normalmente são analisados através das avaliações externas e refere-se o tipo de saberes que interessa começar a promover nos sistemas educativos. Nas terceira e quarta secções, caracteriza-se e discute-se sucintamente as avaliações externas do sistema educativo português e as avaliações externas internacionais em que Portugal tem participado. Na quinta secção, apresenta-se e discute-se exemplos de resultados dos alunos portugueses em avaliações externas. Finalmente, na última secção, faz-se uma breve síntese reflexiva com base nos assuntos que se discutiram ao longo do artigo.

Limitações na apreciação dos saberes dos alunos

A referência ao que os alunos sabem em Portugal é quase sempre feita com base em avaliações externas que, supostamente, possuem propriedades psicométricas que permitem comparações entre escolas ou regiões do país. Além disso, tendo em conta os procedimentos utilizados na sua concepção, elaboração, administração e correcção, tais avaliações externas parecem dar garantias de que os alunos serão todos " tratados" de forma equitativa e justa.

As avaliações internas, da integral responsabilidade das escolas e dos professores, podem ser mais ricas e podem proporcionar informações mais detalhadas e precisas acerca dos saberes dos alunos. No entanto, não são normalmente utilizadas devido a dificuldades tais como a complexidade (a impossibilidade?) de sintetizar a diversidade de processos de aprendizagem que ocorrem nas salas de aula ou as questões relativas à consistência e à validade.

Nestas condições, é inevitável que se utilizem resultados de avaliações externas quando queremos reflectir acerca dos saberes que o sistema educativo português é capaz de desenvolver nos seus alunos. É o que se irá fazer neste artigo, embora com a noção clara de que estaremos apenas a olhar para uma parte do problema. Há, inquestionavelmente, muita informação proveniente das avaliações internas que é imprescindível para que se possa construir um retrato nítido dos saberes dos alunos.

Independentemente das questões filosóficas (epistemológicas e ontológicas), científicas, sociais, culturais e políticas que podem associar-se à conceptualização e ao significado do que é saber, todos temos consciência de que não é fácil a tarefa de definir e compreender o que os alunos realmente sabem e são capazes de fazer. A investigação empírica tem evidenciado que o número de exames mal classificados é elevado devido a problemas relacionados com a fiabilidade (Black & Wiliam, 2006b). Em 2005, após a realização dos exames nacionais de conclusão do ensino secundário em Portugal, alguns milhares de alunos utilizaram o direito de pedir a reapreciação de 9.890 provas de exame. Na sequência do processo verificou-se que em cerca de 66% das provas houve uma subida nas respectivas classificações (JNE, 2005).

Estes factos alertam-nos para o cuidado com que devemos analisar os dados provenientes de testes e exames. Apesar de constituirem os meios mais utilizados para caracterizar os saberes dos alunos e de, em geral, proporcionarem informações que não deveremos desprezar, temos que estar conscientes das suas limitações.

Que saberes são avaliados?

Quando aqui se fala de saber é num sentido amplo que inclui, nomeadamente, o saber estar, o saber ser e o saber utilizar; ou seja, um amplo espectro de competências que aqui se definem como saberes em utilização. As competências previstas no currículo do ensino básico em Portugal vão desde a mobilização de saberes culturais, científicos e tecnológicos que permitam compreender a realidade e resolver problemas, à investigação, selecção e organização de informação para desenvolver conhecimentos mobilizáveis e à cooperação com outros no desenvolvimento de tarefas e projectos (Ministério da Educação, 2001). Uma análise atenta das competências previstas no currículo português mostra que não será fácil, ou será mesmo impossível, avaliar muitas delas através de um teste de papel e lápis. A tendência é, aliás, tanto nas avaliações internas como nas externas, avaliar competências que exigem pouca elaboração cognitiva (Cachucho, 2006; Kulm, 1990, 1994; Kulm & Malcom, 1991; Lesh & Lamon, 1993; Phye, 1997; Resnick, 1987; Romberg, 1992).

Mais recentemente, as avaliações externas em Portugal dão mais relevância a competências no domínio do raciocínio, da resolução de problemas e da comunicação e as provas incluem itens de natureza aberta, mais adequados para avaliar processos complexos de pensamento (GAVE, 2002, 2006; Ministério da Educação, 2000, 2002, 2004a, 2004b).

A sociedade portuguesa tem revelado dificuldade em assumir e em valorizar outras estratégias que avaliem melhor o que os alunos sabem. Tem havido uma certa relutância política em valorizar a avaliação que é da responsabilidade dos professores e, em especial, a avaliação formativa. Um pouco por todo o mundo, o investimento político e financeiro é sobretudo canalizado para a avaliação externa, sumativa por natureza. Apesar da investigação mostrar que a avaliação formativa melhora muito as aprendizagens dos alunos e permite compreender de forma profunda o que é que os alunos sabem, continua a não merecer a devida atenção política (Black & Wiliam, 1998a, 1998b, 2006a; Harlen, 2006; Grégoire, 1996; Jorro, 2000; Earl, 2003; Fernandes, 2005; Gipps, 1994; Gipps & Stobart, 2003; Perrenoud, 1998a, 1998b).

Devem reconhecer-se as dificuldades em utilizar dados das avaliações internas para caracterizar os saberes dos alunos. Porém, alguns autores têm vindo a conceptualizar a validade e a fiabilidade das avaliações formativas a partir de visões menos psicométricas e tendo em conta outros factores, nomeadamente os seus propósitos e as suas consequências (Black & Wiliam, 2006b; Stobart, 2006).

Nestas condições, o que se poderá dizer é que o espectro de saberes que é avaliado é necessariamente estreito, muito orientado para os conhecimentos académicos per si, pois as avaliações externas, por natureza, não podem avaliar um apreciável conjunto de competências previstas nos currículos e que são valorizadas pelas sociedades. É, por exemplo, o caso de competências relacionadas com a comunicação oral, o desenvolvimento de projectos de investigação e a pesquisa, selecção e utilização de informação.

Avaliações externas de âmbito nacional

As avaliações externas realizadas no âmbito do sistema educativo português são as seguintes: a) os exames nacionais do ensino secundário (11º e 12º anos de escolaridade) e os exames nacionais de Matemática e de Língua Portuguesa do ensino básico (9º ano de escolaridade); e b) as avaliações externas de Matemática e de Língua Portuguesa realizadas no ensino básico (4º e 6º anos de escolaridade) e que não têm quaisquer efeitos na progressão académica dos alunos. É por meio destas provas de avaliação externa que, em Portugal, se retiram ilações acerca do que, supostamente, os alunos sabem.

Exames nacionais dos ensinos secundário e básico

Em Portugal, é possível identificar o seguinte conjunto de características dos exames nacionais:

1. São concebidos e controlados por uma ou mais entidades externas às escolas; neste caso, por departamentos do Ministério da Educação.

2. A sua administração aos alunos é planeada e controlada pelo Ministério da Educação com a colaboração das escolas.

3. São concebidos e elaborados por um departamento do Ministério da Educação, o Gabinete de Avaliação Educacional (GAVE), a partir do currículo nacional.

4. São iguais para todos os alunos, administrados segundo procedimentos estandardizados, fora do ambiente normal da sala de aula e realizados obrigatoriamente por todos os estudantes.

5. As suas funções principais são a certificação dos saberes adquiridos pelos alunos, o controlo do desenvolvimento e cumprimento do currículo, a seleccção dos alunos que pretendem prosseguir estudos após o ensino secundário e a avaliação do sistema educativo.

6. Os seus conteúdos, os critérios de correcção e os resultados são tornados públicos.

7. Têm uma ponderação de 30% para efeitos da certificação dos alunos no ensino secundário ou no ensino básico; ou seja, para aqueles efeitos, a avaliação interna, da responsabilidade das escolas e dos professores, tem um peso de 70%.

8. Têm uma ponderação de 50% para efeitos da candidatura ao ensino superior por parte dos alunos do ensino secundário.

9. As provas são classificadas numa escala de 0 a 20 no ensino secundário e de 1 a 5 no ensino básico.

No ensino secundário todos os alunos que pretendem prosseguir estudos superiores fazem exames na disciplina de Língua Portuguesa e em mais duas disciplinas essenciais para o referido prosseguimento de estudos. No entanto, por razões várias, os alunos têm direito a realizar outros exames para além dos obrigatórios. As disciplinas onde se realizaram mais exames em 2005 são as seguintes: Português, Matemática, Biologia, Psicologia, Química, História, Física, Introdução ao Desenvolvimento Económico e Social e Sociologia (JNE, 2005).

Todos os alunos do 9º ano de escolaridade têm de fazer exames de Matemática e de Língua Portuguesa para poderem obter o certificado da escolaridade básica obrigatória.

Há pelo menos sete instituições ou entidades envolvidas nos processos de concepção, elaboração, administração, correcção e divulgação dos resultados dos exames: a) O Gabinete de Avaliação Educacional (GAVE), que elabora as provas e os critérios de correcção; b) A Direcção Geral de Inovação e de Desenvolvimento Curricular (DGIDC), que é responsável pela administração das provas, pela coordenação do processo de correcção, pela recolha, tratamento e difusão da informação e pelo processo de revisão de provas solicitada pelos alunos; c) O Júri Nacional de Exames do Ensino Secundário (JNE), que elabora o respectivo regulamento e controla os mecanismos operacionais para o fazer observar; d) As Direcções Regionais de Educação (DRE), que cooperam com as entidades centrais em questões de natureza logística e relacionadas com o processo de administração dos exames; e) A Inspecção Geral da Educação (IGE), que zela para que os procedimentos estejam conforme os regulamentos, garantindo que os exames decorram em condições de igualdade para todos os alunos; f) A Editorial do Ministério da Educação, que imprime as provas e assegura a sua distribuição por todas as escolas do país onde se realizam exames; e g) As forças de segurança, que colaboram com a Editorial para que a distribuição seja feita com segurança.

As avaliações em geral, mas muito particularmente as avaliações externas com funções de certificação e de selecção, acabam por determinar de forma muito relevante o que os alunos devem saber e o que, e como, os professores devem ensinar (Barksdale-Ladd & Thomas, 2000; Bishop, 1998; Crooks, 1988; Natriello, 1987).

Em função destes e de outros efeitos dos exames, surgem questões que importa analisar e discutir, tais como: a) Que currículo e que saberes são efectivamente avaliados pelos exames?; b) Haverá grupos de alunos particularmente favorecidos ou particularmente desfavorecidos pelos exames?; c) A correcção tem níveis aceitáveis de consistência? Isto é, há fiabilidade entre os correctores? O que está realmente a ser feito para a melhorar?; d) Que consequências se retiram dos resultados dos exames e da análise dos dados ao nível das competências e saberes dos alunos e ao nível do funcionamento do sistema educativo?; e e) Que disciplinas do currículo são mais frequentemente avaliadas pelos exames? Porquê?

Acontece que estas e outras questões de interesse para uma discussão acerca dos exames têm merecido uma reduzida atenção em Portugal.

Avaliações externas nos 4º e 6º anos do ensino básico

As avaliações externas do ensino básico, sem efeitos no progresso académico dos alunos, têm quatro objectivos essenciais: a) controlar os níveis de desempenho dos alunos; b) contribuir para avaliar a qualidade do sistema educativo; c) credibilizar socialmente os diplomas escolares; e d) contribuir para a tomada de decisões no sentido de melhorar a qualidade das aprendizagens e reforçar a confiança social no sistema educativo (Fernandes, 2005).

Estas avaliações externas realizam-se nos 4º e 6º anos de escolaridade, por meio de provas nas disciplinas de Matemática e de Língua Portuguesa que são anualmente administradas a amostras de turmas de alunos daqueles anos de escolaridade. O Ministério da Educação controla a concepção, elaboração, distribuição, administração e correcção destas provas.

Após seis anos de avaliações externas sem efeitos na progressão e certificação dos alunos, verifica-se que não têm a credibilidade e o prestígio que deveriam ter, tal como acontece noutros países. Veja-se, por exemplo, o caso do National Assessment of Educational Progress nos Estados Unidos da América (Beaton, 1997; Jones, 2003; Lapointe, 1986; Sebring & Boruch, 1991).

Algo terá de ser feito para que a sociedade portuguesa possa entender o alcance que estas avaliações poderão ter na melhoria do sistema educativo, nomeadamente para que se possa determinar com mais acuidade os saberes dos alunos. Repare-se que este tipo de avaliações, não tendo quaisquer efeitos na progressão dos alunos, permite que se utilizem mais tarefas de resolução de problemas e outros itens abertos, que estejam mais de acordo com as competências previstas no currículo, muitas das quais dificilmente podem ser avaliadas por meio de exames com funções certificativas.

Avaliações externas internacionais

Há três organizações internacionais que se têm destacado na realização de estudos de avaliação internacionais dos saberes dos alunos: a) International Association for the Evaluation of Educational Achievement (IEA), cujo estudo mais recente é o Third International Mathematics and Science Study (TIMSS); b) Organização para a Cooperação e Desenvolvimento Económico (OCDE), responsável pelo Programme for International Student Assessment (PISA); e c) Educational Testing Service (ETS), responsável pelo International Assessment of Educational Progress (IAEP).

O PISA está naturalmente influenciado pelas perspectivas da OCDE, bastante centradas nas competências associadas às necessidades da economia e do mercado de trabalho, e é substancialmente diferente do TIMSS, que é um estudo influenciado por investigadores interessados em compreender relações entre o currículo, os contextos em que ele se desenvolve e as aprendizagens dos alunos. O PISA pretende averiguar que níveis de competências os jovens de 15 anos desenvolvem nos actuais sistemas educativos. Por isso, a abordagem de avaliação do estudo não é propriamente baseada no que os alunos sabem acerca dos conteúdos curriculares específicos, como é o caso do TIMSS, mas, no dizer da OCDE (2003), vai para além de uma abordagem escolar, procurando avaliar a utilização que os alunos fazem do conhecimento em tarefas do dia-a-dia.

Keeves (1995), a propósito dos impactos dos estudos internacionais, refere que um significativo número de países, tais como a Austrália, a Irlanda, o Japão e a Nova Zelândia, procederam a mudanças curriculares na sequência da sua participação em estudos da IEA. Também Robitaille, Beaton e Plomp (2000) se referem ao impacto do TIMSS sobre o ensino e a aprendizagem da matemática e das ciências, em países participantes.

Portugal tem participado no TIMSS e no PISA e participou no International Assessment of Educational Progress, nos finais dos anos de 1980. No entanto, a participação portuguesa neste tipo de estudos parece não estar subordinada a um plano estratégico que permita atingir objectivos relevantes para o sistema educativo. Na verdade, poucos são os cidadãos que conhecem a sua natureza, os seus objectivos, as suas questões de investigação, as suas metodologias ou as suas limitações.

Nestas condições, abrem-se as portas para considerações sobre a participação portuguesa que ignoram aspectos relevantes da análise e da interpretação dos dados. Além disso, também não têm sido explicitadas as limitações deste tipo de avaliações internacionais. É preciso perceber que, apesar da evolução verificada nas últimas décadas quanto à qualidade destes estudos, persistem problemas tais como: a) a dificuldade de conceber uma metodologia que permita avaliar adequadamente resultados provenientes de uma grande diversidade de currículos e contextos; b) a dificuldade em garantir a equivalência das populações e das amostras de estudantes que se pretendem comparar; c) a dificuldade em garantir que a tradução dos testes e de outros instrumentos utilizados tenha o mesmo significado em todos os países participantes; d) a dificuldade em garantir que os assuntos a que se referem os itens dos testes tenham o mesmo tipo de relevância curricular nos diferentes países; e) a dificuldade em garantir que todos os países seguem exactamente os procedimentos metodológicos definidos pelas coordenações dos estudos no que se refere à identificação da população, à selecção das amostras, à administração e correcção dos testes ou à tradução; e f) a dificuldade inerente à natureza restritiva da modelação e análise dos dados, à sua interpretação e à ausência de uma dimensão longitudinal. Estes e outros problemas dos estudos internacionais têm sido referidos por uma diversidade de investigadores (Goldstein, 1996, 2004; Kellaghan, 2003; Riley & Torrance, 2003). Apesar de tudo, não devemos ignorar os resultados destes estudos nem deixar de reconhecer a qualidade de muitos dos seus procedimentos e o impacte positivo que eventualmente poderão ter no desenvolvimento das políticas educativas dos diferentes países.

É necessário que, em Portugal, se façam análises mais finas e contextualizadas dos resultados destes estudos para evitar conclusões menos rigorosas e juízos pouco fundamentados. Atentemos no exemplo que se segue.

O PISA avalia competências de jovens de 15 anos que frequentam a escola. Em quase todos os países participantes, a maioria dos jovens daquela idade frequenta o 10º ou o 11º ano de escolaridade. Em Portugal, devido às elevadas taxas de retenção, um número substancial de jovens distribui-se entre o 5º e o 9º anos de escolaridade. Em 2003/2004, dos 94.932 alunos com 15 anos que estavam na escola, apenas 46,3% frequentava o 10º ano (o ano que, em circunstâncias normais, deveria ser frequentado pela esmagadora maioria de jovens com 15 anos) e 3,4% frequentava o 11º ano. Os restantes estavam distribuídos entre o 2º (!) e o 9º anos de escolaridade (GIASE, 2005a).

A amostra portuguesa no estudo PISA tem incluído jovens que frequentam entre o 5º e o 11º anos de escolaridade. É óbvio que os resultados não podem deixar de ser fortemente influenciados por este facto. É muito diferente testar um jovem com 15 anos que frequenta o 10º ou o 11º ano de escolaridade ou um outro que frequenta o 5º ou o 6º ano de escolaridade. Aliás, se apenas considerarmos os resultados dos alunos portugueses com 15 anos que frequentavam o ensino secundário (10º e 11º anos), isto é, de alunos que nunca reprovaram, eles são, em vários casos, superiores à média dos países participantes no estudo (GAVE, 2001).

Apesar de, nos últimos anos, o Ministério da Educação ter divulgado alguns relatórios, eles são essencialmente descritivos (GAVE, 2001, 2002a, 2003). Parece relevante que se elaborem relatórios nacionais mais analíticos, mais contextualizados e interpretativos.

Em suma, Portugal participa neste tipo de estudos há cerca de 20 anos e essa participação tem permitido: a) caracterizar saberes ao nível da literacia em contextos de leitura de alunos do ensino básico e de alunos com 15 anos de idade; e b) caracterizar saberes nos domínios da matemática e das ciências de alunos do ensino básico (3º, 4º, 7º e 8º anos de escolaridade) e de alunos com 15 anos de idade.

Saberes dos alunos portugueses: três exemplos

Os três exemplos que se seguem são uma ilustração do que nos tem sido revelado nos últimos anos pelos exames nacionais obrigatórios e pelas avaliações externas nacionais e internacionais acerca de determinados saberes dos alunos portugueses. Não se trata de uma análise profunda nem detalhada dos dados mas, antes, de uma breve descrição de alguns aspectos destinados a sublinhar as tendências mais relevantes que as avaliações externas parecem sugerir.

Exemplo 1: saberes de alunos do ensino secundário (12º ano de escolaridade)

O Gabinete de Avaliação Educacional (GAVE) do Ministério da Educação realizou um estudo destinado a investigar as competências reveladas pelos alunos nos exames do 12º ano de escolaridade que ocorreram entre 1999 e 2001 (GAVE, 2002). A amostra era constituída pelos alunos de 50 escolas e, de acordo com os autores, era representativa da população. Foram analisados os resultados nas seis disciplinas com um maior número de alunos: Biologia, Física, Introdução ao Desenvolvimento Económico e Social, Matemática, Psicologia e Química. A análise, feita item a item, baseou-se nas competências definidas nos programas das disciplinas, nas classificações obtidas pelos alunos e em quatro indicadores destinados a categorizar o nível de desempenho dos alunos em cada item. De acordo com os autores, a análise dos dados permitiu extrair as seguintes conclusões globais:

1. Os alunos apresentam um desempenho médio ou mesmo bom quando o que está em causa são saberes que exigem pouca elaboração cognitiva, tais como o conhecimento de conceitos, de procedimentos, de factos ou a mera reprodução de informação.

2. Os alunos apresentam um desempenho fraco ou muito fraco quando lhes é pedido que apliquem conhecimentos que integrem e mobilizem saberes em situações novas ou que elaborem raciocínios de natureza demonstrativa.

Uma análise sumária dos resultados obtidos pelos alunos naquelas mesmas disciplinas, nos exames nacionais do 12º ano de 2006, mostra que há razões para crer que os problemas acima identificados continuem a persistir. Em particular nas disciplinas de Matemática, Física, Química e Biologia, que apresentam médias abaixo de 10 ou muito próximas deste valor (as classificações exprimem-se numa escala de 0 a 20, em que 10 revela, em princípio, que o aluno adquiriu apenas as competências básicas). Nalguns casos, as médias são mesmo inferiores às que foram obtidas pelos alunos entre 1999 e 2001 (DGIDC, 2006).

Exemplo 2: saberes dos alunos do ensino básico (9º ano de escolaridade)

Como já se referiu, os alunos do 9º ano realizam, desde 2004/ 2005, exames nacionais obrigatórios nas disciplinas de Matemática e de Língua Portuguesa que são classificados numa escala de 0 a 100 e depois transformados para uma escala entre 1 e 5. As médias em Língua Portuguesa foram de 3.0 em 2005 e de 2.6 em 2006, ao passo que em Matemática foram de 2.2 e 2.4, respectivamente (JNE, 2005). São resultados modestos ou mesmo fracos que merecem uma análise mais fina.

Vejamos, como exemplo, o caso do exame de Matemática de 2005. Foram avaliadas quatro competências (conceitos e procedimentos, raciocínio, resolução de problemas e comunicação) e quatro domínios do currículo (números e cálculo, estatística e probabilidades, álgebra e funções e geometria). A prova de exame continha doze questões abertas e seis questões fechadas. Globalmente, 71% dos cerca de 90 mil jovens que fizeram o exame obtiveram uma classificação negativa; 49% obtiveram a classificação dois e 22%, a classificação um. Dos 29% que obtiveram uma classificação positiva, apenas 1% obteve a classificação máxima (cinco), ao passo que 20% obtiveram a classificação considerada suficiente (três).

Uma análise dos resultados por competência e por domínio do currículo, realizada pelo Ministério da Educação (GAVE, 2006), permite elaborar conclusões tais como: a) os desempenhos dos alunos são em geral muito fracos; b) na competência conceitos e procedimentos os resultados são satisfatórios no domínio da álgebra e funções e fracos no da geometria; c) na competência resolução de problemas os resultados são fracos em todos os domínios do currículo; c) na competência da comunicação os resultados são fracos em todos os domínios avaliados; e d) na competência raciocínio os resultados são satisfatórios em raciocínios simples e muito fracos em raciocínios dedutivos.

Quando se exigem competências ao nível da compreensão, da interpretação, da análise, da síntese ou ao nível do raciocínio dedutivo os resultados são fracos ou muito fracos. Os alunos apresentam resultados satisfatórios apenas quando se lhes exige a reprodução mais ou menos mecanizada de determinado tipo de procedimentos.

De acordo com o GAVE (2006), há uma discrepância de um nível entre a mediana das classificações internas (M=3) e a mediana das classificações no exame (M=2). De facto, verificou-se que, tal como acontece no ensino secundário, as classificações obtidas pelos alunos nos exames foram, na grande maioria dos casos, inferiores às classificações internas atribuídas pelos professores. Por exemplo, dos alunos que se apresentaram a exame com uma classificação interna de três, apenas cerca de 20% manteve essa classificação no exame, enquanto que mais de 3/4 viram a sua classificação baixar para um ou para dois.

Em 2002, 2003 e 2004 os alunos do 9º ano de escolaridade realizaram avaliações em Matemática que não tinham efeitos na sua progressão e na sua certificação. Os resultados globais dessas avaliações e os dos exames de 2005 e de 2006 mostram que, ao longo destes anos, tem havido uma estabilidade que é bastante preocupante. Na verdade, as percentagens das classificações médias dos alunos relativamente à classificação máxima (100%) não foram ainda além de 40% (DGIDC, 2006; GAVE, 2006).

Exemplo 3: uma síntese de avaliações nacionais e internacionais

Ramalho (2003) fez uma síntese dos resultados de alunos portugueses em avaliações externas internacionais e nacionais. A partir de relatórios produzidos a nível internacional e nacional, foram sintetizados resultados referentes a estudos de Literacia em Contexto de Leitura: a) Reading Literacy, da International Association for the Evaluation of Educational Achievement (IEA, 1991); b) International Adult Literacy Survey (IALS), da ocde (1999); e c) Programme for International Student Assessment (PISA), também da OCDE (2000).

Foram ainda analisados os resultados dos seguintes estudos internacionais de avaliação das aprendizagens em matemática e em ciências: a) Second International Assessment of Educational Progress (SIAEP), do Educational Testing Service (1991); b) Third International Mathematics and Science Study (TIMSS), da IEA (1995); e c) PISA, da OCDE (2000).

A nível nacional, Ramalho (2003) trabalhou a partir dos seguintes dados: a) exames nacionais do ensino secundário de Matemática, realizados em 2000 e 2001, assim como de Biologia, Física e Química, realizados entre 1999 e 2001; b) provas de avaliação externa de Língua Portuguesa e de Matemática para os 4º e 6º anos de escolaridade realizadas em 2000 e 2001; e c) avaliação integrada das escolas da responsabilidade da Inspecção Geral da Educação (IGE), realizada em 1999/2000.

Trata-se de uma grande e variada massa de dados que torna difícil, ou mesmo impossível, o estabelecimento de comparações, como aliás é reconhecido pela autora. Em todo o caso, é uma síntese significativa que aponta tendências claras quanto ao desempenho dos alunos portugueses.

Em termos muito gerais, pode afirmar-se que, neste trabalho de Ramalho, ficam evidenciados alguns dos problemas de aprendizagem que parecem afectar os alunos portugueses e que são consistentes com os que se apresentaram nos exemplos anteriores. De facto, quer os estudos internacionais, quer os nacionais mostram que, na resolução de problemas, na aplicação de conhecimentos a situações novas ou na análise e interpretação de informação, os alunos portugueses têm um desempenho modesto ou mesmo fraco. Por outro lado, na reprodução de procedimentos algorítmicos ou de informação ou no trabalho com textos narrativos e com tarefas rotineiras o desempenho tende a ser médio ou mesmo bom.

Há ainda duas conclusões no artigo de Ramalho (2003) que merecem ser aqui sublinhadas: a) os alunos com uma ou mais retenções (reprovações) têm desempenhos mais fracos do que os alunos sem quaisquer reprovações; e b) os alunos da área de Lisboa e Vale do Tejo têm, em geral, níveis de desempenho que chegam, em alguns casos, a ser muito superiores às médias nacionais e, noutros, mesmo às médias internacionais. Um caso que ilustra esta última conclusão refere-se aos alunos de Matemática de 15 anos a frequentar o 10º ou o 11º ano de escolaridade que participaram no PISA (2000), cuja média foi superior à média internacional dos alunos dos países participantes.

Os relatórios produzidos pelo Ministério da Educação referentes às avaliações externas, sem efeitos nas classificações e na certificação, destinadas aos alunos do 4º e do 6º anos de escolaridade, mostram, no essencial, a consistência dos dados com os que se apresentaram nos dois exemplos anteriores e nesta síntese de Ramalho (Ministério da Educação, 2006, 2004a, 2004b, 2002, 2000).

Algumas reflexões e conclusões

O principal objectivo deste artigo é o de familiarizar o leitor com algumas das questões que estão associadas à caracterização dos saberes dos alunos em Portugal.

Em primeiro lugar, parece importante que se reconheça a dificuldade em determinar com profundidade e com rigor os saberes que efectivamente os alunos possuem. Há aqui problemas de natureza técnica, relacionados com os processos utilizados para avaliar os referidos saberes, curricular e pedagógica, inerentes às formas como se constrói e desenvolve o currículo a todos os níveis, e política, que têm a ver com as decisões que se tomam quanto ao sistema de avaliação que melhor possa caracterizar o que os alunos sabem. É importante que se reconheça as limitações das avaliações externas na determinação dos saberes dos alunos e o papel que as avaliações internas deveriam desempenhar nesse processo. Por isso, parece que as políticas educativas deveriam investir deliberadamente na valorização da avaliação que se faz dentro das salas de aula, pois só assim poderemos um dia vir a caracterizar de forma mais abrangente e profunda o que os alunos realmente sabem e são capazes de fazer.

Em Portugal, tal como em muitos outros países, há um largo espectro de competências normalmente previstas nos currículos e valorizadas pela sociedade que não são pura e simplesmente avaliadas. Ou melhor, poderão ser avaliadas mais ou menos formalmente ao nível das salas de aula, mas não há sínteses nacionais dessas avaliações como há no caso das avaliações externas. E não há porque o que se valoriza, no essencial, são competências directamente relacionadas com os conteúdos das diferentes disciplinas do currículo. Nestas condições, poder-se-á dizer com alguma ironia que as avaliações externas acabam por avaliar as competências dos alunos para responder bem às perguntas de um exame. E isto não significa necessariamente que os alunos compreendam, saibam em profundidade ou sejam capazes de transferir o que sabem para outros contextos. Por isso, parece razoável que a caracterização dos saberes dos alunos possa um dia vir a ser feita a partir de uma inteligente articulação de dados provenientes de avaliações internas e de avaliações externas e não exclusivamente a partir destas últimas, como acontece presentemente.

Relativamente às avaliações externas realizadas em Portugal, talvez se devam sublinhar os seguintes aspectos: a) Durante os primeiros nove anos de escolaridade apenas existem nas disciplinas de Língua Portuguesa e de Matemática; b) Nos quarto e sexto anos de escolaridade não têm efeitos na progressão e na certificação dos alunos; c) No nono ano de escolaridade têm uma ponderação de 30% na atribuição das classificações finais; d) No ensino secundário, os alunos que pretendem continuar a estudar no ensino superior fazem pelo menos três exames, um dos quais é obrigatoriamente em Língua Portuguesa; e e) Os exames do ensino secundário têm um peso de 30% para efeitos de certificação e de 50% para efeitos de acesso ao ensino superior.

Nestas condições, pode-se dizer que, para além dos saberes referentes à Matemática e à Língua Portuguesa, dificilmente se poderão caracterizar, com um mínimo de credibilidade, os outros saberes que os alunos portugueses desenvolvem ao longo da escolaridade básica obrigatória. Nomeadamente saberes no domínio das expressões artísticas, das ciências experimentais ou das ciências sociais, mas também saberes transversais no domínio da resolução de problemas, da comunicação ou das interacções sociais. Trata-se de uma lacuna importante que poderia eventualmente ser ultrapassada por meio de processos tais como: a) a realização de provas externas naquelas áreas sem efeitos ao nível da progressão ou certificação dos alunos; e b) a utilização de avaliações baseadas nas escolas que tivessem em conta referenciais, critérios e sistemas de moderação bem definidos.

No ensino secundário, dada a sua organização por diferentes cursos e o amplo espectro de disciplinas que podem ser objecto de exame, é possível ter uma visão mais abrangente dos saberes que o sistema se mostra capaz de desenvolver nos seus alunos. No entanto, o chamado efeito de backwash dos exames não está investigado em Portugal e, tendo em conta o que sabemos da investigação realizada noutros contextos, é muito provável que os saberes dos alunos do ensino secundário estejam bastante limitados pelo que sai nas provas de exame.

Um forte investimento na avaliação que se realiza ao nível das salas de aula, melhorando a sua consistência e a sua validade, será fundamental para que venhamos a ter mais segurança no conhecimento que temos dos saberes que as crianças e os jovens desenvolvem no sistema educativo português.

Quanto às avaliações externas internacionais em que Portugal tem participado, nomeadamente o TIMSS e o PISA, parece-me que é pertinente referir três aspectos. O primeiro tem a ver com o facto de o seu eventual impacte no sistema educativo português ser mal conhecido. É provável que o principal efeito tenha sido ao nível da transferência de uma certa tecnologia e de um certo saber-fazer no domínio da concepção, elaboração, administração e correcção de provas e, ainda, no da divulgação dos resultados. No que se refere a eventuais efeitos ao nível das políticas educativas, parecem-me difíceis de determinar.

O segundo refere-se à circunstância de não se enunciarem explicitamente as conhecidas limitações destes estudos internacionais nem as suas virtualidades. Esta divulgação parece importante para procurar esclarecer a sociedade e, em particular, os meios de comunicação social. Os resultados destes estudos não deverão ser pura e simplesmente rejeitados ou ignorados, nem deverão ser aceites de forma mais ou menos cega como indicadores indesmentíveis e absolutos dos falhanços ou sucessos do sistema educativo. Ora, nem uma nem outra destas posições contribui para que se analisem os resultados com a profundidade, a imparcialidade e a objectividade aconselháveis. E, muito menos, para que deles se retirem as consequências que se revelem consistentes com uma visão estratégica de modernização, de democratização e de desenvolvimento do sistema educativo português. O Ministério da Educação tem aqui um importante papel a desempenhar porque lhe compete definir uma política clara sobre a participação do nosso país neste tipo de estudos.

Finalmente, o terceiro aspecto está relacionado com o facto de os relatórios nacionais serem pouco esclarecedores, pouco analíticos e pouco contextualizados. Parece-me que seguem um pouco o modelo dos relatórios internacionais que, do meu ponto de vista, também poderiam ser mais cuidados na descrição das condições concretas de cada país.

Os resultados das avaliações externas acima referidas sugerem que o sistema educativo português tem claras dificuldades em apoiar a maioria dos seus alunos na aprendizagem de um conjunto muito relevante de competências. Apenas uma minoria de alunos parece estar a conseguir desenvolver bem os saberes propostos no currículo nacional.

Há dois aspectos que parecem ser muito preocupantes. Um é que as séries de dados existentes parecem sugerir que há vários anos os alunos não melhoram os seus saberes em competências fundamentais como o raciocínio dedutivo e demonstrativo, a resolução de problemas, a aplicação de conhecimentos em situações novas ou a integração e mobilização de saberes para lidar com problemas numa variedade de contextos. O outro é o número brutal de alunos que reprovam nos diferentes ciclos da escolaridade, criando verdadeiros exércitos de crianças e jovens que, desde muito cedo, experimentam a frustração, o desencanto, a inibição e a falta de auto-estima. O resultado imediato deste facto é que, todos os anos, 250 mil crianças e jovens portugueses estarão menos disponíveis para aprender e para saber o que está definido pelo sistema educativo, terão mais tendência para reprovar novamente ou para abandonar a escola e correrão o risco da exclusão social. Que saberes possuirão estas crianças e estes jovens? Será que os estamos a ensinar e a avaliar devidamente? Eis um desafio que os sistemas educativos não podem deixar de enfrentar nas sociedades democráticas.

Recebido em março de 2007 e aprovado em fevereiro de 2008

• BARKSDALE-LADD, M.; THOMAS, K. What's at stake in high-stakes testing: teachers and parents speak out. Journal of Teacher Education, Washington, DC, v. 51, n. 5, p. 384-397, 2000.
• BEATON, A. The national assessment of educational progress. In: Phye, G. (Ed.). Handbook of classroom assessment New York: Academic, 1997. p. 518-530
• BISHOP, J. The effect of curriculum-based external exit exam systems on student achievement. Journal of Economic Education, New York, v. 29, n. 2, p. 171-182, 1998.
• BLACK, P.; WILIAM, D. Assessment for learning in the classroom. In: Gardner, J. (Ed.). Assessment and learning London: Sage, 2006a. p. 9-26.
• BLACK, P.; WILIAM, D. The reliability of assessments. In: Gardner, J. (Ed.). Assessment and learning London: Sage, 2006b. p. 119-132.
• BLACK, P.; WILIAM, D. Assessment and classroom learning. Assessment in Education: principles, policy & practice, London, v. 5, n. 1, p. 7-74, 1998a.
• BLACK, P.; WILIAM, D. Inside the black box: raising standards through classroom assessment. Disponível em: <www.pdkintl.org/kappan/kbla9810.htm> Acesso em: 22 out. 2004. 1998b.
• CACHUCHO, J. Desenvolvimento de competências matemáticas no ensino básico: comparação entre as competências avaliadas no estudo PISA e nas provas globais. Lisboa: Universidade de Lisboa, 2006.
• CROOKS, T. The impact of classroom evaluation practices on students. Review of Educational Research, Washington, dc, n. 58, p. 438-481, 1988.
• EARL, L. Assessment as learning: using classroom assessment to maximize student learning. Thousand Oaks: Corwin, 2003.
• FERNANDES, D. Avaliação das aprendizagens: desafios às teorias, práticas e políticas. Cacém: Texto, 2005.
• GIPPS, C. Beyond testing: towards a theory of educational assessment. London: Falmer, 1994.
• GIPPS, C.; STOBART, G. Alternative assessment. In: KELLAGHAN, T.; STUFFLEBEAM, D. (Ed.). International handbook of educational evaluation Dordrecht: Kluwer, 2003. p. 549-576.
• GOLDSTEIN, H. International comparisons of student achievement. In: LITTLE, A.; WOLF, A. (Ed.). Assessment in transition: learning, monitoring and selection in international perspective. Oxford: Pergamon, 1996. p. 58-87.
• GOLDSTEIN, H. International comparisons of student attainment: some issues arising from the PISA study. Assessment in Education: principles, policy & practice, London, v. 11, n. 3, p. 319-330, 2004.
• GRÉGOIRE, J. (Ed.). Évaluer des apprentissages: les apports de la psychologie cognitive. Bruxelles: De Boeck, 1996.
• HARLEN, W. On the relationship between assessment for formative and summative purposes. In: GARDNER, J. (Ed.). Assessment and learning London: Sage, 2006. p. 103-118.
• JONES, L. National assessment in the United States: the evolution of a nation's report card. In: KELLAGHAN, T.; STUFFLEBEAM, D. (Ed.). International handbook of educational evaluation Dordrecht: Kluwer, 2003. p. 883-904.
• JORRO, A. L'enseignant et l'évaluation: des gestes évaluatifs en question. Bruxelles: De Boeck, 2000.
• KEEVES, J. The world of school learning: selected key findings from 35 years of iea research. Amsterdam: IEA, 1995.
• KELLAGHAN, T. Local, national, and international levels of system evaluation: introduction. In: KELLAGHAN, T.; STUFFLEBEAM, D. (Ed.). International handbook of educational evaluation Dordrecht: Kluwer, 2003. p. 873-882.
• KULM, G. Mathematics assessment San Francisco: Jossey-Bass, 1994.
• KULM, G. Assessing higher order thinking in mathematics Washington, DC: AAAS, 1990.
• KULM, G.; MALCOM, S. (Ed.). Science assessment in the service of reform Washington, DC: AAAS, 1991.
• LAPOINTE, A. Testing in the USA. In: NUTTALL, D. (Ed.). Assessing educational achievement London: Falmer, 1986. p. 114-124.
• LESH, R.; LAMON, S. Assessment of authentic performance in school mathematics Washington, DC: AAAS, 1993.
• PORTUGAL. Ministério da Educação. Provas de aferição do ensino básico: 4º ano 2000. Lisboa: Ministério da Educação, 2000.
• PORTUGAL. Ministério da Educação. Currículo nacional do ensino básico: competências essenciais. Lisboa: Ministério da Educação, 2001.
• PORTUGAL. Ministério da Educação. Provas de aferição do ensino básico: 4º e 6º anos 2001. Lisboa: Ministério da Educação, 2002.
• PORTUGAL. Ministério da Educação. Provas de aferição do ensino básico : 4º, 6º e 9º anos 2003. Lisboa: Ministério da Educação, 2004a.
• PORTUGAL. Ministério da Educação. Provas de aferição do ensino básico: 4º, 6º e 9º anos: análise comparativa (2001-2003). Lisboa: Ministério da Educação, 2004b.
• PORTUGAL. Ministério da Educação. Provas de aferição do ensino básico: 4º, 6º e 9º anos 2004. Lisboa: Ministério da Educação, 2006.
• PORTUGAL. Ministério da Educação. Direção-Geral de Inovação e de Desenvolvimento (DGIDC). Júri nacional de exames: estatísticas. Disponível em: <www.dgidc.min-edu.pt> Acesso em: 22 set. 2006.
• PORTUGAL. Ministério da Educação. Gabinete de Avaliação Educacional (GAVE). Resultados do estudo internacional PISA 2000 Lisboa: GAVE, 2001.
• PORTUGAL. Ministério da Educação. Gabinete de Avaliação Educacional (GAVE). Conceitos fundamentais em jogo na avaliação de literacia matemática e competências dos alunos portugueses PISA 2000. Lisboa: GAVE, 2002a.
• PORTUGAL. Ministério da Educação. Gabinete de Avaliação Educacional (GAVE). Contributo para uma melhor compreensão do desempenho dos alunos nos exames do 12º ano Lisboa: GAVE, 2002b.
• PORTUGAL. Ministério da Educação. Gabinete de Avaliação Educacional (GAVE). Conceitos fundamentais em jogo na avaliação de literacia científica e competências dos alunos portugueses PISA 2000. Lisboa: GAVE, 2003.
• PORTUGAL. Ministério da Educação. Gabinete de Avaliação Educacional (GAVE). Resultados do exame de Matemática do 9º ano Lisboa: GAVE, 2006.
• PORTUGAL. Ministério da Educação. Gabinete de Informação e Avaliação do Sistema Educativo (GIASE). Estatísticas da educação 03/04 Lisboa: Ministério da Educação, 2005a.
• PORTUGAL. Ministério da Educação. Gabinete de Informação e Avaliação do Sistema Educativo (GIASE). Recenseamento escolar 05/06 Lisboa: Ministério da Educação, 2005b.
• PORTUGAL. Ministério da Educação. Júri Nacional de Exames (JNE). Exames nacionais dos ensinos básico e secundário: relatório final. Lisboa: Ministério da Educação, 2005.
• NATRIELLO, G. The impact of evaluation processes on students. Educational Psychologist, Hillsdale, NJ, n. 22, p. 155-175, 1987.
• ORGANISATION FOR ECONOMIC CO-OPERATION AND DEVELOPMENT (OECD). The PISA 2003 assessment framework: mathematics, reading, science and problem solving knowledge and skills. Paris: OECD, 2003.
• PERRENOUD, P. From formative evaluation to a controlled regulation of learning processes: towards a wider conceptual field. Assessment in Education: principles, policy & practice, London, v. 5, n. 1, p. 85-102, 1998a.
• PERRENOUD, P. L'évaluation des élèves: de la fabrication de l'excellence à la régulation des apprentissages. Bruxelles: De Boeck, 1998b.
• PHYE, G. (Ed.). Handbook of classroom assessment San Diego: Academic, 1997.
• RAMALHO, G. As aprendizagens no sistema educativo português: principais resultados dos estudos realizados. In: AZEVEDO, J. (Org.). Avaliação dos resultados escolares: medidas para tornar o sistema mais eficaz. Porto: ASA, 2003. p. 13-74.
• RESNICK, L. Education and learning to think Washington, DC: National Academy, 1987.
• RILEY, K.; TORRANCE, H. Big change questions. Journal of Educational Change, n. 4, p. 419-425, 2003.
• ROBITAILLE, D.; BEATON, A.; PLOMP, T. The impact of TIMSS on the teaching and learning of mathematics and science Vancouver: Pacific Educational, 2000.
• ROMBERG, T. (Ed.). Mathematics assessment and evaluation: imperatives for mathematics educators. New York: State University of New York, 1992.
• SEBRING, P.; BORUCH, R. How the national assessment of educational progress is used: an update of an exploratory study. In: STAKE, R. (Ed.). Advances in program evaluation: effects of mandated assessment on teaching. London: Jay, 1991. p. 255-276.
• STOBART, G. The validity of formative assessment. In: GARDNER, J. (Ed.). Assessment and learning London: Sage, 2006. p. 133-146.

Datas de Publicação

• Publicação nesta coleção
  30 Maio 2008
• Data do Fascículo
  Abr 2008

Histórico

• Recebido
  Mar 2007
• Aceito
  Fev 2008