Resenha

RESENHA

Eduardo Castro

Professor na Universidade da Beira Interior e investigador no Grupo LanCog, Centro de Filosofia da Universidade de Lisboa. Este trabalho foi financiado pela bolsa SFRH/BPD/46847/2008 e pelo projeto PTDC/FIL-FCI/109991/2009, "Hilbert's Legacy in the Philosophy of Mathematics", da Fundação para a Ciência e Tecnologia

GILLIES, DONALD. HOW SHOULD RESEARCH BE ORGANISED? LONDON: COLLEGE PUBLICATIONS, 2008, 137 p.

Neste livro, Donald Gillies pretende responder ao que se propõe no título, utilizando instrumentos de investigação da História e Filosofia das Ciências. O livro é constituído por três partes. As duas primeiras partes são inteiramente destrutivas e a terceira parte é largamente construtiva. A primeira parte analisa o sistema de avaliação da investigação do Reino Unido, chamado "Research Assessment Exercise" (RAE). A segunda parte analisa um outro sistema de avaliação, chamado "Research Excellence Framework" (REF), que, entretanto, substituiu o RAE. A conclusão dessas partes é de que, quer o RAE, quer o REF, têm efeitos negativos na investigação e não parecem contribuir para uma melhor investigação. A terceira parte propõe um novo modelo de avaliação dos académicos que incluiu o parâmetro Ensino, além dos parâmetros Investigação e Administração.

À primeira vista, um livro focado em sistemas de avaliação do Reino Unido só interessaria aos académicos desse país. Porém, acontece que os princípios fundamentais do RAE e do REF têm vindo a ser seguidos um pouco por todo o mundo académico. O RAE é um sistema de avaliação baseado na revisão pelos pares (o peer review); o REF é um sistema de avaliação baseado em critérios bibliométricos, como o fator de impacto (o número de vezes que uma revista ou um artigo são citados). Portanto, na verdade, este é um livro cujo tópico tem interesse para a generalidade dos académicos.

O RAE foi um sistema de avaliação introduzido por Margaret Thatcher, em 1986, e terminou em 2008, em virtude dos seus elevados custos. O REF substituiu o RAE e é o atual sistema de avaliação. Brevemente, o RAE funcionava da seguinte forma. Periodicamente, para cada área era estabelecido um comité de académicos que avaliava a investigação realizada nos respetivos departamentos dessas áreas. Os membros do comité avaliavam as publicações submetidas para a avaliação pelos investigadores. As publicações eram integralmente lidas pelos avaliadores e classificativamente ordenadas. Os departamentos eram proporcionalmente financiados, com fundos públicos, de acordo com a classificação obtida. Os membros dos departamentos com piores classificações tinham uma penalização acrescida: teriam de ministrar mais aulas ou, simplesmente, podiam ser despedidos. Aparentemente, esse sistema de organização da investigação parecia perfeito: os melhores eram premiados, os piores teriam de fazer outra coisa.

Aquilo que é considerado melhor ou pior depende sempre de critérios de avaliação aplicados. Por sua vez, esses mesmos critérios podem também ser avaliados. Será o RAE um bom sistema de avaliação? Por outras palavras, será que o RAE melhorou a investigação do Reino Unido, nos últimos 23 anos? Gillies não sabe responder diretamente a essa questão, porque considera que apenas passados cerca de 30 anos é que estamos em condições de avaliar se um resultado científico é bom ou verdadeiramente mau. Digamos que, por volta de 2040, é que podemos olhar para trás e conseguir ter uma perspetiva suficientemente abrangente sobre o valor da ciência atual. No entanto, uma outra pergunta pode ser diretamente respondida: será que, se o RAE tivesse existido há mais tempo, isso teria tido um efeito positivo ou negativo na investigação de outrora? A resposta é de que a existência do RAE no passado teria tido um efeito negativo sobre a investigação de outrora.

A ideia-chave contra o RAE é baseada no modelo epistemológico kuhniano de desenvolvimento científico, segundo o qual os grandes avanços científicos procedem por revoluções. Brevemente, o ciclo "científico" é o seguinte: ciência normal → anomalias → crise → ciência revolucionária → revolução científica → novo paradigma → ciência normal. Segundo esse modelo, a generalidade dos cientistas é praticante de ciência normal, cuja atividade científica consiste em "limpar" e aperfeiçoar o paradigma, contribuindo para pequenos avanços na ciência. Ora, os membros dos painéis de avaliação das agências de financiamento são escolhidos ao acaso, entre cientistas da área em questão. Por uma mera questão probabilística, tais painéis são então maioritariamente constituídos por praticantes de ciência normal. Praticantes de ciência normal não reconhecem valor em projetos de investigação revolucionários, em virtude da qualidade gestalt dos paradigmas científicos, e tenderão a vetar o financiamento de tais projetos. Portanto, uma avaliação baseada na revisão pelos pares tem um efeito negativo sobre a ciência revolucionária. O RAE dá dois caminhos para os cientistas revolucionários: ou são sobrecarregados de aulas, e deixam de ter tempo para a sua investigação, ou simplesmente são despedidos. Na verdade, e cinicamente, há um outro caminho: abandonar ideias cientificamente revolucionárias.

Gillies começa com um exemplo paradigmático de alguém que não teria sobrevivido num sistema como o RAE - Wittgenstein. Wittgenstein foi contratado pela Universidade de Cambridge, em 1930, e retirou-se em 1947. Durante todo esse período, nada publicou. Na verdade, Wittgenstein apenas publicou dois livros - Tractatus e Investigações Filosóficas - e um pequeno artigo, em 1929. Pode-se objetar que se o RAE já estivesse em vigor, nesse período, Wittgenstein seria pressionado a publicar e, portanto, o RAE na verdade não expulsaria Wittgenstein da Universidade. Baseado em aspetos biográficos sobre o temperamento de Wittgenstein, como, por exemplo, a sua aversão ao mundo académico, Gillies mostra que este dificilmente obedeceria às diretivas do RAE.

Pode-se objetar que a Filosofia é uma disciplina "à parte" na Academia e, portanto, Wittgenstein não é um bom contraexemplo ao RAE. Ou seja, o RAE acaba por ser um bom sistema de avaliação, quando aplicado às restantes ciências. Essa objeção é bem replicada por Gillies com uma análise detalhada de três exemplos históricos de outras ciências: o nascimento da lógica-matemática de Frege, na Matemática, o uso de antissépticos por Semmelweis, na Medicina, e a revolução copernicana, na Astronomia. A conclusão que se retira é que Frege, Semmelweis e Copérnico não teriam sobrevivido num sistema como o RAE. Além desses exemplos centrais, muitos outros pequenos exemplos aparecem ao longo do livro, para ilustrar defeitos do RAE.

No capítulo 4, "Type 1 na Type 2 Errors. Throwing away the Pink Diamonds", estabelece-se a seguinte distinção, baseada na teoria de testes estatísticos: um erro de tipo 1 ocorre, se um teste leva à rejeição de uma hipótese que é de facto verdadeira; um erro de tipo 2 ocorre, se um teste leva à confirmação de uma hipótese que é de facto falsa. Munido com essa distinção, Gillies argumenta que o RAE se concentra exclusivamente na eliminação de erros de tipo 2: o RAE tende a deixar de financiar programas de investigação que não conduzem a lado nenhum, por mais tempo que continuem. Porém, o RAE não elimina os erros de tipo 1. Ou seja, muitos programas de investigação deixam de ser financiados e, no entanto, são programas que conduziriam a avanços importantes, caso continuassem a ser financiados. O problema aqui é que a história da ciência mostra que os erros de tipo 1 são muito mais sérios que os erros de tipo 2. Por exemplo, o não reconhecimento e suporte pela comunidade científica da teoria de Semmelweis, do uso de antissépticos nos hospitais, conduziu à morte de milhares de pessoas.

A distinção anterior demonstra que o RAE também falha, quando é aplicado a períodos de ciência normal. Suponhamos que há quatro programas de investigação - A, B, C e D - e que os membros do programa C estão em minoria. Suponhamos ainda que um painel de avaliação para os quatro programas é formado por uma escolha ao acaso entre as pessoas que constituem os programas. Probabilisticamente, as pessoas do programa C quase não serão representados no painel e, assim, esse painel tenderá a decidir que os programas a financiar serão os programas A, B e D. Portanto, os programas de investigação mainstream são aqueles que tendem a ser financiados em detrimento de outros minoritários. Suponhamos agora que o programa C era aquele que viria a ser bem-sucedido. Estaríamos então perante um erro de tipo 1. Gillies considera que, para se evitar esse tipo de erros, todos os programas deveriam receber algum financiamento, mesmo aqueles minoritários.

Parece-me que ao caso anterior podem ser levantadas duas objeções. Primeira, o painel de avaliação não tem de necessariamente ser composto por pessoas escolhidas ao acaso entre pessoas que constituem os quatro programas. Painéis de avaliação devem ser formados, tanto quanto possível, por pessoas que não têm qualquer ligação com os membros dos projetos de investigação a concurso. Dado o mundo globalizado, isso é cada vez mais difícil, mas ainda é possível. A segunda objeção é de que a solução de Gillies apenas parece ser válida para as ciências teóricas. Se é verdade que a investigação em ciências teóricas necessita de poucos recursos financeiros, ou seja, mesmo uma pequena "migalha" pode ser suficiente para o avanço da investigação, o mesmo não é o caso para outras ciências, como as ciências experimentais. De uma forma geral, as ciências experimentais precisam de instrumentação tecnológica. A instrumentação tecnológica é cara, e dado que a quantidade de dinheiro não é ilimitada, certos programas de investigação, inevitavelmente, não podem ser financiados. Na terceira parte do livro, Gillies restringe a sua proposta às ciências não-laboratoriais, mas, nesta parte destrutiva, essa restrição não é invocada.

A primeira parte do livro encerra-se no capítulo 5 - "Overall Judgment of RAE" - onde são retiradas as seguintes conclusões: (1) o RAE desencoraja a que se invista muito tempo em investigações das quais não surtam publicações imediatas; (2) o RAE é fortemente baseado na revisão pelos pares e isso pode ter implicações nefastas nos avanços revolucionários na ciência; (3) o RAE concentra-se na eliminação de erros de tipo 2, mas é consistente com a não eliminação de erros de tipo 1.

Uma objeção geral a essa primeira parte do livro é a seguinte. Gillies baseia-se em duas premissas: (a) "Kuhn's model of scientific development is, in my view, strongly confirmed by studies in the history of science" (p. 32); (b) se o modelo kuhniano de desenvolvimento científico é correto, então o modelo de avaliação baseado na revisão pelos pares, como o RAE, teria tido um efeito negativo na investigação do passado e, muito provavelmente, tem um efeito negativo sobre a investigação presente. Na generalidade, o livro consiste na sustentação da segunda premissa (b). Porém, a primeira premissa (a) não é incontroversa. Há outros modelos de desenvolvimento científico alternativos ao modelo kuhniano, como as reconstruções racionais de Imre Lakatos ou o racionalismo crítico de Karl Popper, que não são analisados no livro de Gillies. Assumindo outros modelos de análise, eventualmente, podemos concluir que o RAE não tenha efeitos tão negativos sobre a investigação. Por exemplo, o modelo epistemológico do desenvolvimento científico popperiano considera que a ciência é uma atividade cumulativa de conhecimento em permanente revolução. Contrariamente a Kuhn, o conhecimento científico procede de acordo com o esquema: problema inicial → teoria experimental → eliminação de erros → problemas finais. Perante um problema concreto, diferentes teorias rivais competem entre si para a sua resolução. A visão dos cientistas não é condicionada por qualquer paradigma e, portanto, a refutação de uma teoria e a sua substituição por uma outra, mais verosímil, é uma prática corrente da ciência. Comparativamente ao modelo kuhniano, e em termos teóricos, este modelo não parece implicar que a revisão pelos pares seja suscetível de ter efeitos tão nefastos nos avanços (permanentemente) revolucionários da ciência. A crítica dos pares pode ser acomodada como um elemento de racionalidade adicional no processo.

A segunda parte do livro - "Critique of the New Metrics-Based System" - é apenas constituída por um pequeno capítulo. Note-se que o novo sistema de avaliação - o REF - ainda estava numa fase embrionária, quando da edição deste livro. Gillies critica a abordagem métrica seguida no REF, defendendo que o REF tem um efeito mais negativo do que RAE sobre a investigação. Por exemplo, entre 1991 e 1995, o autor mais citado na revista Mind é Frege, que já morreu há 65 anos. Porém, Frege praticamente não foi citado enquanto vivo. Ou seja, no final do século XIX, caso o REF vigorasse na Alemanha, a performance de Frege no REF teria sido negativa. Brevemente, a crítica de Gillies ao REF segue o dictum de Einstein: "[...] not everything that can be counted counts, and not everything that counts can be counted".

A terceira parte do livro - "Proposal for a New System of Research Organisation" - começa por sintetizar três efeitos negativos do RAE no ensino. Primeiro, os departamentos estão fortemente concentrados na investigação, uma vez que, na prática, não há qualquer incentivo para um bom ensino, a não ser o brio profissional de cada um. Segundo, o RAE obriga a que os departamentos se tornem centros especializados de uma área de investigação e, como tal, a política de contratações de professores é fortemente condicionada. Um departamento esforça-se por contratar um número elevado de académicos da disciplina x, quando, para um melhor ensino, é desejável um corpo docente disciplinarmente variado, com vista aos cursos ministrados cobrirem competentemente todas as áreas. Terceiro, os académicos têm performances diferenciadas na investigação e no ensino. Antes do RAE, essas diferenciações eram informalmente ajustadas intradepartamentos, desde que dentro de limites razoáveis. Porém, o RAE acabou com esse procedimento e, dada a pressão exercida na investigação, o ensino é secundarizado.

No capítulo 8, "Why Rewarding Teaching will Improve Research", expõe-se um modelo de avaliação alternativo ao RAE e ao REF para a investigação não-laboratorial. Atualmente, os académicos apenas podem ser promovidos por intermédio das suas performances na investigação ou na administração, onde as atividades de ensino são ignoradas. Esse novo modelo propõe a introdução de um princípio de valorização curricular das atividades de ensino e um princípio de auto‑seleção, segundo o qual os académicos decidem como dividir o seu tempo pelas três atividades (investigação, ensino e administração). Porém, todos devem dedicar algum do seu tempo, quer à investigação, pelo menos a estudar a investigação recente, quer ao ensino. Alguém que só se dedicasse ao ensino perderia o contacto com os mais recentes desenvolvimentos e, como tal, isso acabaria por ter um efeito negativo no ensino ministrado. Conversamente, alguém que só se dedicasse à investigação perderia o contacto com os estudantes e a ingenuidade crítica com que estes confrontam novas ideias. Três objeções ao novo modelo são levantadas: o modelo encoraja a preguiça, conduz ao desperdício de dinheiro com incompetentes e é utópico e impraticável. Essas três objeções são sumariamente replicadas e um contraexemplo histórico é detalhado, a saber: o modelo de organização seguido no período áureo de Cambridge, entre 1897 e 1953 (desde a eletrão de J.J. Thomson até à hélice de ADN de Crick e Watson), foi um modelo de organização semelhante ao proposto por Gillies.

O capítulo 9 propõe um novo papel para a revisão pelos pares, nas publicações académicas. O sistema atual tem três grandes defeitos. Primeiro, há uma elevada probabilidade de artigos revolucionários não serem aceites para publicação. Segundo, a revisão pelos pares é uma atividade altamente dispendiosa, em virtude do tempo que os académicos têm de dispensar a ler o trabalho de outros. Terceiro, decorre muito tempo entre o momento que um artigo é escrito e é publicado e, como tal, atrasa-se o avanço da ciência. Em alternativa, e dadas as novas tecnologias, Gillies propõe que as produções académicas sejam publicadas em revistas on-line sem qualquer revisão pelos pares, desde que o investigador provasse ter um doutoramento ou duas a três publicações de acordo com regime atual de revisão por pares. Por sua vez, cada artigo seria suscetível de ser comentado por pares, estimulando-se assim o criticismo existente na tradição científica. Isso teria o efeito benéfico de desencorajar a publicar maus artigos, uma vez que isso seria publicamente criticável. Retirada a pressão para se publicar, o número de publicações tenderia a diminuir. O tempo que atualmente se perde à volta de artigos, que não lançam nenhuma luz nos problemas de cada um, tenderia também a diminuir.

À luz desse novo modelo, como seria avaliada a performance de um académico para uma promoção? Para Gillies, a avaliação do ensino é menos problemática que no caso da avaliação da investigação. A quantidade de ensino é facilmente determinável pelo número de horas, alunos e disciplinas ministradas. Por sua vez, a qualidade do ensino poderia avaliada através dos resultados obtidos pelos alunos nos exames, pelo feedback dos alunos, pela introdução de novas técnicas de ensino, ensino de novas disciplinas etc. Relativamente à investigação, Gillies sugere que deve ser criado um júri externo ao departamento que avalia o currículo dos académicos que desejem ser promovidos. Embora possa acontecer que o trabalho do académico não seja reconhecido pelo júri como valioso, o académico manterá o seu emprego e tempo para a sua investigação, contrariamente ao que acontece no modelo atual. Nesse novo modelo, a avaliação das atividades de administração dos académicos seria feita nos moldes do modelo atual.

Nos dois últimos capítulos, criticam-se as políticas administrativas e de gestão académica e propõem-se alternativas com vista à melhoria da investigação. No penúltimo capítulo, defende-se que as tarefas de administração quanto menos tempo ocuparem, melhor são. Gillies detalha um exemplo de como as candidaturas para projetos de licenças sabáticas de investigação se tornaram num processo incomparavelmente mais burocrático e com regras que tendem a piorar a qualidade da investigação. Finalmente, no último capítulo, mostra-se que é uma falácia considerar que os métodos de gestão empresarial para o aumento da eficiência na indústria, como os supermercados, sejam métodos igualmente válidos para o aumento da eficiência na investigação. Parece-me que essa falácia é o elemento-chave para compreender as transformações que o mundo académico tem vindo a sofrer. Até há bem pouco tempo, se se queria saber alguma coisa sobre as ciências em geral, como as suas ontologias, metodologias e justificações, bem como os contextos das suas descobertas, consultava‑se a História e Filosofia das Ciências. O conhecimento obtido certamente não era um conhecimento satisfatório, mas era tido como o melhor conhecimento disponível sobre o assunto. Atualmente, essa falácia tem conduzido à ideia de que outras áreas do conhecimento dão respostas mais satisfatórias, como a Economia ou a Gestão.

A ideia geral que se retira do livro de Gillies é de que o mundo académico é cada vez mais um mundo com menos liberdade, e isso tem tido um efeito negativo, quer na investigação, quer no ensino. A ser seguido esse caminho, daqui a 30 anos, quando olharmos para trás, veremos um mundo académico fortemente condicionado por sistemas de avaliação, que conduziram à produção de pilhas e pilhas de artigos científicos. Atualmente, publicam‑se cerca de 1,3 milhões de artigos/ano em cerca de 25000 revistas. Porém, se a análise histórica de Gillies for correta, por indução, esses artigos não acrescentarão nada de muito significativo ou revolucionário e perpetuarão um conservadorismo científico.

Este é um livro cheio de contraexemplos à organização do mundo académico contemporâneo. Propõe um modelo alternativo viável, inspirado num modelo que organizou frutuosamente a Academia no passado, e que considera as vantagens das ferramentas tecnológicas do mundo globalizado em que vivemos. A Organização Social da Investigação Científica é uma área da História e Filosofia das Ciências que começa agora a olhar para os efeitos que as políticas científicas recentes têm tido sobre a Academia. Este é um livro pioneiro sobre o assunto. Os académicos em geral podem encontrar aqui argumentos claros e cientificamente fundamentados para as suas intuições e discussões.

Recebido em: 13.09.2011

Aprovado em: 18.10.2011

Datas de Publicação

• Publicação nesta coleção
  11 Maio 2012
• Data do Fascículo
  Abr 2012