Como avaliar as ciências com uma deficiente ciência da avaliação científica?

DEBATE DEBATE

Como avaliar as ciências com uma deficiente ciência da avaliação científica?

Mauricio L. Barreto

Instituto de Saúde Coletiva, Universidade Federal da Bahia, Salvador, Brasil. [e-mail]

Não existem muitas dúvidas sobre a importância da investigação cientifica como uma parte essencial da atividade humana e da atividade acadêmica, em especial. Os avanços do conhecimento e as inovações que gera são essenciais para nos fornecer o entendimento do mundo em que vivemos e para criar novas tecnologias que irão compor o modo de viver moderno. Entretanto, lado a lado com o grandioso e inequívoco espetáculo da ciência existe um cotidiano dos seus praticantes (pesquisadores) que inclui um ciclo complexo de atividades nem sempre fácil e, certamente, muito menos grandioso. No mundo acadêmico, esse ciclo passa pelo desenvolvimento de protocolos de investigação, busca dos meios necessários para implementá-lo, condução das reflexões/observações/experimentos necessários à sua concretização e por fim a redação e publicação, se possível em veículos qualificados, dos resultados encontrados. Um problema é que grande parte dessas atividades permanece em uma semiobscuridade, sendo na maioria das vezes apenas conhecida por um restrito número de investigadores do mesmo campo temático. Em outras palavras, grande parte dessas atividades que tanto mobiliza o mundo acadêmico é invisível para a sociedade e para os cidadãos que não são membros das comunidades científicas e, que, em última instância, as financiam. Para que sejam selecionados os indivíduos e instituições melhor qualificados e que serão selecionados e aquinhoados com os meios para executar os seus projetos, desenvolveu-se complexos sistemas de avaliação individual ou institucional de onde se pretende decantar a boa da má ciência e os bons dos não tão bons pesquisadores. Da mesma forma, a publicação dos resultados da pesquisa se dá por processos competitivos e de "revisão de pares", o que torna os mais aclamados veículos de divulgação difícil de serem acessados pela grande massa de investigadores.

Entre outras, duas características são peculiares da atividade científica e que serão importantes para os modelos de avaliação que vêm sendo desenvolvidos. Primeiro, a atividade científica para receber a devida apreciação precisa estar em meio escrito, na forma de artigos, teses, livros etc., e se possível publicada em meios de divulgação acessíveis, após a devida revisão por pares. A segunda, é que grande parte da atividade científica se dá por intermédio de processos cumulativos, em que cada nova investigação fundamenta-se em teorias, métodos ou resultados de investigações anteriores. Assim, é parte integrante do labor científico revisar o que foi desenvolvido anteriormente no campo de investigação pertinente e, sempre que possível, citar as fontes bibliográficas que inspiraram e fundamentaram cada novo projeto. Esse modus operandi fez surgir duas tecnologias importantes e complementares, que se constituirão na base dos modernos sistemas de avaliação científica: primeiro aparecem os sistemas de indexação bibliográfica que organizam as publicações e, mais importante, permite que os tornem mais facilmente localizáveis e recuperáveis quando se deseja conhecer, por exemplo,

o que foi publicado em um determinado campo de conhecimento, um determinado tema ou por um determinado autor. Posteriormente, surge algo engenhoso e complementar a essas bases que permite a recuperação das citações de cada nova publicação científica indexada, tornando possível que venha a se conhecer o número de vezes que uma determinada publicação científica foi citada em outras publicações posteriores. É importante destacar que essa tecnologia nasceu com outros propósitos que não simplesmente avaliar a atividade científica. De acordo com o seu criador, isso permitiria ao investigador acelerar o seu processo de pesquisa, avaliar o impacto do seu trabalho, mostrar as tendências científicas e traçar a história do pensamento científico moderno ¹.

Em sequência são iniciados os processos de avaliação sistemática da atividade científica e acadêmica. Os financiadores (governamentais e não governamentais) e as instituições, aonde se realizam as atividades científicas e que empregam os pesquisadores, desenvolvem e implementam estratégias para avaliar essas atividades. Esse processo, que ocorre nas mais diferentes partes do mundo, foi intensificado na década de 1990. Todos reconhecem as dificuldades de se medir uma atividade tão complexa como a atividade científica, porem, como estava embutida na proposta a ideia de ordenamento e classificação, o mais simples seria a adoção de métricas que pudessem ser universais e comuns aos diversos campos científicos, ou seja, optou-se por medir o que fosse mensurável em lugar daquilo que fosse válido ². Assim, número de publicações, número de citações, fator de impacto das revistas científicas, índice-h dos pesquisadores ou das revistas, etc. são métricas que irão sendo avidamente assimiladas por tais sistemas de avaliação, levando ao que alguns denominaram do quantified control ³ das atividades científicas e acadêmicas. Como vimos (e, claro, todos que delas se utilizaram ou utilizam sabiam), todas essas métricas são puramente bibliométricas, ou seja, apenas medem as publicações ou suas citações, as quais enquanto relevantes como medidas de processo não mensuram nenhum impacto das ciências sobre o mundo real. Em alguns campos da atividade científica não se espera produtos outros que não sejam as publicações e as suas citações, porém de outra parte das atividades científicas e mesmo do projeto científico geral espera-se que gere benefícios palpáveis sobre diferentes aspectos relacionados com a vida e com o bem-estar das sociedades.

Como dissemos, escrever e citar são partes essenciais da atividade científica. A ciência com seu projeto de conhecer e transformar o mundo em que vivemos e eventualmente fonte de glória de alguns, passa a ter a sua avaliação quotidiana focada em algumas etapas do seu modus operandi – escrever e citar – e de métricas relativamente simplórias e metodologicamente enviesadas dele derivadas. Por exemplo, em uma revisão recente da história do Fator de Impacto das revistas científicas, Archambault & Larivière ⁴ (p. 635) mostram claramente que o seu desenvolvimento se deu em etapas arbitrárias e sem vínculo com muitos dos seus usos posteriores, e que o resultante não poderia deixar de ser "a faulty method, widely open to manipulation by journal editors and misuse by uncritical parties". Vanclay ⁵ (p. 230) é mais radical e após afirmar que o Fator de Impacto da Thomson Reuters (TRIF) sofre de imensas fragilidades, propõe: "that a major overhaul is warranted, and journal editors and other users should cease using the TRIF until Thomson Reuters has addressed these weaknesses".

No momento em que o foco dos gestores científicos passa para o desenvolvimento tecnológico e a inovação, a questão mais importante desta história e para a qual não temos respostas convincentes seria a busca de explicação para as razões do porque os sistemas de avaliação de uma das mais sofisticadas atividades humanas, qual seja a investigação científica, conformam-se em aceitar que métricas puramente bibliométricas e com extremas limitações, incluindo insuficiências metodológicas e de validação, sejam a essência destes sistemas? Como foi possível os gestores científicos e acadêmicos terem aceitado tão facilmente o uso de instrumentos que medem apenas uma etapa da atividade científica (bibliométrica) que enquanto necessária para a realização científica é apenas uma parte do projeto científico mais geral?

Porém, o mais sério é que ao aceitarmos que as avaliações são fundamentais para a definição dos rumos da atividade científica, constatamos que existem poucas alternativas às estratégias avaliativas existentes restritas aos índices bibliométricos, e que a ciência que daria suporte à avaliação da ciência está ainda nos primórdios do seu desenvolvimento. A ideia de que a avaliação das ciências do Modo 2 (em contraste com as do Modo 1) deveria comportar elementos não bibliométricos surgiu há mais de uma década ⁶, porém tem avançado muito pouco.

Apesar de tentador, tenho sérias dúvidas em achar que a solução para a mesma estaria na "implementação de uma sistemática qualitativa". Acho que temos um desafio bem maior do que apenas implementarmos uma revisão de pares em larga escala. Faz-se necessário o desenvolvimento científico da ciência da avaliação científica e, além do mais, devemos considerar que os modelos de avaliação têm de ser aplicados em contextos concretos e, no nosso caso, isto não pode acontecer sem entendermos as bases sobre as quais configuraram-se as relações de poder no interior e entre as comunidades científicas no nosso país ⁷.

Debate sobre o artigo de Camargo Jr.

Debate on the paper by Camargo Jr.

Debate acerca del artículo de Camargo Jr.

• 1. Garfield E. Citation indexes for science: a new dimension in documentation through association of ideas. Science 1955; 122:108-11.
• 2. Lindsey D. Using citation counts as a measure of quality in science measuring what's measurable rather than what's valid. Scientometrics 1989; 15:189-203.
• 3. Burrows R. Living with the h-index? Metric assemblages in the contemporary academy. Sociological Review 2012; 60:355-72.
• 4. Archambault E, Larivière V. History of the journal impact factor: contingencies and consequences. Scientometrics 2009; 79:635-49.
• 5. Vanclay JK. Impact factor: outdated artefact or stepping-stone to journal certification? Scientometrics 2012; 92:211-38.
• ⁶
  Royal Netherlands Academy of Arts and Sciences. The societal impact of applied health research – towards a quality assessment system. Amsterdam: Royal Netherlands Academy of Arts and Sciences; 2002.
• 7. Barata RB, Portela LE, Aragão E, Barreto ML. The configuration of the Brazilian scientific field. An Acad Bras Ciênc; no prelo.

Datas de Publicação

• Publicação nesta coleção
  28 Maio 2013
• Data do Fascículo
  Set 2013