Medir ou classificar a produção científica de pesquisadores?

DEBATE DEBATE

Medir ou classificar a produção científica de pesquisadores?

Rita Barradas Barata

Faculdade de Ciências Médicas da Santa Casa de São Paulo, São Paulo, Brasil. [e-mail]

A questão de como avaliar o desempenho de pesquisadores tem ocupado espaço crescente na reflexão e nas discussões de agências de fomento, editores científicos, gestores de política científica e dos próprios pesquisadores em todo o mundo.

Aparentemente há um consenso na comunidade de que se deva adotar algum tipo de avaliação. Porém, o consenso parece terminar aí. A forma de realizar essa avaliação apresenta inúmeras controvérsias como bem apontado no artigo ora comentado.

Para início de conversa creio ser importante estabelecer algumas precisões. Embora seja frequente a crítica aos indicadores bibliométricos por serem médias e, portanto, não servirem para representar distribuições tão assimétricas, a rigor, a maioria deles não pode ser definida como tal. O fator de impacto, por exemplo, embora seja descrito como a média de citações recebidas por um periódico, matematicamente falando é uma razão, visto que relaciona duas quantidades distintas: no numerador, o número de citações recebidas em um determinado ano e, no denominador, o número de artigos ou matérias citáveis publicadas nos últimos dois anos. O índice h tão-pouco é uma média, correspondendo a uma posição na qual dois rankings se encontram: o número acumulado de artigos publicados por um autor e o número de citações recebidas por estes artigos. Do mesmo modo, se considerarmos artigos individualizados ao invés de periódicos não podemos falar em fator de impacto, mas sim no número de citações recebidas por um determinado artigo em um certo período de tempo. Portanto, a questão não está nas médias nem na forma assimétrica das distribuições de interesse.

Outra questão que me parece mais relevante é a permanente confusão entre o significado dessas medidas e os usos que delas se tem feito nos mais diferentes contextos e para as mais diversas finalidades.

Realmente, nenhum dos proponentes desses índices considera que eles sejam capazes de mensurar a qualidade do trabalho que está sendo feito. O que se espera indicar por meio dessas medidas é a importância ou a possibilidade de um artigo ou periódico influenciar a produção de conhecimentos em determinada área.

Não me parece que seja possível afirmar que a qualidade da Matemática como ciência é inferior à qualidade da Imunologia porque os fatores de impacto de periódicos ou o número de citações por artigo seja muito menor na primeira área.

Há uma nítida confusão entre medidas indiretas de circulação e prestígio/influência e qualidade que não me parece autorizada sob nenhum aspecto.

Para tornar ainda mais complexa a (má)utilização dos indicadores bibliométricos há uma série de aspectos que costumam ser ignorados por aqueles que os utilizam que, no entanto, modificam amplamente a interpretação dos resultados. Em relação ao fator de impacto, por exemplo, há que se considerar a amplitude das bases bibliométricas consideradas em seu cálculo e quanto da produção científica das diferentes áreas de conhecimento está nelas representada; língua, tradição de citação e de autoria em diferentes comunidades, e assim por diante.

Em artigo recente, a ser publicado pela Revista de Saúde Pública, Barreto et al. ¹ tiveram a oportunidade de demonstrar que o índice h de pesquisadores de diferentes áreas das ciências da saúde sofrem o efeito direto da base de citações consideradas em seu cálculo. Para periódicos, todos sabemos que o índice h é fortemente influenciado pelo tempo de existência e indexação nas bases correspondentes.

Diante de tantas limitações, seria o caso de se perguntar por que tais medidas continuam a ser amplamente utilizadas para muitos propósitos, em todas as partes do mundo.

Aqui também muitas respostas seriam possíveis. Desde as que enfatizariam as escolhas ideológicas até aquelas que destacariam a questão mais prosaica de que eles são usados porque estão disponíveis.

Poderíamos nos perguntar por que esses índices são tão atrativos. Seria apenas o fetiche dos números e a ideia de objetividade que eles carregam? Em que medida grupos de avaliadores se sentiriam mais confortáveis e, até, relativamente eximidos de emitir juízos de valor, transferindo aos índices e seus rankings a tarefa espinhosa de escolher/deliberar sobre a avaliação de pesquisadores, institutos ou instituições?

Nas condições em que se realizam as avaliações e os julgamentos de editais, me parece plenamente compreensível que tais medidas, ainda que tão problemáticas, encontrem seu lugar.

Será que a substituição dessas formas tão imperfeitas de mensuração por classificações qualitativas é a solução?

Creio que a chamada avaliação qualitativa tem também suas próprias dificuldades e inúmeros desafios.

Para ficar apenas no âmbito da avaliação de pesquisadores individuais, embora pareça tentadora a ideia de que o próprio autor determine quais são as suas produções mais significativas e as ofereça à avaliação por pares, na prática não parece tão simples.

Todos os editores científicos e os coordenadores de processos de avaliação de projetos para o fomento têm enfrentado enormes dificuldades com a revisão por pares. Cada vez torna-se mais difícil conseguir avaliadores e avaliações bem feitas que possam ser realmente úteis para as comissões encarregadas da aprovação ou priorização das propostas.

Quando as avaliações envolvem projetos de diferentes áreas e subáreas como é possível hierarquizar as propostas? Como avaliar projetos de áreas ou subáreas que se encontram em diferentes estágios de desenvolvimento? Será que uma produção considerada de excelência em uma determinada área pode ser comparada com outra, avaliada em uma área distinta?

Em campos como a Saúde Coletiva, com uma enormidade de objetos, abordagens, correntes teóricas, temáticas, posicionamentos ideológicos, parece extremamente desafiador a proposição de avaliações classificatórias.

Como garantir que os comitês julgadores sejam adequadamente constituídos para dar conta dessa diversidade sem cometer grandes injustiças?

Enfim, todas essas reflexões foram aqui apresentadas apenas no intuito de problematizar uma questão que, me parece, está muito longe de ser adequadamente equacionada.

Nós todos que nos interessamos pela ciência como objeto de investigação temos muito com o que nos ocuparmos. Sem contar com o enorme desafio que significa tentar avaliar o real impacto da ciência e de seus produtos na melhoria das condições concretas de existência da humanidade.

Debate sobre o artigo de Camargo Jr.

Debate on the paper by Camargo Jr.

Debate acerca del artículo de Camargo Jr.

• 1. Barreto ML, Aragão E, Souza LEPF, Santana T, Barata RB. Diferenças entre as medidas do índice-h geradas em distintas fontes bibliográficas e engenhos de busca. Rev Saúde Pública; no prelo.

Datas de Publicação

• Publicação nesta coleção
  28 Maio 2013
• Data do Fascículo
  Set 2013