COMO AVALIAR PRODUÇÃO CIENTÍFICA

Antunes, Alberto Azoubel

doi:10.1590/0100-69912015S01006

Resumos

Objetivo:

Realizar análise crítica dos dois principais índices bibliométricos utilizados pela ciência: o fator de impacto e o índice H.

Método:

Foi realizada pesquisa no Pubmed utilizando as palavras-chave: impact factor, bibliometrics, H index.

Resultados:

As citações dos artigos tendem a seguir uma curva em que os artigos publicados em determinado ano aumentam agudamente para um pico que ocorre entre dois e seis anos após sua publicação. A partir deste pico, as citações declinam ao longo do tempo.

Conclusão:

A análise do mérito científico não deve ser baseada em apenas uma medida bibliométrica, mas em associação de medidas. O FI e o índice H se baseiam fundamentalmente no número de citações dos artigos científicos, e este parâmetro, apesar de importante, não deve ser utilizado sozinho e tampouco supervalorizado na avaliação do mérito docente.

Fator de impacto; Bibliometria; Índice H

Objective:

To conduct a critical analysis of the two main bibliometric indexes used by science: the impact factor and the H index.

Method:

Research was conducted on PubMed using the keywords: impact factor, Bibliometrics and H index.

Results:

The citations of articles tend to follow a curve in which the articles published in a given year increase sharply to a peak occurring between two and six years after its publication. From this peak citations decline over time.

Conclusion:

The analysis of the scientific merit should not be based on only in bibliometric measure, but in the association of various parameters. The impact factor and the H index is mainly based on the number of citations of scientific papers, and this parameter, although important, should not be used alone, nor overvalued in the evaluation of teaching merit.

Impact factor; Bibliometrics; H index

INTRODUÇÃO

A atuação docente em pesquisa envolve três etapas fundamentais: a produção do conhecimento, sua difusão adequada, e finalmente sua aplicação. A avaliação quantitativa e qualitativa deste processo é de grande importância, pois possibilita identificar os centros mais produtivos e os que precisam se reformular para melhorar sua produção. A ciência que se dedica a esta avaliação é a bibliometria. Ela se constitui em uma técnica quantitativa e estatística que permite medir índices de produção e disseminação do conhecimento, acompanhar o desenvolvimento de diversas áreas científicas e os padrões de autoria, publicação e uso dos resultados de investigação.

O objetivo do presente trabalho foi realizar análise crítica dos dois principais índices bibliométricos utilizados pela ciência: o fator de impacto (FI) e o índice H.

MÉTODOS

Realizou-se pesquisa no Pubmed utilizando as seguintes palavras-chave: impact factor, bibliometrics, H index.

RESULTADOS

O FI é medida que reflete o número médio de citações de artigos científicos publicados em determinado periódico. É empregado frequentemente para avaliar a importância de um dado periódico em sua área, sendo que aqueles com maior FI são considerados mais importantes do que aqueles com menor. Este fator foi criado por Eugene Garfield¹1. Garfield E. The history and meaning of the journal impact factor. JAMA. 2006;295:90-93., o fundador do Institute for Scientific Information (ISI), hoje parte da Thomson Reuters Corporation. Desde 1972 os FI são calculados anualmente para os periódicos indexados ao ISI e depois publicados no Journal of Citation Reports (JCR), também da Thomson Reuters.

É calculado dividindo-se o número de citações que uma revista recebe para artigos publicados nos dois anos anteriores ao ano do cálculo pelo número de artigos publicados nos mesmos anos. Assim, se considerar-se A=número de vezes em que os artigos publicados em 2007 e 2008 por determinado periódico foram citados por periódicos indexados durante 2009, e B=número total de "itens citáveis" publicados em 2007 e 2008 deste mesmo periódico (geralmente artigos, revisões, resumos de congressos ou notas, não sendo computados editoriais ou cartas ao editor), pode-se dizer que o FI de 2009=A/B.

Os fatores de impacto de 2009 são publicados em 2010 e, para tal, eles não podem ser calculados até que todas as publicações de 2009 tenham sido recebidas pela agência de indexação. Novos periódicos recebem seu respectivo FI apenas após dois anos de indexação. A contagem dos FI de anuários e publicações irregulares geralmente é afetada. Esse fator refere-se a um período específico de tempo; logo é possível calculá-lo para qualquer período desejado, sendo que o JCR inclui FI de cinco anos. Também mostra listagem de periódicos por FI e, se desejado, por área ou disciplina. Entre as revistas médicas com grande FI destacam-se New England Journal of Medicine (FI: 54.420), Nature (FI: 42.351), The Lancet (FI: 39.207), Science (FI: 31.477), entre outras.

As citações de artigos publicados em determinado ano aumentam agudamente para um pico que ocorre entre 2 e 6 anos após sua publicação. A partir deste pico, as citações declinam ao longo do tempo.

A curva das citações de qualquer periódico pode ser descrita pelo tamanho relativo dela (em termos de área sob a linha), na medida em que o pico da curva está perto da origem, e a taxa de declínio da curva. Essas características formam a base do FI, índice de imediação e meia-vida da citação. Dessas três medidas, o fator de impacto é o mais comumente usado e também o mais incompreendido.

O índice H por sua vez, se refere ao maior número "h" de artigos científicos de um pesquisador que têm pelo menos o mesmo número "h" de citações cada um. Por exemplo: um pesquisador com índice H 30 é aquele que publicou pelo menos 30 artigos científicos que foram citados em pelo menos 30 outros trabalhos. A ponderação exclui trabalhos pouco citados. Também desconsidera artigos altamente citados se forem exemplos isolados. É indicador proposto pelo físico Jorge Hirsch, em 2005, para mensurar ao mesmo tempo a produtividade e o impacto do trabalho de um pesquisador, com base nos seus artigos mais citados. Sua aplicação se disseminou e o conceito também é aplicado para medir a produtividade e o impacto de grupos de pesquisa, de universidades, de periódicos científicos e até de nações.

DISCUSSÃO

Nas últimas duas décadas o FI passou a receber um valor excessivo por parte da comunidade científica. Esta métrica deixou de ser apenas uma medida da influência de citações de um jornal para representar o valor acadêmico do trabalho publicado naquele jornal. Passou ainda a ser utilizado para avaliar pesquisadores individualmente, instituições, departamentos e até países²2. McVeigh ME, Mann SJ. Journal impact factor denominator: Defining citable items. JAMA. 2009;302:1107-1109..

O valor do FI no entanto, pode ser influenciado por fatores sociológicos e estatísticos. Entre os sociológicos destacam-se: a área temática da revista, o tipo de revista, e o número médio de autores por artigo (que varia de acordo à área temática); entre os fatores estatísticos destacam-se: o tamanho da revista (número de artigos/ano) e o tempo de medida das citações³3. Mabe M and Amin M. Impact factors: Use and Abuse. Perspectives in publishing 2007..

Em relação à área temática, as áreas básicas e fundamentais tendem a possuir FI médios maiores que áreas especializadas ou aplicadas. A variação chega a ser tamanha que o melhor periódico de uma área pode ter FI menor que o pior periódico de outra área. A influência do número de autores também pode ser marcante, pois periódicos que possuem apenas três ou menos autores por artigo tendem a tem FI menor que um. Uma das razões que pode explicar este fenômeno está no fato de que maior número de autores conhecidos pela comunidade científica aumenta as chances de serem citados pelos seus pares, que acabam tomando conhecimento do artigo em questão. O tipo de revista pode influenciar as citações pelos tipos de artigo que ela publica. Periódicos com maior número de artigos de revisão tendem a ter maior FI, visto que estes artigos são mais lidos pela comunidade científica em geral.

Em relação aos fatores estatísticos destacam-se o tamanho dos periódicos. Uma análise de 4000 periódicos revelou que a variação do FI dos que publicam mais de 150 artigos por ano é menor que 20%. Por outro lado, a variação do FI dos periódicos que publicam menos de 35 artigos por ano costuma ser maior que 40%. O tempo (ou janela) de medida das citações influencia as taxas de variação do FI. Periódicos avaliados em uma janela de cinco anos costumam ter menor variação que os avaliados em apenas dois anos. Diversas outras características podem influenciar o FI (Figura 1).

FIGURA 1
- Limitações do FI

Em geral, o que é levado em conta no numerador nem sempre está no denominador. Este fato costuma aumentar o FI médio dos periódicos; o índice de citação dos artigos é que o determina, e não o contrário; observa-se baixa correlação do número de citações dos artigos individuais com o FI do periódico; o indicador privilegia áreas que têm vida média de citações curtas (ciências da vida e ciências exatas) e desfavorece outras; como referido, artigos de revisão recebem mais citações do que artigos originais e alguns editores tendem a privilegiar este tipo de artigo em seus periódicos; há claro predomínio de periódicos em língua inglesa na base, apesar dos esforços recentes de impulsionar periódicos que retratem a ciência local de algumas regiões por meio de sua inserção no JCR.

O uso isolado do FI na avaliação acadêmica pode ser altamente destrutivo, segundo os signatários da DORA - San Francisco Declaration on Research Assessment - documento endossado por mais de 150 cientistas e 75 organizações científicas em dezembro de 2012. Segundo ela, esta prática pode impedir periódicos de publicar artigos de áreas ou assuntos menos citados, além de sobrecarregar periódicos de alto impacto com submissões muitas vezes inadequadas. Porém, a consequência mais nefasta para a ciência é impedir o progresso natural da pesquisa, que, na busca por novas abordagens, pode levar a períodos relativamente longos sem gerar publicações. Os pesquisadores devem poder "usufruir" deste período sem publicações e citações sem ser penalizados por isso. O que também pode ocorrer em algumas áreas é a aceleração de um processo de amadurecimento, com pesquisadores tentando publicar cada vez mais em revistas de alto impacto. Em outros casos, contudo, não se trata de uma evolução natural. Segundo Rogério Mugnaini, professor da Escola de Artes, Ciências e Humanidades da USP, não dá para esperar que a sociologia venha a apresentar processo de internacionalização igual ao da física. Paralelamente, é necessário haver mecanismos que permitam olhar uma revista nacional, publicada em português, e dizer: essa revista é boa. Não serão a citação e o índice H que darão esse parâmetro⁴4. Os limites do índice H. Pesquisa FAPESP; maio de 2013; 35-39..

Deveria causar surpresa o fato de que o uso de um indicador torne elegível um ou outro autor pelo fato de que tenha publicado em um periódico de mais alto FI, deixando a impressão de que é mais importante saber onde ele publicou do que ler seu trabalho. DORA realça a necessidade de avaliar a pesquisa pelos seus próprios méritos e não pelo periódico em que é publicada.

Várias críticas têm sido feitas com relação ao uso do FI. Além do debate sobre a real utilidade da métrica das citações, a maioria das críticas é relacionada com a própria validade do FI (inclui-se aqui a autocitação), sua possível manipulação e seu uso inadequado. Outro aspecto criticado é o fato dos periódicos que publicam apenas artigos de revisão ou artigos originais e de revisão terem maior FI do que os periódicos que publicam apenas artigos originais. Finalmente, fatores como o número de periódicos por área de conhecimento, a variação do número de referências por artigo em cada área, ou o regionalismo de algumas áreas e periódicos devem ser discutidos. Logo, diversos fatores devem ser considerados ao se interpretar o valor do FI de um dado periódico e utilizá-los em avaliações de cientistas e instituições.

Em relação ao índice H, pode-se dizer que suas principais vantagens são: 1) pode ser facilmente obtido por qualquer pessoa com acesso às bases de dados, como a Web of Science, e é fácil de compreender; 2) permite caracterizar a produtividade científica de um pesquisador com objetividade, principalmente em áreas em que há cultura consolidada de publicação em revistas indexadas, e pode ter utilidade na tomada de decisões sobre promoções, alocação de verbas e atribuição de prêmios; 3) consegue combinar quantidade e impacto da pesquisa em um único indicador; 4) tem desempenho melhor do que o de outros indicadores isolados, tais como o FI, número de artigos, número de citações, citações por artigo e número de artigos altamente citados, para avaliar a produtividade científica do pesquisador.

Entre suas principais desvantagens, destacam-se: 1) não serve para comparar pesquisadores de disciplinas diferentes, pois o volume de citações varia de acordo com o tamanho de cada comunidade de pesquisadores; 2) também pode ser manipulado por meio de autocitações; 3) dá a livros o mesmo peso dos artigos, tornando complicado comparar pesquisadores de áreas em que há a cultura de publicar os resultados de pesquisa em livros, como as humanidades; 4) não considera o contexto das citações, não faz distinção entre artigo feito por um pesquisador ou um pequeno grupo de colaboradores e artigo com centenas de autores, cuja participação individual é difícil de avaliar; 5) o impacto de uma publicação não se mede apenas por citações, mas também por muitas outras coisas, como sua contribuição para inovações tecnológicas ou para a formulação de políticas públicas, por exemplo.

Finalmente, notam-se outras inconsistências quando se avalia o índice H. O italiano Mauro Degli Esposti, professor da Universidade de Manchester, no Reino Unido, compilou recentemente uma lista de pesquisadores de todas as áreas com índice H acima de 100, baseado nos dados do Google Acadêmico. Em seu ranking, com quase 200 nomes, aparecem pouquíssimos pesquisadores de ciências humanas ou sociais aplicadas, caso, por exemplo, do Nobel de Economia Joseph Stiglitz (índice H 130) e do linguista Noam Chomsky (índice H 123), e predominância nos estratos mais altos de cientistas dos campos da medicina e da bioquímica; ademais, não há correlação direta entre vencedores do Nobel e o topo na lista. Entre os 30 primeiros, há apenas quatro vencedores do Nobel e um ganhador da Medalha Fields, principal honraria dos jovens matemáticos.

CONCLUSÕES