Uso do Fator de impacto e do índice H para avaliar pesquisadores e publicações

ARTIGO ESPECIAL

Uso do Fator de impacto e do índice H para avaliar pesquisadores e publicações

Petronio Generoso Thomaz; Renato Samy Assad; Luiz Felipe P. Moreira

Instituto do Coração HCFMUSP - São Paulo, SP - Brasil

^{Correspondência}

Palavras-chave: Fator de impacto, índice H, pesquisadores, estatísticas, publicações científicas e técnicas.

Introdução

Com a crescente demanda de insumos para financiamento de pesquisas científicas, tornou-se necessária a criação de mecanismos de avaliação da qualidade acadêmico-científica, como forma de prestigiar instituições e indivíduos capazes de produzirem pesquisas de ponta, garantindo, assim, um investimento profícuo das agências de fomento à pesquisa¹. Nesse novo cenário, a avaliação tradicional por pares apresenta deficiências inerentes aos aspectos subjetivos e corporativistas da avaliação da produção acadêmica. Índices qualitativos e quantitativos de avaliação devem ser somados a ela, sendo vistos por muitos como mais reprodutíveis e menos sujeitos a vieses pessoais². O número de publicações, das citações e da média de citações por trabalho publicado, tomados isoladamente, são índices bibliométricos tradicionais que apresentam deficiências, pois não retratam a informação combinada dos trabalhos publicados com as respectivas citações³. A tradicional avaliação do número de trabalhos publicados, inicialmente amplamente aceita e utilizada, deixa de ser suficiente como forma de avaliação da pujança científica do pesquisador. A qualidade das publicações passa a ser vista como fator diferencial. Assim, ganha destaque a avaliação do interesse despertado pelo trabalho ou linha de pesquisa dentro da comunidade científica, fator esse que reflete no número de citações feitas a um determinado trabalho.

A avaliação da qualidade dos periódicos, utilizados como meio de divulgação da pesquisa cientifica, vem sendo empregada em nosso meio como uma das formas de análise dos programas de pós-graduação, emanando a conhecida lista Qualis da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES). Qualis é o conjunto de procedimentos concebido para atender às necessidades específicas do sistema de avaliação, que disponibiliza uma lista com a classificação dos veículos utilizados pelos programas de pós-graduação, para a divulgação da produção. O Qualis afere a qualidade dos artigos e de outros tipos de produção, a partir da análise da qualidade dos veículos de divulgação, ou seja, periódicos científicos e anais de eventos. Os veículos de divulgação da produção intelectual dos programas de pós-graduação stricto sensu (mestrado e doutorado) são classificados em A1, A2, B1, B2, B3, B4, B5 e C, a partir de valores de corte do fator de impacto do periódico⁴.

Descrito em 2005 por Jorge E. Hirsch, como uma ferramenta para determinar a qualidade relativa dos trabalhos de físicos teóricos, o Índice H passou a ser muito utilizado no meio científico, como forma de mensurar a produtividade e o impacto do pesquisador, sendo, inclusive, incorporado à Plataforma Lattes do Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq)⁵. Neste artigo, discutimos o fator de impacto como forma de avaliação dos periódicos científicos e o Índice H como forma de avaliação do pesquisador. Outros índices bibliométricos não serão alvo deste texto, mas cabe salientar que apenas o fator de impacto e o Índice H isoladamente podem não ser suficientes para cumprir a tarefa de avaliar periódicos, artigos e autores.

Fator de impacto

Proposto por Eugene Garfield, em 1955⁶, o Fator de Impacto (FI) começou a ser utilizado como instrumento de avaliação da qualidade das publicações a partir dos anos sessenta, tendo sido usado como critério de seleção dos periódicos a serem indexados pelo Science Citation Index (SCI). Desde então, o FI firmou-se como meio de avaliação dos periódicos nas mais variadas instâncias. É calculado anualmente pelo Institute for Scientific Information/Thompson Scientific Reuters para as revistas indexadas em sua base de dados e é publicado pelo Journal Citations Reports (JCR)⁷.

Hoje, todo autor considera o valor do FI para escolher o periódico que possa dar maior visibilidade ao trabalho. Os bibliotecários veem o FI como um parâmetro de seleção dos títulos de maior interesse científico e que, portanto, deverão compor o acervo das instituições. Paralelamente, os editores acompanham atentos os FI dos periódicos, conscientes da importância desse índice como fator de influência na captação de recursos financeiros e na atração de bons trabalhos a serem publicados. Nas agências de fomento, os responsáveis pela elaboração das políticas científicas também utilizam esse índice para selecionar pesquisadores e instituições de maior mérito, que melhor atenderiam às demandas das instituições.

Para o cálculo do FI de um determinado ano, leva-se em consideração o número de citações recebidas naquele ano pelos artigos publicados pelo periódico nos dois anos precedentes, dividido pelo número de artigos publicados pelo periódico no mesmo período (Tabela 1)⁷.

Portanto, o fator de impacto é eficiente em avaliar a qualidade de um periódico, não sendo, porém, útil na análise da qualidade científica de um artigo isolado, de um pesquisador ou de uma instituição^8-10.

Variáveis que podem alterar o cálculo do FI

Para o cálculo do FI do JCR, são considerados apenas artigos originais e artigos de revisão. Cartas ao editor ou editoriais não entram no denominador do cálculo. Por outro lado, eles podem ser citados; portanto, são considerados no numerador do cálculo do FI. Revistas como a Nature ou Science, que publicam grande número de artigos não estritamente científicos, podem ter o FI insuflado por esse viés¹¹.

Outro viés que influencia o cálculo do fator de impacto está relacionado às diferentes áreas do conhecimento ou até mesmo subáreas. O número de referências citadas por artigo (densidade das citações) pode ser bastante diferente, como, por exemplo, artigos sobre ciências exatas, que têm menor densidade de citações que aqueles ligados às ciências da saúde. Isso explica em parte por que os FI dos periódicos de ciências da saúde são, em média, muito maiores em comparação àqueles de ciências exatas, tais como da área de matemática¹².

O FI publicado anualmente pela JCR, ao levar em consideração somente as citações de um periódico ocorridas durante dois anos consecutivos, tende a beneficiar aqueles periódicos que publicam em áreas cujo ritmo de atualização do conhecimento é muito acelerado. Dessa forma, a citação dos artigos ocorre imediatamente após a publicação, criando um viés de aumento do FI. Áreas como ciências exatas ou biológicas tendem a ter maior FI que aquelas cuja produção do saber faz-se em ritmo mais lento, como nas áreas de ciências sociais ou humanas.

Índice H

Este índice foi proposto inicialmente por Jorge E. Hirsch para a avaliação qualitativa de pesquisadores da área da física¹³. Rapidamente, ganhou destaque em outras disciplinas, sendo hoje muito utilizado como forma de avaliar o impacto do pesquisador individualmente. Muitos autores consideramno não somente a forma mais segura de mensurar a qualidade científica do pesquisador, como também uma boa ferramenta de avaliação da regularidade da produção e previsão do desempenho científico futuro, pois combina produtividade com impacto^14,15. O índice H de um pesquisador é definido com o número de artigos publicados pelo pesquisador, os quais obtenham citações maiores ou iguais a esse número. Por exemplo, quando dizemos que o índice H de um pesquisador é dez, significa que ele tem, pelo menos, dez artigos publicados, cada um deles com, pelo menos, dez citações. Quanto maior o número de artigos de grande interesse publicado pelo pesquisador, maior será o número de citações alcançadas, e maior será seu índice H, refletindo a qualidade acadêmico-científica do pesquisador e sua capacidade produtiva. Entretanto, apenas o número total de artigos, por exemplo, pode mascarar a falta de relevância de cada texto, isoladamente. Podemos assim dizer que o índice H é o resultado do equilíbrio entre o número de publicações e o número de citações. Jorge Hirsch comparou o fator H com outros índices comumente usados para se analisar a produção científica de um pesquisador, resumidamente apresentados na Tabela 2.

O mesmo Hirsch argumenta que indivíduos com índices H similares são também comparáveis em termos de impacto científico, mesmo quando o número de artigos ou número total de citações de ambos for muito diverso. Diferentemente, quando comparamos dois indivíduos (de idade científica igual), com números iguais de publicações ou citações e com índices H muito díspares, aquele com maior índice H é provavelmente um pesquisador mais talentoso. Entretanto, como toda tentativa simplista de se categorizar ou classificar a produção de um pesquisador por um único número, o índice H está longe de ser perfeito e enfrenta várias críticas¹⁶. Entre essas, além das usuais de que não se pode caracterizar um pesquisador por um número, estão: a autocitação¹⁷, a indistinção entre cientistas ativos e inativos, a dependência da idade científica, as diferenças entre áreas, sexo etc. Algumas variantes foram propostas para superar essas desvantagens, como, por exemplo, o índice M, que permite comparar carreiras científicas de tempos distintos¹⁸. Dodson¹⁹ acredita que o índice subestime em cerca de 30% a 50% o verdadeiro número de citações e propõe o índice E, que ajuda a estimar as citações dos trabalhos não contemplados pelo índice H, ou seja, as citações dos trabalhos publicados posteriormente àquele correspondente ao índice H¹⁹.

Cálculo do Índice H

Atualmente, a base de dados Web of Science da ISI/ Thompson Scientific Reuters calcula automaticamente o Índice H do pesquisador. Para isso, devemos entrar com o "nome de citação" do autor no espaço adequado da plataforma de pesquisa e aguardar que os artigos e as respectivas citações sejam gerados. Caso haja algum outro autor homônimo, devem-se excluir os artigos que não são de autoria do pesquisador em questão. Posteriormente, basta clicar em ícone próprio ("Create Citation Report") para obterem-se o índice H (h-index), bem como o número total de citações e o número médio de citações por artigo²⁰. Alternativa interessante para se calcularem esse e inúmeros outros índices seria através do programa de computador denominado "Publish or Perish", disponível na página da internet: http://www.harzing.com/pop.htm. O programa usa o sítio do "Google Scholar" para recuperar e analisar citações acadêmicas. Pode-se também calcular manualmente o índice H. Para tanto, devemos ordenar os trabalhos por número de citações, começando com aquele com maior número de citações. O índice H de um determinado autor será o número da sequência numérica dos trabalhos cujo número de citações iguala-se ou é maior que o ranque da sequência²¹. Vejamos um exemplo. Se um pesquisador tem a seguinte sequência de artigos publicados: artigo 1 - 17 citações; artigo 2 - 16 citações; artigo 3 - 14 citações; artigo 4 - 10 citações; artigo 5 - cinco citações; artigo 6 - três citações; artigo 7 - duas citações. Esse autor tem um índice H de cinco, pois cinco é o ponto na sequência em que os números de citações se igualam ao número do artigo. Alguns autores ressaltam que o índice H, quando tomado de modo absoluto, não pode ser usado para comparar pesquisadores de diferentes áreas²². Um índice H considerado bom em determinada área pode não ser tão bom assim ou mesmo pode ser considerado ruim em outras áreas. Geralmente, os maiores valores de índice H são encontrados entres pesquisadores ligados a ciências da vida.

Considerações finais

Conhecer alguns dos índices bibliométricos tornou-se de suma importância para pesquisadores que dependem de insumos para pesquisas e, muitas vezes, são avaliados com essas ferramentas bibliométricas²³. Cada um desses índices bibliométricos tem suas limitações. A utilização em conjunto de alguns desses representa a forma mais justa e legítima. Apesar da subjetividade, a avaliação por pares ainda tem seu valor, seja na avaliação de pesquisadores que se candidatam para cargos acadêmicos ou mesmo na avaliação editorial de artigos científicos. Nenhum dos índices qualitativos e quantitativos, por melhor que sejam, é suficientemente preciso para ser utilizado de forma isolada. A combinação de alguns desses, associada à avaliação por pares, é certamente a melhor forma de avaliação objetiva. Por último, é importante manter em mente que a tarefa de julgar, seja a reputação científica do pesquisador, seja a elegibilidade da instituição como destinatária de recursos financeiros, deve sempre primar pela imparcialidade e precisão de avaliação, evitando, assim, erros irreparáveis.

Potencial Conflito de Interesses

Declaro não haver conflito de interesses pertinentes.

Fontes de Financiamento

O presente estudo não teve fontes de financiamento externas.

Vinculação Acadêmica

Não há vinculação deste estudo a programas de pósgraduação.

Artigo recebido em 29/09/09; revisado recebido em 28/01/10; aceito em 29/03/10.

• 1. Bornmann L, Daniel HD. The state of H index research: is the H index the ideal way to measure research performance? EMBO Rep. 2009; 10 (1): 2-6.
• 2. Strehl L. O fator de impacto ISI e a avaliação da produção científica: aspectos conceituais e metodológicos. Ci Inf. 2005; 34 (1): 1-14.
• 3. Sypsa V, Hatzakis A. Assessing the impact of biomedical research in academic institutions of disparate sizes. BMC Med Res Methodol. 2009; 9: 33.
• 4. Nova tabela Qualis. [Acesso em 2009 nov 20]. Disponivel em: http://qualis.capes.gov.br/webqualis/>
• 5. Kellner AW, Ponciano LC. H-index in the Brazilian Academy of Sciences: comments and concerns. An Acad Bras Cienc. 2008; 80 (4): 771-81.
• 6. Garfield E. Citation indexes: new paths to scientific knowledge. Chem Bull. 1956; 43 (4): 11-2.
• 7. ISI Web of Knowledge. Journal Citation Reports. [Acesso em 2009 nov 20]. Disponível em: http://admin-apps.isiknowledge.com/JCR/JCR
• 8. Garfield E. Citation indexes for science: a new dimension in documentation through association of ideas. Science. 1955; 122 (3159): 108-11.
• 9. Gisbert JP, Panés J. Índice H de Hirsch: una nueva herramienta para medir la producción científica. Cir Esp. 2009; 86 (4): 193-5.
• 10. Quindós G. Confundiendo al confuso: reflexiones sobre el factor de impacto, el índice H(irsch), el valor Q y otros cofactores que influyen en la felicidad del investigador. Rev Iberoam Micol. 2009; 26(2): 97-102.
• 11. Garfield E. The use of JCR and JPI in measuring short and long term journal impact. Croat Med J. 2000; 41 (4): 368-74.
• 12. Garfield E. The use of JCR and JPI in measuring short and long term journal impact. In: The Scientist. Council of Scientific Editors Annual Meeting, May 9, 2000.
• 13. Hirsch JE. An index to quantify an individual's scientific research output. Proc Nat Acad Sci USA. 2005; 102(46): 16569-72.
• 14. Hirsch JE. Does the H index have predictive power? Proc Natl Acad Sci USA. 2007; 104 (49): 19193-8.
• 15. Kulasegarah J, Fenton JE. Comparison of the h index with standard bibliometric indicators to rank influential otolaryngologists in Europe and North America. Eur Arch Otorhinolaryngol. 2010; 267 (3): 455-8.
• 16. Engqvist L, Frommen JG. The h-index and self-citations. Trends Ecol Evol. 2008; 23 (5): 250-2.
• 17. Purvis A. The h index: playing the numbers game. Trends Ecol Evol. 2006; 21 (8): 422.
• 18. Molinari JF, Molinari A. A new methodology for ranking scientific institutions. Scientometrics. 2008; 75: 163-74.
• 19. Dodson MV. Citation analysis: maintenance of h-index and use of e-index. Biochem Biophys Res Commun. 2009; 387 (4): 625-6.
• 20. ISI Web of Knowledge. Web of Science. [Acesso em 2009 nov 20]. Disponível em: http://apps.isiknowledge.com/WOS_GeneralSearch.do?action=clear&product=WOS&search_mode=GeneralSearch&SID=3F1C5AcanmGi@LIi5NG
• 21. Salgado JF, Páez D. Scientific productivity and Hirsch's h index of Spanish social psychology: convergence between productivity indexes and comparison with other areas. Psicothema. 2007; 19 (2): 179-89.
• 22. Iglesias JE, Pecharromán C. Scaling the h-index for different scientific ISI Field. Scientometrics. 2007; 73 (3): 303-20.
• 23. Gisbert JP, Panés J. Publicación científica, indicadores bibliométricos e índice H de Hirsch. Gastroenterol Hepatol. 2009; 32(3): 140-9.

Datas de Publicação

• Publicação nesta coleção
  25 Mar 2011
• Data do Fascículo
  Fev 2011