Uso del factor de impacto y del índice h para evaluar investigadores y publicaciones

ARTÍCULO ESPECIAL

Instituto do Coração HCFMUSP - São Paulo, SP - Brasil

Correspondencia

Palabras clave: Factor de impacto, índice H, investigadores, estadísticas, publicaciones científicas y técnicas.

Introducción

Con la creciente demanda de insumos para financiamiento de investigaciones científicas, se volvió necesaria la creación de mecanismos de evaluación de la calidad académico científica, como forma de prestigiar instituciones y individuos capaces de producir investigaciones de punta, garantizando, así, una inversión proficua de las agencias de fomento a la investigación¹. En ese nuevo escenario, la evaluación tradicional por pares presenta deficiencias inherentes a los aspectos subjetivos y corporativistas de la evaluación de la producción académica. Índices cualitativos y cuantitativos de evaluación deben ser sumados a ella, siendo vistos por muchos como más reproducibles y menos sujetos a sesgos personales². El número de publicaciones, de las citaciones y de la media de citaciones por trabajo publicado, tomados aisladamente, son índices bibliométricos tradicionales que presentan deficiencias, pues no retratan la información combinada de los trabajos publicados con las respectivas citaciones³. La tradicional evaluación del número de trabajos publicados, inicialmente ampliamente aceptada y utilizada, deja de ser suficiente como forma de evaluación de la pujanza científica del investigador. La calidad de las publicaciones pasa a ser vista como factor diferencial. Así, gana destaque la evaluación del interés despertado por el trabajo o línea de investigación dentro de la comunidad científica, factor ese que se refleja en el número de citaciones hechas a un determinado trabajo.

La evaluación de la calidad de los periódicos, utilizados como medio de divulgación de la investigación científica, viene siendo empleada en nuestro medio como una de las formas de análisis de los programas de postgrado, emanando la conocida lista Qualis de la Coordinación de Perfeccionamiento de Personal de Nivel Superior (CAPES). Qualis es el conjunto de procedimientos concebido para atender las necesidades específicas del sistema de evaluación, que disponibiliza una lista con la clasificación de los vehículos utilizados por los programas de postgrado, para la divulgación de la producción. El Qualis mide la calidad de los artículos y de otros tipos de producción, a partir del análisis de la calidad de los vehículos de divulgación, o sea, periódicos científicos y anales de eventos. Los vehículos de divulgación de la producción intelectual de los programas de postgrado stricto sensu (maestría y doctorado) son clasificados en A1, A2, B1, B2, B3, B4, B5 y C, a partir de valores de corte del factor de impacto del periódico⁴.

Descripto en 2005 por Jorge E. Hirsch, como una herramienta para determinar la calidad relativa de los trabajos de físicos teóricos, el Índice H comenzó a ser muy utilizado en el medio científico, como forma de medir la productividad y el impacto del investigador, siendo, inclusive, incorporado a la Plataforma Lattes del Consejo Nacional de Desarrollo Científico y Tecnológico (CNPq)⁵. En este artículo, discutimos el factor de impacto como forma de evaluación de los periódicos científicos y el Índice H como forma de evaluación del investigador. Otros índices bibliométricos no serán objeto de este texto, mas cabe destacar que apenas el factor de impacto y el Índice H aisladamente pueden no ser suficientes para cumplir la tarea de evaluar periódicos, artículos y autores.

Factor de impacto

Propuesto por Eugene Garfield, en 1955⁶, el Factor de Impacto (FI) comenzó a ser utilizado como instrumento de evaluación de la calidad de las publicaciones a partir de los años sesenta, habiendo sido usado como criterio de selección de los periódicos a ser indexados por el Science Citation Index (SCI). Desde entonces, el FI se afirmó como medio de evaluación de los periódicos en las más variadas instancias. Es calculado anualmente por el Institute for Scientific Information/Thompson Scientific Reuters para las revistas indexadas en su base de datos y es publicado por el Journal Citations Reports (JCR)⁷.

Hoy, todo autor considera el valor del FI para escoger el periódico que pueda dar mayor visibilidad al trabajo. Los bibliotecarios ven el FI como un parámetro de selección de los títulos de mayor interés científico y que, por lo tanto, deberán componer el acervo de las instituciones. Paralelamente, los editores acompañan atentos los FI de los periódicos, concientes de la importancia de ese índice como factor de influencia en la captación de recursos financieros y en la atracción de buenos trabajos para ser publicados. En las agencias de fomento, los responsables por la elaboración de las políticas científicas también utilizan ese índice para seleccionar investigadores e instituciones de mayor mérito, que mejor atenderían las demandas de las instituciones.

Para el cálculo del FI de un determinado año, se considera el número de citaciones recibidas ese año de los artículos publicados en el periódico en los dos años precedentes, dividido por el número de artículos publicados por el periódico en el mismo período (Tabla 1)⁷.

Por lo tanto, el factor de impacto es eficiente para evaluar la calidad de un periódico, no siendo, sin embargo, útil en el análisis de la calidad científica de un artículo aislado, de un investigador o de una institución^8-10.

Variables que pueden alterar el cálculo del FI

Para el cálculo del FI del JCR, son considerados apenas artículos originales y artículos de revisión. Cartas al editor o editoriales no entran en el denominador del cálculo. Por otro lado, pueden ser citados; por lo tanto, son considerados en el numerador del cálculo del FI. Revistas como la Nature o Science, que publican gran número de artículos no estrictamente científicos, pueden tener el FI inflado por ese sesgo¹¹.

Otro sesgo que influencia el cálculo del factor de impacto está relacionado a las diferentes áreas del conocimiento o hasta aun subáreas. El número de referencias citadas por artículo (densidad de las citaciones) puede ser bastante diferente, como, por ejemplo, artículos sobre ciencias exactas, que tienen menor densidad de citaciones que aquellos ligados a las ciencias de la salud. Eso explica en parte por que los FI de los periódicos de ciencias de la salud son, en media, mucho mayores en comparación a aquellos de ciencias exactas, tales como los del área de matemática¹².

El FI publicado anualmente por la JCR, al llevar en consideración solamente las citaciones de un periódico ocurridas durante dos años consecutivos, tiende a beneficiar aquellos periódicos que publican en áreas cuyo ritmo de actualización del conocimiento es muy acelerado. De esa forma, la citación de los artículos ocurre inmediatamente después de la publicación, creando un sesgo de aumento del FI. Áreas como ciencias exactas o biológicas tienden a tener mayor FI que aquellas cuya producción del saber se hace en ritmo más lento, como en las áreas de ciencias sociales o humanas.

Índice H

Este índice fue propuesto inicialmente por Jorge E. Hirsch para la evaluación cualitativa de investigadores del área de la física¹³. Rápidamente, ganó importancia en otras disciplinas, siendo hoy muy utilizado como forma de evaluar el impacto del investigador individualmente. Muchos autores lo consideran no solamente la forma más segura de medir la calidad científica del investigador, como también una buena herramienta de evaluación de la regularidad de la producción y previsión del desempeño científico futuro, pues combina productividad con impacto^14,15. El índice H de un investigador es definido con el número de artículos publicados por el investigador, los cuales obtengan citaciones mayores o iguales a ese número. Por ejemplo, cuando decimos que el índice H de un investigador es diez, significa que tiene, por lo menos, diez artículos publicados, cada uno de ellos con, por lo menos, diez citaciones. Cuanto mayor es el número de artículos de gran interés publicado por el investigador, mayor será el número de citaciones alcanzadas, y mayor será su índice H, reflejando la calidad académico científica del investigador y su capacidad productiva. Entre tanto, apenas el número total de artículos, por ejemplo, puede enmascarar la falta de relevancia de cada texto, aisladamente. Podemos así decir que el índice H es el resultado del equilibrio entre el número de publicaciones y el número de citaciones. Jorge Hirsch comparó el factor H con otros índices comúnmente usados para analizar la producción científica de un investigador, resumidamente presentados en la Tabla 2.

El mismo Hirsch argumenta que individuos con índices H similares son también comparables en términos de impacto científico, aun cuando el número de artículos o número total de citaciones de ambos sea muy diverso. Diferentemente, cuando comparamos dos individuos (de edad científica igual), con números iguales de publicaciones o citaciones y con índices H muy dispares, aquel con mayor índice H es probablemente un investigador más talentoso. Entre tanto, como toda tentativa simplista de categorizar o clasificar la producción de un investigador por un único número, el índice H está lejos de ser perfecto y enfrenta varias críticas¹⁶. Entre esas, además de las usuales de que no se puede caracterizar un investigador por un número, están: la autocitación¹⁷, la no distinción entre científicos activos e inactivos, la dependencia de la edad científica, las diferencias entre áreas, sexo etc. Algunas variantes fueron propuestas para superar esas desventajas, como, por ejemplo, el índice M, que permite comparar carreras científicas de tiempos distintos¹⁸. Dodson¹⁹ cree que el índice subestime en cerca de 30% a 50% el verdadero número de citaciones y propone el índice E, que ayuda a estimar las citaciones de los trabajos no contemplados por el índice H, o sea, las citaciones de los trabajos publicados posteriormente a aquel correspondiente al índice H¹⁹.

Cálculo del Índice H

Actualmente, la base de datos Web of Science de la ISI/Thompson Scientific Reuters calcula automáticamente el Índice H del investigador. Para eso, debemos entrar con el "nombre de citación" del autor en el espacio adecuado de la plataforma de investigación y aguardar que los artículos y las respectivas citaciones sean generados. En caso de que haya algún otro autor homónimo, se deben excluir los artículos que no son de autoría del investigador en cuestión. Posteriormente, basta clicar en ícono propio ("Create Citation Report") para obtener el índice H (h-index), así como el número total de citaciones y el número medio de citaciones por artículo²⁰. Alternativa interesante para calcular ese e innumeros otros índices sería a través del programa de computador denominado "Publish or Perish", disponible en la página de internet: http://www.harzing.con/pop.htm. El programa usa el sitio del "Google Scholar" para recuperar y analizar citaciones académicas. Se puede también calcular manualmente el índice H. Para esto, debemos ordenar los trabajos por número de citaciones, comenzando con aquel con mayor número de citaciones. El índice H de un determinado autor será el número de la secuencia numérica de los trabajos cuyo número de citaciones se iguala o es mayor que el ranking de la secuencia²¹. Veamos un ejemplo. Si un investigador tiene la siguiente secuencia de artículos publicados: artículo 1 - 17 citaciones; artículo 2 - 16 citaciones; artículo 3 - 14 citaciones; artículo 4 - 10 citaciones; artículo 5 - cinco citaciones; artículo 6 - tres citaciones; artículo 7 - dos citaciones. Ese autor tiene un índice H de cinco, pues cinco es el punto en la secuencia en que los números de citaciones se igualan al número del artículo. Algunos autores resaltan que el índice H, cuando es tomado de modo absoluto, no puede ser usado para comparar investigadores de diferentes áreas²². Un índice H considerado bueno en determinada área puede no ser tan bueno o aun puede ser considerado malo en otras áreas. Generalmente, los mayores valores de índice H son encontrados entre investigadores ligados a ciencias de la vida.

Consideraciones finales

Conocer algunos de los índices bibliométricos se volvió de suma importancia para investigadores que dependen de insumos para investigaciones y, muchas veces, son evaluados con esas herramientas bibliométricas²³. Cada uno de esos índices bibliométricos tiene sus limitaciones. La utilización en conjunto de algunos de esos representa la forma más justa y legítima. A pesar de la subjetividad, la evaluación por pares aun tiene su valor, sea en la evaluación de investigadores que se postulan a cargos académicos o aun en la evaluación editorial de artículos científicos. Ninguno de los índices cualitativos y cuantitativos, por mejor que sea, es suficientemente preciso para ser utilizado de forma aislada. La combinación de algunos de esos, asociada a la evaluación por pares, es ciertamente la mejor forma de evaluación objetiva. Por último, es importante mantener en mente que la tarea de juzgar, sea la reputación científica del investigador, sea la elegibilidad de la institución como destinataria de recursos financieros, debe siempre primar por la imparcialidad y precisión de evaluación, evitando, así, errores irreparables.

Potencial Conflicto de Intereses

Declaro no haber conflicto de intereses pertinentes.

Fuentes de Financiamiento

El presente estudio no tuvo fuentes de financiamiento externas.

Vinculación Académica

No hay vinculación este estudio a programas de postgrado.

Referencias

• 1. Bornmann L, Daniel HD. The state of H index research: is the H index the ideal way to measure research performance? EMBO Rep. 2009; 10 (1): 2-6.
• 2. Strehl L. O fator de impacto ISI e a avaliação da produção científica: aspectos conceituais e metodológicos. Ci Inf. 2005; 34 (1): 1-14.
• 3. Sypsa V, Hatzakis A. Assessing the impact of biomedical research in academic institutions of disparate sizes. BMC Med Res Methodol. 2009; 9: 33.
• 4. Nova tabela Qualis. [Acesso em 2009 nov 20]. Disponivel em: http://qualis.capes.gov.br/webqualis/>
• 5. Kellner AW, Ponciano LC. H-index in the Brazilian Academy of Sciences: comments and concerns. An Acad Bras Cienc. 2008; 80 (4): 771-81.
• 6. Garfield E. Citation indexes: new paths to scientific knowledge. Chem Bull. 1956; 43 (4): 11-2.
• 7. ISI Web of Knowledge. Journal Citation Reports. [Acesso em 2009 nov 20]. Disponível em: http://admin-apps.isiknowledge.com/JCR/JCR
• 8. Garfield E. Citation indexes for science: a new dimension in documentation through association of ideas. Science. 1955; 122 (3159): 108-11.
• 9. Gisbert JP, Panés J. Índice H de Hirsch: una nueva herramienta para medir la producción científica. Cir Esp. 2009; 86 (4): 193-5.
• 10. Quindós G. Confundiendo al confuso: reflexiones sobre el factor de impacto, el índice H(irsch), el valor Q y otros cofactores que influyen en la felicidad del investigador. Rev Iberoam Micol. 2009; 26(2): 97-102.
• 11. Garfield E. The use of JCR and JPI in measuring short and long term journal impact. Croat Med J. 2000; 41 (4): 368-74.
• 12. Garfield E. The use of JCR and JPI in measuring short and long term journal impact. In: The Scientist. Council of Scientific Editors Annual Meeting, May 9, 2000.
• 13. Hirsch JE. An index to quantify an individual's scientific research output. Proc Nat Acad Sci USA. 2005; 102(46): 16569-72.
• 14. Hirsch JE. Does the H index have predictive power? Proc Natl Acad Sci USA. 2007; 104 (49): 19193-8.
• 15. Kulasegarah J, Fenton JE. Comparison of the h index with standard bibliometric indicators to rank influential otolaryngologists in Europe and North America. Eur Arch Otorhinolaryngol. 2010; 267 (3): 455-8.
• 16. Engqvist L, Frommen JG. The h-index and self-citations. Trends Ecol Evol. 2008; 23 (5): 250-2.
• 17. Purvis A. The h index: playing the numbers game. Trends Ecol Evol. 2006; 21 (8): 422.
• 18. Molinari JF, Molinari A. A new methodology for ranking scientific institutions. Scientometrics. 2008; 75: 163-74.
• 19. Dodson MV. Citation analysis: maintenance of h-index and use of e-index. Biochem Biophys Res Commun. 2009; 387 (4): 625-6.
• 20. ISI Web of Knowledge. Web of Science. [Acesso em 2009 nov 20]. Disponível em: http://apps.isiknowledge.com/WOS_GeneralSearch.do?action=clear&product=WOS&search_mode=GeneralSearch&SID=3F1C5AcanmGi@LIi5NG
• 21. Salgado JF, Páez D. Scientific productivity and Hirsch's h index of Spanish social psychology: convergence between productivity indexes and comparison with other areas. Psicothema. 2007; 19 (2): 179-89.
• 22. Iglesias JE, Pecharromán C. Scaling the h-index for different scientific ISI Field. Scientometrics. 2007; 73 (3): 303-20.
• 23. Gisbert JP, Panés J. Publicación científica, indicadores bibliométricos e índice H de Hirsch. Gastroenterol Hepatol. 2009; 32(3): 140-9.

Uso del factor de impacto y del índice h para evaluar investigadores y publicaciones

Petronio Generoso Thomaz; Renato Samy Assad; Luiz Felipe P. Moreira

Fechas de Publicación

• Publicación en esta colección
  25 Mar 2011
• Fecha del número
  Feb 2011