Métricas de evaluación en ciencia: estado actual y perspectivas

La evaluación de la ciencia utiliza una variedad de indicadores bibliométricos, en su mayoría basados en citas, a pesar de no existir una relación inequívoca entre citas y mérito o calidad científica. Estos indicadores, sin embargo, abarcan más que una indicación de visibilidad, relevancia e impacto de los artículos y pueden representar en la carrera de un investigador prestigio, contrataciones, promociones en la carrera, premiaciones, obtención de fomento a la investigación y otras recompensas.

Indicadores de impacto científico

Un de los primeros y más utilizados índices ya creados - el Factor de Impacto (FI) - fue creado en 1975, cuando Eugene Garfield, fundador de lo entonces Institute for Scientific Information - ISI, lo introdujo para apoyar en la selección de suscripciones a revistas en bibliotecas¹. En el trayecto, desde esta origen para su ubicua utilización para rankear publicaciones, investigadores e instituciones, sus características y peculiaridades fueron ignoradas en favor de la conveniencia de un índice fácil de calcular y ampliamente diseminado por todas las áreas de conocimiento en todo el mundo. Hasta mediados de 2016, la base Journal Citation Reports (JCR), que publica el FI, y la Web of Science pertenecían a la empresa Thomson Reuters, y hoy integran los productos de la Clarivate Analytics.

El FI no tuvo serios concurrentes hasta 2004, cuando el publisher multinacional Elsevier creó la base bibliográfica Scopus, y desde esta, fue lanzado en 2008 el índice SCImago Journal & Country Rank (SJR), disponible en acceso abierto, al contrario del JCR, que requiere subscripción. La forma de calcular el SJR y el FI presentan algunas diferencias, sin embargo ambos básicamente cuentan citas por intervalo de tiempo y guardan una relación lineal.

En 2005, el físico Jorge E. Hirsch de la Universidad de California en San Diego creó el índice h para medir no apenas el impacto, pero también la productividad de los investigadores. Este indicador ganó popularidad rápidamente, y también se aplica a revistas o instituciones, siendo frecuentemente referenciado en curricula vitae, como en la Plataforma Lattes.

Además de éstos, existen índices como Eigenfactor y Article Infuence³, también basados en citas, cuyos cálculos emplean elegantes algoritmos y están disponibles en acceso abierto, sin embargo, no son frecuentemente utilizados o mencionados.

A pesar de ampliamente empleados en procesos de evaluación de la ciencia, la limitación y precariedad del uso de indicadores de citas son reconocidos por la comunidad científica mundial, teniendo en vista las particularidades y sesgos de las principales métricas utilizadas para contrastar el desempeño de artículos, revistas, investigadores, instituciones y países. Iniciativas que tienen por objetivo cohibir o desaconsejar su uso como la San Francisco Declaration on Research Assessment³ (DORA) o el Manifiesto de Leiden⁴ reciben apoyo de investigadores e instituciones en todo el mundo. Se suman a estas iniciativas de sociedades científicas, universidades, agencias de fomento y revistas, entre otros⁵.

Comprender la naturaleza de los indicadores, como son calculados, su aplicabilidad y límites es fundamental no apenas para los expertos en cienciometría y técnicos de agencias de fomento, pero para toda la comunidad científica. Al final, son los pesquisidores ellos propios que evalúan sus pares en procesos de contratación y progresión en la carrera, por eso, es aconsejable ir además del simple análisis del número de publicaciones, FI de las revistas o su índice h. La consideración de Antonio Augusto P. Videira, Profesor Adjunto de Filosofía de la Ciencia de la UFRJ, es eloquente: "Debería causar sorpresa el hecho de que el uso de un indicador torne elegible un u otro autor por el hecho del que haya publicado en una revista de más alto FI, de que es más importante saber donde él publicó de que leer su trabajo"⁶. Todos aquéllos involucrados en la evaluación de la ciencia y en los sistemas de recompensa deben estar comprometidos con este concepto para no inferir en juicios precipitados e injusticias.

Un de los factores que hace con que los índices bibliométricos basados en citas sean criticados es que la práctica de citación de artículos es extremadamente compleja e influenciada por innumeros factores. Así, los verdaderos motivos para citar uno y no otro artículo no traduce la calidad, validad o relevancia de los estudios⁷. De hecho, no fue posible comprobar una relación sobre el trabajo más citado y su mejor trabajo, en la autoevaluación de los investigadores⁸. Normalizar métricas de citación puede nivelar los índices por área del conocimiento, edad de la publicación, tipo de documento y alcance de la base de datos donde fueron contabilizadas, permitiendo, así, comparaciones más equilibradas en los procesos de evaluación⁹.

Métricas alternativas o altimetrías

Las redes sociales son vehículos muy eficientes para compartimiento de noticias, opiniones y contenidos en general. Recientemente, están siendo, vienen siendo ampliamente utilizadas como métricas de evaluación de la ciencia, y reciben el nombre de altmetrías, o "alternative metrics"¹⁰.

Estudios estiman que, llevando en cuenta apenas citas formales, estaremos desconsiderando casi 50% de la literatura científica publicada en todo el mundo. Las altimetrías, como el índice Altmetric¹¹, están ganando credibilidad en la evaluación de publicaciones y investigadores. El índice Altmetric monitoriza varias redes sociales en el compartimiento del artículo científico: blogs, Twitter, Facebook, Mendeley, YouTube, ResearchGate, Google, Reddit, LinkedIn, noticias en los medios de comunicación impreso y online, mención en la elaboración de políticas públicas, y otros. Un estudio¹² muestra que las altmetrías presentan correlación con índices de impacto basados en citas y pueden ser usadas para complementarlas, conjuntamente con evaluación por los pares y medidas de uso como acceso y download.

Como todo nuevo concepto, suele generar dudas y cuestiones sobre su legitimidad, principalmente por el hecho de utilizar herramientas 'informales' para medir el impacto de la ciencia, esencialmente formal. Es posible que el escepticismo de la comunidad académica a las altimetrías sea comparable a la reacción causada por el uso del Internet los años 1990 como plataforma para publicar revistas científicas.

Es importante considerar nuevas formas de comunicación científica que ya están influenciando la manera como los resultados de investigación son publicados, diseminados y evaluados. Se trata de los repositorios electrónicos de preprints. El primero de ellos, arXiv¹³, fue creado en 1991 para publicar versiones preliminares de artículos en el área de física, astronomía, ciencias de la computación y estadística. Los autores publican estos artículos antes de someterlos formalmente a una revista para lograr comentarios de la comunidad científica y otorgarse la autoría de una idea o resultado. Muchos artículos, sin embargo, ni llegan a ser publicados formalmente, no por falta de relevancia o calidad, apenas porque la publicación en el repositorio per se es reconocida en la academia - al menos en el área de física - como el mismo peso de un artículo en una revista. Comentarios son publicados online y los autores pueden actualizar sus artículos con base en esta evaluación por pares post-publicación. Con base en el éxito del arXiv, repositorios de preprints para diferentes disciplinas vienen siendo creados. BioRxiv fue lanzado en 2013 para las ciencias de la vida, y reúne, en febrero de 2017, más de 8 mil preprints. Están en proceso de implementación repositorios de preprints en las áreas de química (ChemRxiv), psicología (PsyArXiv) y ciencias sociales (SocArXiv). El incentivo y reconocimiento de esta forma de publicación por parte de la comunidad académica es demostrado por iniciativas como ASAP Bio¹⁴ que incentiva la publicación de preprints y evaluación por pares post-publicación, además de la creciente adopción y reconocimiento de los repositorios de preprints por instituciones, organizaciones internacionales y agencias de fomento¹⁵. Se trata de una vía de publicación particularmente adecuada a la rápida y abierta diseminación de resultados, cual si requiere en casos de emergencias de salud pública, como las recientes epidemias de ébola y zika.

La comunicación científica, como la conocemos, está evolucionando rápidamente - para mejor, creo - con más agilidad, transparencia, responsabilidad, acceso facilitado y uso de la investigación en favor de los individuos y de la sociedad, y es necesario acompañar estos cambios para de ellas extraer el mayor beneficio para todos.

References

• ¹
  Garfield E. The History and Meaning of the Journal Impact Factor. JAMA. 2006;295(1):90-93. doi:10.1001/jama.295.1.90
  » https://doi.org/10.1001/jama.295.1.90
• ²
  Eigenfactor [Database] [Internet]. [Access Feb 3, 2017]. Washinton: University of Washington; 2007. Available from: www.eigenfactor.org/
  » www.eigenfactor.org
• ³
  Declaration on Research Assessment. European Association of Science Editors (EASE) Statement on Inappropriate Use of Impact Factors [Internet]. [Access Feb 7, 2017]. Available from: http://am.ascb.org/dora/
  » http://am.ascb.org/dora
• ⁴
  Hicks D, Wouters P, Waltman L, de Rijcje S, Rafols I. Bibliometrics: The Leiden Manifesto for research metrics. Nature. 2015;520(7548):429-31. doi: http://dx.doi.org/10.1038/520429a
  » https://doi.org/10.1038/520429a
• ⁵
  Corneliussen ST. Bad summer for the journal impact factor. Physics Today. 2016. doi:10.1063/PT.5.8183
  » https://doi.org/10.1063/PT.5.8183
• ⁶
  Videira AAP. Declaração recomenda eliminar o uso do Fator de Impacto na avaliação de pesquisa. Estudos de CTS [blogwordpress] [Internet]. 2013. [Acesso 10 fev 2017]. Disponível em: https://estudosdects.wordpress.com/2013/07/29/declaracao-recomenda-eliminar-o-uso-do-fator-de-impacto-na-avaliacao-de-pesquisa/
  » https://estudosdects.wordpress.com/2013/07/29/declaracao-recomenda-eliminar-o-uso-do-fator-de-impacto-na-avaliacao-de-pesquisa
• ⁷
  Nassi-Calò L. Study proposes a taxonomy of motives to cite articles in scientific publications. SciELO em Perspectiva. [Internet]. 2014 [Acesso 7 fev 2017]. Disponível em: http://blog.scielo.org/en/2014/11/07/study-proposes-a-taxonomy-of-motives-to-cite-articles-in-scientific-publications/
  » http://blog.scielo.org/en/2014/11/07/study-proposes-a-taxonomy-of-motives-to-cite-articles-in-scientific-publications
• ⁸
  Ioannidis JPA, Boyack KW, Small H, Sorensen AA, Klavans R. Bibliometrics: Is your most cited work your best? Nature. [Internet]. 2014 [Access Feb 11, 2017];514(7524):561-2. doi: 10.1038/514561a. Available from: http://www.nature.com/news/bibliometrics-is-your-most-cited-work-your-best-1.16217#assess
  » https://doi.org/10.1038/514561a
• ⁹
  Nassi-Calò L. Is it possible to normalize citation metrics? SciELO em Perspectiva. 2016 [Acesso 7 fev 2017]. Disponível em: http://blog.scielo.org/en/2016/10/14/is-it-possible-to-normalize-citation-metrics/
  » http://blog.scielo.org/en/2016/10/14/is-it-possible-to-normalize-citation-metrics
• ¹⁰
  Spinak E. What can alternative metrics - or altmetrics - offer us? SciELO em Perspectiva. [Internet]. 2014 [Acesso 8 fev 2017]. Disponível em: http://blog.scielo.org/en/2014/08/07/what-can-alternative-metrics-or-altmetrics-offer-us/
  » http://blog.scielo.org/en/2014/08/07/what-can-alternative-metrics-or-altmetrics-offer-us
• ¹¹
  Altmetric [Database] [Internet]. [Access Feb 2, 2017]. Available from: http://www.altmetric.com/
  » http://www.altmetric.com
• ¹²
  Hoffmann CP, Lutz C, Meckel M. Impact Factor 2.0: Applying Social Network Analysis to Scientific Impact Assessment. 47th Hawaii International Conference on System Science, Hilton Waikoloa Village; 2014. doi: 10.1109/HICSS.2014.202
  » https://doi.org/10.1109/HICSS.2014.202
• ¹³
  Cornell University Library. arXix [Database] [Internet]. Ithaca, NY, USA. [Access Feb 8, 2017]. Available from: http://arxiv.org/
  » http://arxiv.org
• ¹⁴
  Nassi-Calò L. Saiu no NY Times: From the NY Times: Biologists went rogue and publish directly on the Internet. SciELO em Perspectiva. [Internet]. 2016 [Acesso 7 fev 2017]. Disponível em: http://blog.scielo.org/en/2016/04/07/from-the-ny-times-biologists-went-rogue-and-publish-directly-on-the-internet/
  » http://blog.scielo.org/en/2016/04/07/from-the-ny-times-biologists-went-rogue-and-publish-directly-on-the-internet
• ¹⁵
  Velterop J. Preprints - the way forward for rapid and open knowledge sharing. SciELO em Perspectiva. [Internet]. 2017 [Acesso 8 fev 2017]. Disponível em: http://blog.scielo.org/en/2017/02/01/preprints-the-way-forward-for-rapid-and-open-knowledge-sharing/
  » http://blog.scielo.org/en/2017/02/01/preprints-the-way-forward-for-rapid-and-open-knowledge-sharing

Fechas de Publicación

• Publicación en esta colección
  2017