EDITORIAL
La evaluación de la producción científica en discusión
El 16 de mayo de este año vio la luz DORA San Francisco Declaration on Research Assessment, inicialmente firmada por 155 científicos y 78 instituciones relacionadas con la ciencia que, explícitamente, propone eliminar el uso del factor de impacto (FI) de las revistas "como medida sustitutoria de la calidad de artículos de investigación individuales, para evaluar la contribución individual de un científico, o en la contratación, promoción o decisiones de financiación" (http://am.ascb.org/dora/, traducción nuestra).
El FI de una revista se calcula de forma muy simple: es el número de veces que en un determinado año los artículos publicados por una revista fueron citados en los últimos dos años, dividido por el número de artículos publicados en ese período. Se creó como un indicador para orientar la adquisición de revistas por bibliotecas de instituciones de investigación, sin embargo, se fue adoptando paulatinamente como "EL" indicador de calidad de la producción científica. Además, lo que es más preocupante, pasó a ser utilizado para evaluar a los investigadores individualmente.
El equívoco de usar un indicador de desempeño de una revista para evaluar la calidad de un artículo publicado en ella es un viejo conocido de la epidemiología: se llama falacia ecológica. Incluso como métrica para la evaluación de las propias revistas, el FI es problemático. Entre las diversas limitaciones apuntadas se destacan: revisiones que en algunas áreas, incluyendo la salud pública, se citan con mayor frecuencia; el ciclo de vida de los artículos que en general es mayor a los dos años; y basta un artículo crecidamente citado para aumentar substancialmente el FI de una revista, puesto que las medias son sensibles a valores extremos.
Cualquier métrica de evaluación o medida de incentivo por comportamiento tiene efectos deseados en caso de que sea una buena medida e indeseados, por los incentivos negativos que crea. La adopción del FI en las decisiones sobre financiación de investigaciones ha sido asociada al aumento de casos de mala conducta (Couzin-Frankel. Science 2013; 339:386-9). Desde el punto de vista de los editores científicos, la atribución de un peso excesivo al FI en las evaluaciones editoriales puede ser potencialmente dañina para la ciencia: especialmente, cuando la elección sobre lo que debe ser publicado estuviera predominantemente influenciada por el potencial del artículo que se debe citar.
Ciertamente, la actuación de la gran mayoría de los editores, basada en el trabajo voluntario de científicos reconocidos, es honesta y seria. No obstante, estamos viviendo un momento de grandes cambios en la forma de financiación de las revistas, en muchos casos una transformación hacia un modelo de negocio, altamente lucrativo, dígase de paso.
DORA lleva consigo, sumándose a la recomendación general, un conjunto de orientaciones específicas dirigidas a los investigadores, instituciones de investigación, instituciones que divulgan métricas de evaluación para periódicos, agencias de fomento, y editores (publishers). Para estos últimos las recomendaciones son: reducción del énfasis del uso del FI o el uso de otros indicadores equivalentes como: estrategia de promoción del periódico; incentivo a prácticas responsables de autoría y exigencia de información sobre las contribuciones específicas de cada autor; reducción de restricciones en el número de referencias citadas en los artículos; presentación de métricas para artículos individuales; remoción de todas las restricciones a la reutilización de la lista de referencias, haciéndola disponible bajo la licencia Creative Commons Public Domain Dedication. Por ello, es obligada la cita de las referencias primarias en lugar de los artículos de revisión. CSP ya adopta esas recomendaciones, con excepción de las dos últimas, que pretendemos implantar futuramente.
En el momento de la redacción de este editorial ya son 8.023 firmas de científicos y 379 organizaciones, incluyendo, entre otras, CSP, las que forman parte de DORA. El enlace para firmar el manifiesto continua abierto.
Marilia Sá Carvalho
Claudia Travassos
Cláudia Medina Coeli
Editoras
Fechas de Publicación
-
Publicación en esta colección
02 Jul 2013 -
Fecha del número
Jul 2013
