Innovación, calidad y cantidad: elige dos

La innovación, calidad y cantidad son atributos importantes en la evaluación de la producción científica de investigadores, grupos de investigación y programas de posgrado. Lograr a la excelencia simultáneamente en las tres dimensiones es impracticable. Una producción científica innovadora y de calidad no será voluminosa, ya que las nuevas ideas demandan tiempo para que puedan ser adecuadamente probadas. Por otro lado, es posible mantener una producción voluminosa y de calidad mediante la aplicación repetida de protocolos estandarizados, pero no será innovadora, puesto que los protocolos rígidos son adecuados sólo para pocos tipos de cuestiones de investigación. Finalmente, probar muchas hipótesis innovadoras en un corto período de tiempo inviabiliza la realización de investigaciones con el rigor metodológico necesario, y, en algunos casos extremos, estimula la adopción de prácticas indeseadas como el fraude y la confección de datos.

Los procesos de evaluación que priorizan la publicación de grandes volúmenes de artículos en revistas de elevado índice de impacto han inducido a los investigadores a escoger los trinomios alto volumen/alta innovación/baja calidad, y alto volumen/alta calidad/baja innovación. En Micromotives and Macrobehavior¹, Schelling defiende la tesis de que los individuos adoptan comportamientos para alcanzar objetivos personales de acuerdo con sus preferencias y, además, que esos comportamientos y preferencias se ven influenciados por los comportamientos y preferencias de otros individuos. Para el autor, el éxito de un individuo en la adaptación a su ambiente social no garantiza que el ambiente social creado sea satisfactorio para sí mismo y para los demás individuos que colectivamente lo construyeron. Anderson et al. ² identificaron, en una encuesta realizada con investigadores americanos, una disonancia entre la creencia de lo que sería un comportamiento ideal a ser adoptado por los investigadores y la percepción de cómo se comportan, de hecho, los otros investigadores. Para los autores esa disonancia es perjudicial en la medida que genera desgaste, alineación, además de favorecer la adopción de comportamientos que escapan al estándar idealizado.

La insatisfacción con el sistema actual de evaluación de producción científica, y sus consecuencias indeseadas, ha sido explicitada mediante de una serie de manifiestos como el The San Francisco Declaration on Research Assessment (DORA) (http://am.ascb.org/do ra/), o el The Leiden Manifesto for Research Metrics (http://www.leidenmanifesto.org/), y el The Lancet REWARD (REduce research Waste And Reward Diligence) (http://www.thelancet.com/campaigns/efficiency). En todas las iniciativas apuntadas anteriormente, se proponen una serie de acciones, con el fin de modificar la forma en la que se debe dirigir la evaluación de la producción científica. En el área de Salud Colectiva en Brasil, el debate sobre la necesidad de adoptar nuevos modelos de evaluación de investigadores y programas de posgrado vienen ganando relieve en el presente contexto. CSP ha buscado contribuir con este debate a partir de la publicación de editoriales y artículos sobre este tema.

En una serie de artículos publicados en Lancet, vinculados a REWARD, se estimó que un 85% de los recursos invertidos en investigación puede ser considerado un desperdicio ³ de recursos, en función de estudios mal desarrollados, desde su etapa de diseño hasta el análisis de datos ⁴. Las revisiones sistemáticas, que deberían sintetizar las evidencias, con frecuencia no cumplen ese papel adecuadamente, porque realizan una síntesis de investigaciones de baja calidad ⁵. Finalmente, la calidad del texto remitido para su publicación también es un motivo de preocupación ⁶.

En 2015, sobrepasamos el récord de más de dos mil artículos remitidos a CSP para su publicación. Como editoras, nos sentimos honradas de recibir tantos trabajos. No obstante, nos causa preocupación el hecho de que rechazamos, sin reconducirlos a la revisión por pares, casi un 70% de los artículos recibidos para su publicación. La poca relevancia, poca originalidad e inadecuación metodológica constituyen los principales motivos de ese rechazo inicial. En parte de los casos, recursos invertidos en la financiación de investigación pueden estar siendo desperdiciados. Los costes implicados en la publicación representan sólo una fracción de los recursos destinados a la financiación de investigaciones. En CSP, preservamos la gratuidad de la publicación a los autores, pero todo artículo gestionado, sea aceptado o rechazado, tiene un coste y un gasto publica asociados. La adopción de criterios estrictos para la publicación de artículos en CSP tiene por objetivo, no solamente mantener la calidad de los contenidos publicados, sino también evitar el desaprovechamiento de recursos en los procesos de revisión por pares, labor editorial y posterior publicación.

El problema del desaprovechamiento en la producción científica debe ser enfrentado no con cortes lineales en el presupuesto, sino con la adopción de criterios adecuados para la evaluación de investigadores, proyectos y productos científicos. No obstante, evitarlo también pasa por las decisiones que tomamos como investigadores y autores.

Cláudia Medina Coeli
Marilia Sá Carvalho
Luciana Dias de Lima
Editoras

• ¹
  Schelling TC. Micromotives and macrobehavior. Revised edition. New York: W. W. Norton & Company; 2006.
• ²
  Anderson MS, Martinson BC, De Vries R. Normative dissonance in science: results from a national survey of U.S. scientists. J Empir Res Hum Res Ethics 2007; 2:3-14.
• ³
  Chalmers I, Bracken MB, Djulbegovic B, Garattini S, Grant J, Gülmezoglu AM, et al. How to increase value and reduce waste when research priorities are set. Lancet 2014; 383:156-65.
• ⁴
  Ioannidis JPA, Greenland S, Hlatky MA, Khoury MJ, Macleod MR, Moher D, et al. Increasing value and reducing waste in research design, conduct, and analysis. Lancet 2014; 383:166-75.
• ⁵
  Roberts I, Ker K. How systematic reviews cause research waste. Lancet 2015; 386:1536.
• ⁶
  Carvalho MS, Travassos C, Coeli CM. Um bom texto. Cad Saúde Pública 2013; 29:1701-3.

Fechas de Publicación

• Publicación en esta colección
  2016