Indicadores de Citación y Relevancia Científica: Genealogía de una Representación

Indicadores de Citação e Relevância Científica: Genealogia de uma Representação

Indicateurs de Citation et de Pertinence Scientifique: Généalogie d’une Représentation

RESUMEN

Este artículo analiza la asociación entre indicadores de citación y relevancia científica, en tanto representación social sustentada en presupuestos formulados y consolidados durante la segunda mitad del siglo XX. Esta asociación, al ser abordada en América Latina como un problema reciente, pierde la carga de los procesos que historicamente configuraron esa construcción. Desde ciertos conceptos de Bourdieu, Even-Zohar y Moscovici, este artículo se propone indagar acerca de cuáles fueron los processos políticos y económicos que históricamente tributaron a la conformación de esa representación y qué aspectos están presentes en los indicadores de citación utilizados en la actualidad. Reivindicar los indicadores de citación como forma de evaluar el aporte al conocimiento científico genera una distorsión del sistema de valores que relega los ecosistemas conceptuales, los temas innovadores o poco trabajados, y estimula alistarse dentro de áreas que ya están altamente pobladas, para asegurar la citación.

revistas científicas; evaluación de la producción científica; métricas de citación

RESUMO

Este artigo analisa a associação entre indicadores de citação e relevância científica, como representação social sustentada em pressupostos formulados e consolidados durante a segunda metade do século XX. Esta associação, sendo abordada na América Latina como um problema recente, acaba perdendo a carga dos processos que historicamente configuraram essa construção. A partir de certos conceitos de Bourdieu, Even-Zohar e Moscovici, este artigo se propõe a indagar sobre quais foram os processos políticos e econômicos que historicamente tributaram na conformação dessa representação e quais aspectos estão presentes nos indicadores de citação utilizados na atualidade. Reivindicar os indicadores de citação como forma de avaliar o aporte ao conhecimento científico gera uma distorção do sistema de valores que relega os ecossistemas conceituais, os temas inovadores ou pouco trabalhados, e estimula a publicar dentro de áreas que já estão altamente povoadas, para assegurar a citação.

revistas científicas; avaliação da produção científica; métricas de citação

RÉSUMÉ

Cet article analyse l’association entre les indicateurs de citation et la pertinence scientifique, en tant que représentation sociale soutenue par des budgets formulés et consolidés au cours de la seconde moitié du XXe siècle. Cette association, abordée dans la Amérique Latine comme un problème récent, perd le poids des processus qui ont historiquement façonné cette construction. À partir de certains concepts de Bourdieu, Even-Zohar et Moscovici, cet article vise à étudier quels étaient les processus politiques et économiques qui ont historiquement contribué à la formation de cette représentation et quels aspects sont présents dans les indicateurs de citation utilisés aujourd’hui. Revendiquer les indicateurs de citation comme un moyen d’évaluer la contribution aux connaissances scientifiques génère une distorsion du système de valeurs qui relègue les écosystèmes conceptuels, des sujets innovants ou insuffisamment travaillés, et stimule l’enrôlement dans des zones déjà très peuplées, pour assurer la citation.

magazines scientifiques; évaluation de la production scientifique; mesures de citation

ABSTRACT

This article analyzes the association between citation indicators and scientific relevance as social representations supported by assumptions formulated and consolidated during the second half of the twentieth century. Looked at as a recent problem in Latin America, this association loses the weight of the processes which have historically configured this construction. Using certain concepts of Bourdieu, Even-Zohar, and Moscovici, this paper proposes to investigate what were the political and economic processes which historically contributed to this representation and which aspects are present in the currently used citation indicators. Claiming that citation indicators are a form of evaluating scientific knowledge generates a distortion of the system of values which relegates conceptual ecosystems, innovative themes that are little dealt with, and stimulates remaining within already highly populated areas to ensure citation.

scientific journals; evaluation of scientific production; citation metrics

INTRODUCCIÓN

Una de las representaciones más complejas y arraigadas dentro de la comunidad científica es aquella en la que el valor de un indicador de citación obtenido por una revista es sinónimo de su relevancia científica y, por ende, de las investigaciones que allí se publican. Es decir, se parte de la premisa de que el indicador de citación es un dato que reflejaría de forma transparente y directa el impacto o el aporte al conocimiento científico de las investigaciones publicadas en una revista, por lo que, a mayor valor del indicador, mayor relevancia y viceversa.

Si bien esta asociación ha sido muy cuestionada por la comunidad científica (Dora, 2012; Hicks et al., 2015; Adler, Ewing y Taylor, 2008; Vessuri, Guédon y Cetto, 2014; Beigel, 2014; Beigel, Gallardo y Bekerman 2018), los organismos responsables de evaluar la producción académico-científica en ciertos países de América Latina como México, Colombia, Chile, Brasil y Argentina se aferran cada vez más a las métricas corporativas y simplifican los parámetros de evaluación basándose, sobre todo, en los cuartiles publicados por el Scimago Journal & Country Rank, financiado por Elsevier (Vasen y Vilchis, 2017; Alperin, Rozemblum, 2017; Gómez-Morales, 2018; Farias et al., 2017).

Entendemos que esa asociación se sustenta en presupuestos formulados y consolidados en la cultura científica europea y, especialmente, estadounidense de la segunda mitad del siglo XX. Sin embargo, en América Latina, al ser un tema abordado de forma sincrónica, como si fuera un problema reciente, acotado a las disputas por la obtención de fondos o el liderazgo al interior de ciertas áreas disciplinarias, queda despojado de su propia historicidad y, por ende, de la complejidad de los procesos económicos, políticos, ideológicos y culturales que históricamente configuraron esa construcción.

Si bien las revistas científicas son agentes editoriales claves al interior del campo científico, responsables de la circulación y, sobre todo, de la legitimación tanto de los bienes simbólicos producidos como de sus productores (Bourdieu, 1994), no dejan de ser dispositivos atravesados por intereses económicos, políticas gubernamentales y por modos de producción del campo editorial, aspecto que no necesariamente se torna objeto de estudio de la propia comunidad científica. Esta distancia respecto del objeto, impide el pasaje del testimonio a la observación directa, por lo que la representación se nutre de un sistema de significados ajenos, que impregnan las prácticas y las discursividades (Moscovici, 1979). Este tipo de construcciones simbólicas parecieran tener más pregnancia cuanto más se alejan de ser confrontadas con experiencias directas.

De allí que quienes fueron partícipes primarios de los aparentes “beneficios” de las métricas de citación son aquellos que más cuestionan esta asociación. Por ejemplo, premios Nobel como Joseph Goldstein, Peter Doherty, Paul Nurse, Bruce Beutler, Randy Schekman (The Nobel Prize, 2017; Schekman, 2013); instituciones como Research Councils UK (2013); Wellcome Trust (2019); European Molecular Biology Organization (2018); American Society for Microbiology (Bertuzzi et al., 2016), Association of the Scientific Medical Societies in Germany (Herrmann-Lingen et al., 2012), UK Forum for Responsible Research Metrics (2018); International Mathematical Union, International Council of Industrial and Applied Mathematics, Institute of Mathematical Statistics (Adler et al., 2008); entre tantas otras organizaciones, se han pronunciado en contra de considerar la relevancia de una investigación a partir de la revista en la que se publica y de las métricas de citación.

Desde esta perspectiva, este trabajo se propone abrir la discusión y abordar los siguientes interrogantes: ¿cuáles fueron los procesos políticos y económicos que históricamente tributaron a la conformación de la representación simbólica actual que asocia indicadores de citación con relevancia científica?, y ¿qué aspectos de esa representación están presentes en la construcción de los indicadores de citación utilizados en la actualidad?

ACERCA DE LA INVESTIGACIÓN: CONCEPTOS CENTRALES Y DATOS EMPÍRICOS

Para poder abordar ambos interrogantes, nos centramos en las revistas científicas como agentes editoriales resultantes de una práctica social en la que participan tanto el campo científico (Bourdieu, 1994) como el campo editorial (Bourdieu, 1995, 1999), atravesados por dimensiones políticas y económicas. En términos bourdianos, los agentes del campo editorial – en este caso las revistas científicas, sus editores y las instituciones en que se inscriben – no solo tienen el poder de hacer que un texto y sus autores accedan a la “existencia pública”, sino que en ese mismo acto le transfieren al texto y a sus autores el capital simbólico acumulado dentro del campo editorial (Bourdieu, 1999). La particularidad, en el caso de las revistas científicas, es que ese capital simbólico que le transfieren a un texto y a sus autores, en el mismo acto de la publicación, está conformado por valores que se configuran al interior del campo científico, de allí que muchas editoriales dedicadas a la edición de libros académicos no comprendan las prácticas de publicación, circulación y legitimación de las revistas científicas. Pero, a su vez, las revistas científicas se materializan sobre la base de los modos de producción del campo editorial que, en términos de Bourdieu, es “la sede de la coexistencia antagónica de dos modos de producción y de circulación que obedecen a lógicas inversas”: por un lado, una lógica basada en el rechazo de lo comercial y del beneficio económico orientada hacia la acumulación del capital simbólico y, por otro, la lógica económica industrial que, “al convertir el comercio de bienes culturales en un comercio como los demás, otorgan la prioridad a la difusión, al éxito inmediato y temporal” (Bourdieu, 1995:214).

Estos conceptos serán centrales para abordar la asociación entre indicadores de citación y “relevancia” o “calidad” científica en tanto construcción simbólica, dado que, como sostendremos en este artículo, en la conformación de esa asociación tuvo una gran participación la lógica económica industrial, invadiendo tanto la práctica científica como editorial. Tal como menciona Moscovici (1979) una representación social es una organización del lenguaje que recorta y simboliza actos y situaciones que se convierten en comunes, pero que se configura sobre testimonios que no forman parte de nuestras experiencias directas, por lo que se trata de una construcción indirecta que nos llega intermediada por los intereses de quienes organizan ese “mundo del discurso”.

A su vez, proponemos el concepto de “ecosistemas conceptuales” sobre la base de la teoría de los polisistemas de Even-Zohar (1990), para intentar superar la noción de “centro-periferia”, tan presente en trabajos de la sociología y la historia de las ciencias desarrollados durante el siglo XX, pero que entendemos ha perdido en la actualidad su fuerza explicativa. Según este autor, la noción de centro y periferia se basa en un unisistema que se identifica exclusivamente con el estrato central – por ejemplo, la cultura oficial, la ciencia industrializada, las revistas de “alto impacto”– como único modelo válido, y concibe a las periferias como algo “categóricamente extrasistémico”. El polisistema quiebra esta noción y plantea la coexistencia de sistemas adyacentes dentro del mismo polisistema, es decir, la coexistencia de distintos ecosistemas conceptuales al interior de un área específica de conocimientos.

A partir de estos conceptos, en la primera parte del trabajo, se analiza cómo al finalizar la Segunda Guerra Mundial el proceso de industrialización de la ciencia consolidó un “unisistema” funcional a los intereses de la Big Science estadounidense y de la industria editorial científica, y colocó en la periferia, es decir, en ese espacio extrasistémico, no solo a América Latina, sino a la tradición sociológica y filosófica alemana, la lingüística y la sociología francesa, la producción de los países asiáticos, rusa y del resto de los países del Este de Europa.

En la segunda parte, se analizan las principales dimensiones de los indicadores de citación, como la selección de la muestra de revistas, la construcción del numerador, los cuartiles por categoría temática y el período analizado por el indicador, en las que se puede identificar cómo se desvanece el universalismo mertoniano y se reemplaza por una lógica de estratificación. Cabe aclarar que, si bien el indicador de citación más discutido en la bibliografía es el factor de impacto (FI), actualmente propiedad de Clarivate Analytic, para ejemplificar las dimensiones propuestas, nos centramos en los registros, indicadores y cuartiles del Scimago Journal & Country Rank. Este portal, creado en 2007, toma como insumo las revistas que forman parte de la base Scopus de Elsevier (Butler, 2008), por ser el más aplicado en diversos países de América Latina. Para el análisis, se extrajeron del Scimago Journal & Country Rank todos los registros de revistas disponibles en noviembre de 2018 y se contabilizó la cantidad de revistas incluidas por país y región. Para analizar los cuartiles, se estandarizó el listado de países en cada una de las categorías temáticas, se contabilizó la cantidad de revistas que cada país tenía en cada cuartil y se identificaron aquellas categorías temáticas que contenían al menos una revista de América Latina en el cuartil 1 (Q1).

ASOCIACIÓN ENTRE INDICADORES DE CITACIÓN Y RELEVANCIA CIENTÍFICA: PROCESOS POLÍTICOS Y ECONÓMICOS

Cuando, en 1942, Robert Merton postuló los valores de “universalismo” y “comunismo” como parte del “ethos” de la ciencia, se basó en la cultura científica de comienzos de siglo XX, desconociendo los cambios que se producirían al finalizar la Segunda Guerra Mundial. En esas primeras décadas del siglo XX, la propia práctica científica y, por consiguiente, las prácticas de publicación, distribución e indización de la ciencia estaban atravesadas por ciertos ideales de inclusión y de recopilación de la mayor cantidad de investigaciones provenientes de distintas regiones del mundo. De hecho, en el Catalogue of scientific papers, publicado por la Royal Society of London, que llegó a abarcar el período 1800-1900 en cuatro series, es posible encontrar artículos publicados en revistas de Chile, Argentina, Brasil, México, Cuba, etc., (Royal Society of London, 1867, 1877, 1891, 1914). En este período, las revistas científicas, tanto de Europa, EEUU, como América Latina se distribuían de forma gratuita entre quienes se asociaban a la institución y muchas de las copias servían de moneda de cambio para obtener las revistas editadas por otras sociedades científicas bajo el sistema de “canje”, y así aumentar el acervo de su propia biblioteca con revistas de otras regiones del mundo. Tal como menciona Cook, la publicación académica por aquellos años “no era un negocio comercial, sino que se llevó a cabo para promover y difundir el conocimiento” (Cook, 2001:20).

El “comunismo”, en el sentido no técnico y extendido de propiedad común de bienes, es un segundo elemento integrante del ethos científico. Los hallazgos de la ciencia son un producto de la colaboración social y son asignados a la comunidad. Constituyen una herencia común en la cual el derecho del productor individual es severamente limitado. (Merton, 1973:273)

Respecto al “universalismo”, Merton postulaba una ciencia en la que la aceptación o el rechazo de una formulación científica no debían depender de atributos personales o sociales, sino que se basaban en la objetividad y en “criterios impersonales preestablecidos” basados en la observación y el conocimiento anteriormente confirmado. Por lo tanto, el etnocentrismo y los intereses particulares eran ajenos al ethos de la ciencia: “cuando la definición dominante exalta lealtades nacionales, el hombre de ciencia se ve sometido a los imperativos en conflicto del universalismo científico y el particularismo etnocéntrico” (Merton, 1973:270). Para Bourdieu, Merton omite plantear la relación entre estos valores ideales de la ciencia, las normas que esta profesa y la estructura social del universo científico, es decir, “los mecanismos que tienden a facilitar ‘control’ y comunicación, evaluación y retribución” (Bourdieu, 1997:86). Sin embargo, esa visión idealizada de la ciencia es la que invisibiliza, incluso en la actualidad, la participación de la lógica económica industrial, de intereses corporativos (Camargo Jr., 2009) o de valores ideológico-culturales en la conformación de representaciones, prácticas y discursividades al interior del campo científico.

Para fines de la Segunda Guerra Mundial, EEUU dominaba la economía mundial con casi dos tercios de la producción industrial del mundo (Hobsbawm, 2010). A partir de la década de 1950, se inicia un proceso de estratificación global de la ciencia impulsada por la política de Estado de EEUU, que apuesta a una elite científico-tecnológica financiada con fondos gubernamentales que, junto al complejo militar-industrial, para 1960, acumulaban un poder desmesurado, tal como lo describe el por entonces presidente Dwight D. Eisenhower al final de su mandato (Eisenhower, 1961).

Ya en 1961, el físico nuclear Alvin Weinberg, en su trabajo sobre el impacto de la ciencia a gran escala se pregunta “¿la Big Science está arruinando la ciencia?” (Weinberg, 1961:161). Allí argumenta que, para conseguir que los congresistas siguieran aprobando los altos porcentajes de financiamiento, se requería de un gran apoyo público, que se lograba con publicidad. Para poder instalar la ciencia en la agenda pública era necesario inyectar el mercado con “novedades” que fueran factibles de ser retomadas por los medios de comunicación, lo que dio lugar a una “enorme proliferación de escritura científica que, en gran parte, permanece sin leer” (Weinberg, 1961:161). Esto propició la expansión de la industria editorial en aquellos países donde la comunidad académico-científica tenía más dinero circulante, sea del Estado o de distintos sectores industriales, lo que a su vez generó un cambio en los modos de producción: un alto porcentaje de las nuevas revistas ya no estaban respaldadas por sociedades científicas, sino que se creaban en las oficinas comerciales de grandes editoriales como Pergamon Press, Springer, Elsevier o Taylor & Francis con el propósito de absorber la publicación de artículos de diversas instituciones (Fredriksson, 2001). Y es aquí cuando entra en escena la lógica económica industrial del sector editorial que, en términos de Bourdieu, convierte “el comercio de bienes culturales en un comercio como los demás”, y se alinea con los intereses de la Big Science otorgando prioridad a la difusión y el éxito inmediato.

En ese contexto, en 1955, Garfield funda el Institute for Scientific Information (ISI) y, desde ese marco institucional, crea tres bases de datos en las que divide el conocimiento en tres grandes áreas: por un lado, ciencias; por otro, ciencias sociales; y, por otro, artes y humanidades. Esta división afianza la separación entre un núcleo central de “la ciencia” escindido de las ciencias sociales. La primera versión de Science Citation Index (SCI) fue publicada en 1963 en formato impreso (Garfield, 1963). Luego, en 1972, se publica el Social Science Citation Index (SSCI) (Garfield, 1972a) y, algunos años más tarde, en 1978, el Arts & Humanities Citation Index (AHCI) (Garfield, 1977). En la introducción de la primera edición impresa del SCI, Garfield expresa:

El índice de citas es su mapa histórico de la bibliografía. A dónde viaje, es su decisión. Lo que encuentre dependerá de usted y de lo que esté disponible. Solo usted puede medir su relevancia. Lo que puede ser valioso para una persona es irrelevante para otra. Dos observaciones científicas no relacionadas pueden correlacionarse en el índice de citas a través de una referencia común. (Garfield, 1963)

Esa idea de que cada investigador o investigadora podía medir la relevancia de un artículo y reconstruir qué es lo que se estaba discutiendo sobre un tema a partir de crear un mapa de relaciones basado en el cruce de citas, se va a ver fuertemente opacada con la publicación del primer ranking de “factor de impacto” publicado en 1969, bajo el título Journal Citation Reports. Con este indicador de citación ya no era necesario reconstruir las relaciones entre autores, ni recuperar los distintos marcos conceptuales coexistentes. Ese proceso se fue reduciendo y simplificando paulatinamente, tal como menciona el informe de la International Mathematical Union, el International Council for Industrial and Applied Mathematics y el Institute of Mathematical Statistics:

La idea de que la evaluación de la investigación se debe hacer utilizando métodos “simples y objetivos” es cada vez más frecuente [...] Existe la creencia de que las estadísticas de citas son intrínsecamente más precisas [...] Si bien los números parecen ser “objetivos”, su objetividad puede ser ilusoria. El significado de una cita puede ser aún más subjetivo que la revisión por pares. Debido a que esta subjetividad es menos obvia para las citas, quienes usan los datos de las citaciones tienen menos probabilidades de comprender sus limitaciones. (Adler et al., 2008)

Una de esas limitaciones era la muestra de revistas sobre la cual se calculaba el factor de impacto. Corrían los tiempos de las “tarjetas perforadas” y la escasa capacidad de procesamiento de las computadoras de los años setenta permitió seguir las citaciones de un número limitado de revistas. De hecho, el propio Garfield explicita que las revistas que no utilizaban alfabeto romano, como las rusas y japonesas, no eran tan fáciles y económicas de incluir en la base de datos SCI (Garfield, 1975a).

Según Jean-Claude Guédon (2016), Garfield hizo muchos esfuerzos para explicar que con pocas revistas se podía analizar la esencia de la ciencia mundial y para opacar los problemas técnicos era necesario justificar que las 2.400 revistas incluidas por ese entonces en el Science Citation Index no solo eran representativas de lo que se investigaba y publicaba a nivel mundial, sino que eran las “más importantes”, y sobre esa base calcula los indicadores de citación:

La cobertura del SCI [Science Citation Index] es internacional y multidisciplinaria, ha crecido de 600 revistas en 1964 a 2.400 revistas en 1972, y ahora incluye las revistas científicas y técnicas más importantes del mundo en la mayoría de las disciplinas. (Garfield, 1972b:527)

Durante más de 50 años, el factor de impacto creado por Eugene Garfield (2006) fue el único indicador de citación a nivel mundial, y esta condición le permitió detentar el monopolio de la “construcción simbólica de exclusividad” (Münch, 2015), y moldear una representación de calidad científica como sinónimo de alta citación. Se desvalorizaron los ecosistemas conceptuales y teóricos de cada país por una nueva “geografía” de la ciencia mundial, un “unisistema”, en términos de Even-Zohar (1990), que dividió la escena entre la ciencia central, que era aquella producida bajo lógicas industriales, que se publicaba en las revistas editadas por la industria editorial y tenían un buen desempeño dentro del sistema creado por Garfield (es decir, con un factor de impacto alto), y la ciencia periférica o “extrasistémica”, conformada por todo aquello que se publicara en revistas que no alcanzaran los primeros puestos del ranking. Y en ese paquete denominado ciencia periférica quedó atrapada no solo la producción latinoamericana, sino por muchas áreas del conocimiento cuyas lógicas de producción y sus dinámicas de citación no se condecían con los estándares marcados por los indicadores. Mientras se permitía el ingreso ilimitado de revistas creadas por la industria editorial y por sociedades científicas estadounidenses e inglesas, se restringía el ingreso a revistas del resto del mundo, para luego evaluar el desempeño como si fuera una muestra representativa de las revistas existentes a nivel mundial.

Este mecanismo era y es funcional a las demandas de una Big Science estadounidense que, en tanto investigación sustentada en la lógica industrial, se transformó en un aparato de producción económica ávido de resultados inmediatos, que fueran fácilmente transmisibles en los medios de comunicación, cuya publicidad permitiera justificar y renovar las altas inversiones por parte del Estado (Capshew y Rader, 1992; Andriesse, 2008; Weinberg, 1961). Así, una versión aggiornada de las leyes bibliométricas formuladas por Lotka, Bradford y Price – ajustadas a las necesidades industriales y aplicadas al Journal Citation Reports – reordenaban un recorte de la realidad creando una “verdad” que adquiría estatus de regla, y tanto la comunidad científica como las políticas nacionales adoptaban, transformaban y reproducían esas reglas, no necesariamente porque se haya demostrado su superioridad técnica (Shenhav y Kamens, 1991), ni porque sus premisas fueran un gran aporte a la producción de conocimiento científico relevante para cada país, sino más bien porque se consolidan como “mitos altamente racionalizados” (Meyer y Rowan, 1977).

Lotka (1926) observa una constante fáctica: “un número reducido de autores publican la mayor parte de los artículos”, pero no prueba la relación entre alta productividad y un mayor aporte a la ciencia o al conocimiento científico. Algo similar sucede con Bradford (1934), quien postula que un número reducido de revistas (core o núcleo) concentra la mayor cantidad de artículos sobre un tema determinado, mientras una alta cantidad de revistas contiene un número reducido de artículos sobre ese tema. La asociación entre revistas que más artículos publican sobre un tema en particular y mayor relevancia o mayor aporte a la ciencia no está presente en su formulación. Sin embargo, sientan las bases de ciertas construcciones simbólicas que se afianzarán durante la segunda mitad del siglo XX.

A su vez, la ley de obsolescencia o “factor de inmediatez” que Derek J. de Solla Price propuso en 1965, en su trabajo Networks of Scientific Papers, muestra que se citan con más frecuencia artículos más recientes y, según sus propias palabras, esto genera el “fenómeno bien conocido de que los artículos se consideran obsoletos después de una década” (Price, 1965:513). Al respecto, en 1975, Eugene Garfield afirmaba que:

Las prácticas de citas difieren de un campo a otro. [...] La rápida obsolescencia puede caracterizar un campo, pero no a otro. Así, por ejemplo, sería una tontería concluir, simplemente sobre la base de los recuentos de citas, que el Journal of the American Chemical Society es una “mejor” revista que Annals of Mathematics, o suponer, sin una gran cantidad de estudios, que sea mejor para su propio campo. (Garfield, 1975a:3)

La obsolescencia de diez años mencionada por Price y las diferencias entre campos sugerida por Garfield en 1975, fueron posteriormente reemplazadas por afirmaciones simplificadas y generalizadas para todos los campos:

...los artículos que logran un alto impacto generalmente se citan dentro de los meses posteriores a la publicación y, ciertamente, dentro de un año aproximadamente. Este patrón de inmediatez le ha permitido a Thomson Scientific identificar “documentos importantes”. (Garfield, 2006:92)

Garfield relaciona el “patrón de inmediatez” con “documentos importantes” para la ciencia en su conjunto y acorta el período de obsolescencia a dos años. Esta decisión tuvo un gran efecto en la propia producción científica. De este modo, los parámetros adoptados por Eugene Garfield en la conformación de los indicadores bibliométricos, junto a los intereses de la industria editorial científica pasaron a ser un engranaje fundamental en la cadena productiva de la Big Science, y el factor de impacto se convirtió en una forma de clasificar y anunciar el alcance científico de sus productos.

Las nuevas revistas con énfasis en los grandes resultados se ubicaron en lo más alto de estos nuevos rankings, y los científicos que publicaron en revistas de “alto impacto” fueron recompensados ​​con empleos y fondos. Casi de la noche a la mañana, se había creado una nueva moneda de prestigio en el mundo científico. (Buranyi, 2017)

Como veremos en el siguiente apartado, estas decisiones adoptadas en la segunda mitad del siglo XX, no solo siguen vigentes, sino que se reafirman sobre la base de esa construcción simbólica que asocia métricas de citación y relevancia científica.

ASPECTOS PRESENTES EN LOS INDICADORES DE CITACIÓN: ASOCIACIÓN ENTRE INDICADORES DE CITACIÓN Y RELEVANCIA CIENTÍFICA

La estratificación de la ciencia de la segunda mitad del siglo XX se construyó sobre cálculos “cerrados”, cuyos resultados se distribuían en soporte impreso. Recién en 2002, las bases de datos creadas por Eugene Garfield, por entonces propiedad de Thomson Scientific, pudieron ser consultadas a través de una plataforma web en la que se integraban los datos de las citas de Web of Science con el cálculo de indicadores de citación del Journal Citation Reports.

En 2004, como forma de contrarrestar el poder acumulado por Web of Science y el factor de impacto como único indicador de citación, la editorial científica Elsevier lanza la base de datos Scopus con la promesa de ampliar el alcance geográfico de las revistas y conformar una muestra más representativa. SCimago Research Group diseña un nuevo indicador para Scopus denominado SCimago Journal Rank (SJR) sobre el cual aplicó los cuartiles como medida de posición, que determinan la ubicación de una revista dentro de una categoría temática (Scimago Research Group, 2007; González-Pereira, Guerrero-Bote y Moya-Anegón, 2010; Guerrero-Bote y Moya-Anegón, 2012). Sin embargo, esta nueva base de datos no solo no amplía el alcance geográfico, sino que reproduce y en algunos casos amplifica parte de las inconsistencias de los indicadores ya existentes, a pesar de lo cual pasó a ser adoptado por los organismos de evaluación de la producción científica y la categorización de revistas de diversos países de América Latina, reemplazando los indicadores preexistentes (Vasen y Vilchis, 2017; Alperin y Rozemblum, 2017; Gómez-Morales, 2018; Farias et al., 2017).

SELECCIÓN DE LA MUESTRA DE REVISTAS CIENTÍFICAS

Con relación a la conformación de la muestra de revistas, en noviembre de 2018, la base de datos Scimago Journal & Country Rank mostraba un total de 34.169 revistas incluidas en Scopus, de las cuales el 40,8% era de EEUU, el 17,1% del Reino Unido, el 6,9% de los Países Bajos y el 5,6% de Alemania; es decir que el 70,4% eran revistas de los países con mayor injerencia de la industria editorial. Según los informes de Elsevier (2016), más de 10.000 revistas incluidas en Scopus (30% del total) son propiedad de cinco compañías editoriales (10% Elsevier, 8% Springer, 5% Wiley-Blackwell, 5% Taylor & Francis y 2% Sage).

Al contabilizar la cantidad de revistas que integran cada una de las ocho regiones que presenta la base de datos (América del Norte, Europa Occidental, Región Asiática, Europa del Este, América Latina, Oriente Medio, Región del Pacífico, África), la participación de América Latina, que incluía un total de 48 países, era del 2,5% (842 revistas) (Figura 1).

Figura 1
Total de revistas científicas incluidas en la base de datos Scimago Journal & Country Rank (N=34.169), según región. Noviembre de 2018.

Esta participación desigual no sería un problema si el objetivo de la base de datos fuera presentar un muestreo por conveniencia de la producción de determinadas regiones. Sin embargo, uno de los objetivos de esta base de datos es generar indicadores de citación que puedan competir simbólicamente con el factor de impacto de Clarivate Analytics, por lo que la composición actual de esta base de datos condiciona el cálculo tanto de indicadores como el CiteScore o el SJR al tratarse de una muestra no probabilística, creada a través de un proceso de selección propuesto por la propia base de datos.

De esa conformación de la muestra de revistas depende la cantidad potencial de revistas “citantes” con las que cuente cada revista al interior de una categoría temática. En la Figura 2 se observa que la proporción de revistas citantes del Reino Unido y de EEUU es mucho mayor que la del resto de los países – lo cual asegura un número importante de revistas de ambos países en el cuartil 1 (Q1) – seguidos por los Países Bajos y Alemania. Las proporciones de la Figura 2 se reproducen con muy pocas variaciones en las distintas categorías, dado que estos cuatro países, en conjunto, representan el 70,4% de las revistas incluidas en la base de datos.

Figura 2
Revistas científicas incluidas en la categoría temática Cultural Studies de Scimago Journal & Country Rank (n=876), según país y cuartil de citación. 2018.

Nota: El criterio de ordenamiento fue el total de revistas por país.

Según la perspectiva unisistémica, al interior de un área temática las revistas entablarían un diálogo homogéneo, atravesado por los mismos intereses temáticos, conceptuales y metodológicos para abordar los mismos problemas sociales. Así, la permanencia de un gran número de revistas estadounidenses e inglesas en el cuartil 1 expresaría un reconocimiento de la ciencia mundial al aporte científico de ambos países, en tanto las revistas del resto del mundo no realizarían aportes significativos a ese diálogo unidimensional.

Si bien esta es la representación que se consolidó durante la segunda mitad del siglo XX, como veremos en el análisis de la conformación de los cuartiles, un país, al interior de una categoría temática, tiene más revistas en el cuartil 1 (Q1) cuantas más revistas tenga en los cuartiles inferiores, por lo que el criterio de conformación de la muestra, a partir de un muestreo no probabilístico, es lo que permite regular y sostener las proporciones vigentes.

CONSTRUCCIÓN DEL NUMERADOR

Mientras que el numerador del factor de impacto de Clarivate Analytics o del CiteScore de Scopus contabiliza el número de citas recibidas por una revista en un año determinado asignándole el mismo grado de relevancia a todas las revistas citantes, el numerador del SJR, según sus propios creadores, “se basa en la transferencia de prestigio de una revista a otra”, por lo que no todas las citas recibidas por una revista tendrían el mismo peso. Para obtener el numerador se calcula, en primer lugar, el “prestigio” de cada revista y, en segundo lugar, se contabilizan las citas recibidas por una revista en los artículos publicados en los tres años anteriores y se computan según el “prestigio” calculado de la revista citante. De este modo, las citas obtenidas desde una revista de más “prestigio” tendrían más peso que las citas de una revista de menos “prestigio” (González-Pereira et al., 2010; Scimago Research Group, 2007; Guerrero-Bote y Moya-Anegón, 2012). Esto genera un efecto por el cual, según los propios creadores del indicador, los valores altos tienden a concentrarse en menos revistas por lo que la distancia entre las revistas mejor clasificadas y el resto tiende a ser mayor (González-Pereira et al., 2010).

En contraposición al universalismo y comunismo mertonianos reinantes hasta comienzos del siglo XX, esta lógica de transferencia de “prestigio” fomenta las desigualdades y la estratificación, de manera de asegurar que el núcleo de la ciencia industrializada monopolice la representación simbólica de relevancia científica. Esto genera una distorsión del sistema de valores que relega y desvaloriza los ecosistemas conceptuales regionales, los problemas nacionales, los temas innovadores o poco trabajados, y estimula alistarse en las teorías en boga dentro de áreas que ya están altamente pobladas para asegurar la alta citación.

CUARTILES POR CATEGORÍA TEMÁTICA

A partir del valor SJR obtenido, la base Scimago Journal & Country Rank pondera las revistas incluidas al interior de una categoría temática y calcula los cuartiles de citación. Del total de las 313 categorías temáticas del Scimago Journal & Country Rank, basadas en la clasificación de Scopus, solo 31 categorías (10%) contenían alguna revista de América Latina posicionada en el cuartil 1 (Q1). Al analizar en cada una de esas 31 categorías temáticas la cantidad de revistas de cada país según cuartil (Tabla 1), la primera constante que surge es que un país, al interior de una categoría temática, tiene más revistas en el cuartil 1 (Q1) cuentas más revistas tenga en los cuartiles inferiores. Entendemos que esta constante se debe a que las revistas incluidas dentro de una categoría temática responden a distintos ecosistemas conceptuales y, por lo tanto, no necesariamente dialogan todas entre sí, sino que el diálogo se produce al interior de cada ecosistema, en el que se suelen compartir problemas prioritarios a ser trabajados, marcos conceptuales, redes de investigadores y modos de producción científica con mayor o menor participación de lógicas industriales. Es decir, una categoría temática no es isomorfa, no es un bloque uniforme, sino que es polisistémica. Por lo tanto, si la muestra de revistas no es representativa de esa diversidad de ecosistemas, los indicadores van a reproducir ese sesgo inicial y mostrar, dentro de una lógica unisistémica, ciertos ecosistemas como si fueran detentores de una mayor “influencia” o “prestigio” científico, cuando en realidad solo cuentan con una mayor proporción en términos numéricos, que es lo que asegura su posición. Dentro de este esquema, las revistas latinoamericanas tienen muy pocas posibilidades efectivas de llegar a los cuartiles superiores por la escasa proporción de revistas citantes dentro de sus ecosistemas conceptuales.

Tabla 1
Número de revistas de todas las regiones, EEUU, Reino Unido y de la región de América Latina que integran aquellas subcategorías temáticas de Scimago Journal & Country Rank con al menos una revista de América Latina en el cuartil 1. Noviembre de 2018.

No.	Categorías temáticas	Revistas
		Número total	EEUU (todos los cuartiles)		EEUU (Q1)		Reino Unido (todos los cuartiles)		Reino Unido (Q1)		América Latina (todos los cuartiles)		América Latina (Q1)
			n	%	n	%	n	%	n	%	n	%	n	%	Países Q1
1	Ciencias agrícolas y Biológicas (misceláneas)	261	50	19,2	21	8,0	38	14,6	17	6,5	25	9,6	1	0,4	Chile
2	Agronomía y Ciencias agrarias	355	74	20,8	19	5,4	47	13,2	18	5,1	35	9,9	2	0,6	Brasil, Chile
3	Ciencia animal y Zoología	401	67	16,7	27	6,7	74	18,5	30	7,5	40	10,0	1	0,2	Brasil
4	Antropología	349	119	34,1	46	13,2	81	23,2	23	6,6	15	4,3	3	0,9	Chile, Brasil
5	Arqueología (artes y humanidades)	289	42	14,5	23	8,0	50	17,3	23	8,0	9	3,1	1	0,3	Chile
6	Arqueología	280	50	17,9	25	8,9	50	17,9	23	8,2	10	3,6	2	0,7	Chile
7	Arquitectura	151	54	35,8	9	6,0	29	19,2	11	7,3	6	4,0	1	0,7	Chile
8	Cerámicos y Compuestos	137	51	37,2	7	5,1	24	17,5	9	6,6	2	1,5	1	0,7	Brasil
9	Clásicos	112	17	15,2	7	6,3	12	10,7	6	5,4	3	2,7	1	0,9	Argentina
10	Conservación	71	15	21,1	4	5,6	18	25,4	8	11,3	2	2,8	1	1,4	Colombia
11	Estudios culturales	876	241	27,5	69	7,9	253	28,9	98	11,2	20	2,3	2	0,2	Chile, México
12	Historia	1.120	206	18,4	70	6,3	285	25,4	122	10,9	39	3,5	2	0,2	Chile, Colombia
13	Horticultura	78	13	16,7	3	3,8	9	11,5	3	3,8	9	11,5	2	2,6	Brasil
14	Ingeniería industrial y de manufactura	590	267	45,3	22	3,7	85	14,4	24	4,1	6	1,0	1	0,2	Chile
15	Derecho	602	183	30,4	68	11,3	185	30,7	51	8,5	25	4,2	1	0,2	Chile
16	Literatura y Teoría literaria	735	224	30,5	64	8,7	140	19,0	51	6,9	23	3,1	2	0,3	Chile
17	Gestión, Monitoreo, Políticas y Derecho	306	75	24,5	17	5,6	107	35,0	25	8,2	5	1,6	1	0,3	Brasil
18	Matemática (misceláneas)	420	108	25,7	31	7,4	39	9,3	18	4,3	9	2,1	1	0,2	México
19	Medicina (misceláneas)	2.863	895	31,3	284	9,9	488	17,0	207	7,2	72	2,5	2	0,1	Brasil, México
20	Metales y aleaciones	201	56	27,9	9	4,5	28	13,9	7	3,5	2	1,0	1	0,5	Brasil
21	Multidisciplinario	116	17	14,7	4	3,4	12	10,3	8	6,9	6	5,2	1	0,9	Brasil
22	Museología	47	14	29,8	3	6,4	11	23,4	4	8,5	3	6,4	1	2,1	Colombia
23	Conservación de la naturaleza y el paisaje	148	35	23,6	11	7,4	29	19,6	9	6,1	5	3,4	1	0,7	Brasil
24	Paleontología	107	17	15,9	6	5,6	14	13,1	7	6,5	6	5,6	1	0,9	Chile
25	Farmacología, Toxicología y Farmacia (misceláneas)	111	19	17,1	5	4,5	13	11,7	4	3,6	4	3,6	1	0,9	Brasil
26	Fisioterapia, Terapia Deportiva y Rehabilitación	183	54	29,5	22	12,0	39	21,3	17	9,3	4	2,2	1	0,5	Brasil
27	Ciencia de las plantas	444	88	19,8	23	5,2	56	12,6	30	6,8	32	7,2	2	0,5	Brasil, Chile
28	Rehabilitación	122	42	34,4	14	11,5	29	23,8	10	8,2	3	2,5	1	0,8	Brasil
29	Superficies, Revestimientos y Películas	164	69	42,1	8	4,9	31	18,9	11	6,7	3	1,8	1	0,6	Brasil
30	Veterinaria (misceláneas)	179	20	11,2	7	3,9	33	18,4	21	11,7	25	14,0	1	0,6	Brasil
31	Artes visuales y Artes escénicas	456	126	27,6	33	7,2	139	30,5	55	12,1	9	2,0	2	0,4	Chile, Colombia

Fuente: Elaboración propia sobre la base de datos extraídos de Scimago Journal & Country Rank.
• Nota: La región de América Latina incluye 48 países: Anguila, Antigua y Barbuda, Argentina, Aruba, Bahamas, Barbados, Belice, Bermudas, Bolivia, Brasil, Islas Caimán, Chile, Colombia, Costa Rica, Cuba, Dominica, República Dominicana, Ecuador, El Salvador, Islas Malvinas (Falkland), Guayana Francesa, Granada, Guadalupe, Guatemala, Guyana, Haití, Honduras, Jamaica, Martinica, México, Montserrat, Antillas Neerlandesas, Nicaragua, Panamá, Paraguay, Perú, Puerto Rico, San Cristóbal y Nieves, Santa Lucía, San Vicente y las Granadinas, Islas Georgias del Sur y Sándwich del Sur, Surinam, Trinidad y Tobago, Islas Turcas y Caicos, Uruguay, Venezuela, Islas Vírgenes (Británicas), Islas Vírgenes (EEUU).

Dentro del grupo de categorías seleccionados en la Tabla 1, Veterinary (miscellaneous) (14,0%), Horticulture (11,5%), Animal Science and Zoology (10,0%) contaban con el mayor porcentaje de revistas de América Latina, lo cual coincide con los menores porcentajes de revistas de EEUU. Lo mismo sucede a la inversa: las áreas con menor participación de revistas de América Latina – Surfaces, Coatings and Films (1,8%); Management, Monitoring, Policy and Law (1,6%); Ceramics and Composites (1,5%); Industrial and Manufacturing Engineering (1,0%) y Metals and Alloys (1,0%) – son las áreas con mayor porcentaje de revistas de EEUU. Estos datos se condicen con las matrices productivas de los países, las cuales plantean distintos problemas prioritarios a ser trabajados y distintos grados de participación de lógicas industriales dentro de los modos de producción científico-editoriales (Martinovich, 2019).

Otro aspecto a destacar es que, al observar los datos de la Tabla 1, el análisis basado en las divisiones clásicas entre ciencias exactas y naturales, ciencias sociales, y tecnología pierde relevancia, dado que los problemas relacionados con la selección de la muestra de revistas, la construcción del numerador, los cuartiles por categoría temática, y el período analizado por el indicador atraviesan a todas las áreas del conocimiento por igual. El problema no radica en la baja representación de las ciencias sociales dentro de la selección de Scopus, dado que áreas temáticas como Historia (n=1.120) o Estudios culturales (n=876) cuentan con un mayor número de revistas que otras áreas como Física y astronomía (n=268), Biología molecular (n=406) o incluso Salud pública (n=526), no incluidas en esta selección por no contar con ninguna revista latinoamericana en el cuartil 1. Incluso la participación porcentual de revistas de América Latina es mayor en áreas como Historia (3,5%) que en Medicina (2,5%).

Si en la propia conformación de la muestra, el 57,9% del total se concentra en revistas de EEUU (40,8%) y el Reino Unido (17,1%), las posibilidades de que estas revistas integren el 25% correspondiente al cuartil 1 son mucho mayores que las posibilidades del 2,5% correspondiente a revistas de América Latina.

PERÍODO ANALIZADO POR EL INDICADOR

Las citas que son válidas para el cálculo del SJR corresponden a los últimos tres años (a diferencia del factor de impacto que contempla dos años). Esto significa que el SJR 2017 de una revista determinada incluye, en el numerador, las citas que en 2017 recibieron los documentos publicados en los tres años anteriores (2016, 2015 y 2014); y, en el denominador, los documentos que esa misma revista publicó en esos tres años anteriores (2016, 2015 y 2014). Sin embargo, en el informe Citation Statistics (Adler et al., 2008), la International Mathematical Union menciona que en campos como las matemáticas la mayoría de las citas ocurren más allá del período de dos años, y que aproximadamente el 50% de las citas corresponden a artículos que aparecen en décadas anteriores, el 25% cita artículos que aparecieron en la década precedente y 12,5% cita artículos de la década en curso. De este modo, aproximadamente el 90% de las citas de una revista quedan fuera de la ventana de dos o tres años, por lo que los indicadores de citación se basan tan solo en el 10% de la actividad de citas (Adler, Ewing y Taylor, 2008). Al igual que en muchas otras áreas, esa pérdida de citas se desconoce y se invisibiliza, y ese valor sesgado, resultante de una porción muy reducida del total de citas, se asocia a una baja citación y a todo el complejo de representaciones y relaciones entre baja citación y poca relevancia científica.

Según Leydesdorff et al. (2016), las citas a corto plazo tienen más probabilidades de ser transitorias y, por lo tanto, son problemáticas como indicadores de calidad, dado que tienden a medir la participación en discusiones recientes y no la calidad epistémica de una investigación. Tal como mencionan Burton y Kebler, cada campo temático está compuesto por dos o más tipos distintos de artículos, cada uno con su propia vida media. Existe, por ejemplo, en la mayoría de los campos, un cuerpo de trabajos que se conoce como “clásicos”. Estos artículos tendrían una vida media relativamente más larga que los llamados “efímeros” (Burton y Kebler, 1960). Por ejemplo, el artículo “Molecular structure of nucleic acids: A structure for Deoxyribose Nucleic Acid” de James Watson y Francis Crick (1953), uno de los trabajos más importantes de la biología del siglo XX en el que postulan la estructura en doble hélice del ADN, tardó diez años en alcanzar su tasa máxima de citas (Olby, 2003; Lawrence, 2007), y lo hizo en 1963 luego de haber recibido el premio Nobel en 1962 (Gingras, 2010). Lo mismo ocurre con temas innovadores que aún no tienen un núcleo de investigadores que potencialmente puedan citar la producción. En este sentido, Bruce Alberts, referente en biología celular, presidente de la Academia Nacional de Ciencias de EEUU y editor responsable de la revista Science menciona:

El mal uso del factor de impacto de la revista es altamente destructivo, e invita a un juego de métricas que puede sesgar a las revistas en contra de la publicación de artículos importantes. [...] Cualquier sistema de evaluación en el que el mero número de publicaciones de un investigador aumenta su puntaje genera un fuerte desincentivo para realizar trabajos arriesgados y potencialmente innovadores, ya que lleva años crear un nuevo enfoque en un nuevo contexto experimental, durante el cual cabría esperar que no haya publicaciones. Tales métricas bloquean aún más la innovación porque alientan a los científicos a trabajar en áreas de la ciencia que ya están altamente pobladas, ya que solo en estos campos se puede esperar que una gran cantidad de científicos hagan referencia al trabajo de uno, sin importar cuán sobresaliente sea. (Alberts, 2013)

ECOSISTEMAS CONCEPTUALES VS CIENCIA ISOMÓRFICA

El análisis realizado muestra que los modelos de evaluación de la producción científica adoptados por ciertos países latinoamericanos y basados en el factor de impacto o el cuartil de citación fomentan una ciencia pensada en términos unisistémicos, alineada con agendas centradas en temas muy trabajados y poco innovadores que aseguren cierta citación, con una validez efímera que no supere los dos o tres años analizados por el indicador de citación, dejando afuera gran parte de la relevante producción teórica y empírica de la región. Partiendo de la propia conformación de la muestra de revistas, las revistas latinoamericanas, con una participación del 2,5% del total, tienen muy pocas posibilidades efectivas de llegar a los cuartiles superiores por la escasa proporción de revistas citantes dentro de sus ecosistemas conceptuales. Sin embargo, estos aspectos no suelen ser problematizados, porque la asociación entre indicadores de citación y relevancia científica, en tanto representación, se basa en valores configurados no sobre nuestras propias experiencias, sino sobre un sistema de valores intermediado por los intereses de quienes organizan ese universo discursivo y que logra instalarse como si se tratara de un consenso generalizado que no requiere verificación (Moscovici, 1979).

En este sentido, reivindicar los indicadores de citación como forma de evaluar la relevancia de las investigaciones y su aporte al conocimiento científico, a la vez que es funcional a los intereses de la Big Science y, sobre todo, de la industria editorial científica, se traduce en una “tragedia de los bienes comunes” (Hardin, 1968; Casadevall et al., 2016), porque estimula una ciencia basada en la competitividad y en los beneficios personales, sin importar si esto beneficia o perjudica al conjunto social al que pertenece (Casadevall, Fang, 2015). Se genera, así, una distorsión del sistema de valores que relega y desvaloriza los ecosistemas conceptuales regionales, los problemas nacionales, los temas innovadores o poco trabajados, y estimula alistarse en las teorías en boga dentro de áreas que ya están altamente pobladas, para asegurar la citación (Alberts, 2013). En síntesis, se pondera una “ciencia isomórfica” (Shenhav y Kamens, 1991), basada en reglas que funcionan como “mitos altamente racionalizados” (Meyer y Rowan, 1977), que reproducen los intereses científicos de quienes están en la cima de la pirámide.

Uno de los ejemplos de esta “tragedia de los bienes comunes” es el efecto de los cambios adoptados, en 2016, por el sistema colombiano Publindex de Colciencias de Colombia, al implementar cuatro categorías (A1, A2, B y C) equivalentes a los cuatro cuartiles de citación (Q1, Q2, Q3 y Q4), para categorizar no solo a las revistas colombianas, sino también para homologar a las revistas extranjeras en las que publican investigadores de Colombia. Esta modificación produjo el descenso de categoría de las revistas colombianas “hasta el extremo de que en la clasificación A1 solo quedó una revista” (Castaño Castrillón, 2018), y de un gran número de revistas de Brasil, Argentina, México y Chile, que pasaron de la categoría A1 a C. ¿Y cuáles serían los efectos negativos? Por un lado, como las y los investigadores de Colombia reciben mayor puntaje al publicar en revistas A1, un alto porcentaje de revistas colombianas y de otros países de América Latina – que pasaron a ser categorizadas como C – quedaron relegadas por el propio sistema. Por otro lado, se estimula la transferencia de recursos económicos desde el Estado colombiano hacia la industria editorial científica, a través del pago de cargos por procesamiento editorial de los artículos (article processing charge, APC), perdiendo la posibilidad de invertir esos recursos en el desarrollo de un sector editorial científico nacional. Pero tal vez el efecto más nocivo sea que, como los temas que podrían ser relevantes en Colombia no necesariamente son de interés de las revistas A1, editadas sobre todo en EEUU o el Reino Unido, se comienza a modificar la agenda de investigación para alinearla con aquellos temas que tengan mayor aceptación en ese tipo de revistas, y a segmentar una investigación en múltiples fragmentos para alcanzar las altas cuotas de productividad exigida. Estos aspectos no son exclusivos de Colombia, sino que también en 2016, y con parámetros muy similares, se han implementado en México (Vasen y Vilchis, 2017) y en Brasil (Farias et al., 2017, Martinovich, 2016).

El análisis realizado en este artículo muestra cómo los parámetros de evaluación de la producción científica moldean el tipo de ciencia que se produce, lo que amerita cuestionar y repensar aquello que Amilcar Herrera (1973) denominó como “política científica explicita” es decir, la fachada formal y declarativa de la política oficial, que es bien distinta de la política científica verdaderamente en acción, es decir, la “política científica implícita” que es la que realmente expresa el papel de la ciencia en la sociedad. Ambas esferas están atravesadas por representaciones y prácticas que retroalimentan el plano discursivo, que suele estar disociado de la valorización de los ecosistemas conceptuales regionales o nacionales. Por lo tanto, las preguntas deberían centrarse en ciencia y tecnología para qué y para quién (Kreimer y Zabala, 2006; Varsavsky, 1971), para luego formular un sistema de evaluación de la producción que respete y valorice las decisiones políticas adoptadas. En síntesis, las bases de datos comerciales deberían recuperar el sentido originario de distribución del conocimiento científico y, los países, el rol de generar los parámetros de evaluación en función de las prioridades en materia de políticas científicas que cada país establezca.

En este marco, los preceptos de la ciencia abierta en los que se inscriben tanto la Scientific Electronic Library Online (SciELO), como la Red de Revistas Científicas de América Latina y el Caribe, España y Portugal (Redalyc) fueron centrales para aumentar la visibilidad de la ciencia latinoamericana. Más allá de su indiscutible relevancia, queda el desafío de poner en discusión la red de significaciones que se basa en la exclusión como condición imprescindible para detentar el poder simbólico de la relevancia científica. Por lo tanto, los preceptos de la ciencia abierta lograron concebir el conocimiento generado por la comunidad científica como un bien público, pero aún sigue pendiente restituir una cultura científica inclusiva, pensada en términos de polisistemas, que permita recuperar y respetar la diversidad de ecosistemas conceptuales presentes en las investigaciones provenientes de distintas regiones del mundo.

REFERENCIAS

• ADLER, Robert; EWING, John; TAYLOR, Peter. (2008), “Citation statistics”. Disponible en:https://www.mathunion.org/fileadmin/IMU/Report/CitationStatistics.pdf Acceso en 3 dic. 2018.
  » https://www.mathunion.org/fileadmin/IMU/Report/CitationStatistics.pdf
• ALBERTS, Bruce. (2013), “Impact Factor Distortions”. Science, v. 340, n. 6134, p. 787–787. doi: 10.1126/science.1240319.
• ALPERIN, Juan Pablo; ROZEMBLUM, Cecilia. (2017). “La reinterpretación de visibilidad y calidad en las nuevas políticas de evaluación de revistas científicas”. Revista Interamericana de Bibliotecología, v. 40, n. 3, pp. 231-241. doi: 10.17533/udea.rib.v40n3a04.
• ANDRIESSE, Cornelis D. (2008), “Saturation”. In: Dutch messengers: A history of science publishing, 1930-1980. Leiden: Brill. pp. 225-241.
• BEIGEL, Fernanda. (2014), “Publishing from the periphery: structural heterogeneity and segmented circuits: The evaluation of scientific publications for tenure in Argentina’s CONICET”. Current Sociology, v. 62, n. 5, pp. 743-765. doi: 10.1177/0011392114533977.
• BEIGEL, Fernanda; GALLARDO, Osvaldo; BEKERMAN, Fabiana. (2018). “Institutional expansion and scientific development in the periphery: the structural heterogeneity of Argentina’s academic field”. Minerva, v. 56, n. 3, pp. 305-331. doi: 10.1007/s11024-017-9340-2.
• BERTUZZI, Stefano et al. (2016), “Journal impact factors: changing the weather”. Microbe Magazine, v. 11, n. 7, p. 289. doi: 10.1128/microbe.11.289.1.
• BOURDIEU, Pierre. (1994), “El campo científico”. Redes, n. 2, pp. 130-160.
• BOURDIEU, Pierre. (1995), “El mercado de los bienes simbólicos”. In: Las reglas del arte: génesis y estructura del campo literario. Barcelona: Anagrama, pp. 213-261.
• BOURDIEU, Pierre. (1997), “La doble ruptura”. In: Razones prácticas: sobre la teoría de la acción. Barcelona: Editorial Anagrama, pp. 84-90.
• BOURDIEU, Pierre. (1999), “Una revolución conservadora en la edición”. In: Intelectuales, política y poder. Buenos Aires: Eudeba, pp. 223-264.
• BRADFORD, Samuel C. (1934), “Sources of information on specific subjects”. Engineering: An Illustrated Weekly Journal, v. 137, n. 3550, pp. 85-86.
• BURANYI, Stephen. (2017), “Is the staggeringly profitable business of scientific publishing bad for science?” The Guardian. Disponible en: https://www.theguardian.com/science/2017/jun/27/profitable-business-scientific-publishing-bad-for-science? Acceso en 5 dic. 2018.
  » https://www.theguardian.com/science/2017/jun/27/profitable-business-scientific-publishing-bad-for-science?
• BURTON, Robert E.; KEBLER, R. W. (1960), “The ‘half-life’ of some scientific and technical literatures”. American Documentation, v. 11, n. 1, pp. 18-22. doi: 10.1002/asi.5090110105.
• BUTLER, Declan. (2008), “Free journal-ranking tool enters citation market”. Nature, v. 451, n. 7174, p. 6. doi: 10.1038/451006a.
• CAMARGO Jr., Kenneth R. (2009), “Public health and the knowledge industry”. Revista de Saúde Pública, v. 43, n. 6, pp. 1078-1283. doi: 10.1590/S0034-89102009005000076.
• CAPSHEW, James H.; RADER, Karen A. (1992), “Big Science: price to the present”. Osiris, v. 7, n. 1, pp. 2-25.
• CASADEVALL, Arturo et al. (2016), “ASM Journals Eliminate Impact Factor Information from Journal Websites”. MSystems, v. 1, n. 4. doi: 10.1128/mSystems.00088-16.
  » https://doi.org/10.1128/mSystems.00088-16
• CASADEVALL, Arturo; FANG, Ferric C. (2015), “Impacted Science: impact is not importance”. MBio, v. 6, n. 5, p. e01593-15. doi: 10.1128/mBio.01593-15.
• CASTAÑO CASTRILLÓN, José Jaime. (2018), “Penurias de un editor”. Archivos de Medicina (Col), v. 18, n. 2. doi 10.30554/archmed.18.2.2876.2018.
• COOK, Alan. (2001), “Academic Publications before 1940”. In: E. H. Fredriksson (ed.) A century of science publishing: a collection of essays. Amsterdam: IOS Press. pp. 14-24.
• DORA. (2012). “San Francisco Declaration on Research Assessment”. Disponible en: https://sfdora.org/read Acceso en 5 dic. 2018.
  » https://sfdora.org/read
• EISENHOWER, Dwight D. (1961), “Text of the address by President Eisenhower, broadcast and televised from his office in the White House, Tuesday evening, January 17, 1961”. Acceso en: https://tinyurl.com/y8vfrtdw Acceso 5 dic. 2018.
  » https://tinyurl.com/y8vfrtdw
• ELSEVIER. (2016). “Scopus: Content Coverage Guide”. Disponible en https://www.elsevier.com/__data/assets/pdf_file/0007/69451/scopus_content_coverage_guide.pdf Acceso en 3 dic. 2018.
  » https://www.elsevier.com/__data/assets/pdf_file/0007/69451/scopus_content_coverage_guide.pdf
• EUROPEAN MOLECULAR BIOLOGY ORGANIZATION. (2018). “EMBO Long-Term Fellowships: Application guidelines”. Disponible en: http://www.embo.org/documents/LTF/LTF_Guidelines_for_Applicants.pdf Acceso en 4 dic. 2018.
  » http://www.embo.org/documents/LTF/LTF_Guidelines_for_Applicants.pdf
• EVEN-ZOHAR, Itamar. (1990). “Polysystem studies”. Poetics Today, v. 11, n. 1, p. 9–26.
• FARIAS, Mareni Rocha; STORB, Bernd Heinrich; STORPIRTIS, Silvia; et al. (2017). “Impact Factor: an appropriate criterion for the Qualis journals classification in the Pharmacy area?” Brazilian Journal of Pharmaceutical Sciences, v. 53, n. 3, p. e01001. doi: 10.1590/s2175-97902017000301001.
• FREDRIKSSON, Einar H. (2001), “The Dutch publishing scene: Elsevier and North-Holland”. In: A century of science publishing. Amsterdam: IOS Press. pp. 61-76.
• GARFIELD, Eugene. (1963), “Science Citation Index”. In: Science Citation Index 1961. Philadelphia: Institute of Scientifique Information. pp. V-XVI.
• GARFIELD, Eugene. (1972a), “The new Social Sciences Citation Index (SSCI): will add a new dimension to research on man and society”. Current Contents, n. 21, pp. 317–319.
• GARFIELD, Eugene. (1972b), “Citation analysis as a tool in journal evaluation”. Science, n. 178, p. 471-479.
• GARFIELD, Eugene. (1975a), Journal Citation Reports: A bibliometric analysis of references processed for the 1974 Science Citation Index. Philadelphia: Institute for Scientific Information.
• GARFIELD, Eugene. (1975b), “The Social Science Citation Index, more than tool”. Current Contents, n. 12, pp. 6-9.
• GARFIELD, Eugene. (1977), “Will ISI’S Arts & Humanities Citation Index revolutionize scholarship?” Current Contents, n. 32, pp. 5-9.
• GARFIELD, Eugene. (2006), “The History and Meaning of the Journal Impact Factor”. JAMA, v. 295, n. 1, pp. 90-93. doi: 10.1001/jama.295.1.90.
• GINGRAS, Yves. (2010), “Revisiting the ‘Quiet Debut’ of the Double Helix: a bibliometric and methodological note on the ‘impact’ of scientific publications”. Journal of the History of Biology, v. 43, n. 1, pp. 159-181. doi: 10.1007/s10739-009-9183-2.
• GÓMEZ-MORALES, Yuri Jack. (2018), “Abuso de las medidas y medidas abusivas. Crítica al pensamiento bibliométrico hegemónico”. Anuario Colombiano de Historia Social y de la Cultura, v. 45, n. 1, pp. 269-290. doi: 10.15446/achsc.v45n1.67559.
• GONZÁLEZ-PEREIRA, Borja; GUERRERO-BOTE, Vicente P.; MOYA-ANEGÓN, Félix. (2010). “A new approach to the metric of journals’ scientific prestige: the SJR Indicator”. Journal of Informetrics, v. 4, n. 3, pp. 379-391. doi: 10.1016/j.joi.2010.03.002.
• GUÉDON, Jean Claude. (2016), “Los retos de la comunicación científica para el sur global”. Disponible en: https://www.youtube.com/watch?v=L9goyc2A8gk&index=5&list=FLYe4miAPo-9fD1ob-rr0W3A Acceso en 3 dic. 2018.
  » https://www.youtube.com/watch?v=L9goyc2A8gk&index=5&list=FLYe4miAPo-9fD1ob-rr0W3A
• GUERRERO-BOTE, Vicente P.; MOYA-ANEGÓN, Félix. (2012), “A further step forward in measuring journals’ scientific prestige: the SJR2 Indicator”. Journal of Informetrics, v. 6, n. 4, pp. 674-688. doi: 10.1016/j.joi.2012.07.001.
• HARDIN, Garrett. (1968), “The Tragedy of the Commons”. Science, v. 162, n. 3859, pp. 1243-1248. doi: 10.1126/science.162.3859.1243.
• HERRERA, Amilcar O. (1973), “Los determinantes sociales de la política científica en América Latina: Política científica explícita y política científica implícita”. Desarrollo Económico: Revista de Ciencias Sociales, v. 13, n. 49, pp. 113-134.
• HERRMANN-LINGEN, Christoph et al. (2012), “Evaluation of Medical Research Performance: Position Paper of the Association of the Scientific Medical Societies in Germany (AWMF)”. GMS, v. 12, Doc11. doi: 10.3205/000196.
  » https://doi.org/10.3205/000196
• HICKS, Diana et al. (2015), “Bibliometrics: The Leiden Manifesto for research metrics”. Nature, v. 520, n. 7548, pp. 429-431. doi: 10.1038/520429a.
• HOBSBAWM, Eric. (2010), “Los años dorados”. In: Historia del siglo XX. Buenos Aires: Crítica, pp. 260-289.
• KREIMER, Pablo; ZABALA, Juan Pablo. (2006), “¿Qué conocimiento y para quién? Problemas sociales, producción y uso social de conocimientos científicos sobre la enfermedad de Chagas en Argentina”. Redes, v. 12, n. 23, pp. 55-64.
• LAWRENCE, Peter A. (2007), “The mismeasurement of science”. Current Biology, v. 17, pp. 583-585. doi: 10.1016/j.cub.2007.06.014.
• LEYDESDORFF, Loet et al. (2016), “Citations: indicators of quality? The impact fallacy”. Frontiers in Research Metrics and Analytics, v. 1, n.1. doi: 10.3389/frma.2016.00001.
• LOTKA, Alfred A. (1926), “The frequency distribution of scientific productivity”. Journal of the Washington Academy of Sciences, v. 16, n. 12, pp. 317-323.
• MARTINOVICH, Viviana. (2016), “Práctica editorial contextualizada: Carlos Augusto Monteiro y la Revista de Saúde Pública”. Salud Colectiva, v. 12, n. 2, pp. 295-304. doi: 10.18294/sc.2016.980.
• MARTINOVICH, Viviana. (2019), “Revistas científicas argentinas de acceso abierto y circulación internacional: un análisis desde la teoría de los campos de Pierre Bourdieu”. Información, Cultura y Sociedad, n. 40, pp. 93-115. doi: 10.34096/ics.i40.5540.
• MERTON, Robert K. (1973), “The normative structure of science”. In: The sociology of science: Theoretical and empirical investigations. Chicago: University of Chicago Press.
• MEYER, John W.; ROWAN, Brian. (1977), “Institutionalized organizations: Formal structure as myth and ceremony”. American Journal of Sociology, v. 83, n. 2, pp. 340-363. doi: 10.1086/226550.
• MOSCOVICI, Serge. (1979), El psicoanálisis, su imagen y su público. Buenos Aires: Editorial Huemul.
• MÜNCH, Richard. (2015), “El mecanismo de monopolio en la ciencia”. Literatura: Teoría, Historia, Crítica, v. 17, n. 2, pp. 251-286. doi. 10.15446/lthc.v17n2.51293.
• OLBY, Robert. (2003), “Quiet Debut for the Double Helix”. Nature, v. 421, n. 6921, pp. 402-405. doi: 10.1038/nature01397.
• PRICE, Derek J. de Solla. (1965), “Networks of scientific papers”. Science, v. 149, n. 3683, pp. 510-515.
• RESEARCH COUNCILS UK. (2013), “RCUK policy on open access and supporting guidance”. Disponible en: https://www.ukri.org/files/legacy/documents/rcukopenaccesspolicy-pdf Acceso en 5 dic. 2018.
  » https://www.ukri.org/files/legacy/documents/rcukopenaccesspolicy-pdf
• ROYAL SOCIETY OF LONDON. (1867), Catalogue of scientific papers, 1800-1863. Vol. 1. London: Royal Society of London. Disponible en: http://biodiversitylibrary.org/page/18305124 Acceso en 3 dic. 2018.
  » http://biodiversitylibrary.org/page/18305124
• ROYAL SOCIETY OF LONDON. (1877), Catalogue of scientific papers, 1864-1873. Vol. 7. London: Royal Society of London. Disponible en: https://www.biodiversitylibrary.org/item/60932 Acceso en 3 dic. 2018.
  » https://www.biodiversitylibrary.org/item/60932
• ROYAL SOCIETY OF LONDON. (1891), Catalogue of scientific papers, 1874-1883. Vol. 9. London: Royal Society of London. Disponible en: https://www.biodiversitylibrary.org/item/60933 Acceso en 3 dic. 2018.
  » https://www.biodiversitylibrary.org/item/60933
• ROYAL SOCIETY OF LONDON. (1914), Catalogue of scientific papers, 1884-1900. Vol. 13. London: Royal Society of London. Disponible en: https://www.biodiversitylibrary.org/item/17787 Acceso en 3 dic. 2018.
  » https://www.biodiversitylibrary.org/item/17787
• SCHEKMAN, Randy. (2013), “How journals like Nature, Cell and Science are damaging science”. The Guardian. DIsponible en: https://www.theguardian.com/commentisfree/2013/dec/09/how-journals-nature-science-cell-damage-science Acceso en 3 dic. 2018.
  » https://www.theguardian.com/commentisfree/2013/dec/09/how-journals-nature-science-cell-damage-science
• SCIMAGO RESEARCH GROUP. (2007), “Description of Scimago Journal Rank indicator”. Disponible en: https://www.scimagojr.com/SCImagoJournalRank.pdf Acceso en 3 dic. 2018.
  » https://www.scimagojr.com/SCImagoJournalRank.pdf
• SHENHAV, Yehouda A.; KAMENS, David H. (1991), “The ‘costs’ of Institutional Isomorphism: Science in Non-Western Countries”. Social Studies of Science, v. 21, n. 3, pp. 527-545. doi: 10.1177/030631291021003005.
• THE NOBEL PRIZE. (2017), The research counts, not the journal! Disponible en: https://www.youtube.com/watch?v=6MQ8R0OyvyQ Acceso en 3 dic. 2018.
  » https://www.youtube.com/watch?v=6MQ8R0OyvyQ
• UK FORUM FOR RESPONSIBLE RESEARCH METRICS. (2018), “UK Progress towards the use of metrics responsibly: Three years on from The Metric Tide report”. Disponible en: https://tinyurl.com/yavmu3g3 Acceso en 3 dic. 2018.
  » https://tinyurl.com/yavmu3g3
• VARSAVSKY, Oscar. 1971, Ciencia política y cientificismo. 2^a ed. Buenos Aires: Centro Editor de América Latina.
• VASEN, Federico; LUJANO VILCHIS, Ivonne. (2017), “Sistemas nacionales de clasificación de revistas científicas en América Latina: tendencias recientes e implicaciones para la evaluación académica en ciencias sociales”. Revista Mexicana de Ciencias Políticas y Sociales, v. 62, n. 231, pp. 199-228. doi: 10.1016/S0185-1918(17)30043-0
• VESSURI, Hebe; GUÉDON, Jean-Claude; CETTO, Ana María. (2014), “Excellence or quality? Impact of the current competition regime on science and scientific publishing in latin america and its implications for development”. Current Sociology, v. 62, n. 5, p. 647-665. doi: 10.1177/0011392113512839.
• WATSON, James D.; CRICK, Francis H. C. (1953), “Molecular structure of nucleic acids: a structure for deoxyribose nucleic acid”. Nature, v. 171, n. 4356, pp. 737-738. doi: 10.1038/171737a0.
• WEINBERG, Alvin M. (1961), “Impact of Large-Scale Science on the United States: Big Science is here to stay, but we have yet to make the hard financial and educational choices it imposes”. Science, v. 134, n. 3473, pp. 161-164. doi: 10.1126/science.134.3473.161.
• WELLCOME TRUST. (2019), “Open access policy 2020 – Frequently asked questions”. Disponible en: https://wellcome.ac.uk/sites/default/files/wellcome-open-access-policy-2020-faq.pdf Acceso en 5 dic. 2018.
  » https://wellcome.ac.uk/sites/default/files/wellcome-open-access-policy-2020-faq.pdf

Fechas de Publicación

• Publicación en esta colección
  24 Jul 2020
• Fecha del número
  2020

Histórico

• Recibido
  21 Abr 2019
• Revisado
  16 Jul 2019
• Acepto
  2 Ago 2019