Acessibilidade / Reportar erro
ARTÍCULO ORIGINAL • Rev. esc. enferm. USP 55 • 2021 • https://doi.org/10.1590/S1980-220X2019014403670   copiar

Evaluación de los diferentes sistemas de citación en la publicación científica de autores enfermeros en español

Autoría SCIMAGO INSTITUTIONS RANKINGS

RESUMEN

Objetivo:

Evaluar la distribución de citas de autores enfermeros en español en Google Académico, así como comparar las posibles diferencias entre esta fuente y Web of Science y Scopus.

Método:

Estudio descriptivo transversal basado en los sistemas de citas ofrecidos por Google Académico, Web of Science y Scopus.

Resultados:

Los investigadores del área de enfermería presentan un índice h verificado medio de 7.82 en Google Académico. El 74% de los investigadores pertenece al ámbito académico, frente a un 26% que se aglutina en los servicios de salud. La mayoría de ellos se ubican en España (83%), seguido de Colombia (12%), Méjico (4%) y Chile (1%). En España, la comunidad que mayor número de investigadores aglutina es Andalucía (41,5%), seguida de la Comunidad Valencia (14,6%) y Madrid (7,3%).

Conclusión:

El sistema de citación de Google Académico precisa de ajustes en su algoritmo de selección de trabajos y citas, además debería permitir algún sistema de confirmación por parte de los autores. Enfermería puede tener valores relativamente bajos del índice h frente a otras disciplinas debido al breve desarrollo investigador.

Investigación en Enfermería; Bibliometría; Comunicación y Divulgación Científica; Comunicación Académica

ABSTRACT

Objective:

To assess the distribution of citations of nursing authors in Spanish in Google Scholar as well as to compare the possible differences between this source and Web of Science and Scopus.

Method:

This is a descriptive cross-sectional study based on the citation systems offered by Google Scholar, Web of Science, and Scopus.

Results:

Nursing researchers present a verified mean h-index of 7.82 in Academic Google. 74% of researchers belong to the academic field, compared to 26%, who are in health services. Most of them live in Spain (83%), followed by Colombia (12%), Mexico (4%), and Chile (1%). In Spain, the community with the largest number of researchers is Andalusia (41.5%), followed by Valencia (14.6%), and Madrid (7.3%).

Conclusion:

The Google Scholar citation system requires adjustments in its algorithm for selecting works and citations, and it should also allow some system of confirmation by authors. Nursing can have relatively low h-index values compared to other courses due to short research development.

Nursing Research; Bibliometrics; Scientific Communication and Diffusion; Scholarly Communication

RESUMO

Objetivo:

Avaliar a distribuição de citações de autores de enfermagem em espanhol no Google Scholar, bem como comparar as possíveis diferenças entre esta fonte e Web of Science e Scopus.

Método:

Estudo descritivo transversal baseado nos sistemas de citação oferecidos pelo Google Scholar, Web of Science e Scopus.

Resultados:

Pesquisadores da área de enfermagem apresentam índice h médio verificado no Google Acadêmico de 7,82. 74% dos pesquisadores pertencem à área acadêmica, contra 26% que estão agrupados nos serviços de saúde. A maioria deles está localizada na Espanha (83%), seguida pela Colômbia (12%), México (4%) e Chile (1%). Na Espanha, a comunidade com maior número de pesquisadores é a Andaluzia (41,5%), seguida da Comunidade Valenciana (14,6%) e Madrid (7,3%).

Conclusão:

O sistema de citações do Google Scholar requer ajustes em seu algoritmo de seleção de obras e citações, devendo também permitir algum sistema de confirmação por parte dos autores. A enfermagem pode ter valores relativamente baixos do índice h em comparação com outras disciplinas devido ao curto desenvolvimento da pesquisa.

Pesquisa em Enfermagem; Bibliometria; Comunicação e Divulgação Científica; Comunicação Acadêmica

INTRODUCCIÓN

La publicación de los resultados de investigación en revistas especializadas es la principal forma de difusión del conocimiento en todas las áreas académicas, siendo el artículo científico el principal instrumento para medir la productividad del investigador11 Avena MJ, Barbosa DA. Bibliometric indicators of the nursing journals according to the index databases. Rev Esc Enferm USP. 2017;51:e03262. doi: http://dx.doi.org/10.1590/S1980-220X2017014603262
http://dx.doi.org/10.1590/S1980-220X2017... . El análisis de la producción científica se ha convertido en un elemento imprescindible en las instituciones académicas, y cada vez más en las sanitarias, suponiendo no sólo un método de aproximación a la evolución de disciplinas o grupos de investigación, sino también un factor de accesibilidad a financiación investigadora, incentivos económicos individuales (sexenios de investigación)22 España. Ministerio de Educación, Cultura y Deporte. Resolución de 30 de noviembre de 2016 de la Secretaría de Estado de Educación, Formación Profesional y Universidades, por la que se fija el procedimiento y plazo de presentación de solicitudes de evaluación de la actividad investigadora a la Comisión Nacional Evaluadora de la Actividad Investigadora [Internet]. Madrid; 2016 [citado 2019 mar. 15]. Disponible en: https://www.boe.es/diario_boe/txt.php?id=BOE-A-2016-11464
https://www.boe.es/diario_boe/txt.php?id... , o un recurso para la visibilidad institucional o corporativa, si bien es cierto que, en disciplinas con un componente social importante, como es el caso de la enfermería, un aumento de la visibilidad no representa un aumento en el factor de impacto.

Entre los distintos métodos disponibles para este fin, la evaluación del impacto de las publicaciones ha sido uno de los que mayor crecimiento ha experimentado. El factor de impacto, ideado en la década de los setenta, ha sufrido una utilización radicalmente distinta a la de su concepción inicial, que iba encaminada a la selección de revistas por las instituciones académicas y servicios de documentación. Así, la asunción de que aquellas revistas con mayor factor de impacto serían las que mayor relevancia tendrían en la investigación caló rápidamente entre el colectivo académico e investigador hasta llegar a convertirse en la moneda de cambio en los procesos de selección de personal, financiación competitiva o evaluación de la actividad científica33 Cabezas-Clavijo A, Delgado-López-Cózar E. Google Scholar and the h-index in biomedicine: the popularization of bibliometric assessment. Med Intensiva. 2013;37(5):343-54. doi: 10.1016/j.medine.2013.01.008
https://doi.org/10.1016/j.medine.2013.01... .

Las críticas a este sistema hegemónico de evaluación basado en una asunción que no necesariamente refleja la realidad de la calidad de la producción científica44 Amezcua M. Controversias en la evaluación del conocimiento: alegatos a propósito de una ciencia aplicada. Index Enferm. 2011;20(1-2):7-11. doi: https://dx.doi.org/10.4321/S1132-12962011000100002
https://dx.doi.org/10.4321/S1132-1296201...

5 Amezcua M ¿Para qué sirve el Indice de Impacto de una revista? Index Enferm [Internet]. 2010 [citado 2019 mar.15];19(2-3):83-7. Disponible en: http://scielo.isciii.es/scielo.php?script=sci_arttext&pid=S1132-12962010000200002
http://scielo.isciii.es/scielo.php?scrip... -66 Ravenscroft J, Liakata M, Clare A, Duma D. Measuring scientific impact beyond academia: an assessment of existing impact metrics and proposed improvements. PLoS One. 2017;12(3):e0173152. doi: https://doi.org/10.1371/journal.pone.0173152
https://doi.org/10.1371/journal.pone.017... , provocó la aparición de otros sistemas de evaluación formales, como el índice h77 Hirsch JE. An index to quantify an individual's scientific research output. Proc Natl Acad Sci U S A. 2005;102(46):16569-72. doi: https://doi.org/10.1073/pnas.0507655102
https://doi.org/10.1073/pnas.0507655102... . Esta medida trata de estimar la relevancia de las contribuciones de un investigador de forma acumulativa en el tiempo, de manera que evita las limitaciones clásicas del factor de impacto. Aunque, este índice solo se aplica a las publicaciones, está muy extendida la práctica entre instituciones académicas y agencias de investigación de emplearlo como indicador de producción científica individual88 Génova G, Astudillo H, Fraga A. The scientometric bubble considered harmful. Sci Eng Ethics. 2016;22(1):227-35. doi:10.1007/s11948-015-9632-6
https://doi.org/10.1007/s11948-015-9632-... .

Un investigador obtiene un índice h si ha publicado "h" trabajos con al menos "h" citas. De forma, que un índice h elevado significa que este investigador ha tenido una productividad importante, y que el resto de autores de la comunidad científica lo han citado de forma relevante. No obstante, este índice penaliza a los investigadores jóvenes en estadios iniciales de su carrera profesional.

Desde hace unos años la medición sistemática de este índice y de las citas por autor está disponible en diversas fuentes, siendo las principales Google Académico, Scopus y Web of Science (WoS). La accesibilidad de Google Académico ha provocado la popularización del acceso a este recurso y su utilización en los entornos académicos es cada vez mayor33 Cabezas-Clavijo A, Delgado-López-Cózar E. Google Scholar and the h-index in biomedicine: the popularization of bibliometric assessment. Med Intensiva. 2013;37(5):343-54. doi: 10.1016/j.medine.2013.01.008
https://doi.org/10.1016/j.medine.2013.01... . En el campo de conocimiento de la Enfermería, existe la posibilidad de conocer de forma inmediata el volumen de citas de un autor que esté registrado en el sistema, así como su índice h y la generación de rankings de autores por disciplinas. Ahora bien, es necesario determinar hasta qué punto estas mediciones ofrecen una imagen aproximada de la realidad y las posibles diferencias en los resultados en función de qué fuente se emplee para la medición. Los posibles errores de atribución de citas, o la desatención por parte de los autores a la hora de actualizar la adecuación de las mismas, produce el fenómeno identificado por Amezcua como "autoría bastarda"99 Amezcua M. Autorías bastardas en Google Scholar, otra expresión de impostura científica. Index Enf [Internet]. 2018 [citado 2019 mar. 15];27(3):115-7. Disponible en: http://scielo.isciii.es/scielo.php?script=sci_arttext&pid=S1132-12962018000200002
http://scielo.isciii.es/scielo.php?scrip... , que ofrece una imagen distorsionada de la producción y citación y, por tanto, desnaturaliza el propósito de estos índices. Así, si un autor no depura las citas atribuidas automáticamente por el sistema, le aparecerán citas que posiblemente no sean fruto de su actividad científica, pero, que, de forma espuria, le elevarán artificialmente su índice h y su cómputo total de citas.

Por tanto, el objetivo de este estudio es evaluar la distribución de citas de autores enfermeros españoles y latinoamericanos incluidos en el descriptor de Enfermería de Google Académico, así como comparar las posibles diferencias entre esta fuente y WoS y Scopus.

MÉTODO

DISEÑO DEL ESTUDIO

Se llevó a cabo un estudio descriptivo transversal a partir de los sistemas de citación de Google Académico, WoS y Scopus.

CRITERIOS DE SELECCIÓN

Para ello, se hizo una búsqueda en el servicio de citas de este proveedor bajo las etiquetas "Enfermería" y "Enfermeria" (sin tilde) entre noviembre de 2018 y marzo de 2019. Para la recolección de los datos se utilizó como fecha de cierre (número de citaciones obtenidas por los autores) el 4 de marzo de 2019. También se realizó una búsqueda con etiqueta "Nursing", comprobando que los autores que aparecían bajo esta búsqueda estaban englobados en las búsquedas anteriores, aunque también se identificaron algunos autores que solo estaban etiquetados con el término inglés.

RECOLECCIÓN DE DATOS

Para hacer más manejable la visibilidad e interpretación de los datos, se seleccionaron los 100 primeros autores con mayor número de citas en Google Académico entre las tres distintas etiquetas alusivas a Enfermería (con tilde, sin tilde y en inglés). Se hizo un listado ese mismo día de qué artículos figuraban en la base de datos de cada autor y cuántas citas tenía cada artículo, con el objeto de conocer en un futuro a qué artículo se podía deber un posible aumento del número de citas y para obtener una información de referencia del estado de citas de esa fecha.

ANÁLISIS Y TRATAMIENTO DE LOS DATOS

Se realizó una búsqueda en cada perfil del autor, artículo por artículo, comparando el nombre que figuraba en el perfil del autor con los nombres que figuraban en las cabeceras de los artículos, con las siguientes condiciones:

  • a) En aquellos artículos en los que el nombre del autor no aparecía en la cabecera de los artículos como autores, se descontaban las citas atribuidas y se retiraba el artículo y las citas, con la finalidad de obtener su nuevo índice h.

  • b) En aquellos artículos en los que el nombre del autor aparecía en la cabecera del artículo en toda su extensión tal y como figuraba en su perfil, se contaban las citas atribuidas; no obstante, en aquellos casos en que la temática disciplinar del artículo no tenía nada que ver con la Enfermería, ni con Ciencias de la Salud (ej.: Arquitectura, Ingeniería, Geología, etc), aunque hubiese coincidencia de filiación, no se atribuyeron las citas.

  • c) En aquellos artículos en los que el nombre del autor aparecía en la cabecera del artículo de forma parcial (no exactamente o de forma parecida) a como figuraba en su perfil, se realizó una búsqueda más exhaustiva en diferentes bases de datos, pudiendo resultar en una eliminación de las citas si, como resultado de la búsqueda, su nombre no coincidía con alguno de los nombres de la cabecera del artículo, ni se parecía en modo alguno a alguno de ellos (el apellido coincidía pero el nombre no, el nombre coincidía pero el apellido no, no coincidía ni el nombre ni el apellido), o el campo disciplinar del artículo no tenía relación alguna con la Enfermería o las Ciencias de la Salud.

Si existía alguna duda de que el autor objeto de la búsqueda pudiera ser uno de los autores figurantes en la cabecera del artículo, pero existían elementos, además del nombre, que indicaban que pudiera ser la persona autora (tales como naturaleza del artículo, coautores habituales, etc.), se computaron las citas.

A partir de los datos obtenidos, se hizo una nueva clasificación por orden de número de citas, obteniendo el nuevo índice h.

Se determinó para cada autor el país, la comunidad autónoma donde reside (en el caso de autores españoles) y el ámbito de trabajo en el que realiza su labor principal (en aquéllos que desarrollaban su actividad en el ámbito clínico y el de la docencia de forma asociada, se estableció el criterio de pertenencia al ámbito clínico). Por último, de los primeros 25 autores, se realizó una búsqueda en Scopus y WoS de sus citas e índice h, para comparar los resultados con los de Google Académico.

ASPECTOS ÉTICOS

No se requiere aprobación por parte de un comité de ética de la investigación, ya que se trata de un estudio bibliométrico sobre las citas de los artículos científicos de enfermería en español.

RESULTADOS

Los 100 primeros autores acumulaban un total de 60.919 citas verificadas (frente a 137.612 atribuidas), lo que supone solo un 44,26% de citas correctas, con un índice h verificado medio de 10,95 (frente a un índice h atribuido de 13,72). La diferencia entre citas atribuidas y citas verificadas superaba las 10.000 citas en autores como Martinez Riera (-19.828 citas atribuidas que no le correspondían), Calero García (-21.427), o Sánchez García (-12.132). En la Tabla 1 se detallan las citas e índice h originales y los corregidos.

Thumbnail
Tabla 1
Relación de autores analizados en Google Académico en países de habla hispana - España, Colombia, México, Chile, Cuba y Argentina; 2019.

El grueso de autores se ubica en España (n=73; 73%), seguido de Colombia (n=16; 16%), México (n=7; 7%), Chile (n=2; 2%), Cuba (n=1, 1%) y Argentina (n=1; 1%).

El 85% de los autores pertenece al ámbito académico, frente a un 15% que se aglutina en los servicios de salud. El análisis de citación de Google Académico en los primeros 25 autores con respecto a las otras dos grandes fuentes como son Scopus y WoS ofreció diferencias notables (Tabla 2). El índice h medio de WOS fue 9,28, 8,76 en Scopus y 18,92 (verificado) en Google Académico.

Thumbnail
Tabla 2
Diferencias en citas e índice h entre las distintas fuentes - España, Colombia y Chile; 2019.

DISCUSIÓN

Este estudio pretende evaluar el impacto de investigadores y académicos enfermeros a partir del sistema de citación de Google Académico en nuestro país y los resultados han mostrado una clasificación que recoge aspectos interesantes desde el punto de vista de la distribución del impacto de citas entre autores, comunidades autónomas y entornos de trabajo. Una de las primeras muestras de que el sistema de citación de Google Académico precisa ajustes importantes en sus algoritmos de selección de trabajos y citas es la importante diferencia hallada en algunos autores, que ascendía a miles de citas erróneas y debe ser tenido en cuenta desde el punto de vista institucional a la hora de los mecanismos de evaluación de méritos académicos y de investigación. Sin embargo, y a pesar de que Google Académico permite algunos ajustes como que los autores puedan revisar y editar las citas que se sugieren o incluso combinar o eliminar publicaciones, el problema radica en la automatización del sistema sin una verificación previa por parte de los autores, lo que genera la incorporación tanto de citas, como de publicaciones incorrectas.

Por otra parte, el patrón de distribución geográfico encontrado guarda relación con algunos de los hallazgos de producción enfermera en España elaborados por la Fundación Española para la Ciencia y la Tecnología (FECYT)1010 Fundación Española para la Ciencia y la Tecnología. Indicadores bibliométricos de la actividad científica española 2005-2014 [Internet]. Madrid: FECYT; 2017 [citado 2019 ene. 19]. Disponible en: https://www.fecyt.es/es/publicacion/indicadores-bibliometricos-de-la-actividad-cientifica-espanola-2005-2014
https://www.fecyt.es/es/publicacion/indi... . Cabe destacar la desigual relación entre el potencial teórico en función de la dimensión territorial y su producción científica, esta escasa relación tanto a nivel de autores como de citas, debería ser estudiada en profundidad, intentando encontrar las causas por las que ciertas áreas geográficas no responden a su teórico potencial de producción científica1111 Morales Asencio JM, Hueso Montoro C, de Pedro-Gómez JE, Bennasar-Veny M. 1977-2017: la investigación enfermera en España tras 40 años en la universidad. Enferm Clin. 2017;27(5):314-26. doi: https://doi.org/10.1016/j.enfcli.2017.08.003
https://doi.org/10.1016/j.enfcli.2017.08... .

El índice h por norma general, suele estar ligado a la disciplina específica de la persona autora de los trabajos y, por tanto, puede contribuir a proveer una indicación de los patrones de citación de esa disciplina1212 Thompson DR, Watson R. h-indices and the performance of professors of nursing in the UK. J Clin Nurs. 2010;19:2957-8. doi: 10.1111/j.1365-2702.2010.03267.x
https://doi.org/10.1111/j.1365-2702.2010... . No obstante, un artículo puede ser citado por muchas razones, que pueden ir más allá de las meramente científicas, incluso hasta con fines revocadores. Las citas no siempre implican calidad de la autoría o pertinencia de la publicación en el campo científico del autor, ya que puede haber obtenido múltiples citas sobre un artículo que no necesariamente están dentro de su campo de conocimiento, al haberse integrado en un grupo multidisciplinar que puede contar con un perfil de citación más extenso que el originario del autor. En el área de Enfermería este fenómeno puede ser especialmente relevante debido a la asimetría existente aún en el desarrollo investigador de las enfermeras dentro de los equipos multidisciplinares en Ciencias de la Salud, de manera que se integran en grupos consolidados en otros campos que les sirven como medio para obtener publicaciones e impacto, pero, con escasa repercusión en la ciencia enfermera, siendo los jóvenes investigadores los más propensos a explorar esta vía. En el caso de Brasil, la presencia de solo tres revistas nacionales de enfermería en WoS, las citas brasileñas siempre se minimizarán. Actualmente, solo Scopus se acerca a cubrir la misma cantidad que SciELO, que ahora es el indicador de evaluación más completo para las revistas de enfermería en el universo iberoamericano1313 Mugnaini R. The Impact Factor: its popularity and impacts, and the need to preserve the scientific knowledge generation process [editorial]. Rev Esc Enferm USP. 2016;50(5):722-3. doi: http://dx.doi.org/10.1590/s0080-623420160000600002
http://dx.doi.org/10.1590/s0080-62342016... . Este fenómeno tiene su importancia dentro del contexto académico, ya que la evaluación curricular de aspirantes a plazas docentes en los Departamentos de Enfermería puede generar ventajas competitivas a profesionales que no han desarrollado su trayectoria investigadora en el campo de la Enfermería, y podría determinar incluso la evolución de las líneas investigadoras y la orientación de la disciplina enfermera en los Departamentos.

Otro elemento importante es la obtención de citas a partir de trabajos en los que la persona analizada no es un autor clave del mismo, pero se beneficia de las citas obtenidas. El recuento de citas no discrimina adecuadamente este aspecto, que puede darse en el seno de estudios multicéntricos a escala nacional o internacional, o en el seno de redes de investigación, donde la contribución fundamental del estudio no corresponde a la persona analizada en cuestión, sino a otros miembros del cuerpo de autores. La creación de redes de investigación y de estudios colaborativos tiene un efecto notable en el desempeño de los investigadores, ya que favorece el intercambio de recursos, conocimientos y experiencia1414 Contandriopoulos D, Duhoux A, Larouche C, Perroux M. The impact of a researcher's structural position on scientific performance: an empirical analysis. PLoS One. 2016;11(8):e0161281. doi: 10.1371/journal.pone.0161281
https://doi.org/10.1371/journal.pone.016... , aunque desde el punto de vista del impacto bibliométrico, los métodos actuales no discriminan bien este tipo de situaciones88 Génova G, Astudillo H, Fraga A. The scientometric bubble considered harmful. Sci Eng Ethics. 2016;22(1):227-35. doi:10.1007/s11948-015-9632-6
https://doi.org/10.1007/s11948-015-9632-... . En el estado actual de la investigación en cuidados en España, con una notable expansión de grupos de investigación, pero, mínimas posibilidades de financiación de redes de investigación en cuidados1111 Morales Asencio JM, Hueso Montoro C, de Pedro-Gómez JE, Bennasar-Veny M. 1977-2017: la investigación enfermera en España tras 40 años en la universidad. Enferm Clin. 2017;27(5):314-26. doi: https://doi.org/10.1016/j.enfcli.2017.08.003
https://doi.org/10.1016/j.enfcli.2017.08... , es difícil estimar el alcance de este impacto.

En la comparativa del índice h de académicos ingleses frente a otras disciplinas se observan valores relativamente bajos para la Enfermería, con cifras medias en torno a 111212 Thompson DR, Watson R. h-indices and the performance of professors of nursing in the UK. J Clin Nurs. 2010;19:2957-8. doi: 10.1111/j.1365-2702.2010.03267.x
https://doi.org/10.1111/j.1365-2702.2010... . En nuestro estudio, el valor medio del índice h de los autores españoles analizados en la misma fuente que ellos emplearon se sitúa cercano a 7. Teniendo en cuenta que se establece un valor de 20 como un umbral adecuado para un investigador consolidado, es evidente que la Enfermería tiene un patrón de citación posiblemente distinto al de ciencias aplicadas u otros ámbitos del conocimiento1212 Thompson DR, Watson R. h-indices and the performance of professors of nursing in the UK. J Clin Nurs. 2010;19:2957-8. doi: 10.1111/j.1365-2702.2010.03267.x
https://doi.org/10.1111/j.1365-2702.2010... . En otras palabras, es posible que la naturaleza social (en parte) de la disciplina enfermera, entre otros factores, esté afectando negativamente a la citación de los autores en esta disciplina científica33 Cabezas-Clavijo A, Delgado-López-Cózar E. Google Scholar and the h-index in biomedicine: the popularization of bibliometric assessment. Med Intensiva. 2013;37(5):343-54. doi: 10.1016/j.medine.2013.01.008
https://doi.org/10.1016/j.medine.2013.01... .

Otros autores, tras el análisis de la producción científica académica de las enfermeras canadienses, proponen que un artículo citado en el campo de la Enfermería diez veces o más es un "buen artículo", 50 citas o más como un artículo "muy bueno", 100 citas o más como un "artículo excelente" y por encima de las 150 citas, como un "artículo excepcional". De igual forma, proponen que índices h entre 5 y 9 muestran autores con un registro de publicaciones bien establecido en Enfermería, y valores entre 10 y 14 como un registro excelente, situando el umbral de 15 como registro excepcional para un autor en Enfermería1515 Hack TF, Crooks D, Plohman J, Kepron E. Research citation analysis of nursing academics in Canada: identifying success indicators. J Adv Nurs. 2010;66(11):2542-9. doi: 10.1111/j.1365-2648.2010.05429.x
https://doi.org/10.1111/j.1365-2648.2010... . Es necesario contrastar este tipo de propuestas intentando controlar el importante sesgo de idioma que se produce en detrimento de los autores no anglosajones, porque es ineludible la influencia de dónde se publican los resultados de las investigaciones enfermeras, teniendo en cuenta el contexto de la expansión y consolidación científica de la disciplina1616 Lima-Serrano M, Lima-Rodríguez JS, Porcel-Gálvez AM, Gil-García E ¿Cómo mejorar la visibilidad de la investigación enfermera española? Publicaciones de referencia e índices de calidad. Enferm Clin. 2015;25(1):27-32. doi: 10.1016/j.enfcli.2014.11.003
https://doi.org/10.1016/j.enfcli.2014.11... .

Con sus aciertos e imperfecciones, el análisis del impacto de académicos y científicos enfermeros es inevitable, y en la medida en que se consigan perfeccionar los métodos y criterios, la visibilidad de la investigación enfermera alcanzará mayores cotas, pero, no hay que olvidar que la clave final de la investigación es la contribución a la sociedad y que los esfuerzos en la evaluación del impacto social han de redoblarse1717 Amezcua M, Amezcua González A, Pozuelo Zurera S, Maldonado Hidalgo AM. También las publicaciones deben comprometerse con el impacto social. Index Enferm. 2015;24(3):186-90. doi: https://dx.doi.org/10.4321/S1132-12962015000200015
https://dx.doi.org/10.4321/S1132-1296201... , además de que los métodos de evaluación no deben centrase exclusivamente en el impacto bibliométrico, como ocurre en la actualidad1818 Davidson PM, Newton PJ, Ferguson C, Daly J, Elliott D, Homer C, et al. Rating and ranking the role of bibliometrics and webometrics in nursing and midwifery. ScientificWorldJournal. 2014;2014:135812. doi: 10.1155/2014/135812
https://doi.org/10.1155/2014/135812... .

Que un resultado de investigación sea muy citado no implica necesariamente que se implemente en los servicios de salud, o que llegue a los pacientes, cuidadores o a la ciudadanía en general o que trascienda al ámbito educativo profesional, o al conceptual, como es el caso de los múltiples resultados de investigación sobre respuestas humanas que luego no trascienden a la Taxonomía diagnóstica de la North America Nursing Diagnosis Association (NANDA)1919 Morales Asencio J, Morilla Herrera J. Investigación sobre resultados enfermeros. Precisión y elección del criterio de resultado. Investigación en metodología y lenguajes enfermeros. Barcelona: Elsevier; 2016. p. 231-42.. No hay que olvidar que el impacto bibliométrico es una variable subrogada del impacto real de una investigación.

Algunos autores plantean la necesidad de un indicador bibliométrico que incorpore la repercusión social y clínica de los hallazgos de la investigación en función del campo de conocimiento y compense el sesgo del idioma de publicación del trabajo2020 Powell KR, Peterson SR. Coverage and quality: A comparison of Web of Science and Scopus databases for reporting faculty nursing publication metrics. Nurs Outlook. 2017;65(5):572-8. doi:10.1016/j.outlook.2017.03.004
https://doi.org/10.1016/j.outlook.2017.0... . En esta misma línea, otros autores subrayan la diferencia existente en el número de citas a favor de las publicaciones en formato de acceso abierto en detrimento de las clásicas publicaciones de pago, además del sesgo idiomático anteriormente señalado2121 Avena MJ, Barbosa DA. Brazilian nursing journals: strengths, weaknesses and challenges. Rev Bras Enferm [Internet]. 2018;71(5):2489-95. doi: https://doi.org/10.1590/0034-7167-2017-0828
https://doi.org/10.1590/0034-7167-2017-0... .

Las limitaciones de este tipo de análisis tienen que ver con la opacidad de los criterios de inclusión y selección de fuentes que emplea Google Académico, que impide conocer con detalle la adecuación y extensión del citado. Las diferencias entre Google Académico, Scopus y WoS no hacen sino poner de manifiesto la importancia de este aspecto y la necesaria transparencia en los métodos de medición, además de que Google Académico puede computar también trabajos de índole no necesariamente científica2222 Torres-Salinas D, Ruiz-Pérez R, Delgado-López-Cozar E. Google Scholar como herramienta para la evaluación científica. El Prof Inf [Internet]. 2009 [citado 2019 ene.19];18(5):501-10. Disponible en: http://www.elprofesionaldelainformacion.com/contenidos/2009/septiembre/03.pdf
http://www.elprofesionaldelainformacion.... . Adicionalmente, no solo las fuentes de datos de cada plataforma son diferentes, sino que WoS únicamente recoge las citas de revistas indexadas de su colección propia y Scopus, a pesar de tener más revistas que WoS, sigue siendo un universo de fuentes más limitado si se compara con el heterogéneo espectro que abarca Google Académico. Por otra parte, con el desarrollo y expansión de las redes sociales es difícil evaluar en qué medida el uso de estos medios como vías alternativas para la difusión de los trabajos de los autores puede aumentar en mayor o menor medida su visibilidad y por tanto, la posibilidad de citación por otros autores2323 Smith DR, Watson R. Career development tips for today's nursing academic: bibliometrics, altmetrics and social media. J Adv Nurs. 2016;72(11):2654-61. doi: 10.1111/jan.13067
https://doi.org/10.1111/jan.13067... y es un aspecto que hay que evaluar en el futuro, además de la importancia creciente que han de otorgarle los investigadores en sus estrategias de difusión. Con la expansión de las redes sociales, los límites de la métrica de las citas han traspasado los umbrales convencionales, y métodos como la webmetría o los altmétricos a buen seguro vendrán a transformar en un futuro no muy lejano los análisis de impacto1818 Davidson PM, Newton PJ, Ferguson C, Daly J, Elliott D, Homer C, et al. Rating and ranking the role of bibliometrics and webometrics in nursing and midwifery. ScientificWorldJournal. 2014;2014:135812. doi: 10.1155/2014/135812
https://doi.org/10.1155/2014/135812... . Además, no podemos descartar que existan algunos autores del ámbito disciplinar que no se hayan etiquetado con el término "Enfermería" en sus diferentes variantes.

CONCLUSIÓN

El sistema de citación de Google Académico precisa ajustes importantes en su algoritmo de selección de trabajos y citas, además debería haber un sistema que obligara a los autores a verificarlas. El índice h, con sus limitaciones, puede ser un buen método para la evaluación de la calidad de la producción científica. No obstante, el patrón de citación en Enfermería es posiblemente distinto, y junto con su trayectoria investigadora más reciente, podría generar valores del índice h relativamente bajos frente a otras disciplinas, cuestión que habría que tener en cuenta a la hora de establecer umbrales de evaluación del índice h usando referencias de otras disciplinas.

REFERENCES

  • 1
    Avena MJ, Barbosa DA. Bibliometric indicators of the nursing journals according to the index databases. Rev Esc Enferm USP. 2017;51:e03262. doi: http://dx.doi.org/10.1590/S1980-220X2017014603262
    » http://dx.doi.org/10.1590/S1980-220X2017014603262
  • 2
    España. Ministerio de Educación, Cultura y Deporte. Resolución de 30 de noviembre de 2016 de la Secretaría de Estado de Educación, Formación Profesional y Universidades, por la que se fija el procedimiento y plazo de presentación de solicitudes de evaluación de la actividad investigadora a la Comisión Nacional Evaluadora de la Actividad Investigadora [Internet]. Madrid; 2016 [citado 2019 mar. 15]. Disponible en: https://www.boe.es/diario_boe/txt.php?id=BOE-A-2016-11464
    » https://www.boe.es/diario_boe/txt.php?id=BOE-A-2016-11464
  • 3
    Cabezas-Clavijo A, Delgado-López-Cózar E. Google Scholar and the h-index in biomedicine: the popularization of bibliometric assessment. Med Intensiva. 2013;37(5):343-54. doi: 10.1016/j.medine.2013.01.008
    » https://doi.org/10.1016/j.medine.2013.01.008
  • 4
    Amezcua M. Controversias en la evaluación del conocimiento: alegatos a propósito de una ciencia aplicada. Index Enferm. 2011;20(1-2):7-11. doi: https://dx.doi.org/10.4321/S1132-12962011000100002
    » https://dx.doi.org/10.4321/S1132-12962011000100002
  • 5
    Amezcua M ¿Para qué sirve el Indice de Impacto de una revista? Index Enferm [Internet]. 2010 [citado 2019 mar.15];19(2-3):83-7. Disponible en: http://scielo.isciii.es/scielo.php?script=sci_arttext&pid=S1132-12962010000200002
    » http://scielo.isciii.es/scielo.php?script=sci_arttext&pid=S1132-12962010000200002
  • 6
    Ravenscroft J, Liakata M, Clare A, Duma D. Measuring scientific impact beyond academia: an assessment of existing impact metrics and proposed improvements. PLoS One. 2017;12(3):e0173152. doi: https://doi.org/10.1371/journal.pone.0173152
    » https://doi.org/10.1371/journal.pone.0173152
  • 7
    Hirsch JE. An index to quantify an individual's scientific research output. Proc Natl Acad Sci U S A. 2005;102(46):16569-72. doi: https://doi.org/10.1073/pnas.0507655102
    » https://doi.org/10.1073/pnas.0507655102
  • 8
    Génova G, Astudillo H, Fraga A. The scientometric bubble considered harmful. Sci Eng Ethics. 2016;22(1):227-35. doi:10.1007/s11948-015-9632-6
    » https://doi.org/10.1007/s11948-015-9632-6
  • 9
    Amezcua M. Autorías bastardas en Google Scholar, otra expresión de impostura científica. Index Enf [Internet]. 2018 [citado 2019 mar. 15];27(3):115-7. Disponible en: http://scielo.isciii.es/scielo.php?script=sci_arttext&pid=S1132-12962018000200002
    » http://scielo.isciii.es/scielo.php?script=sci_arttext&pid=S1132-12962018000200002
  • 10
    Fundación Española para la Ciencia y la Tecnología. Indicadores bibliométricos de la actividad científica española 2005-2014 [Internet]. Madrid: FECYT; 2017 [citado 2019 ene. 19]. Disponible en: https://www.fecyt.es/es/publicacion/indicadores-bibliometricos-de-la-actividad-cientifica-espanola-2005-2014
    » https://www.fecyt.es/es/publicacion/indicadores-bibliometricos-de-la-actividad-cientifica-espanola-2005-2014
  • 11
    Morales Asencio JM, Hueso Montoro C, de Pedro-Gómez JE, Bennasar-Veny M. 1977-2017: la investigación enfermera en España tras 40 años en la universidad. Enferm Clin. 2017;27(5):314-26. doi: https://doi.org/10.1016/j.enfcli.2017.08.003
    » https://doi.org/10.1016/j.enfcli.2017.08.003
  • 12
    Thompson DR, Watson R. h-indices and the performance of professors of nursing in the UK. J Clin Nurs. 2010;19:2957-8. doi: 10.1111/j.1365-2702.2010.03267.x
    » https://doi.org/10.1111/j.1365-2702.2010.03267.x
  • 13
    Mugnaini R. The Impact Factor: its popularity and impacts, and the need to preserve the scientific knowledge generation process [editorial]. Rev Esc Enferm USP. 2016;50(5):722-3. doi: http://dx.doi.org/10.1590/s0080-623420160000600002
    » http://dx.doi.org/10.1590/s0080-623420160000600002
  • 14
    Contandriopoulos D, Duhoux A, Larouche C, Perroux M. The impact of a researcher's structural position on scientific performance: an empirical analysis. PLoS One. 2016;11(8):e0161281. doi: 10.1371/journal.pone.0161281
    » https://doi.org/10.1371/journal.pone.0161281
  • 15
    Hack TF, Crooks D, Plohman J, Kepron E. Research citation analysis of nursing academics in Canada: identifying success indicators. J Adv Nurs. 2010;66(11):2542-9. doi: 10.1111/j.1365-2648.2010.05429.x
    » https://doi.org/10.1111/j.1365-2648.2010.05429.x
  • 16
    Lima-Serrano M, Lima-Rodríguez JS, Porcel-Gálvez AM, Gil-García E ¿Cómo mejorar la visibilidad de la investigación enfermera española? Publicaciones de referencia e índices de calidad. Enferm Clin. 2015;25(1):27-32. doi: 10.1016/j.enfcli.2014.11.003
    » https://doi.org/10.1016/j.enfcli.2014.11.003
  • 17
    Amezcua M, Amezcua González A, Pozuelo Zurera S, Maldonado Hidalgo AM. También las publicaciones deben comprometerse con el impacto social. Index Enferm. 2015;24(3):186-90. doi: https://dx.doi.org/10.4321/S1132-12962015000200015
    » https://dx.doi.org/10.4321/S1132-12962015000200015
  • 18
    Davidson PM, Newton PJ, Ferguson C, Daly J, Elliott D, Homer C, et al. Rating and ranking the role of bibliometrics and webometrics in nursing and midwifery. ScientificWorldJournal. 2014;2014:135812. doi: 10.1155/2014/135812
    » https://doi.org/10.1155/2014/135812
  • 19
    Morales Asencio J, Morilla Herrera J. Investigación sobre resultados enfermeros. Precisión y elección del criterio de resultado. Investigación en metodología y lenguajes enfermeros. Barcelona: Elsevier; 2016. p. 231-42.
  • 20
    Powell KR, Peterson SR. Coverage and quality: A comparison of Web of Science and Scopus databases for reporting faculty nursing publication metrics. Nurs Outlook. 2017;65(5):572-8. doi:10.1016/j.outlook.2017.03.004
    » https://doi.org/10.1016/j.outlook.2017.03.004
  • 21
    Avena MJ, Barbosa DA. Brazilian nursing journals: strengths, weaknesses and challenges. Rev Bras Enferm [Internet]. 2018;71(5):2489-95. doi: https://doi.org/10.1590/0034-7167-2017-0828
    » https://doi.org/10.1590/0034-7167-2017-0828
  • 22
    Torres-Salinas D, Ruiz-Pérez R, Delgado-López-Cozar E. Google Scholar como herramienta para la evaluación científica. El Prof Inf [Internet]. 2009 [citado 2019 ene.19];18(5):501-10. Disponible en: http://www.elprofesionaldelainformacion.com/contenidos/2009/septiembre/03.pdf
    » http://www.elprofesionaldelainformacion.com/contenidos/2009/septiembre/03.pdf
  • 23
    Smith DR, Watson R. Career development tips for today's nursing academic: bibliometrics, altmetrics and social media. J Adv Nurs. 2016;72(11):2654-61. doi: 10.1111/jan.13067
    » https://doi.org/10.1111/jan.13067

Fechas de Publicación

  • Publicación en esta colección
    16 Abr 2021
  • Fecha del número
    2021

Histórico

  • Recibido
    10 Jun 2019
  • Acepto
    23 Mayo 2020
Creative Common - by 4.0
This is an Open Access article distributed under the terms of the Creative Commons Attribution License, which permits unrestricted use, distribution, and reproduction in any medium, provided the original work is properly cited.
Universidade de São Paulo, Escola de Enfermagem Av. Dr. Enéas de Carvalho Aguiar, 419 , 05403-000 São Paulo - SP/ Brasil, Tel./Fax: (55 11) 3061-7553, - São Paulo - SP - Brazil
E-mail: reeusp@usp.br
Acompanhe os números deste periódico no seu leitor de RSS