Impacto de altmetrics sobre a visibilidade de artigos em acesso aberto da enfermagem brasileira: um estudo de caso

The impact of altmetrics on the visibility of open acess Brazilian nursing articles: A case study

Resumo

A disseminação e o estabelecimento das mídias sociais como espaços de interação, fontes de pesquisa, meios de produção e divulgação de informações entre os cientistas proporcionaram a expansão das possibilidades de avaliar um artefato científi co para além do número de citações. Pretende-se aferir o impacto das mídias sociais Mendeley, Facebook e Twitter sobre a visibilidade e o número de citações recebidas pelos artigos publicados na Revista Gaúcha de Enfermagem em um período de dez anos (entre 2007 e 2016). Os provedores dos dados para a investigação foram as bases de dados Cumulative Index to Nursing and Allied Health Literature e Scopus. A plataforma utilizada para a coleta de altmetrics foi o PlumX. Foram analisados 948 artigos publicados pela Revista, 2.150 citações recebidas, 7.072 capturas no Mendeley e 359 atividades no Twitter e no Facebook. Os resultados apresentados por essas três plataformas sociais demonstram a visibilidade obtida pelos artigos mesmo não sendo citados em outros trabalhos. A visibilidade dos artigos da Revista Gaúcha de Enfermagem é evidenciada pelo pequeno volume de artigos que não foram citados ou mencionados em mídias sociais (11,2%). Os resultados revelam que trabalhos não citados tiveram impacto altmétrico por meio de ações em outras mídias sociais, acadêmicas ou não. Como análises de correlação podem não ser adequadas como único método dependendo do período analisado, retratando resultados correlacionais falsos entre a publicação dos artigos, as citações recebidas e as altmetrics para períodos curtos, a adoção de métodos qualitativos, como análise de redes sociais e análise de conteúdo, pode trazer outras perspectivas para um melhor entendimento do fenômeno.

Palavras-chave
Altmetrics; Acesso Aberto; Revista científica; Mendeley; PlumX

Abstract

The dissemination and establishment of social media as spaces of interaction, sources of research, and means of production and dissemination of information among scientists, expanded the possibilities of evaluating a scientifi c artifact beyond its citations. In this article, we assess the impact of Mendeley, Facebook, and Twitter on the visibility and number of citations of articles published in Revista Gaúcha de Enfermagem (Rio Grande do Sul Nursing Journal) in a period of ten years (2007-2016). The data providers for the investigation were the CINAHL and Scopus databases. The platform used to collect altmetrics was PlumX. A total of 948 papers published by the journal, 2,150 citations received, 7,072 catches in Mendeley and 359 activities on Twitter and Facebook were analyzed. The results demonstrate the visibility the articles obtained even though they were not mentioned in other works. The visibility of journal articles is evidenced by the small volume of articles that were not cited or mentioned in social media (11.2%). The results showed that non-cited works had an altmetric impact through actions in other academic social media or not. Correlation analyzes may not be adequate as the only method depending on the analyzed period, presenting a false correlation among the publication of the articles, the received citations, and the altmetrics for short periods. Adopting qualitative methods such as Social Network Analysis and content analysis may bring other perspectives to a better understanding of the phenomenon.

Keywords
Altmetrics; Open Access; cientific journal; Mendeley; PlumX

Introdução

A comunicação no ambiente científico vem experimentando mudanças importantes em um cenário digital e global bastante fragmentado, principalmente com a popularização, na última década, do uso de ferramentas de gerenciamento de referências e do uso das mídias sociais como veículos de divulgação dos produtos científicos. A disseminação e o estabelecimento das mídias sociais como espaços de interação, fontes de pesquisa, meios de produção e divulgação de informações entre os cientistas proporcionaram a expansão das possibilidades de avaliar um artefato científico para além dos meios tradicionalmente consagrados de comunicação do conhecimento. Na conjuntura em que se encontra a comunicação científica, convém analisar se os indicadores tradicionais de mensuração de uso dos produtos científicos ainda conseguem determinar o real impacto de uma pesquisa apenas por meio da contagem de citações de pesquisadores, artigos e publicações científicas. Haustein (2012) está entre os vários pesquisadores que tecem críticas ao modelo cientométrico tradicional, uma vez que este ignora outras variáveis que poderiam contribuir para uma avaliação multidimensional de um produto científico no campo a que pertence.

Huang, Wang e Wu (2018) afirmam que pesquisadores atualmente trocam informações, dados e ideias de formas variadas e abertas em meio eletrônico. Esse intercâmbio de dados, resultados e informações ultrapassou as citações entre os pares, por via de acessos, downloads, favoritos, salvamentos, leituras e recomendações. Com isso, indicadores baseados em citações, até então consolidados no meio científico, não conseguem medir o engajamento dos pesquisadores no âmbito das mídias sociais e a influência exercida sobre outros cientistas. A maior visibilidade das produções científicas, proporcionada, em grande parte, pela proximidade que as mídias sociais promovem entre pesquisadores e público-alvo, trouxe novas possibilidades de se avaliar o impacto individual e de pesquisas e impulsionou o surgimento de recursos de mensuração dessas atividades: as métricas alternativas, ou altmetrics.

O termo altmetrics foi introduzido na literatura científica ao ser mencionado pelo pesquisador Jason Priem pela primeira vez em sua conta no Twitter em 2010. Conforme um manifesto elaborado pelo próprio Priem et al. (2010), altmetrics podem ser definidas como o uso de métricas alternativas de impacto de produções científicas por meio de atividades em mídias sociais, ampliando e agilizando a percepção dos pesquisadores sobre o real impacto de um trabalho científico, além das citações tradicionais. Huang, Wang e Wu (2018) também definem o termo como uma combinação das palavras “alternatives” e “metrics”, cabendo a esse novo campo de estudo a medição das interações do meio acadêmico-científico capturadas mediante ferramentas de gerenciamento de referências e mídias sociais acadêmicas, como Mendeley, CiteUlike, ResearchGate, Zotero, e mídias sociais, como Facebook, Twitter, LinkedIn, blogs, etc. Desde então, segundo os autores, uma nova variedade de ferramentas de mensuração de impacto foi desenvolvida para rastrear as atividades on-line que envolvem produções acadêmicas e científicas, como Altmetric, ImpactStory, ReaderMeter e Plum Analytics.

Meschede e Siebenlist (2018) consideram as plataformas altmétricas como agregadores secundários, que fornecem ao usuário um conjunto diferente de métricas, as quais podem incluir também dados de citação e uso. Os autores afirmam, ainda, que cada agregador altmétrico tem sua própria estratégia de apresentação de métricas e dados ao usuário, citando, inclusive, uma iniciativa da empresa Altmetric de propor uma pontuação agregada calculada a partir das altmetrics obtidas, batizada de Altmetric Attention Score. O escore obtido representa a contagem ponderada baseada nas ações recebidas de um produto científico em mídias sociais, atribuindo pesos variados às diferentes atenções recebidas (Altmetric, 2018).

Em 2010, no início dos estudos sobre altmetria, Priem et al. (2010) anunciaram o crescente número de pesquisadores que estavam divulgando suas pesquisas em meios informais de comunicação científica, como, por exemplo, nos gerenciadores de referência Zotero e Mendeley. Na época, esses gerenciadores já armazenavam cerca de 40 milhões de artigos e menções a artigos, superando em conteúdo a base PubMed. Além disso, no período, os mesmos autores atentaram para a crescente adesão de pesquisadores ao Twitter ou a blogs. Atualmente, o Mendeley destaca-se como uma das mídias sociais mais utilizadas pelos pesquisadores de todo o mundo. A plataforma, lançada em versão beta em agosto de 2008, foi adquirida pela Elsevier em 2013, gerando uma série de críticas da comunidade científica engajada no Movimento de Acesso Aberto (principalmente da Green Road, ou Via Verde).

Piwowar e Priem (2013) e Wang et al. (2015) apontam, como uma das principais vantagens dos instrumentos altmétricos, a velocidade de retorno sobre o uso da informação. A utilização de métricas alternativas, baseadas em comportamento na Web, permite aos pesquisadores verificar o impacto de seus trabalhos de forma mais rápida, sobretudo os mais recentes. A adoção de ferramentas altmétricas, como, por exemplo, PlumX, Altmetric e ImpactStory, por importantes editores científicos, tanto comerciais como de acesso aberto (como Elsevier, EBSCO, Scientific Electronic Library Online [SciELO], Springer, Nature, Public Library of Science [PLoS]), e repositórios (como o Social Science Research Network [SSRN]), entre outras plataformas científicas eletrônicas, sinaliza a preocupação por parte da comunidade científica em buscar alternativas para a medição do impacto das publicações que vai além da contagem de citações recebidas.

No Brasil, diversos pesquisadores vêm se dedicando ao estudo dessas métricas com mais intensidade desde 2013 (Vanti, 2011; Gouveia, 2013; Araújo, 2015; Vanti; Sanz-Casado, 2016). O interesse pelo fenômeno também angaria novos pesquisadores, assim como tem havido crescimento na produção de trabalhos relacionados a essa subárea da Webometria. A crescente importância da altmetria como campo de estudo no Brasil é confirmada com a realização, em 2018, do primeiro evento com temática exclusiva sobre o tema, o “Latmetrics”, com a colaboração e apresentação de trabalhos de pesquisadores de todo o país. As análises altmétricas de periódicos brasileiros encontram-se entre os estudos propostos, trazendo um novo olhar, para além das tradicionais citações, para as revistas nacionais.

A Revista Gaúcha de Enfermagem (RGE), publicação periódica em acesso aberto (modelo Golden Road) da Escola de Enfermagem da Universidade Federal do Rio Grande do Sul (UFRGS), foi a primeira revista científica no campo de Enfermagem da região Sul do Brasil, e hoje é a segunda mais antiga publicação especializada no país. Criada em 1976, é indexada por importantes bases de dados nacionais (SciELO, BDEnf) e internacionais (Scopus, MedLine, Embase, Lilacs). A Revista está entre as revistas brasileiras mais citadas na área, o que justifica e motiva análises de sua visibilidade em termos altmétricos. Em trabalhos anteriores (Silva Filho; Mangan, 2017; Silva Filho; Vanz, 2018), nos quais se mediu o impacto das mídias sociais, não foi encontrada correlação entre visibilidade e impacto para um período de cinco anos. O presente problema de pesquisa surge da carência de estudos longitudinais, tanto na literatura nacional quanto na internacional, sobre impacto e visibilidade de artigos científicos em meio às plataformas de mídias sociais. Neste momento, pretende-se avançar pesquisas anteriores ao se propor um estudo longitudinal, buscando analisar o impacto das mídias sociais Mendeley, Facebook e Twitter no que concerne às citações recebidas pelos artigos publicados pela RGE de 2007 a 2016.

Procedimentos Metodológicos

Este estudo consiste em uma pesquisa do tipo exploratório-descritiva que faz uso de métodos bibliométricos e altmétricos para a análise dos artigos publicados pela Revista Gaúcha de Enfermagem. Os provedores dos dados para a investigação foram as bases de dados Cumulative Index to Nursing and Allied Health Literature (CINAHL), da EBSCO, e Scopus, da Elsevier.

A opção por utilizar duas bases de dados distintas como fontes de dados bibliométricos deveu-se às discrepâncias de indexação de artigos apresentadas por ambas as bases e o número real de artigos publicados pela RGE no período de estudo. Outro fator considerado para o uso dessas fontes foi que as duas incorporam aos seus sistemas o mesmo agregador de dados altmétricos, PlumX, que cruza os dados de ambas as bases. Ao longo da coleta de dados, identificaram-se inconsistências relacionadas a um número maior de trabalhos indexados do que de trabalhos publicados nos anos de 2010 (Scopus) e 2016 (CINAHL). Cabe ressaltar que, para esta pesquisa, foram considerados apenas os dados bibliométricos e altmétricos dos trabalhos publicados.

O agregador utilizado para a coleta dos dados altmétricos foi o PlumX, incorporado às bases CINAHL e Scopus. O PlumX fornece insights sobre como as pessoas interagem com produtos frutos de pesquisa científica (artigos, trabalhos de eventos, capítulos de livros e outros) disponíveis em ambiente on-line. Desenvolvido pela Plum Analytics, foi adquirido pela EBSCO em 2014 e, posteriormente, pela Elsevier, em 2017. é o provedor de dados altmétricos mais antigo, fundado em 2012, e atualmente está incorporado a plataformas como o Mendeley e a Scopus. O agregador divide os dados recuperados em cinco categorias: Uso, Capturas, Menções, Mídias Sociais e Citações.

A coleta de dados foi realizada em agosto de 2018, abrangendo os artigos publicados entre 2007 e 2016 e as citações, capturas no Mendeley e atividades nas mídias sociais Facebook e Twitter atribuídas aos artigos no período entre 2007 e 2018. Foram utilizados dois recortes temporais de análise do corpus, devido à natureza dos dados de impacto tradicional (citações), os quais necessitam de uma janela mínima de dois anos após a publicação, ao passo que os indicadores de impacto altmétricos (visibilidade) possuem um caráter mais imediato. A escolha pelo corte cronológico deveu-se à reformulação de políticas editoriais da RGE, que passou para o formato exclusivamente digital nesse período, além do lançamento da Revista em mídias sociais, com a criação da página da revista no Facebook em 2015. Ao contrário de outras pesquisas já realizadas (Haustein et al., 2013; Thelwall et al., 2013; Hassan, 2017; Huang; Wang; Wu, 2018), neste estudo, buscou-se analisar um período mais longo – dez anos –, a fim de avaliar com mais robustez o impacto de dados altmétricos, ao longo do tempo, sobre a visibilidade e as citações das pesquisas científicas publicadas. Com isso, foi realizada uma análise exaustiva, considerando todos os artigos publicados pela revista no período e indexados na Scopus e CINAHL.

Assim como nos estudos de Haustein (2012) e Huang, Wang e Wu (2018), foi aplicada uma fórmula para aferir correlações entre as variáveis determinadas para o estudo. Optou-se pelo uso do Coeficiente de Correlação de Pearson (r), visando determinar se há relações de influência entre as variáveis estabelecidas pela pesquisa – neste caso, citações e capturas (Mendeley) e engajamentos no Facebook e no Twitter. Da mesma forma, mediu-se o grau de relação entre o tempo de publicação dos artigos e seu impacto em número de citações, e capturas e ações nas mídias sociais.

Para apoiar a interpretação dos dados sobre correlação entre as variáveis analisadas, foram gerados diagramas de dispersão, conforme proposto por Callegari-Jacques (2007). Os diagramas também visam verificar a existência de outliers e se há algum comportamento longitudinal irregular entre as variáveis estudadas. Para o cálculo dos coeficientes de correlação, foram utilizados os softwares IBM® SPSS® Statistics (version 18) e Microsoft Office Excel 2007. Para a interpretação dos resultados sobre a correlação entre os dados das variáveis analisadas, considerou-se a proposta de Hinkle, Wiersma e Jurs (2003).

Resultados

Foram recuperados, nas bases Scopus e CINAHL, os 948 artigos publicados na RGE entre 2007 e 2016. Os registros receberam 2.150 citações entre 2007 e 2018. Os artigos da RGE também receberam 7.072 capturas no Mendeley e, ainda, 359 atividades no Twitter e no Facebook. Dentre os 948 documentos, 69,1% (n =655) foram citados em artigos indexados nas bases em que foi feita a coleta dos dados. Destes, 76,9% (n =504), além de citados, foram relacionados em perfis de pesquisadores no Mendeley. Quanto às atividades em mídias sociais, 10,8% (n =71) dos artigos citados tiveram alguma atividade no Facebook ou no Twitter. Do total de artigos citados, 87,8% (n =75) foram igualmente apontados no Mendeley, no Facebook ou no Twitter.

Dos 293 artigos não citados em outros trabalhos, 63,8% (n =187) foram capturados no Mendeley. Apenas 10,2% (n =30) tiveram algum tipo de atividade no Facebook (n =20) ou no Twitter (n =10). Os resultados apresentados por essas três plataformas sociais demonstram a visibilidade que os artigos da RGE obtiveram mesmo não sendo citados formalmente em outros trabalhos, evidenciando a relevância desses artigos na área do conhecimento. A visibilidade dos artigos da RGE também é revelada pelo pequeno volume de artigos que não foram citados ou mencionados em mídias sociais: apenas 106, correspondendo a 11,2% dos documentos publicados de 2007 a 2016.

Apesar de o PlumX utilizar como fonte de dados uma dezena de bases de dados, ele recuperou, nesta pesquisa, frequências de citação dos artigos nas bases Scopus, SciELO, Pubmed Central e CrossRef, o que pode variar conforme o campo científico escolhido para estudo. Na Tabela 1, são apresentados os dados brutos que foram considerados para a análise correlacional.

Os dados apresentados na Tabela 1 demonstram que a RGE teve períodos de variabilidade no número de artigos publicados no intervalo de análise. A média anual foi de 94,8 documentos por volume da revista. Outro dado apurado foi o acúmulo no número de citações recebidas pelos artigos ao longo do tempo, que parece ser influenciado pela relação entre a quantidade de artigos publicados e o tempo de publicação. Na Tabela 2, são exibidas as correlações entre artigos publicados, tempo de publicação, citações recebidas e altmetrics nos dez anos em que a revista está indexada.

Tabela 1
Dados utilizados para análise correlacional dos artigos publicados na Revista Gaúcha de Enfermagem no período 2007 e 2016.

Ano	Artigos Publicados (n)	Citações (n)	Capturas (n)	Mídias Sociais (n)			Altmetrics(n)
		Scopus, SciELO,	Mendeley	Facebook	Twitter	Total
		Pubmed, CrossRef
2007	68	215	540	0	0	0	540
2008	84	215	694	2	0	2	696
2009	98	268	742	3	0	3	745
2010	102	551	942	17	0	17	959
2011	104	393	555	51	0	51	606
2012	103	264	292	19	1	20	312
2013	95	288	617	5	0	5	622
2014	78	112	272	67	0	67	339
2015	98	184	1.243	53	26	79	1.322
2016	118	61	1.172	91	24	115	1.290
Total	948	2.150	7.072	308	51	359	7.431
Média anual	94,8	215,1	707,2	28,9	5,1	35,9	743,1

• Fonte: Elaborado pelos autores (2019).

Tabela 2
Correlação entre as variáveis nos períodos 2007 e 2016.

Tipo de Correlação	r
Artigos x Citações	0,149
Artigos x Mendeley	0,500
Artigos x Facebook	0,450
Artigos x Twitter	0,470
Artigos x Facebook/Twitter	0,488
Artigos x altmetrics*	0,527
Citações x Ano de publicação	-0,437
Citações x Mendeley	-0,041
Citações x Facebook	-0,462
Citações x Twitter	-0,494
Citações x Facebook/Twitter	-0,502
Citações x altmetrics*	-0,096
Mendeleyx Ano de publicação	0,331
Facebookx Ano de publicação	0,812
Twitterx Ano de publicação	0,729
Facebook/Twitterx Ano de publicação	0,838
altmetrics* x Ano de publicação	0,408

• Nota:
• ^*
  Mendeley, Facebooke Twitter.
• Fonte: Elaborado pelos autores (2019).

Os dados da Tabela 2 apontam para uma correlação nula entre o número de citações e o número de referências salvas em perfis no Mendeley (r=0,041), o que sugere que não há influência entre as duas variáveis quando analisados os artigos da RGE publicados entre 2007 e 2016. Os resultados revelam que as atividades geradas nas mídias Facebook e Twitter estão diretamente relacionadas com o ano de publicação dos artigos – atividades no Facebook (r=0,812) e no Twitter (r=0,729) –, indicando que, quanto mais recente for a publicação de um artigo, maior será a visibilidade junto a essas mídias sociais.

Após analisados os dados correlacionais, foi gerado um diagrama de dispersão desses dados. O propósito de examinar se há dispersão dos dados das variáveis é verificar se a correlação entre as variáveis segue uma tendência linear tanto de crescimento quanto de declínio ao longo do tempo definido para estudo. A Figura 1 apresenta o diagrama de dispersão dos dados das variáveis ao longo dos dez anos.

Figura 1
Diagrama de dispersão de dados na correlação entre citações e altmetrics entre 2007 e 2016.

Apesar de, na análise do diagrama (Figura 1), ter sido identificada linearidade quanto à correlação entre o número de artigos publicados, citações e engajamentos no Facebook e no Twitter, verifica-se uma quebra da linearidade das tendências correlacionais entre citações e o uso do Mendeley nos dois últimos anos de análise, 2015 e 2016. Esse fenômeno sugeriu uma análise mais aprofundada no período anterior a 2015 e 2016, o que levou à elaboração de um novo diagrama de dispersão considerando apenas os dados do período 2007-2014 (Figura 2).

Figura 2
Diagrama de dispersão de dados na correlação entre citações e altmetrics entre 2007 e 2014.

Os resultados expostos na Tabela 1 e na Figura 2 revelam que dados de 2015 e 2016 influenciaram essencialmente na tendência da série de correlação histórica entre citações e capturas no Mendeley. Quando analisados os dados de correlação entre essas duas variáveis no período 2007-2014, há uma relação positiva de moderada a alta (r=0,698), bem diferente da encontrada quando analisado o período 2007-2016 (r=-0,041). No caso da análise da correlação entre citações e o uso do Mendeley, é possível que, se fosse observado um período superior a dois anos após a indexação de um artigo, os resultados de correlação pudessem ser interpretados de forma mais confiável. Já na correlação entre citações e engajamentos no Twitter e no Facebook no período 2007-2014, tem-se uma relação negativa e fraca (r=-0,116), seguindo a tendência da análise de todos os dados entre 2007 e 2016, de negativa e moderada (r=-0,502). Quando analisados de forma intervalada, os períodos dos dados correlacionais sofrem variações (Tabela 3).

Tabela 3
Evolução correlacional das variáveis em diferentes períodos da análise

Variáveis Analisadas	Período
	2007-2009	2010-2012	2013-2016
Citações x altmetrics*	0,685	1,000	-0,256
Citações x Mendeley	0,684	0,998	-0,180
Citações x Facebook/Twitter	0,756	-0,137	-0,917

• Nota:
• ^*
  Mendeley, Facebooke Twitter.
• Fonte: Elaborada pelos autores (2019).

Na Tabela 3, quando examinados em blocos de tempo de publicação e impacto, têm-se perspectivas diferentes sobre o fenômeno. Esses dados denotam uma certa preocupação para estudos longitudinais de correlação de impacto das citações em relação a atividades em mídias sociais, podendo sugerir aos pesquisadores correlações falso-positivas ou negativas.

Os resultados demonstraram que os dados gerados no Mendeley possuem similaridade com as citações no espectro temporal, ambas as variáveis tendo um comportamento parecido em análise de registros mais antigos. Inversamente a isso, têm-se os dados de correlação entre citações e engajamentos gerados no Facebook e no Twitter, os quais mostram que, quanto mais antigo o artigo, menor será seu impacto nessas mídias.

Discussão

Em estudos anteriores de análise de dados altmétricos dos artigos publicados pela RGE em um período de estudo curto (2011-2015), foi detectada uma alta correlação entre citações e menções fazendo uso da altmetric incorporada na base Scopus (Silva Filho; Mangan, 2017), e uma baixa correlação entre as duas variáveis, utilizando o PlumX incorporado ao CINAHL (Silva Filho; Vanz, 2018). Ambos os trabalhos anteriores apresentaram dados correlacionais positivos para um período de análise correspondente aos cinco anos iniciais do desenvolvimento das duas plataformas altmétricas. Com isso, não foi observado o comportamento do número de citações, o engajamento altmétrico e a correlação com os artigos publicados pela revista em anos anteriores à criação dessas ferramentas, assim como da popularização, pelo menos no contexto brasileiro, de algumas mídias sociais hoje comuns, como Mendeley, Facebook e Twitter.

O período de análise ampliado proposto por este estudo revelou dados correlacionais nulos ou até negativos para um período de dez anos quando utilizados dados de impacto com uma janela de dois anos (citações sobre artigos publicados entre 2017 e 2018). Porém, quando aplicado o mesmo coeficiente em períodos superiores a dois anos, têm-se resultados significativos sobre as relações publicação do artigo x citações recebidas x dados altmétricos. Thelwall et al. (2013), Huang, Wang e Wu (2018) e Mohammadi et al. (2018) afirmaram em seus trabalhos que somente o uso de métodos de correlação para análise altmétrica e a adoção de um escore padronizado para mensurar essas atividades são limitados para conclusões sobre os efeitos das mídias sociais sobre a visibilidade e o impacto em produtos científicos.

Os resultados apresentados nas Figuras 1 e 2 são semelhantes aos resultados do trabalho de Huang, Wang e Wu (2018), os quais, por meio da análise de gráficos de dispersão dos dados, encontraram zonas diferentes de correlação entre as variáveis. Os autores sugerem que valores mais altos de atividades em mídias sociais estão, provavelmente, associados a citações mais frequentes na Web of Science (WoS) quando os conjuntos de dados estratificados incluírem um número suficiente de artigos.

Os dados da Tabela 2 indicaram correlação negativa baixa (r=-0,437) entre o tempo de publicação dos artigos da RGE e as citações recebidas em outros trabalhos, demonstrando que o tempo de publicação influencia a quantidade de citações que um trabalho recebe. Foi identificada, ainda, correlação positiva baixa (r=0,408) quando analisados o tempo de publicação e os dados altmétricos. Esses dados apontam que o tempo decorrido desde a publicação de um artigo influi sobre o número de atividades em mídias sociais.

A variável “tempo” interfere na correlação entre atividades em mídias sociais e citações. O valor de r, quando verificado no período de 2007 a 2016, revelou uma correlação negativa e nula entre citações e altmetrics. Porém, ao analisarmos os diagramas de dispersão, os dados mostraram que a correlação entre citações e altmetrics se torna mais forte quanto maior for o tempo desde a publicação do artigo na RGE. Os dados apresentaram correlação entre citações e altmetrics no período entre 2007 e 2013, que variou de positiva e moderada (r=0,623) a positiva e muito alta (r=0,906). Esse resultado corrobora outros relatos na literatura (Eysenbach, 2011; Thelwall et al., 2013; Wang et al., 2018), que identificaram que, quanto mais recentes os artigos, mais atenção tendem a receber em mídias como o Facebook e o Twitter. Por outro lado, quanto mais recente o artigo, menor é seu impacto, ou seja, menos citações em curto prazo ele recebe.

Os dados indicaram que o Mendeley é uma ferramenta importante para uma maior visibilidade dos artigos da RGE, tendo em vista que, do total de trabalhos recuperados na base, 72,9% (n = 691) foram mencionados usando essa mídia. Esse resultado é similar aos de Priem, Piwowar e Hemminger (2012), que analisaram 24.331 artigos publicados nos sete periódicos da Public Library of Science (PLoS), sendo que 80% dos artigos foram incluídos em pelo menos uma biblioteca no Mendeley. Na pesquisa, também encontraram correlações moderadas entre as citações no Mendeley e artigos indexados na WoS. Hassan et al. (2017) examinaram mais de 1 milhão de trabalhos de diferentes campos científicos que continham ao menos uma citação. Os dados mostraram que artigos com citações mais elevadas foram mais discutidos em plataformas de mídias sociais (Mendeley, Twitter e outras), sugerindo que o uso dessas redes contribuiu para um maior número de citações do que aqueles trabalhos que não foram mencionados em nenhuma plataforma. Segundo os autores, os resultados mostraram que há diferenças entre as áreas estudadas, ocorrendo maior atividade altmétrica em pesquisas nos campos de saúde, biologia, agricultura e ciências sociais.

Os resultados apontaram que o Facebook e o Twitter são pouco utilizados para a divulgação dos artigos publicados pela RGE. O Facebook é o preferido para o aumento da visibilidade entre as mídias sociais não acadêmicas, principalmente em se tratando de documentos recém-publicados. Esses dados também indicam um modelo de divulgação diferente entre a área da saúde e outros campos do conhecimento, os quais fazem mais uso do Twitter (Cho, 2017; Hassan et al., 2017). A opção pelo uso do Twitter, no exterior, é igualmente evidenciada nos trabalhos de Haustein et al. (2013) e Thelwall et al. (2013) os quais apresentaram, em suas pesquisas, resultados sobre a preferência por essa mídia em diferentes campos científicos da saúde.

Reafirmando o que já foi relatado por Haustein et al. (2013) e Huang, Wang e Wu (2018), os dados altmétricos que emergem das diferentes mídias sociais devem ser utilizados para complementar o impacto de um produto científico além das citações. O uso de dados disponibilizados por ferramentas altmétricas como o PlumX, incorporadas aos canais de comunicação em que se encontram os artigos, pode auxiliar em uma melhor colocação da publicação, dos artigos e dos autores junto à comunidade científica da Enfermagem, uma vez que essas informações permitem a editores e autores conhecerem de maneira mais ampla os usuários do produto científico produzido.

Conclusão

Foi observada, nesta pesquisa, a efetividade do uso de altmetrics como complemento aos índices de citação de produções científicas da RGE. Os resultados demonstraram que mesmo trabalhos não citados tiveram visibilidade altmétrica por meio de salvamentos e engajamentos em outras mídias sociais, acadêmicas ou não.

Um fator importante a se considerar, tanto em análises bibliométricas como altmétricas, é a visibilidade que um produto informacional possui, ou seja, a quantidade, qualidade e relevância das plataformas ou ferramentas onde ele está exposto. Para qualquer periódico, o alcance de indexação em bases nacionais e internacionais altamente relevantes para seu campo científico amplia as chances, em termos de visibilidade, de obter um impacto maior.

Um dos problemas encontrados nesta pesquisa foi a cobertura incompleta de indexação dos artigos da RGE em duas das mais importantes bases de dados do campo da Enfermagem. Essa cobertura incompleta traz consequências negativas para a visibilidade e o impacto da pesquisa publicada em um canal de comunicação científica formal. Uma vez que os artigos não se encontram indexados de forma ágil, os trabalhos tornam-se invisíveis para quem busca referencial sobre temas que poderiam estar abordados nesses artigos.

Assim como as citações necessitam de tempo para se acumular, o mesmo ocorre quando analisados dados altmétricos coletados junto ao Mendeley. Esse tempo necessário para o acúmulo de citações, conforme os dados da RGE, sugere uma relação com o uso do Mendeley, pois, quanto maior o número de referências salvas nessa ferramenta, maior é o número de documentos citados. Portanto, a idade das mídias sociais, bem como a cultura de uso em diferentes regiões do planeta podem ser um dos fatores limitadores para uma análise mais correta do impacto dessas mídias sobre a visibilidade e uso dos artigos. Outro aspecto constatado na pesquisa foi a preferência pelo uso do Facebook como meio de divulgação no contexto brasileiro, o que difere do comportamento do público de países desenvolvidos, os quais preferem o Twitter.

O Mendeley revelou ser uma plataforma importante para a ampliação da visibilidade de trabalhos publicados pela RGE que já possuem algum impacto (citação), do mesmo modo que possibilita que outras pesquisas (não citadas) sejam percebidas no campo científico da Enfermagem. O grande número de capturas de artigos publicados em uma revista de acesso aberto como a RGE, verificado no Mendeley, sugere que estudos posteriores aprofundem-se na análise das relações entre uso de mídias sociais, ferramentas de captura/gerenciadores de referências e citações de artigos publicados em periódicos científicos nos diferentes modelos de acesso aos trabalhos adotados na atualidade. Foi constatado que houve um aumento no uso da plataforma Mendeley após a aquisição desta pela Elsevier. Recomendam-se novos estudos sobre o impacto dessa ferramenta sobre os artigos indexados entre 2015 e 2016 em citações futuras.

Quando analisados altmetrics do Facebook e do Twitter, os engajamentos se dão logo após a publicação dos artigos, ou seja, têm maior impacto na visibilidade de artigos recentes. Por outro lado, o comportamento gerado sobre os artigos nessas mídias não permite afirmar que exista uma relação com citações recebidas.

Assim como já foi apontado em outras pesquisas que se debruçaram sobre estudos de correlação, também não foi possível, nesta pesquisa, determinar, apenas por métodos quantitativos, o impacto das mídias sociais Mendeley, Facebook e Twitter sobre as citações recebidas. O uso de análises de correlação pode não ser adequado como único método dependendo do período determinado para análise, apresentando resultados correlacionais falsos entre a publicação dos artigos, as citações recebidas e os dados altmétricos gerados para períodos curtos. A adoção de métodos qualitativos como análise de redes sociais e análise de conteúdo pode trazer outras perspectivas para um melhor entendimento do fenômeno citações x altmetrics. Sugere-se que pesquisas futuras analisem atividades de promoção da visibilidade dos documentos recém-publicados pelas revistas em suas páginas ou perfis oficiais no Facebook e no Twitter, bem como citações que possam ser fruto dessas ações.

Agradecimentos

Ambos os autores contribuíram de forma equitativa na concepção, desenho, análise e interpretação dos dados, revisão e aprovação da versão final do artigo

Como citar este artigo/How to cite this article

• Silva Filho, R.C.; Vanz, S.A.S. Impacto de altmetrics sobre a visibilidade de artigos em acesso aberto da enfermagem brasileira: um estudo de caso. Transinformação, v.31, e190025, 2019. http://dx.doi.org/10.1590/2318-0889201931e190025

Referências

• Altmetric. London: Altmetric, 2018. Available from: https://www.altmetric.com/ Cited Jan. 5, 2018.
  » https://www.altmetric.com/
• Araújo, R.F. Da altmetria à análise de citações: uma análise da revista. Datagramazero, v.16, n.1, 2015. Disponível em: http://www.brapci.inf.br/index.php/article/download/50763 Acesso em: 7 fev. 2019.
  » http://www.brapci.inf.br/index.php/article/download/50763
• Callegari-Jacques, S.M. Bioestatística: princípios e aplicações. Porto Alegre: ArtMed, 2007.
• Cho, J. A comparative study of the impact of Korean research articles in four academic fields using altmetrics Performance Measurement and Metrics, v.18, n.1, p.38-51, 2017.
• Eysenbach, G. Can tweets predict citations? Metrics of social impact based on Twitter and correlation with traditional metrics of scientific impact. Journal of Medical Internet Research, v.13, n.4, e123, 2011.
• Gouveia, F. Altmetria: métricas de produção científica para além das citações. Liinc em Revista, v.9, n.1, p.214-227, 2013. Disponível em: http://www.ibict.br/liinc Acesso em: 7 fev. 2019.
  » http://www.ibict.br/liinc
• Hassan, S. et al Measuring social media activity of scientific literature: An exhaustive comparison of Scopus and novel altmetrics Big Data. Scientometrics, v.113, n. 2, p.1037-1057, 2017.
• Haustein, S. Multidimensional journal evaluation: Analyzing scientific periodicals beyond the impact factor. Berlim: De Gruyter/Saur, 2012. Available from: http://books.google.com.br/books?id=MH1N4ottpdMC Cited: Sept. 10, 2018.
  » http://books.google.com.br/books?id=MH1N4ottpdMC
• Haustein, S. et al Tweeting biomedicine: an analysis of tweets and citations in the biomedical literature. Journal of the Association for Information Science and Technology, v.65, n.4, p.656-669, 2013.
• Huang, A.; Wang, P.; Wu, Q. Correlation comparison between Altmetric Attention Scores and citations for six PLOS journals. Plos One, v.13, n.4, e0194962, 2018. Available from: https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0194962 Cited: Aug. 30, 2018.
  » https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0194962
• Hinkle, D.E.; Wiersma, W.; Jurs, S.G. Applied statistics for the behavioral sciences 5th ed. Boston: Houghton Mifflin, 2003.
• Meschede, C.; Siebenlist, T. Cross-metric compatability and inconsistencies of altmetrics Scientometrics, v.115, n.1, p.283-297, 2018.
• Mohammadi, E. et al Academic information on Twitter: A user survey. Plos One, v.13, n.5, e0197265, 2018. Available from: https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0197265 Cited: Feb. 24, 2019.
  » https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0197265
• Piwowar, H.; Priem, J. The power of altmetrics on a CV. Bulletin of the American Society for Information Science and Technology, v.39, n.4, p.10-13, 2013.
• Priem, J.; Piwowar, H.A.; Hemminger, B.M. altmetrics in the wild: Using social media to explore scholarly impact. [S.l.]: Arxiv, 2012. Preprint. Available from: https://arxiv.org/abs/1203 4745. Cited: Jan. 10, 2019.
  » https://arxiv.org/abs/1203
• Priem, J. et al altmetrics: A manifesto [S.l.]: altmetrics, 2010. Available from: http://altmetrics.org/manifesto Cited: Apr. 30, 2017.
  » http://altmetrics.org/manifesto
• Silva Filho, R.C.; Mangan, P.K.V. Impacto das mídias sociais na visibilidade da Revista Gaúcha de Enfermagem. In: Encontro Nacional de Pesquisa em Ciência da Informação, 18., 2017, Marília. Anais [...]. Marília: Ancib, 2017.
• Silva Filho, R.C.; Vanz, S.A.S. Visibilidade científica em acesso aberto nas mídias sociais: uma análise altmétrica da revista gaúcha de enfermagem. In: Encontro Brasileiro de Bibliometria e Cientometria, 6., 2018, Rio de Janeiro. Anais [...]. Rio de Janeiro: EBBC, 2018.
• Thelwall, M. et al Do altmetrics work? Twitter and ten other social web services. Plos One, v.8, n.5, e64841, 2013. Available from: http://journals.plos.org/plosone/article?id=10.1371/journal.pone.0064841 Cited: Apr. 23, 2017.
  » http://journals.plos.org/plosone/article?id=10.1371/journal.pone.0064841
• Vanti, N. A cientometria revisitada à luz da expansão da ciência, da tecnologia e da inovação. Ponto de Acesso, v.5, n.3, p.5-31, 2011.
• Vanti, N.; Sanz-Casado, E. Altmetria: a métrica social a serviço de uma ciência mais democrática. Transinformação, v.28, n.3, p.349-358, 2016. http://dx.doi.org/10.1590/2318-08892016000300009
  » https://doi.org/10.1590/2318-08892016000300009
• Wang, X. et al The open access advantage considering citation, article usage and social media attention. Scientometrics, v.103, n.2, p.555-564, 2015. Available from: http://link.springer.com/article/10.1007%2Fs11192-015-1547-0 Cited: Apr. 23, 2017.
  » http://link.springer.com/article/10.1007%2Fs11192-015-1547-0
• Wang, X. et al Social media attention increases article visits: An investigation on article-level referral data of PeerJ. [S.l.]: Arxiv, 2018. Available from: https://arxiv.org/ftp/arxiv/papers/18 01/1801.02383.pdf Cited: Jan. 5, 2019.
  » https://arxiv.org/ftp/arxiv/papers/18 01/1801.02383.pdf

Datas de Publicação

• Publicação nesta coleção
  14 Nov 2019
• Data do Fascículo
  2019

Histórico

• Recebido
  11 Mar 2019
• Revisado
  19 Jul 2019
• Aceito
  30 Ago 2019