Retratados e ainda citados: perfil de citações pós-retratação em artigos de pesquisadores brasileiros

Retracted and still cited: profile of post-retraction citations in articles by Brazilian researchers

Resumo:

Caracteriza os artigos retratados mais citados autorados por pesquisadores brasileiros, tipifica as citações pós-retratação e identifica padrões e outliers associados aos documentos citados e citantes analisados. Utiliza o método bibliométrico e a técnica de análise de citações, configurando-se como uma pesquisa exploratória. Dos resultados obtidos a partir da análise de 512 citações distribuídas em 407 documentos citantes, identificou-se que 75,8% consistiam em citações neutras, 23% em citações positivas e 1,2% em menções negativas. A prevalência das citações neutras mostra que estes artigos continuam sendo citados como documentos presentes na literatura, sem o julgamento de sua validade científica, o que também levanta preocupações sobre as práticas de citação na Academia.

Palavras-chave:
artigo retratado; análise de citação; citação pós-retratação; integridade na pesquisa; má conduta na pesquisa

Abstract:

It characterizes the most cited retracted articles authored by Brazilian researchers, typifies post-retraction citations, and identifies patterns and outliers associated with the cited and citing documents analyzed. It uses the bibliometric method and the technique of citation analysis, configuring itself as exploratory research. From the results obtained from the analysis of 512 citations distributed in 407 citing documents, it was identified that 75.8% consisted of neutral citations 23.0% of positive citations and 1.2% of negative mentions. The prevalence of neutral citations shows that these articles continue to be cited as documents present in the literature without judging their scientific validity.

Keywords:
retracted article; citation analysis; post-retraction citation; research integrity; research misconduct

1 Introdução

Uma das problemáticas recorrentes nas investigações sobre a literatura retratada consiste no fato de que muitos artigos após sofrerem retratação continuam sendo citados como estudos válidos ( BUDD; SIEVERT; SCHULTZ, 1998; CANDAL-PEDREIRA et al., 2020; THEIS-MAHON; BAKKER, 2020; SANTOS-D’AMORIM et al., 2022). Em alguns casos, a situação parece se agravar, em que artigos passam a receber mais citações após a retratação ( TEIXEIRA; DOBRÁNSZKI, 2017; BOLBOACĂ et al., 2019).

Recentemente, no cenário pandêmico originado pelo novo coronavírus (COVID-19) o artigo retratado intitulado Hydroxychloroquine or chloroquine with or without a macrolide for treatment of COVID-19: a multinational registry analysis, que havia sido publicado no The Lancet, repercutiu dentro e fora da Academia. Embora atualmente o uso dessas drogas já esteja cientificamente comprovado como ineficaz para o tratamento da doença provocada pelo novo coronavírus (SARS-CoV-2), o artigo, à época um dos primeiros estudos que trazia conclusões sobre o tema, também concluía não haver nenhuma evidência do benefício do uso das drogas citadas em seu título, como também assinalou o risco do aumento por morte cardiovascular. No entanto, o artigo foi retratado porque os autores não podiam garantir a veracidade dos dados utilizados para fundamentar a pesquisa, uma vez que um dos coautores, que também era fundador da empresa detentora dos dados utilizados na pesquisa - a Surgisphere Corporation -, se negou a transferir o banco de dados completos para que uma revisão independente, fora dos algoritmos da Surgisphere, fosse feita a fim de garantir a confiabilidade e reprodutibilidade dos resultados dessa pesquisa.

Na conjuntura atual, em que ataques sucessivos à ciência voltam a fazer parte de determinados grupos sociais, como é o caso dos movimentos antivacinas, torna-se salutar compreender que as retratações se constituem como um importante mecanismo de correção do registro e da memória científica. Bordignon ( 2020) pontua que artigos retratados devem “ser eliminados da literatura, ou, pelo menos, sinalizados, porque são parcial ou totalmente imprecisos. Eles não devem ser usados para construir novas pesquisas” ( BORDIGNON, 2020, p. 1226, tradução nossa ¹). Por outro lado, a manutenção de um artigo mesmo após sua retratação é pautada pelas recomendações dos comitês de integridade em pesquisa científica, permitindo que um artigo permaneça na base de dados com o selo de retratado, com o objetivo de evitar que demais pesquisadores repliquem o mesmo percurso metodológico, o que pode poupar tempo e recursos financeiros institucionais, entre outros motivos.

No caso do artigo do The Lancet precitado, Santos-d’Amorim, Melo e Santos ( 2021) constataram que mesmo após a retratação, a publicação retratada continuou sendo citada, com 30,0% de citações que se utilizaram desse estudo como válido. Preocupações no tema residem no fato de que tais situações têm sido recorrentes e sinalizam potenciais problemas para o desenvolvimento científico.

Considerando esse contexto, o objetivo deste estudo é caracterizar o perfil das citações pós-retratação em artigos retratados autorados por pesquisadores brasileiros ². Justifica-se por oportunizar discussões no tema e por preencher uma lacuna de pesquisas neste domínio com foco no contexto brasileiro, além de seu potencial em fornecer subsídios para o desenvolvimento de novos estudos.

2 Esclarecendo conceitos

Para situar a compreensão sobre retratações de artigos, bem como as discussões adjacentes, torna-se importante esclarecer que:

1. a retratação de um artigo científico funciona como um mecanismo de alerta à comunidade científica e à sociedade, emitidos pelos editores, - seja a pedido dos autores, ou a por alguma denúncia fundamentada e posteriormente comprovada - de que a pesquisa apresenta algum problema, com vistas à correção do registro e da memória científica por meio dos avisos de retratação;

2. além da retratação, em casos raros, a despublicação de um artigo inclui a remoção das bases de dados e do site do periódico pelos editores, por meio da comprovação de desvios, práticas de má conduta, erros ou manipulação de dados e interpretações. Nesses casos, “essas ações não devem ser realizadas levianamente e só podem ocorrer em circunstâncias excepcionais”, como: “quando o artigo for claramente difamatório, ou infringir os direitos legais de outros, ou quando [...] objeto de uma ordem judicial, ou quando [...] puder representar um sério risco à saúde” ( ELSEVIER, c2020, não paginado, tradução nossa ³);

3. em alguns casos, havendo interesse dos autores, concordância dos editores e um novo processo de revisão por pares, artigos que foram retratados podem ser substituídos, desde que seja feita a correção do que levou o artigo à retratação. Assim, o artigo original é substituído havendo uma clara indicação de seu histórico ( ELSEVIER, c2020).

Em teoria, os periódicos não têm a responsabilidade primária da investigação de possível má conduta ou não. Desse modo, quando há preocupações com o manuscrito publicado, o editor parte da prerrogativa de reportar à instituição dos autores para que uma investigação seja instaurada e as conclusões sejam informadas ao periódico.

3 Retratações e suas causas

Embora um aumento contínuo de novos estudos sobre artigos retratados possa ser observado na última década, inferências sobre o tema não são unanimidade. Por exemplo, a despeito de estudos que relatam que a má conduta na pesquisa tem aumentado ao longo dos anos, Fanelli (2013) argumenta que é difícil concluir se de fato as incidências de má conduta estão em crescente aumento ou se permanecem estáveis. O autor pondera que as retratações têm aumentado, tanto pela eficiência de um “sistema mais forte”, quanto pelo uso de ferramentas on-line que cientistas e editores adquiriram, ampliando a capacidade de detectar plágio e outras más práticas. E mesmo apesar da popularização de ferramentas de detecção de plágio, a prevalência de retratações devido a má conduta, como no caso do plágio, tem sido relatada com frequência ( CHEN et al., 2018; ELANGO; KOZAK; RAJENDRAN, 2019; FANG; STEEN; CASADEVALL, 2012).

As primeiras definições e diretrizes sobre a má conduta de pesquisa datam do ano de 1986, publicadas no NIH Guide for Grants and Contracts. Para o Office of Research Integrity (ORI) e o Office of Science and Technology Policy (OSTP), essas definições incluem a fabricação, falsificação ou plágio - o que se conhece por (FFP) -, não sendo os erros honestos ou diferenças de opiniões considerados neste escopo:

1. a fabricação é o registro e o relato de dados ou resultados inventados;

2. a falsificação é a manipulação de materiais, equipamentos ou processos de pesquisa, a partir da alteração ou da omissão de dados e resultados, de modo que a pesquisa não seja representada com precisão nos seus registros;

3. o plágio é a apropriação de ideias, processos, resultados ou palavras de outra pessoa sem dar o devido crédito (exemplos de plágio incluem, mas não se limitam a plágio direto, indireto ou conceitual).

Considerando que uma retratação pode ocorrer por diversas razões, perpassando desde a má conduta deliberada a erros não-intencionais, a Figura 1 sintetiza e ilustra, em diagrama de Venn, as razões mais conhecidas, tomando como base as categorias discriminadas pelo OSTP ( 2000). Estas, são subdivididas em dois grandes grupos - o erro, que se refere a qualquer tipo de prática não-intencional, e a má conduta, que se refere a qualquer prática intencional.

Figura 1 -
Principais incidências para retratações de artigos científicos

O subconjunto, resultado da intersecção derivada dos conjuntos relativos aos erros e às más condutas, identifica a dualidade contida nos itens desta intersecção. Esse dualismo, portanto, depende da intencionalidade de uma ação. O plágio ou autoplágio, por exemplo, pode derivar desde um descuido na preparação dos textos, do desconhecimento sobre o que é plágio, ou por ação deliberadamente intencional ( MOHAN et al., 2015; POWELL, 2012).

4 Procedimentos metodológicos

Esse estudo assume caráter exploratório, uma vez que busca identificar os motivos pelos quais os artigos retratados continuam sendo citados por meio da análise de citações.

A identificação das ocorrências de citações após a retratação por meio de análise de citação no texto ( in-text citations analysis) ou análise de citação no contexto ( citation-in-context analysis), se utiliza sobretudo da análise do contexto das citações, no âmbito da abordagem construtivista dos estudos de citação ( SILVEIRA, 2016). Com base nesta técnica de análise, estudos já foram capazes de detectar padrões e outliers, como também servir de alerta à comunidade científica sobre as práticas de citações a artigos que já foram retratados ( BAR-ILAN; HALEVI, 2017; BOLBOACĂ et al., 2019; LUWEL et al., 2018).

A análise de citação no texto surge inicialmente como mecanismo de identificação do valor relativo de uma citação em função da posição em que aparece no texto de um artigo ( BOYACK et al., 2018). Estes estudos, iniciados na década de 1970, com os trabalhos de Moravcsik e Murugesan (1975) e Voos e Dagaev ( 1976), baseiam-se na incerteza se todas as citações no texto de um artigo deveriam ser consideradas de igual valor nos estudos tradicionais de análise de citações, mesmo estando em diferentes seções. Bertin et al. (2016) apontam que nas subsequentes contribuições sobre o tema, além da análise da posição das citações, são acrescentadas variáveis como, o contexto e a idade das referências. Em que pesem estas variáveis já consolidadas, nesta investigação, não nos concentramos no aspecto posicional ou etário das referências, mas sim, no contexto em que elas são citadas, a partir da análise do contexto da citação a que se quer identificar.

Ante o exposto, foi utilizado o banco de dados construído a partir de pesquisa que dispõe de 162 registros, baseada em levantamento feito na Retraction Watch (RW) ( RETRACTION, c2010) em janeiro de 2020 ( SANTOS-D’AMORIM et al., 2021). Para definição do corpus deste estudo, foi feito um levantamento manual no Google Acadêmico, a partir do título de cada um dos 162 artigos já existentes nessa base, a fim de identificar o número de citações de cada um destes artigos. Nessa identificação, foram consideradas desde a primeira citação recebida em cada artigo, até dezembro de 2019. O uso do Google Acadêmico justifica-se pelo fato de compreender o maior número de citações, se comparado a outras bases de dados, que só indexam os artigos publicados nas próprias editoras. Como a base Retraction Watch também não se restringe a editoras ou bases de dados, o uso do Google Acadêmico, que recupera documentos e citações na web, permite uma melhor compreensão da realidade.

Após identificação do número de citações de cada artigo, o corpus foi delimitado nos dez artigos mais citados e que tenham recebido mais que dez citações após retratação ou despublicação. A Figura 2 sintetiza o percurso metodológico.

Figura 2 -
Percurso metodológico da pesquisa

Além da análise contextual de cada citação (menção), as seguintes informações foram extraídas para análise: (1) título do artigo, (2) nome dos autores e coautores, (3) ano de publicação, (4) ano de retratação/despublicação, (5) quantitativo anual de documentos citantes e citações (menções) compreendidas entre o ano de publicação e retratação, e (6) título do periódico e seu respectivo Fator de Impacto, que foi checado manualmente no InCites Journal Citation Reports 2020 ( Clarivate Analytics).

Para fins de análise das citações distribuídas entre os dez artigos selecionados foi utilizada a proposta de Bar-Ilan e Halevi ( 2017), que assinala que uma citação pós-retratação pode ser classificada como:

1. positiva - uma citação positiva significa que o artigo retratado ou despublicado foi citado como um estudo válido, sendo suas conclusões utilizadas para corroborar com o estudo do atual autor(es);

2. negativa - uma citação negativa indica que os autores do atual estudo mencionam o artigo retratado ou despublicado como efetivamente retratado ou despublicado, sendo as suas conclusões inadequadas;

3. neutra - uma citação neutra indica que o artigo retratado ou despublicado foi mencionado como uma publicação que aparece na literatura e não inclui julgamento sobre sua validade.

A Figura 3 exemplifica os três casos citados acima, com base em amostras do próprio corpus.

Figura 3 -
Exemplos das categorizações adotadas com base na metodologia

Como ilustrado nas Figuras 2 e 3, cada citação foi identificada e classificada mediante duas estratégias: (1) análise via Scite ( SCITE, c2022) através do Digital Object Identifier (DOI) de cada artigo, a fim de recuperar o contexto das citações, seguida de análise minuciosa em cada item retornado pelo Scite, a fim de garantir a confiabilidade dos resultados ⁴; e (2) análise manual complementar, com o objetivo de assegurar que todas as citações pós-retratação fossem suportadas pela investigação.

5 Resultados e discussão

Com base nos critérios descritos na seção anterior identificamos que os dez artigos retratados mais citados do corpus foram citados por 407 documentos, compreendendo citações em outros artigos, teses, dissertações e relatórios nos seguintes idiomas: inglês ( n= 347), português ( n= 40), espanhol ( n= 7), alemão ( n= 4), russo ( n= 3), francês ( n= 1), tcheco ( n= 1), italiano ( n= 1) chinês ( n= 1), coreano ( n= 1) e turco ( n= 1). Destes, foram analisadas 512 citações (ou seja, menções no texto - considerando que um artigo citante pode mencionar mais de uma vez um artigo citado num mesmo texto). O maior número de documentos citantes contabilizado em citações a um único artigo foi 907 - desses, em 121 documentos publicados após retratação; E o menor, onze. Em ambos os casos, as retratações ocorreram por motivos de manipulações (deliberadas ou inadvertidas) em figuras do artigo, conforme assinalado nas notas de retratações analisadas. A Tabela 1 mostra as características gerais desses artigos, seguida das respectivas análises, que juntas compõem os resultados desta pesquisa.

Tabela 1 -
Características dos artigos do corpus da pesquisa

Estudo de caso	Retratado em (a)	Periódico (Fator de Impacto)	DC (b) antes da retratação	DC após retratação (menções)	Tipo de menção pós-retratação (c)
					P	N	Nt
1	2016	Diabetes (9.461)	786	121 (141)	9	3	129
2	2016	PLOS Biology (8.029)	205	68 (85)	22	0	63
3	2017	Diabetes	206	11 (12)	4	0	8
4	2016	Diabetes	153	19 (25)	6	0	19
5	2016	Journal of Biological Chemistry (5.157)	125	27 (30)	8	0	22
6	NP	Rev. Bras Anestesiol. (0.964)	NP	30(d) (43)	22	0	21
7	2016	Diabetes	104	31 (45)	13	1	31
8	2017	Gastroenterology (22.682)	66	16 (26)	9	1	16
9	2017	Psico UFS (NP)	101	20 (32)	7	0	25
10(e)	2015	JAMA Psychiatry (21.596)	19	64 (73)	18	1	54

• Legenda: (a) tomando como base informações da nota de retratação; (b) DC= Documentos citantes; (c) Tipo de citação: P= Positiva; N=Negativa; Nt= Neutra; (d) exclusivamente neste caso, se refere à quantidade de documentos citantes analisados nos últimos três anos; para mais detalhes, consulte estudo de caso seis. (e) artigo retratado e substituído por nova versão corrigida.
• NP= Não possui data explícita de retratação/Fator de Impacto; FI= Fator de Impacto ( Journal Citation Reports, Clarivate Analytics 2020).
• Fonte: Dados da pesquisa.

Com exceção do último estudo de caso - cujo artigo retratado foi substituído por nova versão corrigida -, apesar da notória queda no número das citações após retratação nos artigos analisados, constata-se que mesmo após retratados estes continuaram sendo citados: 75,8% ( n= 388) referem-se a citações neutras, ou seja, indicam que o artigo aparece na literatura, não incluindo julgamento sobre sua validade; 23,0% se referem à citações positivas ( n= 118), assumindo que o artigo citado é um estudo válido, e suas conclusões utilizadas para corroborar com o estudo citante; já as citações negativas ocupam uma pequena parcela de 1,2% ( n= 6) nos documentos citantes analisados, sendo as seis citações negativas, menções ao artigo citado como sendo um estudo retratado na literatura, e suas conclusões suspeitas de validade científica.

5.1 Estudo de caso 1

Intitulado Loss-of-function mutation in Toll-Like receptor 4 prevents Diet-Induced Obesity and insulin resistance, o artigo foi publicado em 2007 no periódico Diabetes. Lançado em 1952 o periódico é editado pela American Diabetes Association (ADA).

Os motivos que levaram a retratação, segundo a nota oficial de retratação publicada pelo periódico em abril de 2016, sugerem manipulação através de duplicação nas bandas das imagens e suspeitas de emendas, ou seja, edição em algumas figuras do artigo.

Em investigação instaurada por meio de comissão na universidade do autor correspondente, foi averiguado que, de fato, houve duplicações derivadas de um erro não-intencional. A mesma comissão assinala também, que foram feitas algumas modificações nas figuras, como, ajustes de brilho e contrastes, reordenação de faixas e alterações no tamanho das bandas. A resposta desta comissão de investigação endereçada ao Diabetes, conclui, porém, que os dados apresentados no artigo eram “basicamente corretos” e que uma retificação no artigo seria uma alternativa à retratação completa ( TSUKUMO et al., 2016, p. 1126). Após avaliação interna feita pelo Painel de Programas Científicos Éticos da ADA, o periódico decidiu proceder com a retratação do artigo por preocupações sobre a confiabilidade da quantificação e das análises nele descritas. Antes de sua retratação o artigo foi citado 786 vezes, tendo recebido em média 80 citações por ano, conforme mostrado na Figura 4.

Figura 4 -
Quantidade de documentos citantes em função do tempo (estudo de caso 1)

Considerando nota de retratação emitida em abril de 2016, uma análise foi conduzida nos documentos citantes compreendidos entre maio de 2016 e 2019, em que se constatou a incidência de 134 documentos citantes.

A busca conduzida no Scite, retornou 80 citações; dessas, após análise de cada documento, 25 citações, divididas em 20 artigos citantes foram suprimidas, pois ocorreram no período compreendido entre janeiro e abril de 2016, ou seja, antes da nota de retratação. O levantamento manual complementar no Google Acadêmico permitiu localizar 86 artigos citantes. Desses, suprimiu-se um artigo erroneamente classificado como citante e três documentos duplicados. Não foi possível recuperar nove documentos citantes. No Scite foram recuperadas 55 citações distribuídas em 44 documentos citantes. Os outros 77 documentos foram analisados manualmente ( n= 86 citações).

Ao todo, foram analisadas 141 citações, divididas em 121 documentos citantes. Os resultados obtidos a partir das análises evidenciam o caráter neutro das citações ( n= 129) distribuídas nestes 121 documentos citantes. Constatou-se também o percentual de 6,0% de citações positivas ( n= 9) e 2,0% de citações negativas ( n= 3).

5.2 Estudo de caso 2

Intitulado Gut Microbiota is a key modulator of insulin resistance in TLR 2 knockout mice, o artigo foi publicado em 2011 no periódico PLOS Biology. Conforme nota de retratação emitida em maio de 2016, os motivos que levaram à retratação do artigo são semelhantes aos motivos expostos no estudo de caso 1, em que há preocupações que sugerem a existência de edições e duplicações de imagem. Cabe destacar que o autor correspondente deste artigo também aparece como autor correspondente ou coautor de outros estudos em processo de retratação, ou já retratados, como, por exemplo, nos estudos de caso 1, 3, 4 e 7. Nesse caso, a investigação institucional reconheceu erros nas imagens, mas não encontrou evidências deliberadas de má conduta na pesquisa. E, embora os autores tenham sustentado que esses erros não afetavam as conclusões do artigo, reconheceu-se que a ação mais correta a se tomar seria a retratação total do artigo, conforme assinalado em nota de retratação.

Publicado em periódico de Acesso Aberto, antes da retratação o artigo recebia em média 34 citações por ano. Após retratação, o artigo continuou sendo citado, com uma média de 20 citações por ano, conforme mostra a Figura 5.

Figura 5 -
Quantidade de documentos citantes em função do tempo (estudo de caso 2)

Considerando nota de retratação publicada em maio de 2016, foram analisados 68 documentos citantes compreendidos entre junho de 2016 a dezembro de 2019. O levantamento inicial por intermédio do Scite retornou 28 citações distribuídas em 21 artigos. Contudo, dois artigos desse total foram suprimidos da análise, por não estarem contidos nos resultados recuperados do Google Acadêmico, resultando em 19 documentos citantes analisados no Scite, que equivale a aproximadamente 28,0% do total de documentos citantes. Já no levantamento manual, foram encontrados 49 artigos citantes, não sendo possível o acesso a três desses artigos. Em síntese, no levantamento manual dos artigos indexados no Google Acadêmico ( n=49), foram identificadas 59 citações, cerca de 69% de todas as citações. Ao todo, foram tipificadas 85 citações distribuídas entre os 68 documentos citantes analisados.

A partir de análise do contexto de cada citação, foi possível identificar que mesmo após sua retratação o artigo permaneceu sendo citado, com a prevalência de 74,0% de citações neutras ( n= 63). Destaca-se também o percentual de 26,0% de citações positivas ( n= 22) que, em seu significado, ratificam a validade do estudo retratado, como um estudo válido, sendo as conclusões do estudo citado utilizadas para corroborar com os estudos citantes.

5.3 Estudo de caso 3

Intitulado A central role for Neuronal AMP-activated Protein Kinase (AMPK) and Mammalian Target of Rapamycin (mTOR) in high-protein diet-induced weight loss, o artigo foi publicado em 2008 no periódico Diabetes. As primeiras objeções à pesquisa surgem em 2016, quando o artigo foi objeto de expressão de preocupação, em nota emitida na edição 65 do periódico.

Os motivos para sua retratação, assim como no primeiro e no segundo estudos de caso anteriormente analisados, sugerem a existência de edições de imagens anteriormente publicadas em outros artigos, sendo, um dos coautores deste artigo, autor correspondente nos estudos de caso 1 e 2. Por essas reincidências, o Diabetes, assinalou que o estudo não seria confiável, e decidiu pela retratação do artigo.

Tendo sido publicado em uma revista de fator de impacto considerável, ao longo dos anos, antes das questões levantadas, o referido artigo recebeu 206 citações, ou seja, em média 21 citações por ano. Após isso, um relevante decréscimo é notado, conforme mostra a Figura 6.

Figura 6 -
Quantidade de documentos citantes em função do tempo (estudo de caso 3)

Considerando nota de retratação publicada em março de 2017, identificou-se, no período de abril de 2017 a dezembro 2019, a incidência de 13 documentos citantes. Desses, o levantamento inicial no Scite identificou seis. No entanto, após a conferência no Google Acadêmico, identificou-se que apenas três faziam parte desta base, assim, os demais foram suprimidos desta análise.

Esse levantamento permitiu a tipificação de quatro citações, distribuídas em três documentos citantes. Já no levantamento manual, dos dez artigos analisados, foram observadas inconformidades em dois artigos: um, não mencionava o artigo retratado em análise, e o outro, não foi possível o acesso. Em síntese, foram analisadas 12 citações distribuídas em 11 artigos, sendo quatro recuperadas pelo Scite e oito analisadas a partir de análise manual dos documentos indexados no Google Acadêmico. A análise dessas citações permitiu identificar a incidência de oito citações neutras e quatro citações positivas.

5.4 Estudo de caso 4

Intitulado Exercise improves insulin and Leptin Sensitivity in Hypothalamus of Wistar Rats o artigo a que se refere o estudo de caso 4 também foi publicado no Diabetes. Além disso, alguns coautores desta publicação também aparecem como coautores em artigos aqui já analisados no mesmo periódico, motivo este que levou a uma “expressão de preocupação”, emitida pelo periódico em 2015. Os motivos para retratação também não diferem dos demais - suspeitas de duplicação e manipulação de imagens. Segundo nota de retratação, emitida em abril de 2016, o autor correspondente admitiu a duplicação, e a comissão instaurada na instituição dos autores recomendou a retratação do artigo, que foi endossada pela comissão de investigação instituída pelo periódico. Todavia, antes de sua retratação, o artigo recebeu 153 citações, resultando em média 14 citações por ano, e após sua retratação, continuou sendo citado, apesar do decréscimo no número de citações, conforme mostra a Figura 7.

Figura 7 -
Quantidade de documentos citantes em função do tempo (estudo de caso 4)

Tomando como premissa a nota de retratação publicada em abril de 2016, uma análise foi conduzida nos documentos citantes compreendidos entre maio de 2016 a dezembro de 2019. Para esse fim, o levantamento inicial feito no Scite retornou três citações, distribuídas em quatro artigos. Destes, um artigo foi suprimido da análise, por não estar disponível no Google Acadêmico . Com o levantamento manual complementar, foi possível identificar os 16 documentos citantes restantes. No total, foram analisadas 25 citações, distribuídas em 19 documentos citantes. A partir da análise dessas citações, identificou-se que 76,0% dessas consistiam em citações neutras ( n= 19) e 25,0% em citações positivas ( n= 6).

5.5 Estudo de caso 5

Intitulado Deletion of tumor Necrosis Factor-Alpha Receptor 1 (TNFR₁ ) protects against diet-induced obesity by means of increased Thermogenesis, o artigo foi publicado em 2009 no Journal of Biological Chemistry, periódico editado pela American Society for Biochemistry and Molecular Biology, existente desde 1905. Foi retratado a pedido dos autores, diferente dos casos analisados anteriormente, sendo o autor correspondente deste artigo também coautor nos estudos de caso 1, 3, 4 e 8.

Na Retraction Watch, as razões para retratação se referem a: duplicação de imagem, erro em imagem e eufemismos para duplicação. Em nota de retratação publicada em 23 de dezembro de 2016, o autor correspondente esclarece que apesar dos experimentos terem sido conduzidos adequadamente, e os resultados reproduzidos em laboratório do grupo, ocorreram “erros não intencionais durante a preparação das figuras”, cujo fato, de acordo com a nota de retratação, deu-se por conta da primeira autora não estar envolvida na montagem final das figuras, como também, pelos demais coautores, com exceção do autor correspondente, não estarem envolvidos na preparação dos números.

A análise do número de documentos citantes, conforme Figura 8, mostra que, entre os anos de 2010, quando começou a ser citado, e 2016, ano da retratação do artigo, havia sido citado por 125 documentos, com uma média de 16 citações por ano, e mesmo após sua retratação, continuou sendo citado, apesar de um notável decréscimo, pouco mais de um ano após a retratação.

Figura 8 -
Quantidade de documentos citantes em função do tempo (estudo de caso 5)

A análise conduzida considerando os anos entre 2017 e 2019 permitiu identificar 27 documentos citantes e 30 citações distribuídas entre estes documentos. O levantamento no Scite retornou 13 citações, fragmentadas em dez artigos. Já a busca manual complementar identificou 18 artigos citantes, sendo um duplicado. Ao todo, no conjunto dos 17 artigos válidos coletados manualmente no Google Acadêmico, foram tipificadas 18 citações. A análise do contexto das citações no texto desses documentos citantes identificou a incidência de 73,0% de citações neutras ( n= 22) e de 27,0% de citações positivas ( n= 8).

5.6 Estudo de caso 6

Intitulado Hospital Anxiety and Depression Scale: A study on the validation of the criteria and reability on preoperative patients, o artigo foi publicado na Revista Brasileira de Anestesiologia em língua portuguesa e em língua inglesa. Em sua fonte original ( SciELO), o artigo é marcado com selo de ‘ retracted article’, e seu texto desfocado intencionalmente, o que nos leva a concluir, a partir dos conceitos teóricos assumidos, que o artigo foi despublicado, conforme mostra a Figura 9(a). No entanto, ao analisar o conteúdo da nota de retratação, verificou-se a ausência dos motivos que levaram a retratação do artigo, cujo documento se restringe à seguinte declaração: “artigo retratado por solicitação do editor”.

Figura 9 -
Espelho do artigo na (a) Plataforma SciELO e (b) Pubmed

A qualidade das notas de retratação tem sido objeto de discussão frequente na literatura ( BILBREY; O'DELL; CREAMER, 2014). Wager et al. (2009), representantes do Committee on Publication Ethics ( COPE), assinalam que (i) os avisos de retratação devem mencionar os motivos e a base da retratação e/ou despublicação, a fim de que sejam claramente diferenciados os casos de má conduta dos erros honestos; (ii) o selo de retratação deve aparecer em todas as pesquisas feitas para o artigo retratado e/ou despublicado; (iii) os editores e o periódico devem garantir que tais artigos sejam claramente identificados e rotulados em seus próprios sites e em todas as fontes eletrônicas (bases de dados), a fim de garantir que sejam identificadas pelas bases de dados.

Além disso, como mostrado na Figura 9(b), constatou-se também que o artigo continua indexado em outras bases de dados sem a marca de retracted paper, como no caso da Pubmed.

Diante dos fatores apresentados, os quais limitam nossa análise no sentido investigar o contexto das citações pós-retratação, a estratégia aqui utilizada foi a de analisar manualmente os documentos citantes compreendidos nos últimos três anos ( n= 32) a fim de compreender a dinâmica das citações neste estudo de caso. Identificou-se que, até 2019, este artigo havia sido citado por 136 documentos, fato este que o coloca em sexta posição no ranking dos artigos retratados mais citados de autoria de pesquisadores brasileiros, conforme Figura 10.

Figura 10 -
Quantidade de documentos citantes em função do tempo (estudo de caso 6)

A estratégia de busca no Scite para esta análise apenas recuperou citações compreendidas até o ano de 2018. Dessa forma, para evitar disparidades, foi feita uma busca manual para todo o período analisado (2017 a 2019). Dois documentos citantes duplicados foram analisados apenas uma vez.

Ao investigar a dinâmica dessas citações ( n= 43), constata-se que este artigo se difere dos demais aqui analisados, pois a taxa de citações positivas é a que prevalece, tendo alcançado 51,0% destas ( n= 22), apesar da pouca diferença da taxa de citações neutras (49,0% | n= 21). Destaca-se, portanto, que a falta de atualização nos metadados de bases de dados pode ser visto como um dos fatores influenciadores para que este artigo continue sendo citado como estudo válido.

5.7 Estudo de caso 7

Intitulado Physical exercise reduces circulating Lipopolysaccharide and TLR4 activation and improves insulin signaling in tissues of DIO rats, o artigo analisado neste estudo de caso foi publicado no periódico Diabetes. As primeiras preocupações sobre a confiabilidade e credibilidade dos dados começaram a surgir em 2015. Nota-se que o autor correspondente deste artigo também aparece como autor correspondente em outros estudos de caso (1 e 2), e que em ambos, os motivos para retratação são semelhantes.

Segundo nota oficial de retratação publicada pelo periódico em março de 2016, os motivos para retratação sugerem que houve duplicação e manipulação de figuras anteriormente publicadas em outro periódico. Após análise da comissão instaurada na universidade do autor correspondente, ficou clara a duplicação e manipulação nas imagens, confirmadas pelo depoimento do autor principal. No entanto, a sugestão da comissão ao periódico foi a de que fosse feita uma retratação parcial apenas de uma das figuras apresentadas. O Diabetes, responsável pela análise final das considerações apresentadas, assinalou que uma retratação parcial de parte importante dos dados da pesquisa não seria correto e suscitaria mais dúvidas sobre a confiabilidade do estudo, e por esses motivos, prosseguiu com a retratação completa do artigo.

Com base nas informações apresentadas, uma análise foi conduzida nos documentos citantes compreendidos entre abril de 2016 e 2019. A média calculada com base na análise do número de citações recebidas, conforme Figura 11, mostra que entre os anos de 2011 e 2016, ano da retratação, o artigo recebia em média 18 citações por ano. Para a análise dos documentos citantes foram considerados os itens publicados entre abril de 2016 e 2019, tendo sido identificada a incidência de 34 documentos citantes.

Figura 11 -
Quantidade de documentos citantes em função do tempo (estudo de caso 7)

A busca no Scite retornou 21 citações no texto distribuídas em 13 documentos citantes. Destes, cinco documentos citantes e nove citações distribuídas entre eles foram descartadas por terem sido publicados antes da retratação efetiva do artigo citado. A busca complementar no Google Acadêmico permitiu identificar os 26 documentos citantes restantes. Desses, não foi possível localizar dois e um apresentou duplicidade, portanto, considerado apenas uma vez. Em síntese, foram analisadas 45 citações distribuídas entre 31 documentos citantes.

Das citações analisadas, identificou-se que 69,0% consistiam em citações neutras ( n= 31), 29,0%, citações positivas ( n= 13) e 2,0% ( n= 1) em citações negativas. Esta última, mencionava e questionava a confiabilidade dos dados apresentados no artigo retratado.

5.8 Estudo de caso 8

Intitulado Obesity-induced increase in tumor necrosis Factor-α leads to development of Colon Cancer in mice, o artigo em análise foi publicado no periódico Gastroenterology, editado pela American Gastroenterological Association, existente desde 1943. Ao identificar as características gerais da retratação do artigo, nota-se que alguns autores já aparecem como coautores ou autores correspondentes de outros artigos aqui analisados, sendo o autor principal deste já responsável pela autoria, também principal, de outro artigo retratado (estudo de caso 4). Assim sendo, as causas para retratação não diferem das outras encontradas nos artigos anteriormente analisados.

De acordo com a nota de retratação, emitida em setembro de 2017, o artigo foi retratado a pedido do editor-chefe após investigação sobre dados apresentados em algumas imagens, sendo essas imagens duplicadas. Os autores, por sua vez, afirmaram que um erro inadvertido, resultante de uma inserção de imagens de borrões no manuscrito, foi o catalisador para o erro. Diferentemente das outras vezes em que a comissão instaurada na instituição do primeiro autor respondeu às questões apontadas pela revista, desta vez não houve resposta, conforme assinalado na nota de retratação.

A Figura 12 mostra que o artigo recebeu, até sua retratação 66 citações, uma média de 11 citações por ano. Após sua retratação, foram contabilizados 16 documentos citantes, compreendidos entre outubro de 2017 a dezembro de 2019.

Figura 12 -
Quantidade de documentos citantes em função do tempo (estudo de caso 8)

O levantamento no Scite recuperou 13 citações, distribuídas em nove documentos citantes. Desses documentos, oito foram suprimidos, pois haviam sido publicados antes da retratação. Uma análise manual complementar foi feita no Google Acadêmico, que identificou 15 documentos citantes, no entanto, não foi possível acesso a um livro.

A análise contida nas citações ( n= 26) nos 15 documentos citantes, permitiu identificar que 61,5% consistiam em citações neutras ( n= 16), 34,6% das citações eram positivas ( n= 9), e 3,8% eram de citações negativas ( n= 1).

Ao analisar cada documento citante, um fato atípico foi encontrado ( Figura 13). O artigo citante conta com uma citação no texto como positiva, embora na lista de referências bibliográficas o artigo seja marcado como “ RETRACTED”, sinalizando potencial falta de atenção dos autores ao selecionar suas referências e na escrita do manuscrito.

Figura 13 -
Exemplo de uma citação positiva a um artigo retratado

A esse respeito, Bar-Ilan e Halevi ( 2018) pontuam que cabe aos editores a verificação da lista de referências, a fim de detectar citações de artigos retratados. As autoras assinalam que os editores devem questionar aos autores as razões de uma citação a um artigo nessas condições, e que, a menos que o editor e o revisor estejam convencidos de que a citação é essencial, esta pode ser mantida. Além disso, caso a citação seja essencial, esta deverá ser expressamente marcada na lista de referências como artigo retratado. É nesse sentido que May Berenbaum, editora-chefe do Proceedings of the National Academy of Sciences (PNAS), publicação oficial da Academia Nacional de Ciências dos Estados Unidos, destaca que quando assumiu a editoria do periódico nunca pensou que “matar zumbis” seria parte de suas atribuições - ao se referir à literatura retratada que continua sendo citada como “zumbis” ( BERENBAUM, 2021).

5.9 Estudo de caso 9

Intitulado “Características psicométricas do Maslach Burnout Inventory - Student Survey (MBI-SS) em estudantes universitários brasileiros”, o artigo foi publicado no periódico PsicoUSF, editado pela Universidade de São Francisco, Programa de Pós-Graduação Stricto Sensu em Psicologia.

Em nota de retratação, emitida em 2017, onze anos após sua publicação, o editor-chefe do periódico comunica que o artigo foi retratado, com a anuência dos autores, após receber uma notificação, em abril de 2016 da editora detentora dos direitos autorais do instrumento Maslach Burnout Inventory, utilizado para fundamentar os dados da pesquisa. Na ocasião da submissão não havia a anuência de exploração do uso da ferramenta. Assim como o exemplo apontado no Estudo de Caso seis, o artigo continua sem o selo de retratado em algumas bases de dados.

Partindo do princípio de que a nota de retratação foi publicada na edição de set./dez. de 2017 do periódico, conduziu-se uma análise das citações recebidas entre 2018 e 2019, conforme mostrado na Figura 14.

Figura 14 -
Quantidade de documentos citantes em função do tempo (estudo de caso 9)

Apesar de ter sido retratado por questões de direitos autorais, e compreendendo toda a problemática por trás desse fato, inclusive com sanções penais previstas em lei, entende-se que um artigo retratado por esse motivo não invalida os resultados obtidos e publicados nele. Todavia, foi conduzida uma análise nos 19 documentos citantes após a sua retratação, a fim de entender como se configuram.

O levantamento realizado no Scite retornou dois artigos, entretanto nenhum desses estavam elencados no Google Acadêmico, tendo sido suprimidos da análise e suas citações desconsideradas. Dessa forma, a análise completa das citações foi feita por meio do levantamento manual, que contabilizou 20 artigos citantes. Não foi possível o acesso a um desses documentos. Assim, do conjunto dos artigos coletados manualmente ( n= 19), foram identificadas 32 citações.

A análise do contexto dessas, permitiu tipificar que 78% das citações recebidas eram neutras ( n= 25) e 22% consistiam em citações positivas ( n= 7), não tendo sido detectada nenhuma citação negativa.

5.10 Estudo de caso 10

Intitulado Gamma ventral capsulotomy for obsessive-compulsive disorder: a randomized clinical trial, o artigo foi publicado no periódico JAMA Psychiatry. Um apontamento feito por um pesquisador da Universidade de Colônia, (Alemanha) em outubro de 2015, relata um achado que poderia ser “um pequeno erro no cálculo do resultado principal” da publicação ( BAETHGE, 2015, online, tradução nossa). Em resposta, Lopes et al. confirmam que de fato houve uma errônea classificação inadvertidamente feita nos cálculos do ensaio clínico randomizado. Ao detectar o erro, o artigo foi corrigido, retratado e substituído. Ao todo, a publicação já foi citada por 83 documentos. Após sua retratação e republicação identificou-se 64 artigos citantes, conforme mostrado na Figura 15.

Figura 15 -
Quantidade de documentos citantes em função do tempo (estudo de caso 10)

Apesar de ter sido retratado e republicado devido a um erro não-intencional, uma análise foi conduzida a fim de identificar em quais contextos este artigo permaneceu sendo citado após a republicação. Considerando que a nota de retratação e republicação foi emitida em dezembro de 2015, a análise contemplou documentos citantes compreendidos entre 2016 e 2019.

O levantamento no Scite retornou 42 citações divididas em 16 documentos citantes. Destes, um artigo foi suprimido da análise por não estar identificado no Google Acadêmico. O levantamento manual complementar encontrou 67 artigos citantes. Destes, foram suprimidos dois artigos erroneamente classificados como citantes, e não foi possível recuperar um documento citante. Desse modo, foram analisadas 73 citações fragmentadas em 63 artigos.

Os resultados obtidos a partir das análises mostram a prevalência das citações neutras, visto que as análises das citações nos documentos citantes mostraram que 70,0% ( n= 54) consistiam em citações dessa ordem. Vinte e cinco por cento se referem a citações positivas ( n= 18), e um documento contava com uma citação negativa, com uma clara menção à retratação do artigo. Nesse estudo de caso pode-se identificar que a rápida correção não influenciou no decréscimo no número de citações recebidas após a retratação. Além disso, de um modo geral, a rápida retratação é indispensável para evitar que informações errôneas se propaguem e causem prejuízos ao sistema da comunicação científica, conforme destacam Santos-d’Amorim et al. (2021).

6 Considerações finais

Esta pesquisa parte da análise de citações pós-retratação de dez artigos retratados mais citados, autorados por pesquisadores brasileiros, a fim de compreender o perfil dessas citações. Para este fim, foram analisadas 512 citações distribuídas em 407 documentos citantes.

Em sua maioria, os artigos do corpus são autorados por pesquisadores das áreas das Ciências da Saúde, fato este que se torna ainda mais preocupante, uma vez que estas pesquisas podem ter impacto direto na saúde humana. Também, destaca-se a reincidência de pesquisadores envolvidos em casos de retratação.

Importa destacar também que, com exceção do estudo de caso dez, que se refere a um artigo que foi retratado e republicado, nenhum outro artigo do corpus apresentou mais citações após retratado ao longo dos anos subsequentes, mas todos continuaram sendo citados após a retratação.

Ao analisar o Fator de Impacto das revistas (FI), com base no índice publicado no Journal Citation Reports 2020 pela Clarivate Analytics, observa-se que 90% dos artigos utilizados para análise dos documentos citantes foram publicados em periódicos indexados no JCR. Dentre estes, o maior FI encontrado no corpus foi de 22.682, e o menor, de 0.964. Apenas um periódico não continha FI. Isso se deve, em parte, à adoção de um sistema claro de diretrizes éticas, como também, ao fato de terem sido publicados em periódicos de reconhecido prestígio, estando sujeitos a uma maior probabilidade de tentativas de reprodutibilidade e ao crivo dos especialistas na área.

Contudo, não tendo sido ainda detectadas, muitas pesquisas derivadas de má conduta e seus afins (plágio, fabricação e falsificação de dados, manipulação intencional de dados e figuras etc.) ainda permanecem na literatura como estudos válidos. Mas, vale considerar que, “mesmo que um número desconhecido de artigos não seja confiável, a ciência como um todo continua a funcionar” ( GARFIELD, 1987, p. 95, tradução nossa ⁵).

É salutar acrescentar à discussão, que além da contribuição que os dados de pesquisa abertos, por meio do reuso dos dados de pesquisa, podem apresentar ao desenvolvimento científico, também podem auxiliar a coibir más práticas na pesquisa científica, como fabricação ou falsificação de dados.

Esse estudo possui duas limitações. A primeira, refere-se a escolha do corpus, que parte de delimitação de corpus de pesquisa antecedente no tema. A segunda, refere-se ao fato de um artigo submetido muitas vezes demorar para ser avaliado e publicado, e no ínterim desse processo pode haver possibilidade de um artigo citante mencionar um artigo retratado sem este figurar como retratado no momento da redação do manuscrito.

Como sugestão para estudos futuros, sugere-se considerar correlações entre indicadores de produção e citação, como o Fator de Impacto e Índice-h. Pois, nesse contexto, tais indicadores podem apresentar falhas, visto que, continuam a considerar citações a artigos retratados em seu cálculo. Nesse ínterim, muitos pesquisadores reincidentes que publicaram seus artigos em revistas de alto FI, e que continuam a ser citados, continuam também inflando seu Índice h. O mesmo também acontece para o Fator de Impacto dos periódicos.

Por fim, as discussões aqui trazidas preenchem uma lacuna nesse domínio, com foco no cenário brasileiro, podendo servir de base para trabalhos futuros no tema.

Agradecimentos

Aos avaliadores, pelos apontamentos e sugestões.

Referências

• BAR-ILAN, J.; HALEVI, G. Post retraction citations in context: a case study. Scientometrics, Amsterdam, v. 113, n. 1, p. 547-565, 2017. Disponível em: Disponível em: https://www.doi.org/10.1007/s11192-017-2242-0 Acesso em: 31 jan. 2023.
  » https://www.doi.org/10.1007/s11192-017-2242-0
• BAR-ILAN, J.; HALEVI, G. Temporal characteristics of retracted articles. Scientometrics, Amsterdam, v. 116, n. 3, p. 1771-1783, 2018. Disponível em: Disponível em: https://doi.org/10.1007/s11192-018-2802-y Acesso em: 31 jan. 2023.
  » https://doi.org/10.1007/s11192-018-2802-y
• BAETHGE, C. Error in calculating main outcome in Gamma Ventral Capsulotomy for Obsessive-Compulsive Disorder randomized clinical trial. JAMA Psychiatry, Chicago, v. 72, n. 12, p. 1257-1258, 2015. Disponível em: Disponível em: https://www.doi.org/10.1001/jamapsychiatry.2015.0667 Acesso em: 31 jan. 2023.
  » https://www.doi.org/10.1001/jamapsychiatry.2015.0667
• BERENBAUM, M. R. On zombies, struldbrugs, and other horrors of the scientific literature. Proceedings of the National Academy of Sciences of the United States of America, Washington, v. 118, n. 32, p. 1-3, 2021. Disponível em: Disponível em: https://doi.org/10.1073/pnas.2111924118 Acesso em: 31 jan. 2023.
  » https://doi.org/10.1073/pnas.2111924118
• BERTIN, M. et al The invariant distribution of references in scientific articles. Journal of the Association for Information Science and Technology, New York, v. 67, n. 1, p. 164-177, 2016. Disponível em: Disponível em: https://doi.org/10.1002/asi.23367 Acesso em: 31 jan. 2023.
  » https://doi.org/10.1002/asi.23367
• BILBREY, E.; O'DELL, N.; CREAMER, J. A novel rubric for rating the quality of retraction notices". Publications, Basel, v. 2, n. 1, p. 14-26, 2014. Disponível em: Disponível em: https://doi.org/10.3390/publications2010014 Acesso em: 31 jan. 2023.
  » https://doi.org/10.3390/publications2010014
• BOLBOACĂ, S. D. et al Post retraction citations among manuscripts reporting a radiology-imaging diagnostic method. PLOS ONE, San Francisco, v. 14, n. 6, p. 1-14, 2019. Disponível em: Disponível em: https://doi.org/10.1371/journal.pone.0217918 Acesso em: 31 jan. 2023.
  » https://doi.org/10.1371/journal.pone.0217918
• BORDIGNON, F. Self-correction of science: a comparative study of negative citations and post-publication peer review. Scientometrics, Amsterdam, v. 124, n. 2, p. 1225-1239, 2020. Disponível em: Disponível em: https://doi.org/10.1007/s11192-020-03536-z Acesso em: 31 jan. 2023.
  » https://doi.org/10.1007/s11192-020-03536-z
• BOYACK, K. W. et al Characterizing in-text citations in scientific articles: a large-scale analysis. Journal of Informetrics, Amsterdam, v. 12, n. 1, p. 59-73, 2018. Disponível em: Disponível em: https://doi.org/10.1016/j.joi.2017.11.005 Acesso em: 31 jan. 2023.
  » https://doi.org/10.1016/j.joi.2017.11.005
• BUDD, J.; SIEVERT, M.; SCHULTZ, T. R. Phenomena of retraction: reasons for retraction and citations to the publications. Journal of the American Medical Association, Chicago, v. 280, n. 3, p. 296-297, 1998. Disponível em: Disponível em: https://www.doi.org/10.1001/jama.280.3.296 Acesso em: 31 jan. 2023.
  » https://www.doi.org/10.1001/jama.280.3.296
• CANDAL-PEDREIRA, C. et al Does retraction after misconduct have an impact on citations? A pre-post study. BMJ Global Health, London, v. 5, n. 11, p. 1-7, 2020. Disponível em: Disponível em: https://www.doi.org/10.1136/bmjgh-2020-003719 Acesso em: 31 jan. 2023.
  » https://www.doi.org/10.1136/bmjgh-2020-003719
• CHEN, W. et al Retracted publications in the biomedical literature with authors from mainland China. Scientometrics, Amsterdam, v. 114, n. 1, p. 217-227, 2018. Disponível em: Disponível em: https://doi.org/10.1007/s11192-017-2565-x Acesso em: 31 jan. 2023.
  » https://doi.org/10.1007/s11192-017-2565-x
• ELANGO, B.; KOZAK, M.; RAJENDRAN, P. Analysis of retractions in Indian science. Scientometrics, Amsterdam, v. 119, n. 2, p. 1081-1094, 2019. Disponível em: Disponível em: https://doi.org/10.1007/s11192-019-03079-y Acesso em: 31 jan. 2023.
  » https://doi.org/10.1007/s11192-019-03079-y
• ELSEVIER. Article withdrawal. Elsevier, Amsterdam, c2020. Disponível em: Disponível em: https://www.elsevier.com/about/policies/article-withdrawal Acesso em: 30 set. 2020.
  » https://www.elsevier.com/about/policies/article-withdrawal
• FANG, F. C.; STEEN, R. G.; CASADEVALL, A. Misconduct accounts for the majority of retracted scientific publications. Proceedings of the National Academy of Sciences of the United States of America, Washington, v. 109, n. 42, p. 17028-17033, 2012. Disponível em: Disponível em: https://doi.org/10.1073/pnas.1212247109 Acesso em: 31 jan. 2023.
  » https://doi.org/10.1073/pnas.1212247109
• FANELLI, D. Why growing retractions are (mostly) a good sign. PLOS MEDICINE, San Francisco, v. 10, n. 12, p. 1-6, 2013. Disponível em: Disponível em: https://doi.org/10.1371/journal.pmed.1001563 Acesso em: 31 jan. 2023.
  » https://doi.org/10.1371/journal.pmed.1001563
• GARFIELD, E. What do we know about fraud and other forms of intellectual dishonesty in science? Part 2. Why does fraud happen and what are its effects? Current Contents, Woodbury, v. 10, n. 15, p. 93-100, 1987.
• GOOGLE ACADÊMICO. Página inicial. Mountain View, 2020. Disponível em: Disponível em: https://scholar.google.com.br/?hl=pt Acesso em: 22 nov. 2022.
  » https://scholar.google.com.br/?hl=pt
• LUWEL, M. et al The Schön case: Analyzing in-text citations to papers before and after retraction. In: INTERNATIONAL CONFERENCE ON SCIENCE AND TECHNOLOGY INDICATORS, 23., 2018, Leiden. Proceedings […]. Leiden: Centre for Science and Technology Studies, 2018. p. 1025-1030.
• MORAVCSIK, M. J.; MURUGESAN, P. Some results on the function and quality of citations. Social Studies of Science, City Road, v. 5, n. 1, p. 86-92, 1975. Disponível em: Disponível em: https://doi.org/10.1177/030631277500500106 Acesso em: 31 jan. 2023.
  » https://doi.org/10.1177/030631277500500106
• MOHAN, M. et al Rising from plagiarising. Journal of Oral and Maxillofacial Surgery, Philadelphia, v. 14, n. 3, p. 538-540, 2015.
• OSTP. Federal policy on research misconduct. Federal Register, Washington, DC, v. 65, n. 235, p. 76260-76264, 2000. Disponível em: Disponível em: https://www.doi.org/10.1007/s12663-014-0705-x Acesso em: 31 jan. 2023.
  » https://www.doi.org/10.1007/s12663-014-0705-x
• POWELL, L. Understanding plagiarism: developing a model of plagiarising behavior. In: INTERNATIONAL PLAGIARISM CONFERENCE, 5., 2012. Newcastle, UK. Proceedings […]. Newcastle: The Sage Gateshead, 2012. p. 1-18.
• RETRACTION database. The retraction watch database. New York, c2010. Disponível em: Disponível em: http://retractiondatabase.org/ Acesso em: 5 maio. 2021.
  » http://retractiondatabase.org/
• SANTOS-D’AMORIM, K. et al Reasons and implications of retracted articles in Brazil. Transinformação, Campinas, v. 33, p. 1-16, 2021. Disponível em: Disponível em: https://doi.org/10.1590/2318-0889202133e210001 Acesso em: 31 jan. 2023.
  » https://doi.org/10.1590/2318-0889202133e210001
• SANTOS-D’AMORIM, K.; MELO, R. R.; SANTOS, R. N. M. Retractions and post-retraction citations in the COVID-19 infodemic: is academia spreading misinformation? Liinc em Revista, Rio de Janeiro, v. 17, n. 1, p. 1-19, 2021. Disponível em: Disponível em: https://doi.org/10.18617/liinc.v17i1.5593 Acesso em: 31 jan. 2023.
  » https://doi.org/10.18617/liinc.v17i1.5593
• SANTOS-D'AMORIM, K.; WANG, T.; LUND, B.; SANTOS, R. N. M. From plagiarism to scientific paper mills: a profile of retracted articles within the SciELO Brazil collection. Ethics & Behavior, London, v. 32, p. 1-18. Disponível em: Disponível em: https://doi.org/10.1080/10508422.2022.2141747 Acesso em: 31 jan. 2023.
  » https://doi.org/10.1080/10508422.2022.2141747
• SCITE. Brooklyn, NY, c2022. Disponível em: Disponível em: https://scite.ai/ Acesso em: 1 dez. 2021.
  » https://scite.ai/
• SILVEIRA, M. A. A. Produção e distinção no domínio da organização e representação do conhecimento no Brasil. 2016. Tese (Doutorado em Comunicação e Informação) - Faculdade de Biblioteconomia e Comunicação, Universidade Federal do Rio Grande do Sul, Porto Alegre, 2016.
• TEIXEIRA, J. A. S.; DOBRÁNSZKI, J. Highly cited retracted papers. Scientometrics, Amsterdam, v. 110, n. 3, p. 1653-1661, 2017. Disponível em: Disponível em: https://www.doi.org/10.1007/s11192-016-2227-4 Acesso em: 31 jan. 2023.
  » https://www.doi.org/10.1007/s11192-016-2227-4
• THEIS-MAHON, N. R.; BAKKER, C. J. The continued citation of retracted publications in dentistry. Journal of the Medical Library Association, Chicago, v. 108, n. 3, p. 389-397, 2020. Disponível em: Disponível em: https://doi.org/10.5195/jmla.2020.824 Acesso em: 31 jan. 2023.
  » https://doi.org/10.5195/jmla.2020.824
• TSUKUMO, D. M. L. et al Statement of retraction. Diabetes, New York, v. 65, p. 1126-11237, 2016.
• WAGER, E. et al Retractions: guidance from the Committee on Publication Ethics (COPE). Croatian Medical Journal, Zagrebe, v. 50, n. 6, p. 532-535, 2009. Disponível em: Disponível em: https://www.doi.org/10.3325/cmj.2009.50.532 Acesso em: 31 jan. 2023.
  » https://www.doi.org/10.3325/cmj.2009.50.532
• VOOS, H.; DAGAEV, K. S. Are all citations equal? Or, did we op. cit. your idem? Journal of Academic Librarianship, Ann Arbor, v. 1, n. 6, p. 19-21, 1976.
• ZHANG, J. et al Effects of high-fat diet-induced adipokines and cytokines on colorectal cancer development. FEBS Open Bio, Hoboken, v. 9, n. 12, p. 2117-2125, 2019. Disponível em: Disponível em: https://doi.org/10.1002/2211-5463.12751 Acesso em: 31 jan. 2023.
  » https://doi.org/10.1002/2211-5463.12751

• 1
  Do original: “to be purged from the literature or at least fagged because they are partially or fully inaccurate. They should not be used to build new research”.
• 2
  Este artigo foi inicialmente aceito para publicação no periódico “Informação & Sociedade: estudos”, em 24 de março de 2021 (submissão em 06/07/2020), no entanto, pela não publicação do artigo até 07 de abril de 2022, nesta mesma data foi solicitada a retirada do manuscrito do processo de publicação do periódico precitado, cuja solicitação foi aceita pelos editores.
• 3
  Do original: “ such actions must not be undertaken lightly and can only occur under exceptional circumstances”; “where the article is clearly defamatory, or infringes others’ legal rights, or” “subject of a court order, or where the article, if acted upon, might pose a serious health risk”.
• 4
  Com a utilização de métodos automatizados de análise, como é o caso do Scite, que por meio da aprendizagem profunda analisa o contexto das citações classificando-as como (i) citações de apoio; (ii) citações contestatórias; e (iii) citações sem julgamento de validade científica, classificação semelhante à metodologia aqui utilizada e descrita anteriormente, uma checagem complementar foi feita para garantir a confiabilidade dos dados apresentados.
• 5
  Do original: “even if some unknown number of papers are unreliable, science as a whole continues to function”.

• Financiamento

  O presente trabalho foi realizado com apoio da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior - Brasil (CAPES) - Código de Financiamento 001.

Datas de Publicação

• Publicação nesta coleção
  16 Jun 2023
• Data do Fascículo
  2023

Histórico

• Recebido
  27 Jun 2022
• Aceito
  27 Out 2022