Por um Modelo de Governança de Autocitação nos Arquivos Brasileiros de Cardiologia

Palavras-chave:
Índice de Periódicos; Publicações Periódicas Como Assunto; Cardiologia; Bases de Dados de Citações; Fator de Impacto de Revistas

A revista Arquivos Brasileiros de Cardiologia (ABC) é a publicação científica oficial da Sociedade Brasileira de Cardiologia (SBC) desde 1948. Desde suas origens, a revista ABC tem publicado ininterruptamente artigos em diversas temáticas cardiovasculares, sendo o principal órgão de divulgação da atividade científica cardiológica no Brasil e demais países lusófonos. Atualmente, os artigos são publicados integralmente em dois idiomas (inglês e português) e, a partir de 1950, indexados às principais bases de dados internacionais (Institute of Scientific Information - ISI Web of Science; Cumulated Index Medicus - MEDLINE; Pubmed Central; EMBASE; SCOPUS; SCIELO e LILACS).¹

A editora Thomson Reuters, que possui a base estatística Journal Citation Reports (JCR), desenvolveu o conceito de fator de impacto em 1955, com o intuito de fornecer um instrumento que permite, comparativamente e de maneira quantitativa, avaliar o desempenho de publicações científicas. Ele se baseia na divisão do número de citações dos artigos de uma revista (acadêmica ou técnica) inserida na base de dados do ISI, dividido pelo que total de artigos publicados nessa revista nos dois anos anteriores. Essas estimativas alcançam cerca de 3300 periódicos, 200 áreas temáticas ou especialidades e 100 países.²

O fator de impacto é uma forma métrica de avaliação da revista, de grande influência para os pesquisadores escolherem o melhor periódico a ser publicado. Entretanto, sua validade como indicador do impacto científico vem sendo frequentemente questionada, entre outros motivos, devido à autocitação dos periódicos de forma intencional para elevação o fator de impacto.³ O superuso da prática de autocitação é condenável e, como punição, levou 5 revistas brasileiras a serem excluídas por um ano, em 2013, da JCR.⁴ Portanto, é fundamental que sistemas eficientes de vigilância de tal prática sejam desenvolvidos e implementados pelas revistas científicas que desejam se alinhar aos preceitos éticos recomendados pela comunidade científica.

Para tal, desenvolvemos um modelo original de governança de autocitação de publicações científicas, mediante análise dos ABC entre os anos 2000 a 2016 no que concerne ao referencial bibliográfico interno, conhecido como autocitação, válido para o cômputo do fator de impacto.

A pesquisa foi realizada por intermédio do banco de dados dos ABC (http://www.arquivosonline.com.br). Os critérios de inclusão foram o período de 2000 a 2016, e os textos classificados como "artigos originais". Com o intuito de evitar heterogeneidade de dados ou eventual viés de publicação, matérias classificadas como "editorial", "cartas ao editor", etc., foram excluídas na pesquisa. Os artigos originais foram classificados por mês, ano, número total de referências, número de referências de artigos publicados nos ABC e número de referências "válidas" para o cômputo do fator de impacto, isto é, até dois anos antes da publicação vigente.

Análise de tendências temporais foram realizadas para o número de publicações "válidas" para o cômputo do fator de impacto, assim como sua relação com o número de citações de artigos da mesma revista e o número total de referências. O pressuposto de estabilidade temporal foi avaliado mediante regressão do tipo "rolling window" (regressão em janela de rolamento), cujos parâmetros foram periodicidade mensal, amostragem não recursiva (ou seja, o tamanho da janela é fixo), janela de sobreposição de subamostras com extensão semestral além do tamanho da amostra, fixado em 1875, dos "artigos originais" publicados entre janeiro/2000 a dezembro/2016 nos ABC. A regressão tipo "rolling window" foi aplicada em modelo de análise de dados contáveis, do tipo Poisson, tendo como variável dependente o número mensal de referências "válidas" para a contagem do fator de impacto, e variável independente o total mensal de referências bibliográficas. Os coeficientes obtidos para sucessivos intervalos de seis meses foram exponenciados com o intuito de representar o "tamanho do efeito" de séries temporais sob a forma de razão de taxa de incidência ou "incidence rate ratio" (IRR). Valores próximos a 1 (com margem de erro estimada em 5%) para um determinado período significam ausência de efeito. Valores inferiores a 1 indicam redução e superiores a 1 sugerem incremento da taxa de incidência com referências válidas.

Com o intuito de avaliar potencial influência entre volumes próximos ou distantes, tendências prévias, previsões futuras, preferência por determinadas épocas do ano e processos estacionários, foram selecionados modelos autorregressivos integrados de média móvel (ARIMA, ou seja, autoregressive integrated moving average) de acordo com pré-estimativas e pós-estimativas.

As pré-estimativas foram avaliadas mediante periodogramas, correlogramas, gráficos de autocorrelação parcial e total com intervalos de confiança a 95% baseados no teste Q ou "portmanteau" e teste B de Bartlett. As pós-estimativas foram avaliadas mediante cálculo do AIC, isto é, critério de informação de Akaike e filtros ("smoothers") de identificação de ruído branco gaussiano ("white noise") em gráficos de séries temporais. Esses caracterizam-se pela tendência à simetria, ausência de correlação com tempos diferentes, e presença de processos estacionários. Apresentou-se o resultado do modelo ARIMA com base nos operadores de tempo usados na investigação do melhor desempenho, tais como o retardo ("lag"), o avanço ("lead") e a diferença.

A condição de estabilidade dos parâmetros selecionados no modelo ARIMA foi avaliada mediante a estimativa dos autovalores "eigenvalues" e sua disposição gráfica dentro dos limites do círculo da raiz inversa dos polinomiais ARIMA. O valor de p bicaudal inferior a 0,05 foi considerado o critério de significância estatística. O programa estatístico Stata (versão 14,2) foi utilizado para todas as estimativas. A seguir, os resultados da análise, divididos em etapas:

Etapa 1. Foram avaliados 1875 artigos, representando a totalidade dos "artigos originais" publicados entre 2000 a 2016 nos ABC. Na tabela 1, para cada ano, estão apresentados o número de referências por artigo, o número de referências de artigos anteriormente publicados nos ABC e o número de referência válidas para o cômputo do fator de impacto, em média e desvio-padrão.

Tabela 1
Valor médio e desvio-padrão dos artigos computados entre 2000 a 2016, com relação ao número total de referências por artigo, número de referências de artigos publicados nos Arquivos Brasileiros de Cardiologia (ABC), e número de referências válidas para o cômputo do fator de impacto

Ano	Referências por artigo	DP*	Referências de artigos ABC	DP*	Referências de impacto	DP*
2000	28,11	2,01	1,29	0,28	0,00	0,00
2001	28,06	1,85	1,21	0,21	0,06	0,02
2002	29,44	1,52	1,18	0,22	0,18	0,07
2003	29,29	1,52	1,18	0,22	0,18	0,07
2004	29,14	1,25	1,14	0,18	0,19	0,05
2005	31,32	1,52	1,36	0,20	0,06	0,02
2006	30,25	1,01	1,38	0,16	0,20	0,42
2007	27,88	0,70	1,54	0,17	0,30	0,04
2008	25,85	0,81	1,30	0,17	0,35	0,07
2009	27,27	0,72	1,92	0,20	0,39	0,07
2010	29,07	0,55	2,00	0,16	0,31	0,04
2011	29,24	0,89	1,47	0,18	0,46	0,07
2012	29,19	0,75	2,00	0,20	0,50	0,06
2013	28,41	0,75	1,92	0,19	0,30	0,05
2014	29,70	0,84	2,11	0,24	0,31	0,07
2015	29,23	0,84	1,59	0,20	0,38	0,08
2016	29,17	0,84	1,65	0,22	0,46	0,09
Média geral	28,87	0,24	1,61	0,04	0,30	0,01

• ^*
  DP: desvio padrão.

Etapa 2. As análises numérica e gráfica das autocorrelações não apresentaram resultados compatíveis com tendências temporais, periódicas ou sazonais. Igualmente, o teste Q ou "portmanteau" apresentou resultado compatível com a presença de "ruído branco" tanto em modelos sem a inclusão de "lags" quanto em modelos com a inclusão de até 20 "lags" (p = 0.49 e p = 0,27, respectivamente), ou seja, ocorreu alternância aleatória do sinal, sem tendências temporais ou fenômenos autoregressivos associados a essa variação.

Etapa 3. Modelos ARIMA de regressão foram testados. O modelo com resultado nos testes de adequação, produzindo valores mais baixos de AIC, utilizou os parâmetros "p" (ou extensão de "lags") = 6, "d" (ou "diferença") de primeira ordem = 1 e "m" (ou corte após defasagem em "leads") = 3. Todos os coeficientes apresentaram valores de p superior a 0,05, incluindo a diferença de primeira ordem e o sigma, que testa a hipótese de a variância nas séries temporais não ser diferente de zero. A estabilidade do modelo foi considerada satisfatória do ponto de vista numérico, por apresentar autovalores inferior a 1 em número absoluto, e do ponto de vista gráfico, por apresentar a raiz inversa dos polinomiais dentro do círculo especificado.

Etapa 4. A regressão em janela de rolamento ("rolling window") teve como parâmetro uma janela de 6 meses, sequencial. Aplicou-se um modelo de análise de dados contáveis, tipo Poisson, com estimativa "robusta" de variância e covariância. Na figura 1, observam-se a distribuição da IRR de referências "válidas" para o cômputo do fator de impacto. Taxas de IRR em torno de 1 indicam ausência de volatilidade, ou seja, considerando o número total de referências, a taxa de referências "válidas" não se alterou significativamente durante toda a extensão do período de análise. Portanto, o padrão de referenciamento bibliográfico se manteve inalterado ao longo dos últimos 17 anos. No gráfico 1, é possível observar que a extensão do IRR manteve-se à margem de 5%, variando aproximadamente de 0,98 a 1,04 entre os anos de 2000 a 2016.

Figura 1
Valores de Razão da Taxa de Incidência (IRR) para o número de autocitações nos anos 2000 a 2016. Nota: resultados a partir de 2001, pois o ano de 2000 foi utilizado para deflagrar o algoritmo de regressão em janela rolante.

A avaliação de séries temporais ao longo de 17 anos permitiu detalhar os parâmetros de distribuição de referenciamento e mapear o padrão de autocitação, dados que podem servir de base para comparações entre periódicos diferentes ou com o mesmo periódico, em edições futuras. O principal achado foi a demonstração de um padrão "estacionário" de autocitação no referenciamento de artigos originais publicados nos ABC e válidos para o cômputo do fator de impacto, entre os anos 2000 a 2016. Esse fato sugere que os ABC não aderiram à tentação de aumentar levianamente o fator de impacto estimulando a prática da autocitação de seus artigos científicos.

No Brasil, existe um conjunto de procedimentos utilizados nos Programas de Pós-Graduação pela Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES) do Ministério da Educação, para estratificação da qualidade da produção intelectual dos programas Stricto Sensu (mestrado profissional, mestrado acadêmico e doutorado), a classificação Qualis. Essa classificação para uma mesma revista, difere de acordo com a área temática. O critério para a classificação Qualis é o valor do fator de impacto, mais precisamente, um valor de corte, que define as diferentes categorias.⁵ Essa classificação está disponível na Plataforma Sucupira.⁶

Os ABC são indexados de acordo com parâmetros formais de avaliação do periódico científico, tais como formato, existência de número de registro no International Standard Serial Number (ISSN), periodicidade, conteúdo científico representativo, corpo editorial qualificado, revisão feitas por pares ("peer review"), além de conformidade com as normas da Organização Mundial dos Editores Científicos (WAME), outrora denominada de grupo de Vancouver. É também levado em consideração a inserção do periódico nas bases de dados da National Library of Medicine, Pub Med/Medline, ISI e SciELO, Lilacs e dentre outras.^5,7

O primeiro cálculo do Fator de Impacto dos ABC, realizado pelo Journal of Citation Report da Thomson Reuters, ocorreu em 2010, e foi igual a 1,315. Desde então, os valores deste índice bibliométrico, documentado pela base de dados da Web of Science (ISI), confirmaram o grau de relevância científica e o escopo dos estudos realizados no Brasil, bem como daqueles realizados internacionalmente e publicados na revista. As classificações colocam os Arquivos no mesmo nível de aproximadamente 30% de revistas internacionais indexadas na base de dados ISI no campo de Cardiologia.² Entre as estratégias para elevar esse indicador, mencionam-se o incremento de critérios para publicação e a internacionalização da revista, algo que tem sido feito em países não anglófonos, por exemplo, mediante o emprego de edições bilíngues. Semelhantes estratégias têm sido utilizadas nos Estados Unidos, México e Coreia do Sul.⁸

Com a inserção da instituição Thomson Reuters no meio científico, passou-se a realizar índices de citações, relatórios estatísticos compilados por computadores, não apenas na produção de periódicos, mas também em termos de frequência de citação. Antes, a compilação dos dados estatísticos ocorria via Science Citation Index (SCI) e, depois, esse processo foi dado continuidade pela Thomson Reuters, que passou a publicar no JCR em 1975 como parte do SCI e do Social Sciences Citation Index (SSCI).⁵ O JCR fornece ferramentas quantitativas para classificação, avaliação, categorização e comparação de revistas.⁹ O fator de impacto é uma dessas formas, permitindo comparações entre revistas diferentes, ano após ano.¹⁰

É compreensível que os editores das revistas científicas se empenhem em melhorar a qualidade científica dos artigos a serem publicados, e isso se faz, dentre outras formas, mediante aumento do número de manuscritos recebidos, rigor no processo seletivo e capacitação dos revisores. Não raro, o prestígio e mesmo a sobrevivência de um periódico depende da manutenção e, preferivelmente, do incremento do fator de impacto.¹¹

Entretanto, a aplicação do fator de impacto tem sido também fonte de controvérsia na comunidade científica e acadêmica, tendo esse instrumento sido considerado inadequado,¹² de pouca acreditação,⁶ fonte de perturbação,¹³ um incentivo controverso,¹⁴ uma métrica altamente discutível,¹⁵ a ser eliminada,¹⁶ ou pelo menos um assunto polêmico.¹³ Há também quem considere como arbitrário avaliar a qualidade do material no período de dois anos.¹⁷

Não obstante as críticas, o fator de impacto tem sido utilizado como indicador bibliométrico, ou seja, um parâmetro discriminante da relevância de uma publicação para a comunidade científica.^12-18

A utilização de um indicador bibliométrico de simples entendimento representa uma importante contribuição, principalmente em decorrência do aumento de revistas eletrônicas e do acesso aos artigos pelo meio digital.^10-17

Porém, faz-se necessário o desenvolvimento de instrumentos de governança capazes de auditar o padrão temporal da taxa de autocitação e identificar incrementos abruptos ou inesperados no fator de impacto, potencialmente associados a viés decorrente de autorreferenciamento inapropriado.

O desenvolvimento do presente modelo permitiu avaliar de forma integrada e dinâmica a taxa de autocitação. No período de janeiro de 2000 a dezembro de 2016, observou-se um padrão estacionário de autocitação de artigos originais publicados nos ABC, o que condiz com boas práticas de ética na ciência. A partir dos nossos resultados, acreditamos que o presente instrumento de governança possa ter grande utilidade na vigilância dos padrões de autocitação praticados pelas revistas científicas e contribuir para aumentar a transparência do fator de impacto como ferramenta métrica da qualidade dos periódicos científicos.

• Fontes de financiamento
  O presente estudo não teve fontes de financiamento externas.
• Vinculação acadêmica
  Não há vinculação deste estudo a programas de pós-graduação.

References

• ¹
  Sociedade Brasileira de Cardiologia. Memorial dos Arquivos Brasileiros de Cardiologia: história da revista. [Citado em 2017 mar 10]. Disponível em: http://www.arquivosonline.com.br/memorial/historia.asp
  » http://www.arquivosonline.com.br/memorial/historia.asp
• ²
  Evora PRB, Moreira LFP. The representativeness of the Arquivos Brasileiros de Cardiologia for Brazilian Cardiology Science. Arq Bras Cardiol. 2015;104(2):94-6. doi: http://dx.doi.org/10.5935/abc.20150015.
  » https://doi.org/http://dx.doi.org/10.5935/abc.20150015
• ³
  Ronda-Pupo GA. Research evaluation of author's citation-based performance through the relative author superiority index. Transinformação. 2017;29(2):191-201. doi: http://dx.doi.org/10.1590/2318-08892017000200006.
  » https://doi.org/http://dx.doi.org/10.1590/2318-08892017000200006
• ⁴
  5 revistas brasileiras são acusadas de trapacear em citações. [Citado em 2013 jul 9]. Disponível em: http://exame.abril.com.br/ciencia/5-revistas-brasileiras-sao-acusadas-de-inflar-citacoes/
  » http://exame.abril.com.br/ciencia/5-revistas-brasileiras-sao-acusadas-de-inflar-citacoes/
• ⁵
  Araújo CG. Peer review: a constantly-evolving scientific process. Arq Bras Cardiol. 2012;98(2):32-5. doi: http://dx.doi.org/10.1590/S0066-782X2012000200017.
  » https://doi.org/http://dx.doi.org/10.1590/S0066-782X2012000200017
• ⁶
  Brasil. Ministério da Educação. Plataforma Sucupira. [Citado em 2017 mar 20]. Disponível em: https://sucupira.capes.gov.br/sucupira/public/consultas/index_consultas.jsf
  » https://sucupira.capes.gov.br/sucupira/public/consultas/index_consultas.jsf
• ⁷
  Ruiz MA, Greco OT, Braile DM. Journal impact factor: this editorial, academic and scientific influence. Rev Bras Cir Cardiovasc 2009;24(3):273-8. doi: http://dx.doi.org/10.1590/S0102-76382009000400004.
  » https://doi.org/http://dx.doi.org/10.1590/S0102-76382009000400004
• ⁸
  Moreira LF. Role of the International Journal of Cardiovascular Sciences in the Increase of Brazilian publications in Cardiology and Cardiovascular Sciences. Arq Bras Cardiol. 2016;107(1):1. doi: http://dx.doi.org/10.5935/abc.20160109.
  » https://doi.org/http://dx.doi.org/10.5935/abc.20160109
• ⁹
  Thomaz PG, Assad RS, Moreira LF. Using the impact factor and H index to assess researchers and publications. Arq Bras Cardiol. 2011;96(2):90-3. doi: http://dx.doi.org/10.1590/S0066-782X2011000200001.
  » https://doi.org/http://dx.doi.org/10.1590/S0066-782X2011000200001
• ¹⁰
  Fuster V. Impact factor versus impact to readers: not necessarily at odds. J Am Coll Cardiol. 2014;64(16):1753-4. doi: 10.1016/j.jacc.2014.09.001.
  » https://doi.org/10.1016/j.jacc.2014.09.001
• ¹¹
  Zitt M. The journal impact factor: Angel, devil, or scapegoat? A comment on JK Vanclay's article 2011. Scientometrics. 2012;92(2):485-503. doi: 10.1007/s11192-012-0697-6.
  » https://doi.org/10.1007/s11192-012-0697-6
• ¹²
  Baum JA. Free-riding on power laws: questioning the validity of the impact factor as a measure of research quality in organization studies. Organization. 2011;18(4):449-66. doi: 10.1177/1350508411403531.
  » https://doi.org/10.1177/1350508411403531
• ¹³
  Vanclay JK. Impact factor: outdated artefact or steppingstone to journal certification? Scientometrics. 2012;92 (2):211-38. doi: 10.1007/s11192-011-0561-0.
  » https://doi.org/10.1007/s11192-011-0561-0
• ¹⁴
  Laufer M. Los valores intangibles de las publicaciones científicas. Interciencia. 2013;38(5):322.
• ¹⁵
  Calver MC, Lilith M, Dickman CR. A 'perverse incentive' from bibliometrics: Could National Research Assessment Exercises (NRAEs) restrict literature availability for nature conservation? Scientometrics. 2013;95(1):243-55. doi: 10.1007/s11192-012-0908-1.
  » https://doi.org/10.1007/s11192-012-0908-1
• ¹⁶
  Buela-Casal G, Zych I. What do the scientists think about the impact factor? Scientometrics. 2012;92(1):281-92. doi: 10.1007/s11192-012-0676-y.
  » https://doi.org/10.1007/s11192-012-0676-y
• ¹⁷
  Sangwal K. Some citation-related characteristics of scientific journals published in individual countries. Scientometrics. 2013;97(3):719-41. doi: 10.1007/s11192-013-1053-1.
  » https://doi.org/10.1007/s11192-013-1053-1
• ¹⁸
  Van Raan AF. Properties of journal impact in relation to bibliometric research group performance indicators. Scientometrics. 2012;92(2):457-69. doi: 10.1007/s11192-012-0747-0.
  » https://doi.org/10.1007/s11192-012-0747-0

Datas de Publicação

• Publicação nesta coleção
  Set 2018

Histórico

• Recebido
  23 Out 2017
• Revisado
  04 Dez 2017
• Aceito
  08 Dez 2017