Impacto da indexação no SciELO e MEDLINE sobre as submissões ao Jornal de Pediatria

Resumos

OBJECTIVE: To evaluate the impact of SciELO and MEDLINE indexing on the number of articles submitted to Jornal de Pediatria. METHODS: Analysis of total article submission, submission of articles from foreign countries and acceptance figures in the following periods: stage I - pre-website (Jan 2000-Mar 2001); stage II - website (Apr 2001-Jul 2002); stage III - SciELO (Aug 2002-Aug 2003); stage IV - MEDLINE (Sep 2003-Dec 2004). RESULTS: There was a significant trend toward linear increase in the number of submissions along the study period (p = 0.009). The number of manuscripts submitted in stages I through IV was 184, 240, 297, and 482, respectively. The number of submissions was similar in stages I and II (p = 0.148), but statistically higher in Stage III (p < 0.001 vs. Stage I and p = 0.006 vs. Stage II) and Stage IV (p < 0.001 vs. stages I and II, and p < 0.05 vs. stage III). The rate of article acceptance decreased during the study period. The number of original articles published has been stable since the 2001 March/April issue (n = 10), when the journal reached a printed page limit, leading to stricter judgment criteria and a relative decrease in acceptance rate. The number of foreign submissions in stages I through IV was 1, 2, zero and 17, respectively, with p < 0.001 for the comparison of stage IV with previous stages. CONCLUSIONS:SciELO indexing was associated with an increase in Brazilian manuscript submissions to Jornal de Pediatria, whereas MEDLINE indexing led to an increase in both Brazilian and foreign submissions.

Database; journal article; impact assesment

ARTIGO ESPECIAL

Impacto da indexação no SciELO e MEDLINE sobre as submissões ao Jornal de Pediatria

Danilo Blank^I; Claudia Buchweitz^II; Renato S. Procianoy^III

^IEditor associado, Jornal de Pediatria; Editor, JPED/ Sociedade Brasileira de Pediatria

^IIEditora executiva, JPED/ Sociedade Brasileira de Pediatria

^IIIEditor chefe, Jornal de Pediatria e JPED/ Sociedade Brasileira de Pediatria

^{Correspondência}

RESUMO

OBJETIVO: Avaliar o impacto da indexação no SciELO e MEDLINE sobre o número de artigos submetidos ao Jornal de Pediatria.

MÉTODOS: Análise do total de artigos submetidos, artigos estrangeiros submetidos e índices de aceitação, nos seguintes períodos: estágio I - pré-site (janeiro/2000-março/2001); estágio II - site (abril/2001-julho/2002); estágio III - SciELO (agosto/2002-agosto/2003); estágio IV - MEDLINE (setembro/2003-dezembro/2004).

RESULTADOS: Houve uma tendência significativa de aumento linear no número de submissões, durante o período do estudo (p = 0,009). O número de originais submetidos nos estágios I a IV foi, respectivamente: 184, 240, 297 e 482. O número de submissões foi similar nos estágios I e II (p = 0,148), mas foi significativamente maior no estágio III (p < 0,001 vs. estágio I; p = 0,006 vs. estágio II) e no estágio IV (p < 0,001 vs. estágios I e II; p < 0,05 vs. estágio III). A taxa de aceitação diminuiu durante o período do estudo. O número de 10 artigos originais publicados é estável desde o número de março/abril de 2001, quando a revista atingiu um limite de páginas impressas que motivou a adoção de critérios de julgamento mais rígidos e uma diminuição relativa dos índices de aceitação. O número de submissões estrangeiras nos estágios I a IV foi, respectivamente, 1, 2, zero e 17, sendo p < 0,001 para a comparação do estágio IV com os anteriores.

CONCLUSÕES: A indexação no SciELO se associou a um aumento das submissões de artigos brasileiros ao Jornal de Pediatria, enquanto a indexação no MEDLINE levou a um aumento de submissões brasileiras e estrangeiras.

Palavras-chave: Base de dados, artigo de revista, medição de impacto.

Introdução

A publicação de artigos é uma parte essencial da pesquisa científica. Contudo, ter um artigo impresso não basta - também é preciso garantir que o trabalho seja lido pelo maior número possível de pessoas, e que seja citado. Por isso, a maioria das revistas trabalha duro para ser indexada em bases de dados internacionais, partindo da convicção, fruto da lógica, de que a indexação naturalmente trará, primeiramente, maior visibilidade e, partir daí, mais citações ^1-3.

Contudo, tal convicção não é embasada por dados da literatura. Uma busca detalhada desse tipo de evidência revelou apenas editoriais que comemoravam a indexação de uma dada revista ou comentavam a difícil trajetória cursada para atingir essa meta e as perspectivas considerando essa valorizada realização^4-7. Encontramos apenas uma breve avaliação que de fato mostrou que o número de citações a artigos publicados em cinco revistas brasileiras mais do que dobrou (em termos do fator de impacto medido pelo Institute for Scientific Information, o ISI) após a sua inclusão na base latino-americana SciELO (Scientific Electronic Library Online)¹.

Assim, foi nosso objetivo avaliar o impacto da inclusão do Jornal de Pediatria no SciELO em 2002⁸ e na base internacional MEDLINE em 2003⁹, tomando como indicador de visibilidade e qualidade atribuída a taxa de submissão de artigos após esses eventos.

Métodos

O número total de artigos submetidos ao Jornal de Pediatria de 2000 a 2004 foi analisado. Os desfechos secundários foram a submissão de artigos de países estrangeiros e os números relativos à aceitação de artigos para o mesmo período.

Como não houve mudanças nem no conselho editorial, nem nos métodos de submissão dos manuscritos no período do estudo, passamos a considerar o impacto em potencial de três eventos sobre as taxas de submissão de artigos: o primeiro foi o lançamento do site bilíngüe (português/inglês) de acesso gratuito, em março de 2001; o segundo foi a indexação no SciELO, em julho de 2002; e o terceiro foi a indexação na MEDLINE, em agosto de 2003. Assim, quatro etapas foram considerados: a etapa I, chamada de "pré-site" (15 meses), a etapa II, "site" (16 meses), a etapa III, "SciELO" (13 meses), e a etapa IV, "MEDLINE" (16 meses).

Para fins de análise estatística foram utilizados análises de tendência, ANOVA unidimensional para dados ordenados pelo teste post hoc de Duncan (para comparação do número de submissões em cada momentos) e o teste exato de Fisher com ajuste do valor p pelo teste de Finner-Bonferroni (para comparação da submissão de artigos estrangeiros nos quatro períodos).

Resultados

Foi observada uma tendência significativa de aumento linear no número de artigos submetidos ao Jornal de Pediatria em todo o período do estudo (p = 0,009) (Figura 1). A tabela 1 mostra o número de artigos submetidos em cada categoria nos momentos de I a IV. O número de submissões não foi estatisticamente diferente nas etapas I e II (p = 0,148), mas foi estatisticamente maior a etapa III (p < 0,001 vs. etapa I; p = 0,006 vs. etapa II) e IV (p < 0,001 vs. etapa I e II, e p < 0,05 vs. etapa III). A variação positiva na submissão de cartas ao editor foi a mais marcante entre as categorias de artigos, seguida pelos artigos originais.

Houve uma flutuação errática e pronunciada na submissão mensal de artigos nas etapas III e IV (Tabela 2).

Como o número absoluto de artigos aceitos por número da revista permaneceu estável durante o período do estudo, a taxa de aceitação diminuiu. Essa queda foi mais pronunciada para os relatos de caso.

O número de artigos estrangeiros submetidos nas etapas de I a IV foi 1, 2, zero e 17, respectivamente, com p < 0,001 para a comparação da etapa IV com as etapas anteriores.

Discussão

Foi observada uma associação inequívoca entre a indexação no SciELO e um aumento no número de manuscritos brasileiros submetidos ao Jornal de Pediatria, enquanto que a indexação na MEDLINE claramente levou a um aumento nas submissões tanto do Brasil quanto do exterior. Esses resultados substanciam a noção empírica de que os autores submetem mais artigos a revistas indexadas em bases internacionais ^1,10-16.

Os autores preferem revistas indexadas devido a sua visibilidade, mas também porque as agências de financiamento valorizam essas publicações^10,17 . No Brasil, esse é um dos principais critérios utilizados pela Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES) para classificar os programas de pós-graduação. A CAPES classifica as revistas através de um sistema chamado de Qualis. Conforme o Qualis, as melhores revistas são aquelas indexadas na MEDLINE e com um alto fator de impacto conforme os Journal Citation Reports (JCR) da empresa Thomson Scientific^18,19. A seguir estão as revistas indexadas na MEDLINE, mas que possuem um baixo fator de impacto. E em terceiro lugar estão as revistas indexadas na MEDLINE, mas que não são incluídas nos JCR.

O fato de as agências de financiamento no Brasil, e talvez também em outros países, valorizarem acima de tudo um alto fator de impacto merece atenção especial. Em primeiro lugar, muitos já apontaram que contar citações é uma forma falha de avaliar o mérito acadêmico, entre outros porque não se mede a citação a artigos específicos ^20-25. Em segundo lugar, se um artigo é citado com freqüência como exemplo de pesquisa de má qualidade, mesmo assim a menção repetida a esse artigo irá aumentar o fator de impacto da revista. Além disso, as revistas com versões impressas em outras línguas que não o inglês dificilmente serão avaliadas por organizações como a Thomson-ISI, com o pretexto de que o seu fator de impacto é baixo demais - o que provavelmente é verdade, já que os leitores internacionais dificilmente citarão um artigo publicado em uma língua que não sabem ler. Vale mencionar que o número de citações da MEDLINE a artigos em inglês aumentou de aproximadamente metade do total de registros naquela base antes da década de 1970 para quase 90% atualmente ²⁶.

Além disso, sempre que a MEDLINE lista um artigo em "não-inglês" (ou seja, um artigo cuja versão original impressa é publicada em qualquer língua que não o inglês, não importando se existe uma versão em inglês do conteúdo), seu título aparece entre colchetes. Assim, embora o Jornal de Pediatria - como muitas outras revistas oficialmente indexadas como "não-inglesas" - ofereça acesso gratuito ao texto integral dos artigos em inglês, é razoável pressupor que aqueles colchetes por si só desestimulem muitos leitores. Duas perguntas interessantes que emergem desse cenário são: quantos pesquisadores que fazem buscas na MEDLINE utilizam filtros de linguagem, ou quantos acessam artigos cujos títulos aparecem entre colchetes? E - será que a cobertura de uma revista pelo ISI teria o poder de aumentar o seu fator de impacto, da mesma forma como a indexação na MEDLINE aumenta a taxa de submissão de artigos?

Não resta dúvidas de que o Jornal de Pediatria passou a publicar artigos de maior qualidade como resultado da preparação para a indexação e da indexação propriamente dita. Isso explica, em parte, a queda marcante na taxa de aceitação, que diminuiu praticamente pela metade no período do estudo. O número de artigos originais publicados na revista está estabilizado desde o número de março/abril de 2001, quando atingimos o limite máximo de páginas impressas. Esse fato, juntamente com o aumento no número de submissões, contribuiu para a adoção de critérios mais rigorosos de avaliação, e a taxa de aceitação naturalmente diminuiu. Esse efeito foi mais evidente para os relatos de caso, indicando uma mudança nas características do Jornal de Pediatria, tendo sido priorizados os artigos originais.

Em conclusão, mostramos que a indexação do Jornal de Pediatria no SciELO e na MEDLINE aumentou a visibilidade internacional da revista, assim como a percepção global de qualidade atribuída, o que estimulou mais pesquisadores a submeter os seus artigos para fins de publicação.

Este estudo foi originalmente apresentado na sessão plenária de 17 de setembro de 2005 do 5th International Congress on Peer Review and Biomedical Publication: Blank D, Buchweitz C, Procianoy R. Impact of SciELO and MEDLINE indexing on the submission of articles to a "non-English" journal. Abstracts of the 5th International Congress on Peer Review and Biomedical Publication; 2005 Sep 16-18; Chicago, USA. Chicago: JAMA/BMJ; 2005. p. 18-19

• 1. Alonso WJ, Fernandez-Juricic E. Regional network raises profile of local journals. Nature. 2002;415:471-2.
• 2. Fernández E, Plasència A. Dime cuánto nos citan y te diré… el factor de impacto bibliográfico de Gaceta Sanitária. Gac Sanit. 2003;17:179-80.
• 3. Aksnes DW. Citations and their use as indicators in science policy. Studies of validity and applicability issues with a particular focus on highly cited papers [thesis]. Enschede-West, Netherlands: University of Twente; 2005.
• 4. Eysenbach G. Journal of Medical Internet Research is now indexed in Medline. J Med Internet Res 2001;3(3):e25. www.jmir.org/2001/3/e25/ Accessed: Nov 6, 2005.
• 5. Guimarães V. História da Indexação dos ABE&M: Razão, Trabalho e Emoção. Arq Bras Endocrinol Metab. 2004;48:217-19.
• 6. Bressan RA, Miguel EC, Mari JJ, Rohde LA, Mercadante MT. Chegamos ao MEDLINE, para onde vamos agora?. Rev Bras Psiquiatr. 2004;26:1.
• 7. Vermund SH, Acuna G. Regional journals in medicine and public health: a look to the future upon the indexing of the Revista Chilena de Infectologia. Rev Chilena Infectol. 2005;22:11-20.
• 8. Piva JP, Garcia PC, Blank D, Amantea S. Os desafios e a afirmação de uma revista científica. J Pediatr (Rio J). 2002;78:1-2.
• 9. Procianoy RS. O Jornal de Pediatria está no Index Medicus/MEDLINE. J Pediatr (Rio J). 2003;79:279.
• 10. Vohora SB, Vohora D. Why are Indian journals' impact factors so low? Nature. 2001;412:583.
• 11. Kater CE. Reflexos imediatos da indexação internacional e atualização da política editorial dos ABE&M. Arq Bras Endocrinol Metab. 2004;48:440-2.
• 12. Aleixandre-Benavent RA, Valderrama-Zurián JC, Castellano-Gómez M, Simó-Meléndez R, Navarro-Molina C. Factor de impacto nacional e internacional de Anales de Pediatria. An Pediatr (Barc). 2004;61:201-6.
• 13. Bressan RA, Miguel EC, Mari JJ, Rohde LA, Mercadante MT. Chegamos ao ISI. Rev Bras Psiquiatr. 2005;27:170-1.
• 14. Van Dalen H, Henkens K. Signals in science: on the importance of signaling in gaining attention in science. Scientometrics. 2005;64:209-33.
• 15. Monastersky R. The number that's devouring science. The Chronicle of Higher Education. 2005;52:A12. http://chronicle.com/weekly/v52/i08/08a01201.htm Accessed: Nov 6, 2005.
• 16. National Library of Medicine. MEDLINE Factsheet. www.nlm.nih.gov/pubs/factsheets/medline.html Accessed: Nov 6, 2005.
• 17. Coelho PM, Antunes CM, Costa HM, Kroon EG, Sousa Lima MC, Linardi PM. The use and misuse of the "impact factor" as a parameter for evaluation of scientific publication quality: a proposal to rationalize its application. Braz J Med Biol Res. 2003;36:1605-12.
• ¹⁸
  CAPES. Critérios Qualis e de conceitos relacionados à publicação. http://qualis.capes.gov.br/ Accessed: Oct 30, 2005.
• ¹⁹
  ISI Journal Citation Reports. http://scientific.thomson.com/products/jcr/ Accessed: Nov 6, 2005.
• 20. Glänzel W, Moed HF. Journal impact measures in bibliometric research. Scientometrics. 2002;53:171-93.
• 21. Coura JR, Willcox L C. Impact factor, scientific production and quality of Brazilian medical journals. Mem Inst Oswaldo Cruz. 2003;98:293-7.
• 22. Porta M, Copete JL, Fernandez E, Alguacil J, Murillo J. Mixing journal, article, and author citations, and other pitfalls in the bibliographic impact factor. Cad Saude Publica. 2003;19:1847-62.
• 23. Walter G, Bloch S, Hunt G, Fisher K. Counting on citations: a flawed way to measure quality. Med J Aust. 2003;178:280-1.
• 24. Leff D. Making an impact: the rise of the impact factor as a measure of journal quality. J Am Diet Assoc. 2005;105:29-30.
• 25. Van Raan AF. Fatal attraction: Conceptual and methodological problems in the ranking of universities by bibliometric methods. Scientometrics. 2005;62:133-43.
• ²⁶
  National Library of Medicine, Bibliographic Services Division. MEDLINE: Number of citations to English language articles. www.nlm.nih.gov/bsd/medline_lang_distr.html Accessed: Nov 13, 2005.

Datas de Publicação

• Publicação nesta coleção
  03 Abr 2006
• Data do Fascículo
  Dez 2005