EDITORIAL
Periódicos científicos brasileiros: visibilidade e charme
Mauricio Rocha e SilvaI
IEditor da Clinics. São Paulo, SP, Brasil. mrsilva36@hcnet.usp.br
Ao falarmos de nossos periódicos científicos é importante não esquecer que eles existem em duas categorias: com e sem peer review. Só a primeira deve ser levada em conta. Ao todo, segundo a CAPES, são cerca de seis mil, mas apenas 8% dentre eles publicam ciência original com peer review. Antes que alguém ache isso anormal, vale notar que o grande arquivo internacional Ulrich's relaciona cerca de 300.000 periódicos científicos em todo o mundo, dos quais apenas 27.000 são peer reviewed. Portanto, estamos na média mundial. Quanto à visibilidade, o divisor é outro: século passado e milênio novo. Até 1999, a maioria de nossos periódicos era totalmente invisível e apenas um punhado muito pequeno conseguia ter seus artigos citados. Nenhum periódico brasileiro jamais chegou a ter um fator de impacto acima de 1,000 e pouquíssimos chegavam a 0,500! A partir do novo milênio tudo mudou, graças ao SciELO e ao PubMed. A criação de uma biblioteca virtual de acesso livre e gratuito (SciELO) disponível no PubMed, passou a significar que qualquer pessoa no mundo conectada a Internet pode consultar e fazer o download de graça de qualquer artigo de nossos periódicos. Naturalmente, peer review é condição sine-qua-non para ser aceito no SciELO. A mágica não demorou muito. Em 2004, duas revistas brasileiras atingiram um Fator de Impacto acima de 1,000 e nunca mais voltaram para trás. Apenas seis anos mais tarde, temos uma revista com impacto acima de 2,000 e treze revistas acima de 1,000. Projeções para 2011 sugerem que teremos talvez duas revistas acima de 2,000 e algo em torno de quinze acima de 1,000. Os downloads de artigos científicos publicados em nossos periódicos saltaram de 100 mil em 1999 para mais de 100 milhões em 2010.
Nossas revistas são visíveis e os artigos que nelas aparecem são lidos e citados como nunca foram. Sem dúvida estamos mais atraentes! Mas poderíamos estar muito mais charmosos! E infelizmente o obstáculo é interno. O sistema de avaliação de artigos publicados por nossos programas de pós-graduação não nos ajuda em nada. Qualquer aluno ou orientador de pós-graduação que publique numa revista brasileira sofre um desconto de 20 a 60% na sua nota por ter publicado em casa. O sistema classificador de artigos baseia-se numa ideia perigosamente carregada de viés: o artigo recebe a nota em função do fator de impacto do periódico que o publica. Não somos os únicos pecadores: diversas agências internacionais, tanto de classificação como de distribuição de verbas também o cometem. O próprio pai do Fator de Impacto, Eugene Garfield, já fez essa observação: o fator de impacto reflete a importância dos periódicos, mas jamais a dos artigos ali publicados, porque a distribuição de citações pelos artigos é tremendamente assimétrica.
Em um estudo(1), recentemente publicado, examinei cerca de 7.000 artigos publicados em 60 periódicos com fatores de impacto entre 1 e 50 e observei que todos eles obedecem a uma distribuição tipo Princípio de Pareto: em sua forma original, o referido princípio afirma que em todas as atividades humanas, 80% das ações resultam de 20% dos agentes. No caso das citações em periódicos científicos a situação não é tão extrema; mas a assimetria é profunda: 50% das citações provem de 20% dos artigos (os mais citados) enquanto apenas 3% das citações provem dos 20% menos citados. Qual é a consequência dessa assimetria para o julgamento indireto dos artigos? Muito simples: não importa onde um artigo é publicado ele tem cerca de 30% de chance de ser mais citado e cerca de 60% de ser menos citado do que o fator de impacto da revista sugere. Se um autor consegue publicar na categoria mais alta do sistema de avaliação, ele certamente não será subavaliado porque já está recebendo a nota máxima. Mas tem 50% de chance de ser superavaliado, sorte dele! O problema é bem mais complicado se o artigo aparece numa das categorias abaixo da mais alta: neste caso, o nosso autor corre um risco nada desprezível (30%) de ser subavaliado! Porque ele será mais citado do que sugere o fator de impacto da revista onde publica e deveria ganhar uma nota mais alta. Azar dele! A chance de superavaliação continua em 50% (sorte dele!) de modo que a avaliação será correta apenas para 20% dos artigos. Em diagnóstico isso tem um nome: Fator Preditivo Positivo (FPP) que define a porcentagem de avaliações corretas realizadas por qualquer teste diagnóstico. Qualquer sistema que avalie publicações científicas indiretamente através do fator de impacto do periódico tem um FPP de 40% para revistas da categoria mais alta e de 20% para as categorias inferiores. Ou seja, 60% de erro na categoria mais alta e 80% de erro nas inferiores!
Vamos agora aplicar este conceito às nossas revistas. No sistema de avaliação da pós-graduação brasileira, nenhuma revista brasileira pertence ao extrato mais alto: consequentemente, para todas elas vale o Fator Preditivo Positivo de 20%, o que quer dizer que 80% dos artigos ali publicados são avaliados incorretamente! Para 50% dos casos, vale o conceito sorte deles, mas cerca de 30% são rebaixados em suas notas. Um dos argumentos usados por todas as instituições avaliadoras é que para artigos recentemente publicados é impossível avaliar corretamente quantas citações lhe serão atribuídas. Consideremos um exemplo absolutamente extremo: quantas citações terá recebido em junho deste ano um artigo publicado em dezembro de 2011? Com quase certeza, nenhuma, quer ele seja publicado num periódico de impacto 1, 5 ou 50! Mas se o recuo for um pouco maior, digamos de junho de 2011 para junho de 2012, ele já estará visível e possivelmente citado. A ideia nova é usar um procedimento recém-proposto, que batizei de Continuously Variable Rating(1). A ideia velha, não nos esqueçamos, tem 80% de probabilidade de produzir um resultado errado.
Antes que alguém pense que o meu propósito é totalmente negativo, faço questão de frisar o que tenho dito repetidamente: o que o Brasil deve à CAPES não tem preço. Cientificamente, somos o que somos, um dos países G20 da ciência, graças à vontade política e a tudo o que a CAPES tem feito por este país. Há 70 anos éramos um anão científico que olhava para a Argentina com longos olhares de inveja. Hoje produzimos tanta ciência quanto a soma de México, Argentina, Chile, e todos os demais países latino-americanos! Muito disso deve-se ao sistema de pós-graduação CAPES, ao portal CAPES e à dinâmica CAPES. Vamos, pois, continuar torcendo para que a CAPES corrija esta sua insólita inconsistência, que destoa tanto do resto da CAPES quanto a falta de um dente da frente destoa numa beldade total!
- 1. Rocha-e-Silva M. Continuously Variable Rating: a new, simple and logical procedure to evaluate original scientific publications. Clinics. 2011;66(12):2099-104.
Datas de Publicação
-
Publicação nesta coleção
20 Mar 2012 -
Data do Fascículo
Fev 2012
