Avaliando a qualidade de uma revista científica: o caso da Revista Brasileira de Psiquiatria

Resumos

A produção científica no campo da Psiquiatria vem crescendo de modo exponencial, como demonstrado pelo atual número de revistas científicas na área. As estratégias usadas para avaliar objetivamente a qualidade de uma determinada publicação estão hoje baseadas fundamentalmente em critérios de indexação e citação. O conceito de fator de impacto, que é uma estimativa da freqüência com que um determinado artigo foi citado em um dado período, é fundamental para compreender o modo como os periódicos científicos são avaliados. A recente indexação da Revista Brasileira de Psiquiatria nos dois principais bancos de dados da literatura médica proporcionou à revista uma maior visibilidade, como sugerido pelo número crescente de citações recebidas ao longo dos últimos anos. Um correto entendimento do conceito de fator de impacto (uma estimativa da freqüência com que um determinado artigo foi citado em um dado período) é fundamental para compreender o modo como as revistas científicas são avaliadas.

Estudos de avaliação; Bases de dados bibliográficas; Bibliometria; Índices; Fator de impacto

Scientific production in the field of Psychiatry is growing exponentially, as reflected by the number of scientific journals now available. Current strategies to objectively estimate the quality of a specific publication are mostly based on indexation and citation criteria. The concept of impact factor, a measure of the frequency with which an article has been cited in a particular period, is key to understanding the way journals are evaluated. The recent indexation of Revista Brasileira de Psiquiatria in the two major medical databases has increased the journal's visibility, as indicated by the rising number of citations received over the last years. As researchers' scientific productivity measures are largely associated with citation indices of journals in which manuscripts are published, it is essential that Revista Brasileira de Psiquiatria continues to attract high quality, innovative articles, with the ultimate goal of providing state-of-the-art continuing medical education for mental health professionals.

Evaluation studies; Databases; bibliographic; Bibliometrics; Indexes; Impact factor

ARTIGO ESPECIAL

Avaliando a qualidade de uma revista científica: o caso da Revista Brasileira de Psiquiatria

Christian Kieling^I; Renata Rocha Fernandes Gonçalves^II

^IFaculdade de Medicina, Universidade Federal do Rio Grande do Sul (UFRGS), Porto Alegre (RS), Brasil

^IIFundação Faculdade Federal de Ciências Médicas de Porto Alegre (FFFCMPA), Porto Alegre (RS), Brasil

^{Correspondência}

RESUMO

A produção científica no campo da Psiquiatria vem crescendo de modo exponencial, como demonstrado pelo atual número de revistas científicas na área. As estratégias usadas para avaliar objetivamente a qualidade de uma determinada publicação estão hoje baseadas fundamentalmente em critérios de indexação e citação. O conceito de fator de impacto, que é uma estimativa da freqüência com que um determinado artigo foi citado em um dado período, é fundamental para compreender o modo como os periódicos científicos são avaliados. A recente indexação da Revista Brasileira de Psiquiatria nos dois principais bancos de dados da literatura médica proporcionou à revista uma maior visibilidade, como sugerido pelo número crescente de citações recebidas ao longo dos últimos anos. Uma vez que a avaliação da produtividade científica dos pesquisadores está cada vez mais baseada em índices associados aos periódicos nos quais seus artigos são publicados, é essencial que a Revista Brasileira de Psiquiatria continue a atrair pesquisas inovadoras e de alta qualidade, com o objetivo final de propiciar uma educação médica continuada de alto padrão para os profissionais de saúde mental.

Descritores: Estudos de avaliação [tipo de publicação]; Bases de dados bibliográficas; Bibliometria; Índices; Fator de impacto

Introdução

O desenvolvimento de estratégias precisas e objetivas para identificar periódicos científicos que publicam estudos de alta qualidade pode auxiliar os clínicos a selecionar a melhor literatura a ser revisada. Isso pode ser especialmente importante frente ao substancial número de publicações atualmente disponíveis no campo da psiquiatria e da saúde mental. Ainda que seja difícil precisar o número exato de periódicos de psiquiatria disponíveis na atualidade (um estudo de 1999 identificou um total de 977),¹ o número de publicações indexadas em dois dos principais bancos de dados – Institute of Scientific Information (ISI) e Medline – é suficiente para demonstrar a magnitude da produção científica na área. Em março de 2007, na categoria Psiquiatria, estavam indexados 94 periódicos no ISI e 141 no Medline.

O ISI, hoje parte da Thomson Scientific, é um banco de dados que fornece informações nas áreas de ciência, tecnologia, artes e humanidades (o banco de dados é geralmente acessado na Internet pelo nome Web of Science). O Medline é um banco de dados de referência bibliográfica, com foco nas ciências da saúde; foi desenvolvido pela US National Library of Medicine e inclui, aproximadamente, 5.000 revistas internacionais em 30 idiomas. Evidentemente, há algum grau de sobreposição entre esses dois bancos de dados.

Anualmente, o ISI publica o Journal Citation Report (JCR), que fornece uma série de recursos para a avaliação de periódicos científicos. O JCR informa o número total de citações recebidas por um periódico ou uma categoria temática (e.g., Psiquiatria); calcula o fator de impacto do periódico; fornece uma lista de periódicos que citaram um periódico específico (citing list) ou dos periódicos citados por outra revista (cited journals); e mostra os periódicos mais freqüentemente citados em uma área.

De acordo com o último JCR, o número de artigos publicados nos 94 periódicos de Psiquiatria indexados no ISI tem aumentado gradualmente: em 2003, eram 8.733; em 2004, 9.137; e em 2005, 9.492. O JCR pode ser utilizado também para estimar o índice de rotatividade do conjunto de trabalhos de uma área. No caso da Psiquiatria, em 2005, a meia-vida média dos artigos foi de cerca de sete anos. Esse número é calculado com base no fato de que 50% de todas as citações recebidas (aggregate cited half-life) e feitas (aggregate citing half-life) pelo conjunto de todos os periódicos de Psiquiatria naquele ano referem-se a artigos do período 1999-2005 – mais precisamente, as meias-vidas das citações recebidas e feitas foram de 6,9 e 7,3 anos, respectivamente. Por meio do índice de imediaticidade, o JCR também indica a velocidade com que as citações de um periódico específico aparecem na literatura, por meio do cálculo do número médio de vezes que um artigo é citado durante o ano em que foi publicado.

Os dados sobre citação também fornecem os elementos para o cálculo do fator de impacto (FI) de um periódico. De acordo com a Thomson Scientific,² os fatores de impacto são calculados dividindo-se o número de citações feitas no ano corrente a artigos publicados nos dois anos anteriores pelo número total de artigos publicados nos dois anos anteriores (Figura 1). O FI é, portanto, uma medida da freqüência com que um artigo médio de um periódico é citado em um ano específico. Este fator foi proposto originalmente por Eugene Garfield, em 1955,³ com o objetivo de eliminar alguns dos vieses da contagem de citações que tendem a favorecer grandes periódicos em detrimento de revistas menores, jornais com edições mais freqüentes em detrimento daqueles com menor periodicidade e/ou jornais mais antigos em desfavor de mais novos.⁴ No entanto, a publicação de artigos de revisão (que geralmente recebem mais citações do que artigos de pesquisa originais), ou um pequeno grupo de artigos altamente citados, pode inflacionar significativamente o FI de um periódico.

Além disso, a utilização de critérios baseados em citações para medir a qualidade de pesquisa está sujeita a vieses. A nacionalidade dos autores mostrou influenciar o número de citações recebidas por um artigo; em um claro exemplo de viés geográfico, o país de origem – país desenvolvido ou em desenvolvimento – demonstrou ser um melhor preditor de número de citações do que as medidas de qualidade.⁵ Os países em desenvolvimento estão sub-representados nos conselhos editoriais e consultivos de 10 dos principais periódicos em Psiquiatria.⁶ Em seis grandes periódicos europeus e americanos, somente 6% dos artigos publicados entre 1996 e 1998 foram escritos por autores de países fora da Europa Ocidental, América do Norte e Austrália/Nova Zelândia. Além disso, nos três periódicos sobre os quais foram obtidos registros da submissão de artigos, todos tinham índices de aceitação significativamente baixos com relação aos artigos submetidos por autores de países em desenvolvimento.⁷ Em um estudo retrospectivo de publicações das quatro mais importantes revistas de Psiquiatria geral de várias partes do mundo, observou-se um pequeno declínio na freqüência de publicações do autores locais quando dois períodos de dois anos foram comparados, 1991-1992 e 2001-2002. No entanto, o número de contribuições de autores da América do Sul nos periódicos investigados ainda foi desprezível.⁸

Há amplo debate em curso com relação a métodos para substituir ou suplementar o FI. Certamente, existem outros índices que podem ser utilizados para avaliar a qualidade de um periódico, tais como dados relativos ao seu índice de aceitação de artigos, tempo desde a submissão até a aceitação/publicação, assim como diferentes medidas de sua penetração na literatura internacional.

O caso da RBP

A Revista Brasileira de Psiquiatria (RBP) está indexada no Medline desde 2003,⁹ e no ISI desde 2005.¹⁰ Como um dos principais problemas que afetam os periódicos científicos de países em desenvolvimento é sua limitada acessibilidade e visibilidade, a inclusão da RBP nesses dois bancos de dados virtuais é certamente um grande êxito, que também confirma o status que o periódico alcançou na área. Mais do que alterar seu status segundo as agências de financiamento do governo brasileiro, a inclusão da RBP nos bancos de dados internacionais ampliou sua audiência potencial e resultou em um aumento no número de artigos recebidos.

Como os FIs são calculados com base em dados dos dois anos anteriores, o primeiro índice oficial da RBP não será divulgado até a metade de 2008 (correspondendo ao FI de 2007). Entretanto, como as informações necessárias para calcular o FI já estão disponíveis on-line, uma estimativa não-oficial do FI da RBP nos últimos cinco anos pôde ser calculada (Figura 2). Observou-se uma tendência de crescimento geométrico nos últimos anos, aumento este também refletido no número total de citações recebidas no período: 22 em 2004, 66 em 2005 e 133 em 2006.

A análise de todas as citações recebidas pela RBP revela que a maioria dos autores que citaram o periódico (66%) é do Brasil, ao passo que 23% eram dos Estados Unidos, 6% da Inglaterra e 5% do Canadá. No entanto, o inglês é de longe o idioma mais freqüentemente utilizado pelos artigos que citaram a RBP (79% do total), enquanto o português e o espanhol corresponderam a 18% e 2%, respectivamente. Esse achado provavelmente reflete o uso estabelecido do inglês como o idioma oficial das publicações científicas.¹¹

A RBP foi citada por outras publicações brasileiras (Arquivos de Neuropsiquiatria e Revista de Saúde Pública, entre aquelas com o maior número de citações à RBP), assim como por periódicos de ponta na área de Psiquiatria (Archives of General Psychiatry, Molecular Psychiatry, Biological Psychiatry, entre outros). Do total de citações recebidas pela RBP em todos os tempos, 18% foram autocitações (citações de artigos da RBP para artigos da RBP).

Índices operacionais podem também ser úteis para avaliar a qualidade de um periódico. O índice de aceitação da RBP está agora em 40%, incluindo artigos solicitados. Em 2005, o tempo médio desde a submissão até a aprovação de um artigo foi de 130 dias e de 348 dias desde a submissão até a publicação na RBP. Esses números melhoraram para 99 e 230 dias, respectivamente, em 2006. Para traçar um paralelo entre esses números e aqueles alcançados pelos principais periódicos médicos, o JAMA informou recentemente que o seu índice de aceitação é de cerca de 8%, com um tempo de aceitação de 73 dias e um tempo de publicação de 115 dias em 2005 (em 1999, foram de 123 e 183, respectivamente).¹²

Discussão

Para um conceito tão amplamente utilizado e tão fortemente respeitado, é surpreendente quão mal entendida é a definição de fator de impacto. O desconhecimento quanto à forma como esse índice é calculado pode acarretar uma interpretação equivocada de suas potencialidades e no não reconhecimento de suas limitações como meio de avaliar o real impacto de um determinado artigo em um periódico específico. O FI de um periódico pode ser um indicador confiável da visibilidade de curto prazo e da disseminação de uma publicação; no entanto, os FIs não podem (e não foram projetados para) informar em detalhes o quanto um periódico é lido e discutido fora da academia, incluindo a sua potencial audiência entre formuladores de políticas públicas de saúde, agências não-governamentais, estudantes de ciências médicas e educadores.

Portanto, o FI pode, às vezes, ser um mau avaliador do impacto geral de uma publicação. Considerando que a maioria dos periódicos em português não está indexada no ISI e que a RBP recebe uma grande proporção de suas citações de autores brasileiros e de artigos escritos em português, é razoável assumir que o FI do periódico seria mais alto se esse cálculo levasse em conta, por exemplo, as citações concedidas pelos outros três periódicos psiquiátricos mais importantes do Brasil (Jornal Brasileiro de Psiquiatria, Revista de Psiquiatria Clínica e Revista de Psiquiatria do Rio Grande do Sul), que atualmente não estão indexados no ISI. Os últimos dois, no entanto, são parte da Scientific Electronic Library Online (SciELO). A SciELO possui um crescente número de periódicos latino-americanos de acesso livre e, recentemente, também de outros países. Todas as publicações disponíveis na coleção SciELO seguem padrões de qualidade internacionalmente aceitos.¹³

Somente citações feitas nos dois anos após a publicação de um artigo são incluídas no cálculo do FI. Isso exerce um efeito importante sobre o cálculo, já que periódicos de áreas de pesquisa em rápido desenvolvimento, como a bioinformática, têm maior probabilidade de publicar artigos em ritmo acelerado desde a submissão até a aceitação e esses artigos são mais freqüentemente citados no período de dois anos após sua publicação, levando a um FI mais alto. Por outro lado, a meia-vida de citação em uma área como a Psiquiatria é de, aproximadamente, sete anos; dessa forma, muitos artigos ainda são recorrentemente citados durante muito tempo além dos dois primeiros anos. Portanto, índices combinados que incluíssem FI e meia-vida de citação poderiam traduzir melhor o perfil de citações de periódicos em diferentes áreas.

Muito embora, tipicamente, um artigo publicado em um periódico com alto FI tenda a ser mais freqüentemente citado do que um artigo publicado em um periódico com FI relativamente baixo, o FI por si só não é um indicador confiável da qualidade de um artigo ou autor. Estudos investigando a relação entre índices de citação e qualidade metodológica de ensaios clínicos demonstraram que periódicos com índices de citação mais altos não publicaram ensaios clínicos de qualidade mais elevada,¹⁴ e que artigos inválidos continuaram a ser citados após a sua retificação.¹⁵

A ausência de relação entre FI e qualidade do periódico também deriva de limitações do próprio algoritmo. Um pequeno número de artigos é responsável por um grande percentual das citações, na medida em que o algoritmo do ISI constitui uma medida da freqüência média de citação de uma publicação. Diferentes periódicos relataram que uma pequena parcela de seus artigos recebeu a maioria das citações que geraram seus FIs: na revista Nature, durante 2004, 25% dos artigos foram responsáveis por 89% das citações.¹⁶ Os periódicos que publicam um grande número de "itens não citáveis" – como cartas, notas, editoriais e comentários – podem atingir um FI mais alto, na medida em que o algoritmo inclui esses itens somente no numerador (e não no denominador). Além disso, uma alta freqüência de autocitações poderia teoricamente aumentar o FI de um periódico (ainda que um estudo de 2002 tenha demonstrado que esse não é o caso dos principais periódicos, que normalmente possuem índices de autocitação inferiores a 20% – uma proporção definida como aceitável pelo ISI).¹⁷

Apesar de os índices de citação terem sido desenvolvidos originalmente para propósitos de busca de informações, eles são cada vez mais utilizados em bibliometria e em outros estudos de avaliação da qualidade científica. Um número crescente de agências de financiamento está utilizando o FI como um critério para decisões sobre financiamentos de pesquisa. No Brasil, por exemplo, os FIs dos periódicos têm sido índices importantes utilizados na avaliação de programas de pós-graduação. Entre os diversos índices utilizados pela agência governamental Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES), os programas são também avaliados pelas publicações de estudantes e pesquisadores. Na área de Psiquiatria, se um artigo é publicado em um periódico com um FI maior do que 1, é classificado como Internacional A; se o artigo está no JCR e seu FI é menor que 1, é classificado como Internacional B. Os periódicos listados no Medline e não no JCR são classificados como Internacional C. Os periódicos na SciELO são classificados como Nacional A (para uma descrição detalhada desse sistema de classificação, acessar o website do Qualis).¹⁸

Uma questão colocada por essa prática é até que ponto o FI é uma medida válida e confiável da produção científica. Em paralelo aos índices elaborados para avaliar periódicos, foram propostos novos índices a fim de estimar a qualidade da produção científica de um pesquisador. O índice H, também conhecido como número de Hirsch, quantifica a produção científica de um autor individual com base nas citações que cada um de seus artigos recebe. Um pesquisador com um índice h publicou pelo menos h artigos com pelo menos h citações cada (e.g., um índice h de 25 significa que um cientista publicou pelo menos 25 artigos, cada um com pelo menos 25 citações).¹⁹ Enquanto os índices desenvolvidos para avaliar o impacto de um periódico na literatura científica somente incorporam citações atuais a artigos recentemente publicados, os índices criados para estimar a qualidade de um pesquisador individual englobam toda a carreira acadêmica do cientista. Isso produz um impacto significativo na comparação entre dois pesquisadores em pontos distintos de suas carreiras (como pode ser o caso nas tomadas de decisão sobre o financiamento de pesquisas, por exemplo). Outra limitação de medidas que incluem toda a trajetória de um cientista é o fato de que um pesquisador com um grande número de citações no passado pode se beneficiar de seu capital científico, mesmo não tendo mantido sua produtividade nos últimos anos. As opções para evitar esses vieses incluem ajustar os índices para idade e tempo desde a graduação, assim como restringir as análises a um período de tempo recente (e.g., os últimos cinco ou dez anos).

Uma alternativa para aumentar a sensibilidade do FI na avaliação de periódicos é a de ponderar cada citação recebida de acordo com o número de citações recebidas pelo próprio periódico que concedeu a citação. Isso foi denominado de lógica de PageRank (PR), na qual receber uma citação de um periódico altamente citado conta de forma distinta de ser citado por uma publicação com baixa citação. Uma combinação de PR e FI gera o novo índice Y. Com relação ao ano de 2003, as diferentes metodologias empregadas pelo FI e pelo índice Y originaram diferentes rankings de periódicos: enquanto as publicações com FI mais altos incluíram somente periódicos de revisão (Annual Review of Immunology, Annual Review of Biochemistry e Physiological Reviews), o índice Y colocou periódicos de alto prestígio – Nature, Science e New England Journal of Medicine – nas três primeiras posições.^20-21

Como instituições acadêmicas e agências de financiamento vêm adotando tais índices de forma crescente na avaliação da produtividade científica, a pesquisa sobre a adequação dessas medidas permanece sendo altamente oportuna. Tal debate deve incluir questões relativas aos vieses nos registros de citação, a predominância lingüística do inglês, a política de acesso livre e a análise de índices não baseados em citações.

No caso da RBP, a implementação do sistema de publicação ahead of print, por meio do qual os artigos são publicados on-line (com abstracts disponíveis no Medline) antes da versão impressa, aumentou a exposição de artigos da RBP à comunidade científica. A adoção de um sistema de submissão on-line de artigos no futuro próximo provavelmente contribuirá para uma maior velocidade e precisão do processo de revisão. A livre disponibilidade do conteúdo do periódico e a publicação dos artigos em inglês também contribuem para aumentar a visibilidade da revista. A RBP enfrenta agora o desafio de melhorar continuamente os seus índices de qualidade, incluindo a manutenção de um ritmo crescente de citações a fim de atingir um FI inicial acima de 1 no ano de 2007. Todo este trabalho deverá possibilitar a atração de artigos originais de alta qualidade para a RBP, com a finalidade última de publicar pesquisas inovadoras e de fornecer uma educação médica continuada de alta qualidade para profissionais de saúde mental.

Agradecimentos

Agradecemos à Fernanda Vergueiro pelos dados sobre os processos editoriais da RBP. Estamos também em dívida com Euripedes C. Miguel, Jair Mari e Luis Augusto Rohde por sua revisão atenta do artigo.

References

Financiamento: nenhum

Conflito de interesses: Christian Kieling é atualmente Editor Júnior da Revista Brasileira de Psiquiatria

Recebido: 16 Abril 2007

Aceito: 16 Abril 2007

• 1 McDonald L, Taylor L, Adams C. Searching the right database. A comparison of four databases for psychiatry journals. Health Libr Rev. 1999;16(3):151-6.
• 2 Thomson Scientific. ISI JCR Glossary. [cited Jan 15, 2006] Available from: www.thomsonisi.com/glossary
• 3 Garfield E. Citation indexes to science: a new dimension in documentation through association of ideas. Science. 1955;122(3159):108-11.
• ⁴
  4 The ISI impact factor. Current Contents. [cited Jun 20, 1994]. Available from: http://scientific.thomson.com/free/essays/journalcitationreports/impactfactor
• 5 West R, McIlwaine A. What do citation counts count for in the field of addiction? An empirical evaluation of citation counts and their link with peer ratings of quality. Addiction. 2002;97(5):501-4.
• 6 Saxena S, Levav I, Maulik P, Saraceno B. How international are the editorial boards of leading psychiatry journals? Lancet. 2003;361(9357):609.
• 7 Patel V, Sumathipala A. International representation in psychiatric literature: survey of six leading journals. Br J Psychiatry. 2001;178:406-9.
• 8 Catapano LA, Castle DJ. How international are psychiatry journals? Lancet. 2003;361(9374):2087.
• 9 Bressan RA, Miguel EC, Mari JJ, Rohde LA, Mercadante MT. We have arrived at Medline, whither now? Rev Bras Psiquiatr. 2004;26(1):1.
• 10 Bressan RA, Miguel EC, Mari JJ, Rohde LA, Mercadante MT. We have reached the ISI! Rev Bras Psiquiatr. 2005;27(3):170-1.
• 11 Meneghini R, Packer AL. Is there science beyond English? Initiatives to increase the quality and visibility of non-English publications might help to break down language barriers in scientific communication. EMBO Rep. 2007;8(2):112-6.
• 12 DeAngelis CD, Fontanarosa PB. Thank You, JAMA Peer Reviewers and Authors. JAMA. 2006;295(10):1171-2.
• 13 Meneghini R, Mugnaini R, Packer AL. International versus national oriented Brazilian scientific journals. A scientometric analysis based on SciELO and JCR-ISI databases. Scientometrics. 2006;69(3):529-38.
• 14 Berghmans T, Meert AP, Mascaux C, Paesmans M, Lafitte JJ, Sculier JP. Citation indexes do not reflect methodological quality in lung cancer randomized trials. Ann Oncol. 2003;14:715-21.
• 15 Pfeifer MP, Snodgrass GL. The continued use of retracted, invalid scientific literature. JAMA. 1990;263:1420-3.
• 16 Editorial. Not so deep impact. Nature. 2005;435:1003-4.
• 17 McVeigh ME. Journal self-citation in the journal citation reports - science edition (2002). [cited Jan 15, 2002] Available from: http://scientific.thomson.com/free/essays/journalcitationreports /selfcitation2002
• ¹⁸
  18 CAPES. Critério para classificação de periódicos no sistema Qualis: Grande Área de Saúde – triênio 2004-2006. [cited 15 Jan 2007] Available from: http://servicos.capes.gov.br/arquivos/avaliacao/webqualis/criterios2004_2006/Criterios_Qualis_2005_16.pdf
• 19 Hirsch JE. An index to quantify an individual's scientific research output. Proc Natl Acad Sci USA 2005;102(46):16569-72.
• 20 Bollen J, Rodriguez MA, Van de Sompe H. Journal status. Scientometrics. 2006;69(3):1-16. [cited 20 Jan 2007] Available from: http://www.soe.ucsc.edu/~okram/papers/journal-status.pdf
• 21 Ball P. Prestige is factored into journal ratings. Nature. 2006;439(7078):770-1.

Datas de Publicação

• Publicação nesta coleção
  06 Jul 2007
• Data do Fascículo
  Jun 2007

Histórico

• Aceito
  16 Abr 2007
• Recebido
  16 Abr 2007