Impact factor, scientific production and quality of Brazilian medical journals
Fator de impacto, produção científica e qualidade das revistas médicas brasileiras
José Rodrigues CouraI; Luciane de CB WillcoxII
IEditor Científico
IIEditora Administrativa
Brazilian scientific community is highly influenced by the impact factor rates of the journals where their production is published. There is an indicator that is used and accepted, in Brazil, by the majority of researchers, research and educational institutions, and also by most research and post-graduation financing agencies, especially CNPq and Capes; it is the Science Citation Index (SCI), from the Institute for Scientific Information (ISI) databases, which is published in the Journal Citation Reports (JCR).
ISI indexes nearly 16,000 journals, within more than 160 areas of knowledge. Among these titles, there are 15 Brazilian journals, carefully selected, that represent 0.09% of all ISI indexed titles. Considering the 15 Brazilian journals, only one (Computational and Applied Mathematics Cambridge, MA, USA) reached an impact factor higher than 1, the others ranges from 0.764 to 0.032, according to JCR 2001.
The impact factor is determined by dividing the number of citations received by the journal articles within a year on ISI indexed journals, to the number of works published by the journal during the two previous years. For instance: the 423 articles published by Memórias do Instituto Oswaldo Cruz in 1999 and 2000 were cited 272 times, in 2001, on ISI indexed journals; therefore, Memórias' impact factor, in 2001, achieved 0.643 (272/423). Other indicators are also considered, such as the Immediacy Indexthat points out the relation between the citations, in 2001, of papers published in that same year, and the Cited Half-lifethat accumulates from previous years.
The SciELO program (Scientific Electronic Library On-line), coordinated by Bireme and Fundação de Amparo à Pesquisa do Estado de São Paulo Fapesp (São Paulo State Research Support Foundation), indexes 91 from nearly 500 Brazilian journals. This number represents about 18% of national journals, including those indexed by ISI, by Medline/Index Medicus and Psyinfo (APA) and others selected by SciELO Consultant Committee, according to the journal scientific guidelines, the Publishing Board, periodicity, punctuality, number of articles during the year, among other criteria. Following ISI similar criteria and, in our opinion, more adapted to Brazilian reality and less discriminatory, even because of a continuous evaluation process accomplished by an Intelligent Consultant Committee, SciELO includes journals of excellent scientific quality and medical-social importance. Among these, we call attention to Revista da Sociedade Brasileira de Medicina Tropical, Revista do Instituto de Medicina Tropical de São Paulo, Revista de Saúde Pública, and Cadernos de Saúde Pública, only to mention those, which are akin to Memórias do Instituto Oswaldo Cruz.
A merit of SciELO is the fact that this program manages to reveal the so called "hidden science", which, contrary to what most people believe, is not being published on second line journals. Considering that ISI indexes only 15 Brazilian journals, the papers published on the other 76 journals indexed by SciELO are not being considered. Excellent articles, mainly on the areas of Tropical Medicine and Public Health are not accepted in foreign journals, especially that considered of "regional interest". Many times, extremely important information is not properly divulged because they are not considered "universal science". For instance, an article about a diarrhea outbreak caused by a specific kind of Escherichia coli, which presented fatal occurrences similar to cholera in Brazilian Amazonian communities, is not accepted in some ISI indexed journals, because treats of a "local problem". On the other hand, the emergence of Chagas disease in the Amazonian region, at the same time the disease starts to be controlled in endemic areas, should also be considered a local interest problem? Generally, researches about neglected diseases (although of great interest for underdeveloped countries) do not call attention of developed countries; therefore, essays created upon these researches are not accepted for publishing on international journals. Where should we publish, then, the researches that are interesting to emerging countries like ours? Should we also stop studying diseases that still prevail among underprivileged population?
Artificiality of Citation Indexes and Impact Factors
As already mentioned, the most popular criterion for evaluating a journal impact factor is the value adopted by SCI, from ISI databases, and published by JCR. The artificiality of this criterion may be clearly demonstrated, by considering the short time taken into account for evaluation, the published article type and the difference between knowledge areas. Two years represent very little, in terms of scientific area. For instance, a scientific discovery may last ten years or more to be proved, validated, discussed and absorbed by scientific community. On the other hand, the type of article, a review or a technical adaptation, may register a high index of citations within a short period, while a discovery, depending on the area, may take years to be recognized. The knowledge areas have different dynamics. One can never compare an epidemiological study in the Tropical Medicine area, a restricted community, with an immunological study that contemplates a huge community. Certainly, the citation indexes of Tropical Medicine respectable journals cannot be compared with the indexes recorded in, also respectable, Immunology journals.
Top journals, such as Science and Nature, publish articles that are never, or rarely, cited before five years or more (Garfield, 1983. Current Contents 44: 5-13). Articles that are published in the Lancet and in the New England Journal of Medicine, reputable Medicine journals, have an enormous citation index. Nobel Prize winners sometimes are not the most cited authors in their academic life (Garfield 1986. Current Contents 23: 3-8). E. Garfield, a pioneer regarding the creation of science citation index, argues: "Citation analysis is not a shortcut to be used as a replacement for thinking", and adds: "It is the point of depature for those who are willing to explore every avenue to thorough evaluation". These and other examples points out the artificiality of scientific journals impact factors, called "comedy of errors" by Dirk Schoonbaert and Gibert Roelants (1996. Trop Med Intern Health 1: 739-752).
Evolution of Brazilian Scientific Production
The Brazilian scientific production, measured by the number of articles on ISI indexed international scientific journals, increased more than five times from 1981 to 2001; in 1981, there were 1,889 published articles and, in 2001, this number reached 10,555, according to Brazilian Ministry of Science and Technology, based on a ISI survey (mentioned by Claudia Izique, in Pesquisa Fapesp, 2002). As a result, there was an increase in Brazilian publications in relation to international scientific production, which ranged from 0.44%, in 1981, to 1.4%, in 2001. This fact naturally indicates an increase in the number of qualified people for research (Doctors and Masters), which triples in the last ten years. The Graphic shows the evolution of Brazilian scientific production indexed by ISI.
Increase of Brazilian publications on international scientific journals from 1981 to 2001.
Source: ISI. Survey of Ministry of Science and Technology
The increase of Brazilian works published on indexed international journals, as presented on the Graph, illustrates only part of the whole increasing process. If we also take into account the SciELO indexed journals, not included in ISI, this number would be one third higher and would reach 13,000 - 14,000 articles, among the international and national indexed ones; not mentioning articles of the other 80% of national journals that are not indexed by ISI/SciELO. On the other hand, global bibliographic production from doctors researchers, recorded by the Research Directory of CNPq, between 1981 and 2001, considering national and international journals, points out an annual average of approximately 46,000 titles; what means a number three times higher than the indexed publications. The science that comes out from the two-thirds of articles not published on indexed journals, this could be called "hidden science" or neglected science.
BRAZILIAN MEDICAL JOURNALS. WHERE ARE WE GOING?
There are many medical-biomedical journals published in Brazil. Two or three of them are indexed by ISI and some of them, by SciELO program, which includes, as already mentioned, ISI and Medline/Index Medicus. Among ISI indexed periodicals, Memórias do Instituto Oswaldo Cruz and the Brazilian Journal of Medical and Biological Research should be pointed out, as they received, respectively, 1,443 and 1,453 references on ISI indexed journals; therefore, achieving an impact factor of 0.643 and 0.769, lower values than those required by Capes' QUALIS A (=1), regarding Biological Sciences I and II courses.
In the case of Brazilian Journal, the coordination of the mentioned areas decided to raise it, in exception, to QUALIS A, though its impact factor is 0.769. When considered the ISI Immediacy Index, Memórias recorded 223 references in 2001 and an impact factor of 0.067, while the Brazilian Journal recorded197 references during the same year and registered 0.056 in the Immediacy Index, confirming the artificiality of the referred indexes.
If we consider SciELO index, the Brazilian Journal, which published 593 articles in 1998, 1999 and 2000, cited 48 times in 2001, obtained an index of 0.0809; while Memórias published 599 articles during that period, cited 212 times in 2001, and obtained an impact factor of 0.272, that is to say, 3.36 times higher than the first one. This fact does not mean that Memórias is3.36 times better than the Brazilian Journal, but just confirms the artificiality and variability of the different indexes.
Other Brazilian journals, such as Revista da Sociedade Brasileira de Medicina Tropical, Cadernos de Saúde Pública, Revista de Saúde Pública and Revista do Instituo de Medicina Tropical de São Paulo published, respectively, 307, 372, 344 and 283 articles and recorded SciELO impact factors of 0.420, 0.247, 0.239 and 0.155, in the period. In the same way, this fact does not mean that they are better or worse than each other, or in comparison with Memórias or Brazilian Journal. It depends on the circumstances, which may favor citations on one or on other index. Although not being indexed by ISI, Revista da Sociedade Brasileira de Medicina Tropical, is a fine periodical, with strict editorial guidelines and the advantage of being an Association journal; thus, it is distributed for hundreds of associates and is very cited by them. The same situation occurs in the case of the American Journal of Tropical Medicine and Hygiene (of greater impact in the Tropical Medicine area) and the American Journal of Clinical Microbiology, as they have thousands of associates, a large distribution and high indexes of citation and impact.
We, Brazilians, are very interesting and creative; we improved a lot our journals, with a rigid editorial guideline and specific financing from development agencies. Afterwards, these same agencies establish a criterion (QUALIS) that does not favor our journals, except one of them promoted in exception, because these journals do not reach the minimum impact factor established by the agencies, even though they are ISI indexed. As a consequence, we submit our best papers to foreign journals, which present a higher impact factor and, doing so, hoping to reach Capes' QUALIS or, maybe, the "Third World Nobel Prize", we contribute to lower the quality of our own journals. Brazilian science has improved, but the conscience of part of the Brazilian scientific community did not improve in the same level! QUO VADIS?
A comunidade científica brasileira vem sendo altamente influenciada pelo fator de impacto das revistas onde ela publica os seus trabalhos. Um dos indicadores utilizados e aceitos, no Brasil, pela maioria dos pesquisadores, instituições de ensino e pesquisa e agências financiadoras de pesquisa e pós-graduação, particularmente pelo CNPq e pela Capes, é o Science Citation Index (SCI), da base de dados do Institute for Scientific Information (ISI) divulgado pelo Journal Citation Reports (JCR).
O ISI indexa, aproximadamente, 16 mil periódicos em mais de 160 áreas de conhecimento. Dentre estes estão 15 revistas brasileiras, rigorosamente selecionadas, que representam 0.09% de todas as revistas indexadas no ISI. Destas 15, apenas uma (Computational and Applied Mathematics publicada em Cambridge, MA, USA) apresenta fator de impacto acima de 1, as outras 14 apresentam valores que variam de 0.764 a 0.032 no JCR 2001.
O fator de impacto é calculado dividindo-se o número de vezes em que os artigos de uma revista são citados em um determinado ano, em revistas indexadas pelo ISI, pelo número de trabalhos publicados pela revista nos dois anos anteriores. Por exemplo: os 423 artigos publicados pelas Memórias do Instituto Oswaldo Cruz em 1999 e 2000 foram citados 272 vezes em 2001 em revistas indexadas pelo ISI, portanto, o fator de impacto das Memórias em 2001 foi de 0.643 (272/423). Outros índices como o Immediacy Index, relação entre as citações em 2001 dos trabalhos publicados naquele ano e o Cited Half-life, cumulativo de anos anteriores, também são apurados.
O programa SciELO (Scientific Electronic Library On-line) coordenado pela Bireme e pela Fundação de Amparo à Pesquisa do Estado de São Paulo (Fapesp), indexa 91 das cerca de 500 revistas brasileiras, em um percentual aproximado de 18% dos periódicos nacionais, incluindo automaticamente os indexados pelo ISI, pelo Medline/Index Medicus e Psyinfo (APA) e outros selecionados pelo Comitê Consultivo SciELO, de acordo com o caráter científico da revista, seu Conselho Editorial, sua periodicidade, sua pontualidade, número de artigos por ano, entre outros. Com critérios semelhantes aos do ISI, e a nosso ver mais adequados à realidade brasileira e menos discriminatórios, inclusive pela presença de avaliação continuada de um Comitê Consultivo Inteligente, o SciELO inclui revistas de boa qualidade científica e importância médico-social, entre as quais destacamos a Revista da Sociedade Brasileira de Medicina Tropical, a Revista do Instituto de Medicina Tropical de São Paulo, a Revista de Saúde Pública e os Cadernos de Saúde Pública, para citar apenas as mais relacionadas com o campo das Memórias do Instituto Oswaldo Cruz.
Um dos méritos do SciELO é fazer aflorar a chamada "ciência escondida" que, ao contrário do que muitos pensam, não está sendo publicada em revistas de segunda categoria. Considerando que o ISI indexa apenas 15 revistas brasileiras, os trabalhos publicados nos demais 76 periódicos indexados pelo SciELO, não estariam sendo considerados. Excelentes artigos, particularmente nas áreas da Medicina Tropical e da Saúde Pública não são aceitos em revistas estrangeiras, principalmente aqueles considerados de "interesse local". Informações extremamente importantes deixam muitas vezes de ser divulgadas adequadamente por não serem consideradas "ciência universal". Por exemplo, um artigo sobre um surto de diarréia por um tipo específico de Escherichia coli, com vários casos fatais simulando cólera em comunidades da Amazônia brasileira, deixa de ser aceito em algumas revistas indexadas pelo ISI por ser um "problema local". Por outro lado, a emergência da doença de Chagas na Amazônia, quando a doença começa a ser controlada em áreas endêmicas, é também considerada um problema de interesse local? Em geral, pesquisas sobre as doenças negligenciadas (mas de grande importância para os países subdesenvolvidos) não são do interesse dos países desenvolvidos; portanto, os manuscritos gerados dessas pesquisas não serão aceitos para publicação em revistas internacionais. Onde devemos, então, publicar as pesquisas que interessam aos países emergentes como o nosso? Devemos nós também deixar de pesquisar as doenças que ainda atacam as populações menos favorecidas?
Artificialidade dos índices de citação e dos fatores de impacto
Como já mencionado, o critério mais popular para avaliar o fator de impacto de uma revista é o valor adotado pelo SCI, da base de dados do ISI, divulgado pelo JCR. A artificialidade desse critério pode ser claramente demonstrada pelo curto tempo de avaliação, pelo tipo de artigo publicado e pela diferença entre as áreas do conhecimento. Dois anos representam muito pouco na área científica. Por exemplo, uma descoberta pode levar até dez anos, ou mais, para ser comprovada, validada, discutida e absorvida pela comunidade científica. Por outro lado o tipo de artigo, um review ou uma adaptação técnica, podem ter um enorme índice de citação a curto prazo, enquanto uma descoberta, dependendo da área, pode levar anos até ser reconhecida. As áreas de conhecimento têm diferentes dinâmicas. Não se pode comparar um estudo epidemiológico na área da Medicina Tropical, onde a comunidade é restrita, com um estudo imunológico onde a comunidade é enorme. Certamente os índices de citação das revistas de boa qualidade na Medicina Tropical não podem ser comparados com os índices em revistas, também de boa qualidade, da Imunologia.
Revistas top, do nível da Science e da Nature publicam artigos que nunca, ou raramente, são citados antes de cinco anos ou mais (Garfield, 1983. Current Contents 44: 5-13). Artigos publicados no Lancet e no New England Journal of Medicine, revistas médicas de boa qualidade, têm um enorme índice de citação. Nem sempre os ganhadores de Prêmio Nobel foram os autores mais citados em suas vidas acadêmicas (Garfield 1986. Current Contents 23: 3-8). E. Garfield, pioneiro na criação do índice de citação para a ciência, argumenta: "Análise de citação não é um atalho usado para substituir o bom senso", e acrescenta: "É o ponto de partida para aqueles que desejam explorar cada avenida da avaliação". Estes e outros exemplos podem demonstrar a artificialidade dos fatores de impacto das revistas científicas, chamado de "comédia de erros" por Dirk Schoonbaert e Gibert Roelants (1996. Trop Med Intern Health 1: 739-752).
Evolução da Produção Científica Brasileira
A produção científica brasileira, medida por número de artigos em periódicos científicos internacionais indexados pelo ISI, mais que quintuplicou de 1981 a 2001, passando de 1.889 artigos publicados em 1981 para 10.555 em 2001, segundo o Ministério da Ciência e Tecnologia do Brasil, baseado em levantamento do ISI (citado por Claudia Izique, em Pesquisa Fapesp, 2002). Conseqüentemente houve um crescimento das publicações brasileiras de 0,44% da produção científica mundial em 1981 para 1,4% em 2001. Este fato reflete naturalmente o aumento das pessoas qualificadas para a pesquisa (doutores e mestres), que triplicou nos últimos dez anos. A figura mostra a evolução da produção científica brasileira indexada pelo ISI
Aumento do número de trabalhos brasileiros, publicados em revistas científicas internacionais, de 1981 a 2001.
Fonte: ISI. Levantamento do Ministério da Ciência e Tecnologia.
O aumento das publicações brasileiras em revistas internacionais indexadas, conforme apresentado na figura, representa apenas uma parte desse crescimento. Se considerarmos ainda as revistas indexadas pelo SciELO, não incluídas no ISI, esse aumento seria acrescido em pelo menos um terço, chegando aos 13.000 - 14.000 artigos entre os internacionais e nacionais indexados, sem contar os artigos de 80% de outras revistas brasileiras não indexadas pelo ISI/SciELO. Por outro lado, a produção bibliográfica global de pesquisadores doutores, levantada pelo Diretório de Pesquisa do CNPq, no período de 1998 a 2001, em revistas nacionais e internacionais, apresenta uma média anual de aproximadamente 46.000 publicações, ou seja, mais de três vezes em relação às publicações indexadas. Esta sim, poderia ser considerada em parte a "ciência escondida" ou negligenciada, nos seus dois terços publicados em revistas não indexadas.
REVISTAS MÉDICAS BRASILEIRAS. PARA ONDE VAMOS?
Numerosas revistas médico-biomédicas são editadas no Brasil, duas ou três indexadas pelo ISI e algumas pelo programa SciELO, que inclui, como já mencionado, o ISI e o Medline/Index Medicus. Entre as revistas indexadas pelo ISI destacam-se as Memórias do Instituto Oswaldo Cruz e o Brazilian Journal of Medical and Biological Research, que obtiveram, em 2001, respectivamente, 1.443 e 1.453 citações em revistas indexadas pelo ISI, obtendo fatores de impacto de 0.643 e 0.769, respectivamente, inferiores ao exigido para o QUALIS A (= 1) da Capes para os cursos das áreas de ciências biológicas II e III.
No caso do Brazilian Journal a coordenação daquelas áreas resolveu promovê-lo, por exceção, para QUALIS A, apesar de seu fator de impacto ser igual a 0.769. Quando considerado o Immediacy Index do ISI, as Memórias tiveram 223 citações em 2001, obtendo um índice de 0.067, enquanto o Brazilian Journal teve 197 citações naquele ano e ficou com o Immediacy Index de 0.056, confirmando a artificialidade dos índices a que nos referimos.
Quando considerado o índice SciELO, o Brazilian Journal, que publicou 593 artigos nos anos 1998, 1999 e 2000, que foram citado 48 vezes em 2001, obteve um fator de impacto de 0.0809, enquanto as Memórias, que publicaram 599 artigos naquele período, que foram citados 212 vezes em 2001, obtiveram um impacto de 0.272 ou seja 3.36 vezes maior. Isso não significa que as Memórias sejam 3.36 vezes melhor do que o Brazilian Journal, apenas confirma a artificialidade e a variabilidade dos diversos índices.
Outros periódicos como a Revista da Sociedade Brasileira de Medicina Tropical, os Cadernos de Saúde Pública, a Revista de Saúde Pública e a Revista do Instituo de Medicina Tropical de São Paulo, que publicaram respectivamente 307, 372, 344 e 283 artigos, tiveram fatores de impacto SciELO de 0.420, 0.247, 0.239 e 0.155, respectivamente, no período. Da mesma forma isso não significa que eles sejam melhores ou piores entre si ou em relação às Memórias ou ao Brazilian Journal. São condições circunstanciais que favorecem a maior citação por um ou outro índice. A Revista da Sociedade Brasileira de Medicina Tropical, embora não indexada pelo ISI, é uma boa revista, com corpo editorial exigente e tem a vantagem de ser uma revista de sociedade, distribuída para centenas de sócios, sendo por isso muito citada por eles. Este é o mesmo caso do American Journal of Tropical Medicine and Hygiene (de maior impacto na área de Medicina Tropical) e do American Journal of Clinical Microbiology, cuja sociedade tem milhares de sócios, grande distribuição e alto índice de citação e de impacto.
Nós brasileiros somos muito interessantes e criativos; melhoramos muito as nossas revistas, com corpo editorial rígido e financiamentos específicos das agências de fomento. Depois essas mesmas agências criam um critério (QUALIS), que não consideram as nossas revistas, exceto uma delas promovida por exceção, por não atingirem o fator de impacto mínimo exigido por elas, mesmo as indexadas no ISI. Em conseqüência, submetemos os nosso melhores trabalhos para revistas estrangeiras, de maior fator de impacto, prejudicando as nossas próprias revistas, esperando alcançar o QUALIS da Capes ou talvez "O Prêmio Nobel do Terceiro Mundo" por termos publicado em revistas do primeiro mundo. A ciência brasileira melhorou, mas a consciência de parte da comunidade científica não evoluiu no mesmo nível! QUO VADIS?
Publication Dates
-
Publication in this collection
18 July 2003 -
Date of issue
Apr 2003
