Índice-H dos artigos citantes: uma contribuição para a avaliação da produção científica de pesquisadores experientes

Resumos

BACKGROUND: there has been an increasing interest and need in evaluating the quality of scientific papers written by researchers. Therefore, the most important measurements used are the number of citations, the average number of citations per article published in indexed journals and the H-index. Those bibliometric indicators present, however, limitations when assessing the potential impact of the publications of a given researcher, particularly among the most productive ones. OBJECTIVE: To propose and to demonstrate the use of a new scienciometric strategy - the H-index of the citing articles-, that allow to better discriminate the impact of a given researcher to the body of knowledge in the respective research area. METHODS: Research data - Web of Science - from 13 of the most productive Brazilian PhD researchers in the field of exercise and sport sciences were analyzed, including: number of publications, number of citations, average number of citations per article, H-index and the proposed H-index of citing articles (the H-index extracted from the ranking of articles that cited the papers published by a given researcher). Data from four other researchers - Brazilian and foreign - were used as reference for comparisons. RESULTS: The researcher's H-index and the H-index of the citing articles were associated (r=.92; p>.01). However, when the six most productive authors were analyzed with H-index above 7, the association between the two indexes disappears (r=.35; p=.49). CONCLUSIONS: The H-index of the citing articles can be useful to discriminate the scientific production of authors with a high number of published papers. It is suggested that this algorithm should be adopted by Brazilian and foreign financing and scientific production evaluation agencies.

scienciometry; citations; research; evaluation; impact factor

ARTIGO DE OPINIÃO

CLÍNICA MÉDICA DO EXERCÍCIO E DO ESPORTE

Índice-H dos artigos citantes: uma contribuição para a avaliação da produção científica de pesquisadores experientes

Claudio Gil Soares de Araújo^I,II; Aline Sardinha^III,IV

^IPrograma de Pós-Graduação em Educação Física, Universidade Gama Filho. RJ - Brasil

^IIClínica de Medicina do Exercício- Clinimex. RJ - Brasil

^IIILaboratório de Pânico e Respiração, Instituto de Psiquiatria, Universidade Federal do Rio de Janeiro. RJ - Brasil

^IVInstituto Nacional de Ciência e Tecnologia – Translational Medicine (CNPq). RJ - Brasil

^{Correspondência}

RESUMO

INTRODUÇÃO: Há um crescente interesse e necessidade em avaliar a qualidade da produção científica dos pesquisadores. Para tal, as métricas mais importantes são: número de citações, número médio de citações por artigo indexado e o índice-H. Contudo, essas métricas apresentam limitações na avaliação do potencial de impacto das publicações de um pesquisador, especialmente dentre aqueles mais produtivos.

OBJETIVO: Propor e demonstrar a utilização de uma nova métrica científica – índice-H dos artigos citantes, que permite refinar a discriminação do impacto das publicações de pesquisadores experientes sobre o conhecimento existente em sua área.

MÉTODOS: Foram analisados dados da Web of Science de 13 dentre os pesquisadores doutores brasileiros mais produtivos na área de exercício físico e esporte, incluindo: número de artigos publicados, número de citações, número médio de citações por artigos, índice-H e o índice-H dos artigos citantes, ou seja, o índice-H obtido a partir da ordenação decrescente dos artigos que citaram artigos publicados pelo pesquisador. Dados de quatro outros pesquisadores – brasileiros e estrangeiros – foram usados como marcos de referência para comparações.

RESULTADOS: Os índice-H do pesquisador e o dos artigos citantes são associados (r = 0,92; p > 0,01), porém, quando são analisados os seis pesquisadores mais produtivos, com índices-H acima de 7, a associação entre os dois índices-H desaparece (r = 0,35; p = 0,49).

CONCLUSÃO: O índice-H dos artigos citantes pode contribuir para diferenciar a produção científica de pesquisadores com um grande número de artigos publicados. Sugere-se a adoção de sua mensuração pelas agências brasileiras e estrangeiras de fomento e de avaliação da produção científica.

Palavras-chave: cienciometria, citações, pesquisa, avaliação, fator de impacto.

INTRODUÇÃO

A produção de conhecimento científico é considerada frutífera quando os resultados e inovações trazidos pelas pesquisas conseguem alcançar a comunidade científica e o público em geral. A maneira habitual de veiculação dos resultados das pesquisas e de novas propostas e análises científicas é através da publicação de artigos em veículos especializados, comumente denominados periódicos científicos. De forma geral, tais veículos são caracterizados por uma rígida política editorial, apoiada por editores e revisores academicamente qualificados e imparciais, visando selecionar e permitir apenas a publicação de artigos metodologicamente válidos e cientificamente relevantes. A partir disso, se estabelece um processo, no qual os pesquisadores procuram publicar suas contribuições em periódicos de destaque e alta credibilidade. Entretanto, o que define a qualidade do pesquisador ou de um periódico científico? Para tentar responder a essa questão, emerge a necessidade de gerar critérios objetivos de avaliação.

A métrica da ciência – ou cienciometria – é um ramo das ciências da informação que vem se tornando cada vez mais popular entre as agências de fomento científico, as instituições de ensino superior e os pesquisadores das mais diversas áreas de conhecimento^(1-3). Na realidade, como relatado por Bergstrom⁽⁴⁾, a análise das citações bibliográficas já havia sido reportada em 1927, mas foi somente através de uma proposta feita pelo pesquisador Eugene Garfield e publicada na revista Science, em 1955⁽⁵⁾, que essa métrica de citação bibliográfica tornou-se a referência básica⁽⁶⁾. Assim, a inclusão de informações ou dados de um determinado artigo publicado no texto de um novo artigo e, consequentemente, a sua citação na lista das referências bibliográficas desse novo artigo é atualmente o principal elemento presente nos algoritmos mais utilizados da cienciometria^(6,7).

A partir da crescente sistematização da informação e, mais recentemente, do uso de potentes ferramentas matemáticas, passou a ser possível objetivamente encontrar, quantificar e valorizar o número de vezes que um determinado artigo científico é posteriormente citado. Como desdobramento natural dessa métrica, surgiu o fator de impacto dos periódicos e as suas múltiplas variações, representando, em uma análise simplista, a média de citações dos artigos publicados por um determinado periódico nos dois anos seguintes ao ano de sua publicação⁽⁸⁾. A discussão sobre as virtudes e os defeitos ou limitações do fator de impacto datam de longa data^(9-14), mas permanecem ainda na pauta, como atestam vários artigos relevantes e bastante recentes^(15-22). Nesse contexto é oportuno destacar que as citações dos artigos publicados por autores brasileiros em periódicos nacionais já é analisada há muitos anos com base nos dados disponibilizados pelo sistema ISI (Institute of Scientific Information)^(1,23-28).

Nesse sentido é interessante notar que inúmeros periódicos brasileiros da área de saúde, principalmente os mais diferenciados, em algum momento dos últimos anos, publicaram algum artigo sobre essa temática, seja para apresentar um ponto de vista^(2,29-36) ou para reportar a obtenção do primeiro fator de impacto calculado pela Web of Science^(37-39). A questão do fator de impacto assumiu um significado ainda maior no Brasil, pelo fato de ser utilizado e extremamente valorizado pelas agências governamentais brasileiras de fomento e, especialmente, na avaliação da produção científica dos docentes vinculados aos programas de pós-graduação pela CAPES (Coordenação de Aperfeiçoamento do Pessoal de Ensino Superior)⁽⁴⁰⁾. Não obstante, essa prática vem sendo apropriadamente questionada pelos principais editores de periódicos científicos brasileiros, notadamente aqueles que atuam na área de saúde^{(21,33,41,42)} e até mesmo pela imprensa leiga⁽⁴³⁾.

Muito embora alguns dos principais indicadores de produção científica tenham se mostrado suficientemente consistentes e válidos, capazes não somente de resistir às diversas críticas por mais de 50 anos, mas também de adquirirem uma progressiva notoriedade e crescente utilização, é natural que outros indicadores de produção científica tenham surgido nos últimos anos. Dentre os novos indicadores, o índice-H, proposto pelo físico Hirsch em 2005⁽⁴⁴⁾ e suas subsequentes variações^(45-47), talvez seja aquele que mais tem atraído a atenção do meio acadêmico. O índice-H, de compreensão menos intuitiva, também faz uso das citações obtidas pelos artigos publicados, sem, porém, estabelecer um limite temporal, sendo contabilizadas, portanto, as citações obtidas desde sua publicação ou disponibilização no site do periódico (publish ahead). O índice-H consiste no número de artigos publicados que receberam citações maiores ou iguais a esse número^(29,48,49) e pode ser aplicado tanto para pesquisadores individuais ou grupos de pesquisadores^(29,50,51), como para periódicos⁽⁴⁶⁾. Por exemplo, um pesquisador que possui um índice-H de 10, implica-se que tenha publicado pelo menos 10 artigos que receberam 10 ou mais citações desde sua publicação ou disponibilização (publish ahead). Com uma conceituação bem próxima da medida de tendência central conhecida como mediana, o índice-H não é influenciado pelos extremos, como, por exemplo, acontece com a média de citações por artigo publicado. Tal como acontece com sua medida básica ou unidade fundamental – a citação –, o índice-H deve ser contextualizado por área ou subárea de conhecimento para efeito de comparações ou interpretação dos resultados^(20,47).

Muito embora haja pontos positivos nas métricas acima descritas, a análise permanece sendo primariamente quantitativa, sem um componente mais qualitativo que permita valorizar o mérito ou destaque acadêmico. Em realidade, não somente é relevante que um artigo publicado venha a ser citado, mas, principalmente, quem o está citando e em que periódico o artigo está sendo citado. Uma das alternativas mais recentes para essa questão é a proposição e a análise do Eigenfactor⁽⁴⁾ (www.eigenfactor.org, para maiores informações), que incorpora uma ponderação de qualidade baseada em um algoritmo; contudo, sua alta complexidade matemática dificulta sobremaneira uma leitura simples dos dados e minimiza sua aplicação mais ampla.

Nessa mesma lógica de análise métrica, pode-se, assim, verificar o potencial impacto multiplicador e disseminador de uma dada produção científica pelo número de citações que os artigos que o citaram estão obtendo. Essa métrica pode ser definida como o índice-H dos artigos citantes e pode ser obtida, de modo relativamente simples e rápido, através da análise e da ordenação decrescente dos dados disponibilizados na Web of Science – Thomson-Reuters.

Na prática, vemos que alguns pesquisadores acumulam um número importante de citações. Contudo, há aqueles cujos artigos são frequentemente citados por pares expoentes e em periódicos de alto impacto e outros, para os quais os respectivos artigos são citados, na maior parte, em periódicos de menor impacto ou de política editorial menos rígida. Pode ser, assim, apropriado identificar uma métrica científica que permita avaliar não somente o aspecto quantitativo das citações mas também que agregue um componente qualitativo de valorização.

O objetivo do presente artigo é propor e demonstrar o potencial discriminador de uma nova métrica bibliométrica – o Índice-H dos artigos citantes – através dos resultados de uma análise dos dados de uma amostra selecionada de pesquisadores brasileiros atuando na área de exercício físico e esporte.

MÉTODOS

Foram selecionados 17 autores para análise das citações e dos dados de produção científica. Dentre os 15 autores brasileiros, 13 pesquisam primariamente na área biológica do exercício físico, com temas de Fisiologia e/ou Medicina do Exercício e do Esporte. Esses 13 pesquisadores doutores (10 deles bolsistas de produtividade em pesquisa do CNPq – níveis 1A a 2), propositadamente variam em idade e tempo de carreira, indo desde orientadores seniores, e provavelmente alguns dos mais produtivos do País na área, até jovens recém-doutores. Os dados de quatro outros autores da área de saúde – dois estrangeiros e dois brasileiros – foram obtidos para complementar as análises e permitir o estabelecimento de alguns marcos de referência para comparações.

Em dezembro de 2010 foram levantados na base de dados Web of Science (Thomson-Reuters), acessada através do portal de periódicos CAPES, diversas métricas relevantes para o estudo, incluindo: número de artigos listados, o número de citações, o número de citações do artigo mais citado, a média de citações por artigo listado, o índice-H do pesquisador, o número de artigos publicados no quinquênio 2006-2010, o número de artigos publicados em 2010 e o número de citações em 2010. Através de ferramentas do próprio sistema foram cuidadosamente identificados e compilados uma lista dos artigos que citaram os artigos do pesquisador e posteriormente ordenados de modo decrescente do maior para o menor número de citações, permitindo, então, obter visualmente o índice-H dos artigos citantes, ou seja, o número H de artigos que receberam pelo menos H citações. Cuidado especial foi exercido para evitar que eventuais sinonímias inflassem artificialmente os dados. Alguns dados complementares sobre área de graduação, instituição de ensino superior de vinculação atual e condição como bolsista do CNPq foram obtidas a partir da análise dos currículos disponibilizados na plataforma Lattes.

As análises estatísticas limitaram-se a procedimentos descritivos convencionais e a determinação de coeficientes de correlação de Pearson. Quando apropriado, aplicou-se o critério de significância de 5% de probabilidade. O software Prism 5.04 (GraphPad, Estados Unidos) foi utilizado para a realização dos cálculos e para a elabo- ração das figuras.

RESULTADOS

A tabela 1 ilustra os resultados do estudo para os 13 pesquisadores brasileiros nas áreas de exercício físico e esporte. O perfil e o volume de produção científica, fruto da escolha proposital dos pesquisadores, variou substancialmente, de sete a 199 artigos publicados e listados na Web of Science, contemplando de duas a 1.106 citações em toda a carreira profissional. O índice-H dos pesquisadores também variou em 20 vezes, indo de um a 20.

Para 12 dos 13 pesquisadores, o índice-H dos artigos citantes é maior do que o índice-H do próprio pesquisador, podendo chegar a ser até três ou quatro vezes maior. A figura 1 mostra que há uma tendência de similaridade de comportamento nos dados dos índices-H do pesquisador e dos artigos citantes, refletido por um coeficiente de correlação de 0,92 (p < 0,001); contudo, quando uma análise é feita utilizando apenas os dados dos seis pesquisadores com maior produção científica (Figura 2) e, portanto, com maiores índices-H, verifica-se que a associação entre as duas métricas do índice-H desaparece (r = 0,35; p = 0,49), indicando que para os pesquisadores com índice-H maior do que 7, o índice-H dos artigos citantes pode ser extremamente variável, na prática, entre 12 e 32. A tabela 2 apresenta as associações observadas entre as diversas métricas científicas e o índice-H dos artigos citantes para os 13 pesquisadores doutores brasileiros da área de exercício físico e esporte que foram analisados no presente estudo.

Retornando aos dados da tabela 1 é possível observar que um determinado pesquisador estrangeiro bastante atuante na área de Cardiologia do Esporte – certamente um dos mais produtivos do mundo em termos de publicações científicas – possui 830 artigos indexados na Web of Science, 20% deles nos últimos cinco anos, totalizando 33.523 citações. O artigo mais citado desse pesquisador tem 622 citações e, em média, os seus artigos foram citados pouco mais de 40 vezes e o seu índice-H é de 97. Para esse pesquisador, por limitações inerentes à base de dados, não é possível, com a forma de acesso disponibilizada pelo portal de periódicos CAPES, calcular com segurança o seu índice-H dos artigos citantes. Por outro lado, para um pesquisador canadense publicando em temas de Neurologia e com uma concentração de sua produção de artigos nos últimos cinco anos, identificamos 243 artigos na Web of Science e 2.528 citações e obtivemos um índice-H do pesquisador de 30 e um índice-H de artigos citantes de 56.

Analisando os dados obtidos de dois pesquisadores brasileiros de outra área de saúde, um bolsista de produtividade em pesquisa do CNPq e um doutorando – a produção de ambos é quase que toda concentrada nos últimos cinco anos –, observa-se que as métricas de produtividade científica parecem ser bem distintas daquelas observadas na área de exercício e esporte, com índices-H bastante altos, tanto do pesquisador como do pós-graduando – 12 e 2, respectivamente, como dos artigos citantes – 47 e 2, respectivamente.

DISCUSSÃO

Parece cada vez mais evidente que a métrica da produção científica é necessária e relevante^(8,21). Contudo, persiste a importância de considerar as diversas limitações dos indicadores atualmente existentes e da ampliação dos horizontes na busca de novas informações ou indicadores que possam ser obtidos a partir dos dados disponíveis, especialmente dentro da realidade brasileira^(21,42,52). É dentro desse contexto que a proposta do índice-H dos artigos citantes se insere.

É oportuno e interessante notar que a estratificação dos periódicos científicos pelas áreas de Medicina da CAPES, no sistema conhecido como Qualis, considera primariamente o fator de impacto do periódico. Na área 21, representando Educação Física, Fisioterapia, Fonoaudiologia e Terapia Ocupacional, em uma postura mais abrangente e provavelmente adequada, estratifica-se os periódicos tanto pelo fator de impacto como pelo índice-H, mantendo, contudo, uma diferenciação, um tanto quanto imprecisa, no que se refere a um periódico ser ou não da área.

Do ponto de vista profissional, mais particularmente na área da saúde, o verdadeiro impacto de um artigo pode ser analisado pela efetiva incorporação de suas propostas, métodos, resultados e conclusões à prática. O maior exemplo dessa incorporação à prática profissional na Medicina do Exercício e do Esporte talvez possa ser observado nos protocolos e escalas nominadas, como o teste de Cooper, o teste de Wingate, o nomograma de Astrand, o protocolo de Bruce, a equação de Faulkner, a escala de Borg, estágio de Tanner. Estes exemplos, e tantos outros, podem ter sido originalmente publicados em artigos originais que não alcançaram necessariamente um alto número de citações, mas que os artigos subsequentes que os utilizaram foram amplamente citados. Destaca-se, ainda, que esses testes foram progressivamente incorporados nos principais livros-textos da área de conhecimento e, mais importantemente, inseridos na prática profissional.

Na prática, a lógica do processo funciona da seguinte maneira: os periódicos tendem a restringir, salutarmente, o número de referências que um artigo original pode ter (a regra é menos restritiva quando se trata de artigos de revisão). Dessa forma, os autores são obrigados a selecionar, criteriosamente, quais são os artigos que deverão ser citados para fundamentar seus estudos e análises de dados e tendem, naturalmente, a escolher aqueles que possuem maior qualidade e importância científica. Isso é especialmente válido nos artigos submetidos para periódicos de política editorial mais rígida, nos quais há uma avaliação muito crítica da literatura utilizada para suportar o artigo pelos revisores e pelos editores associados. Como resultado desse meticuloso e seletivo processo, os melhores artigos com as melhores citações possíveis são publicados nos melhores periódicos e serão, então, lidos pelos principais pesquisadores e profissionais do mundo. Esses, por sua vez, ao idealizarem seus próximos estudos ou palestrarem sobre sua área de expertise, incluirão dados desses artigos novos e daqueles que foram utilizados nas citações e assim por diante, resultando em uma progressiva e diferenciada exposição e um elevado potencial de influência dos artigos originais. Em outras palavras, o verdadeiro potencial que um artigo científico apresenta de incrementar o conhecimento da área é determinado por quão importante é quem o cita e onde este é citado.

Naturalmente, a única métrica que não se associa significativamente com o índice-H dos artigos citantes é o número de artigos publicados em 2010, pois não houve tempo para que os artigos publicados em 2010 pudessem vir a ser citados em artigos e que esses artigos viessem a ser citados. Nessa mesma linha de raciocínio é natural que os artigos publicados no último quinquênio também tenham menor potencial de se refletirem no índice-H de artigos citantes. A correlação, por outro lado, é excelente com o índice-H dos pesquisadores e é muito boa com a média das citações por artigo e com o número de citações no ISI, refletindo a tendência dessas medidas serem muito similares quando um conjunto mais amplo de pesquisadores, mesclando uma maior ou menor experiência ou produção, é analisado.

Considerando os artigos científicos propriamente ditos, a simples quantificação do número de citações que um artigo recebe não permite avaliar ou discriminar o potencial multiplicador ou de impacto no estado de conhecimento sobre um determinado tema ou tópico. Nesse sentido, as métricas com o índice-H apresentam várias vantagens, começando pela melhor caracterização da tendência central, não viesada pelos valores extremos^{(16,29,44,53,54)}, mas também por melhor refletir o conjunto da obra científica de um dado pesquisador. Em nossa proposta, o índice-H dos artigos citantes, a valorização da produção científica e do seu potencial impacto podem ser ainda muito melhor avaliados e discriminados, quando são considerados os pesquisadores mais experientes e produtivos. Os resultados aqui apresentados indicam que, quando foram analisados somente os dados dos pesquisadores mais experientes e produtivos, isso é, com índice-H acima de 7, a associação entre as duas métricas – índice-H das publicações dos pesquisadores e o índice-H dos artigos citantes das publicações – deixou de ser significativa. Tal como acontece com vários dos outros indicadores bibliométricos, a métrica aqui proposta – o índice-H dos artigos citantes – deve ser contextualizada para a área de conhecimento em que está sendo analisada, já que, aparentemente, áreas distintas tendem a possuir perfis díspares de resultados⁽⁴⁸⁾. A análise comparativa com pesquisadores de outras áreas ou estrangeiros com alta produção científica também permitiu identificar que, em raras situações, o número de citações pode ser tão alto que inviabiliza a determinação do índice-H de artigos citantes. Porém, pelo menos para pesquisadores com índices-H até 30, com menos de 300 artigos publicados e um número de citações inferior a três mil, ainda parece ser factível a avaliação dessa produção pelo índice-H de artigos citantes. Dessa forma, a quase totalidade dos pesquisadores brasileiros na área de saúde poderá ser avaliada por essa métrica.

Em síntese, o presente artigo, ao demonstrar o potencial discriminador do índice-H dos artigos citantes na diferenciação da produção científica de pesquisadores seniores, corrobora a sua utilização como mais um indicador dentro dos processos de avaliação. Finalmente, sugere-se que essa métrica proposta no presente estudo – índice-H dos artigos citantes – seja incorporada na análise da produção científica dos pesquisadores pelas principais agências de fomento e instituições de ensino superior e disponibilizada pelos sistemas específicos da Web of Science-ISI, da Scopus, do Google Acadêmico e da plataforma Lattes.

AGRADECIMENTOS

Os autores agradecem o suporte financeiro do CNPq e da FAPERJ através de bolsas de produtividade de pesquisa e de doutorado.

Todos os autores declararam não haver qualquer potencial conflito de interesses referente a este artigo.

• 1. Barreto ML. Crescimento e tendência da produção científica em epidemiologia no Brasil. Rev Saude Publica 2006;40:79-85.
• 2. Coura JR, de CB Willcox L. Fator de impacto, produção científica e qualidade das revistas médicas brasileiras. Memórias do Instituto Oswaldo Cruz 2003;98.
• 3. Marziale MHP, Mendes IAC. O fator de impacto das publicações científicas. Revista Latino-Americana de Enfermagem 2002;10:466-7.
• 4. Bergstrom C. Eigenfactor Measuring the value and prestige of scholarly journals. C&RL News (American Library Association) 2007;68:1-4.
• 5. Garfield E. Citation indexes for science; a new dimension in documentation through association of ideas. Science 1955;122:108-11.
• 6. Garfield E. "Science Citation Index"--A New Dimension in Indexing. Science 1964;144:649-54.
• 7. Garfield E. Journal impact factor: a brief review. Cmaj 1999;161:979-80.
• 8. Garfield E. The history and meaning of the journal impact factor. Jama 2006;295:90-3.
• 9. Garfield E. How can impact factors be improved? Bmj 1996;313:411-3.
• 10. Garfield E. Impact factors, and why they won't go away. Nature 2001;411:522.
• 11. Editors. The impact factor game. It is time to find a better way to assess the scientific literature. PLoS Med 2006;3:e291.
• 12. Falagas ME, Kouranos VD, Arencibia-Jorge R, Karageorgopoulos DE. Comparison of SCImago journal rank indicator with journal impact factor. Faseb J 2008;22:2623-8.
• 13. McVeigh ME, Mann SJ. The journal impact factor denominator: defining citable (counted) items. Jama 2009;302:1107-9.
• 14. Dempsey JA. Impact factor and its role in academic promotion: a statement adopted by the International Respiratory Journal Editors Roundtable. J Appl Physiol 2009;107:1005.
• 15. Aizpuru F. A vueltas con el factor de impacto. Enferm Clin 2011;21:64-5.
• 16. Alexandrov GA. The meaning of the 'impact factor' in the case of an open-access journal. Carbon Balance Manag 2011;6:1.
• 17. Barrett J. Is impact a factor? Cytotherapy 2011;13:261.
• 18. Barrio Cantalejo IM. El culto a los numeros y el factor de impacto. Enferm Clin 2011;21:60-1.
• 19. Hirschtick RE. A piece of my mind. Impact factor. Jama 2011;305:230.
• 20. Labadie RF, Fitzpatrick JM. Can Otolaryngology Compete with Larger Fields Regarding Impact Factor?: Is Percentile-Based Impact Factor a Solution? Otolaryngol Head Neck Surg 2011.
• 21. Rocha-e-Silva M. Impact factor, Scimago Indexes and the Brazilian journal rating system: where do we go from here? Clinics (Sao Paulo) 2010;65:351-5.
• 22. Yngve A, Tseng M, McNeill G, Hodge A, Haapala I. Is the emperor nude? Impact factor or health impact factor? Public Health Nutr 2011;14:753.
• 23. Morel RLM, Morel CM. Um estudo sobre a produção científica brasileira, segundo os dados do Institute for Scientific Information (ISI). Ciência da Informação 1977;6:99-109.
• 24. Rousseau R. Indicadores bibliométricos e econométricos para a avaliação de instituições científicas. Ci Inf Brasília 1998;27:149-58.
• 25. Vilhena V, Crestana MF. Produção científica: critérios de avaliação de impacto. Revista da Associação Médica Brasileira 2002;48:20-1.
• 26. Meneghini R, Packer AL. Articles with authors affiliated to Brazilian institutions published from 1994 to 2003 with 100 or more citations: II - identification of thematic nuclei of excellence in Brazilian science. An Acad Bras Cienc 2006;78:855-83.
• 27. Packer AL, Meneghini R. Articles with authors affiliated to Brazilian institutions published from 1994 to 2003 with 100 or more citations: I - the weight of international collaboration and the role of the networks. An Acad Bras Cienc 2006;78:841-53.
• 28. Strehl L. O fator de impacto do ISI e a avaliação da produção científica: aspectos conceituais e metodológicos. Ciência da Informação 2006;34:19-27.
• 29. Thomaz PG, Assad RS, Moreira LF. Using the impact factor and H index to assess researchers and publications. Arq Bras Cardiol 2011;96:90-3.
• 30. Bianco AC. Fator de impacto. Boletim do editor? Arq Bras Endocrinol Metabol 2004;48:335-6.
• 31. Coelho PM, Antunes CM, Costa HM, Kroon EG, Sousa Lima MC, Linardi PM. The use and misuse of the "impact factor" as a parameter for evaluation of scientific publication quality: a proposal to rationalize its application. Braz J Med Biol Res 2003;36:1605-12.
• 32. Metze K. Bureaucrats, researchers, editors, and the impact factor: a vicious circle that is detrimental to science. Clinics (Sao Paulo) 2010;65:937-40.
• 33. Petroianu A. Critérios quantitativos para analisar o valor da publicação de artigos científicos. Rev Assoc Med Bras 2003;49:173-6.
• 34. Ruiz MA, Greco OT, Braile DM. Fator de impacto: importância e influência no meio editorial, acadêmico e científico. Revista Brasileira de Cirurgia Cardiovascular 2009;24:273-8.
• 35. Bressan RA, Mari JJ, Mercadante M, et al. RBP is the Latin American medical journal with the highest Impact Factor. Rev Bras Psiquiatr 2008;30:179-82.
• 36. Lafer B, Fleck MP, Kieling C, et al. RBP increases its impact factor. Rev Bras Psiquiatr 2009;31:196.
• 37. Moreira LFP. Os arquivos e a publicação de seu primeiro fator de impacto. Arq Bras Cardiol 2010;95:1-2.
• 38. Rocha-e-Silva M. Clinics has an impact factor. Clinics (Sao Paulo) 2010;65:567-8.
• 39. Bressan RA, Miguel EC, Mari JJ, Rohde LA, Mercadante MT. We have reached the ISI! Rev Bras Psiquiatr 2005;27:170-1.
• 40. Barros AJD. Produção científica em saúde coletiva: perfil dos periódicos e avaliação pela Capes. Rev Saude Publica 2006;40:43-9.
• 41. Leite JP. O novo QUALIS e a avaliação dos Programas de Pós-Graduação na área médica: mitos e realidade. Rev Bras Psiquiatr 2010;32:103-5.
• 42. Classification of journals in the QUALIS System of CAPES--urgent need of changing the criteria! Clinics (Sao Paulo) 2010;65:121-3.
• 43. Escobar E. Ranking coloca revistas científicas brasileiras em'risco de extinção'. O Estado de São Paulo 2009 06/07/2009;Sect. A-13.
• 44. Hirsch JE. An index to quantify an individual's scientific research output. Proc Natl Acad Sci U S A 2005;102:16569-72.
• 45. Bartneck C, Kokkelmans S. Detecting h-index manipulation through self-citation analysis. Scientometrics 2011;87:85-98.
• 46. Braun T, Glanzel W, Schubert A. A Hirsch-type index for journals. Scientometrics 2006;69:169-73.
• 47. Iglesias JE, Pecharromán C. Scaling the h-index for different scientific ISI fields. Scientometrics 2007;73:303-20.
• 48. Kellner AW, Ponciano LC. H-index in the Brazilian Academy of Sciences: comments and concerns. An Acad Bras Cienc 2008;80:771-81.
• 49. RegoI S. Índice H, autoria e integridade na produção científica. Rev Bras Educ Med 2010;34:189-90.
• 50. Hirsch JE. Does the H index have predictive power? Proc Natl Acad Sci U S A 2007;104:19193-8.
• 51. Pereira JC, Bronhara B. H-index of Collective Health professors in Brazil. Rev Saude Publica 2011;45:599-606.
• 52. Ferreira CA, Loureiro CA, Saconato H, Atallah A. Validity of Qualis database as a predictor of evidence hierarchy and risk of bias in randomized controlled trials: a case study in dentistry. Clinics (Sao Paulo) 2011;66:337-42.
• 53. Mugnaini R, Packer AL, Meneghini R. Comparison of scientists of the Brazilian Academy of Sciences and of the National Academy of Sciences of the USA on the basis of the h-index. Braz J Med Biol Res 2008;41:258-62.
• 54. Healy NA, Glynn RW, Scutaru C, Groneberg D, Kerin MJ, Sweeney KJ. The h index and the identification of global benchmarks for breast cancer research output. Breast Cancer Res Treat 2011;127:845-51.

Datas de Publicação

• Publicação nesta coleção
  20 Jan 2012
• Data do Fascículo
  Out 2011