SciELO - Scientific Electronic Library Online

 
vol.47 issue2Aerosols from biomass burning and respiratory diseases in children, Manaus, Northern Brazil author indexsubject indexarticles search
Home Pagealphabetic serial listing  

Services on Demand

Journal

Article

Indicators

Related links

Share


Revista de Saúde Pública

Print version ISSN 0034-8910

Rev. Saúde Pública vol.47 no.2 São Paulo Apr. 2013

http://dx.doi.org/10.1590/S0034-89102013000100008 

Artigos Originais

Diferenças entre as medidas do índice-h geradas em distintas fontes bibliográficas e engenho de busca

Mauricio Lima BarretoI  II 

Erika AragãoII  III 

Luis Eugenio Portela Fernandes de SousaI  II 

Táris Maria SantanaII 

Rita Barradas BarataIV 

IInstituto de Saúde Coletiva. Universidade Federal da Bahia. Salvador, BA, Brasil

IIInstituto Nacional de Ciência e Tecnologia, Ciência Inovação e Tecnologia em Saúde, Salvador, BA, Brasil, Instituto Nacional de Ciência e Tecnologia. Ciência, Inovação e Tecnologia em Saúde. Salvador, BA, Brasil

IIICentro de Pesquisa Gonçalo Muniz. Fundação Oswaldo Cruz. Salvador, BA, Brasil

IVDepartamento de Medicina Social. Faculdade de Ciências Médicas da Santa Casa de São Paulo. São Paulo, SP, Brasil


RESUMO

MÉTODOS:

Comparou-se a produção científica de pesquisadores brasileiros bolsistas 1-A do CNPq, das áreas da saúde coletiva, imunologia e medicina. Os índices-h de cada pesquisador foram estimados com base no Web of Science, Scopus e Google Acadêmico. Foram estimadas as medianas dos índices-h para os grupos de pesquisadores em cada área, e para comparar as diferenças foram usados, de acordo com cada fonte, o teste não paramétrico de Kruskal- Wallis e as comparações múltiplas de Behrens-Fisher.

RESULTADOS:

A área da imunologia apresentou mediana dos índices-h mais alta que os da Saúde Coletiva e da Medicina quando se utiliza a base Web of Science . Porém, essa diferença desapareceu quando a comparação foi feita utilizando a base Scopus ou o Google Acadêmico.

CONCLUSÕES:

A emergência do Google Acadêmico traz a um novo patamar as discussões sobre a medida do impacto bibliométrico das publicações cientificas. Áreas com fortes componentes profissionais, em que o conhecimento produzido é e deve ser publicado também na língua nativa, vis-a-vis sua difusão para a comunidade internacional, têm padrão de publicações e citações científicas diferente de áreas exclusivas ou predominantemente acadêmicas e mais bem captado pelo Google Acadêmico.

OBJETIVO:

Analisar a utilização do índice-h como medida do impacto bibliográfico da produção científica de pesquisadores brasileiros.

Palavras-Chave: Saúde Pública; Indicadores de Produção Científica; Indicadores Bibliométricos; Bases de Dados Bibliográficas; Bibliometria

ABSTRACT

OBJECTIVE

To analyze the use of the h-index as a measure of the bibliometric impact of Brazilian researchers’ scientific publications.

METHODS

The scientific production of Brazilian CNPq 1-A researchers in the areas of public health, immunology and medicine were compared. The mean h-index of the groups of researchers in each area were estimated and nonparametric Kruskal Wallis test and multiple comparisons Behrens-Fisher test were used to compare the differences.

RESULTS

The h-index means were higher in the area of Immunology than in Public Health and Medicine when the Web of Science base was used. However, this difference disappears when the comparison is made using Scopus or Google Scholar.

CONCLUSIONS

The emergence of Google Scholar brings a new level to discussions on the measure of the bibliometric impact of scientific publications. Areas with strong professional components, in which knowledge is produced and must also be published in the native language, vis-a-vis its dissemination to the international community, necessarily have a standard of scientific publications and citations different from areas exclusively or predominantly academic and they are best captured by Google Scholar.

Key words: Public Health ; Scientific Publication Indicators; Bibliometric Indicators; Databases, Bibliographic; Bibliometrics

INTRODUÇÃO

O desenvolvimento social e econômico, o crescimento da produção científica e de sua importância para esse desenvolvimento e a consequente consolidação da ciência como objeto de políticas públicas na segunda metade do século XX trouxeram a necessidade de desenvolver indicadores capazes de mensurar e avaliar o desempenho das complexas atividades científicas, em geral, e dos seus componentes – pesquisadores e instituições –, em particular. Apesar de reconhecidas limitações, os indicadores bibliométricos são os mais amplamente utilizados para avaliar a atividade científica, sua influência e seu impacto. 13 Medidas bibliométricas capazes de mensurar e qualificar a produtividade científica são desenvolvidas para informar o desempenho de pesquisadores, grupos e instituições de pesquisa e orientar as promoções de cientistas, o fomento à pesquisa, a formação de pessoal. A bibliometria é um campo vasto para estudos empíricos e uma das bases da Cienciometria.

As medidas bibliométricas evoluem ao longo do tempo. Inicialmente, limitavam-se à simples contagem e à valoração do número de publicações. Rapidamente, o número de publicações era cada vez menos relevante na qualificação da produtividade de um pesquisador se não viesse associado a alguma medida da qualidade, expressa pelo reconhecimento pelos pares. Essa qualidade foi bibliometricamente traduzida pelo número de citações obtidas pelas publicações científicas. No entanto, o uso do número bruto de citações, como medida da influência de uma publicação, apresentou limitações e nem sempre refletia sua qualidade. 13 Uma série de índices é sugerida para substituí-lo, tendo por base as citações. O índice-h é o mais popular.

Esse índice foi desenvolvido por um físico interessado em produzir uma medida que, com base nas próprias citações, reduzisse as insuficiências relacionadas com a simples contagem do seu número e superasse os problemas com os denominadores utilizados no cálculo do fator de impacto. Hirsh 8 , 9 (2005, 2007) sugeriu que o índice-h era melhor do que os outros índices até então usados – número total de artigos, número total de citações, número médio de citações, número de publicações “significativas” –, pois combinava o número de citações com o número de citações dos artigos altamente citados.

O índice-h ganha particular destaque devido à possibilidade de utilização de uma única medida estimada de forma particularmente simples para caracterizar o impacto da produção científica de um investigador. Seu cálculo é feito com base no ordenamento decrescente do número de citações de cada trabalho do autor (ou grupo de pesquisa, revista, instituição), definindo-se como índice-h o ponto em que o número de citações corresponde ao número de ordem. Um pesquisador que tem 50 artigos publicados, dentre os quais 22 receberam 22 ou mais citações, terá índice-h = 22. Trata-se de um índice bem robusto, pois combina a quantidade da produção científica (número de publicações) e aspectos da sua qualidade ou relevância (citações). 8 Tornou-se um dos indicadores mais utilizados para avaliação da produção científica e objeto de sérios debates acerca de aspectos relacionados às medidas bibliométricas na ciência. 4

Há clareza sobre a variabilidade do índice-h quando da comparação entre diferentes áreas científicas. Áreas mais prolíficas em número de publicações registram maiores índices-h. Existe variablilidade quando diferentes bases bibliográficas ou engenhos de busca são utilizados para derivar os índices. 12 , 14 Isso porque essas bases diferenciam-se quanto à cobertura dos seus registros bibliográficos ou de suas citações. 1 Para as áreas das Ciências Sociais e Humanas, algumas bases de dados são menos representativas, pois não indexam livros, relatórios ou anais de conferência. 15 Portanto, a escolha da base de dados para o cálculo do índice-h influencia diretamente nos valores encontrados.

Duas bases bibliográficas destacam-se por cobrirem amplo espectro das áreas científicas e por contabilizarem citações: a ISI Web of Science(WoS), com registros bibliográficos desde 1945; e a Scopus, criada mais recentemente como competidor da primeira, com registros a partir de 1960 e, de modo mais sistemático, desde 1996. O Google Acadêmico (GA) vem ganhando importância, ainda que não seja uma base bibliográfica como as anteriores. É um engenho de busca que utiliza algoritmos para identificar publicações científicas e suas citações disponíveis na web . Essa característica faz com que o GA abranja maior diversidade de produções bibliográficas, incluindo livros, palestras, aulas e outros. Ao longo deste artigo utilizaremos o termo bases bibliográficas para as três fontes referidas, incluindo o GA.

Este artigo tem o objetivo de analisar a utilização do índice-h como medida do impacto bibliográfico da produção científica de pesquisadores brasileiros. A perspectiva é chamar a atenção para a importância de utilização de bases adequadas às especifidades de cada campo do conhecimento, destacando as particularidades da Saúde Coletiva.

MÉTODOS

Foram selecionadas três áreas para análise, Saúde Coletiva, Imunologia e Medicina, que fazem parte das chamadas ciências da vida, as quais incluem ciências básicas como as biológicas, e aplicadas, como as agrárias e as ciências da saúde. A Imunologia foi escolhida por ser uma das subáreas das ciências biológicas na qual se observam os maiores fatores de impacto de pesquisadores e dos periódicos utilizados para a divulgação de sua produção. A Medicina foi selecionada em razão de constituir um conjunto de áreas das ciências da saúde que apresenta a maior produção em número de artigos e fator de impacto elevado. A Saúde Coletiva apresenta grande diversidade interna, incluindo pesquisadores nas subáreas de epidemiologia, ciências sociais em saúde e políticas e gestão de saúde, além de apresentar comunidade menor do que a da Medicina. A despeito disso, destaca-se em termos de produção científica no Brasil.

Foram incluídos na análise apenas os bolsistas de produtividade 1-A do Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq). A Bolsa CNPq de Produtividade em Pesquisa é destinada aos pesquisadores que se destacam entre seus pares, valorizando sua produção científica segundo critérios normativos. Os bolsistas de produtividade podem ser enquadrados em três categorias: 2, 1 (D, C, B e A) e sênior. a

O pesquisador deverá ter, no mínimo, três anos completos após a conclusão do doutorado para a bolsa da categoria 2 ou oito anos para a categoria 1. Os critérios usados para julgar os pedidos de bolsa são: (a) produção científica do candidato; (b) formação de recursos humanos em nível de Pós-Graduação; (c) contribuição científica e tecnológica e para inovação; (d) coordenação ou participação principal em projetos de pesquisa; e (e) participação em atividades editoriais e de gestão científica bem como administração de instituições e núcleos de excelência científica e tecnológica.

O pesquisador deverá completar 15 anos, consecutivos ou não, com bolsa da categoria 1 para ter direito à bolsa sênior. Na categoria 1, o pesquisador será enquadrado em um dos quatro diferentes níveis (A, B, C ou D), com base no seu desempenho nos últimos dez anos e comparativamente com o desempenho de seus pares. Para a categoria 2, será avaliada a produtividade do pesquisador em um único nível, com ênfase nos trabalhos publicados e orientações, ambos referentes aos últimos cinco anos.

A categoria 1 nível A, topo da hierarquia, enquadra candidatos que apresentam excelência continuada na produção científica, na formação de recursos humanos e que lideram grupos de pesquisa consolidados. A escolha desse grupo restringiu a comparação a pesquisadores com elevada produtividade e liderança científica em cada uma das três diferentes áreas consideradas. A amostra agrupou pesquisadores no mesmo estágio de carreira, considerando que o tempo de exercício profissional influencia fortemente o índice-h.

A lista dos pesquisadores foi obtida na plataforma Carlos Chagas do CNPq em abril de 2011. Foram incluídos 98 pesquisadores: 20 da Saúde Coletiva, 59 da Medicina e 19 da Imunologia. O acesso às bases WoS e Scopus foi obtido pelo Portal de Periódicos da Capes. O GA foi acessado utilizando a interface Publish-or-Perish, software de acesso livre que organiza as buscas em GA e calcula o índice-h. b

Foram feitas buscas em cada base de dados utilizando o campo “nome em citações bibliográficas” dos currículos da Plataforma Lattes (CNPq) dos autores selecionados. Foram conferidas as áreas de pesquisa e as instituições de pertencimento de cada pesquisador. Os documentos encontrados nas bases bibliográficas foram comparados àqueles referidos no currículo da Plataforma Lattes de cada autor. Essa checagem possibilitou a exclusão de publicações de autores homônimos, o que poderia distorcer os resultados.

Foram estimados os índices-h para cada pesquisador nas três bases, considerando o período de abrangência de cada uma. Obteve-se o total da produção indexada de cada autor nas diferentes bases. Qualquer distorção relativa a diferenças de cobertura temporal está presente em todas as áreas; portanto, não afeta a comparação do comportamento do índice-h em três diferentes áreas/subáreas do conhecimento nas três bases. Esse processo foi feito de forma cega, i.e., sem conhecimento prévio da área do pesquisador, o que evitou tendenciosidade por parte dos autores deste estudo.

Médias e medianas foram obtidas para cada grupo de pesquisadores agregados por área e por fonte de origem da estimativa dos índices-h. Para testar a significância estatística das diferenças entre os grupos, ao comparar as três áreas utilizando a mesma base ou as três bases para cada área, foi utilizado o teste não paramétrico de Kruskal-Wallis, aplicado para testes com mais de dois grupos, equivalente à análise de variância para medidas paramétricas. Nos casos em que o resultado do teste de Kruskal-Wallis foi significativo (p < 0,05), realizou-se o teste de comparações múltiplas de Behrens-Fisher, que testa os grupos dois a dois para precisar entre quais grupos ocorreu a diferença. 5

RESULTADOS

Os dados relativos aos pesquisadores da Saúde Coletiva apresentaram maior amplitude de variação, com valores mais extremos mínimos e máximos ( Tabela 1 ). Nos gráficos a, b e c da Figura são apresentadas, com mais detalhes, as distribuições dos valores dos índices-h e suas respectivas medianas para os pesquisadores de cada área, gerados pelas três diferentes fontes utilizadas no estudo (WoS, Scopus e GA).

Tabela 1. Média e mediana dos índices-h de pesquisadores 1-A do CNPq das áreas da Saúde Coletiva, Medicina e Imunologia estimados em diferentes fontes (WoS, Scopus e GA). 

Web of Science Scopus Google Acadêmico
Saúde Coletiva
Média 19,4 20,4 31,0
Desvio Padrão 14,1 10,1 14,6
Mediana 17 19 28
Mínimo 4 2 14
Máximo 62 49 68
Medicina
Média 20,6 20,5 25,2
Desvio Padrão 7,4 6,4 10,2
Mediana 18 20 24,5
Mínimo 6 10 6
Máximo 39 39 57
Imunologia
Média 28,4 24,0 31,4
Desvio Padrão 9,1 6,6 12,8
Mediana 27 24 27
Mínimo 17 12 18
Máximo 50 40 59

a Teste de Kruskal-Wallis

Figura.   Índices-h e medianas estimados nas bases Web of Science , Scopus e Google Acadêmico (calculado pelo Publish-or- Perish) de pesquisadores 1-A do Conselho Nacional de Pesquisa e Desenvolvimento Tecnológico do Brasil (CNPq) das áreas Saúde Coletiva, Medicina e Imunologia.  

Pesquisadores da Saúde Coletiva e da Medicina apresentaram medianas dos índices-h extraídos do GA significativamente maiores que as extraídas das duas outras bases (Tabelas 2 e 3). As três áreas não diferiram com relação aos índices-h obtidos da Scopus e do GA, porém a Imunologia apresentou medianas significativamente maiores do que as duas outras áreas na WoS. Essa diferença desapareceu quando a comparação foi feita utilizando as bases Scopus ou GA.

Tabela 2. Mediana dos índices-h de pesquisadores 1-A do CNPq das áreas da Saúde Coletiva, Medicina e Imunologia estimados em diferentes fontes (Web of Science , Scopus e Google Acadêmico) e (a) p-valores da comparação de a- diferentes fontes e (b) p-valores da comparação de diferentes áreas para cada fonte. 

a) Fonte Área pa
Saúde Coletiva
Web of Science 17,0
Scopus 19,0 0,008
Google Acadêmico 28,0
Medicina
Web of Science 18,0
Scopus 20,0 0,001
Google Acadêmico 24,5
Imunologia
Web of Science 27,0
Scopus 24,0 0,145
Google Acadêmico 27,0
b) Áreas Fontes pa
Web of Science
Saúde Coletiva 17,0 0,001
Medicina 18,0
Imunologia 27,0
Scopus
Saúde Coletiva 19,0 0,157
Medicina 20,0
Imunologia 24,0
Google Acadêmico
Saúde Coletiva 28,0 0,120
Medicina 24,5
Imunologia 27,0

Tabela 3. Resultados dos testes de comparação múltipla: comparação entre as fontes em cada área e comparação entre as áreas em cada fonte. 

Comparação entre as fontes em cada área pa
Saúde Coletiva
Scopus vs Web of Science 0,603
Scopus vs Google Acadêmico 0,003
Web of Science vs Google Acadêmico 0,002
Medicina
Scopus vs Web of Science 0,996
Scopus vs Google Acadêmico 0,013
Web of Science vs Google Acadêmico 0,010
Imunologia
Scopus vs Web of Science 0,267
Scopus vs Google Acadêmico 0,158
Web of Science vs Google Acadêmico 0,878
Web of Science
Saúde Coletiva vs Imunologia 0,004
Saúde Coletiva vs Medicina 0,404
Imunologia vs Medicina 0,001
Scopus
Saúde Coletiva vs Imunologia 0,240
Saúde Coletiva vs Medicina 0,907
Imunologia vs Medicina 0,178
Google Acadêmico
Saúde Coletiva vs Imunologia 0,999
Saúde Coletiva vs Medicina 0,284
Imunologia vs Medicina 0,234

Entre os pesquisadores da Medicina e da Saúde Coletiva houve aumento significativo das medianas dos índices-h quando o GA foi utilizado em comparação com as duas outras bases (23% e 47% maiores, respectivamente).

DISCUSSÃO

O uso do GA gera índices-h mais altos para os pesquisadores da Saúde Coletiva, seguida pela Medicina, mas não para os da Imunologia, quando comparados aos índices-h gerados na WoS ou na Scopus. A Imunologia apresenta medianas significativamente maiores do que as duas outras áreas na WoS, provavelmente por ser uma ciência básica, cujos artigos são tradicionalmente publicados na língua inglesa e muito citados entre os pares. Segundo o Journal Citation Reports(JCR, da ISI Web of Knowledge ), existiam 139 periódicos indexados em Imunologia e 234 em Saúde Pública em 2011, considerando a coleção de ciência e a de ciências sociais. A despeito disso, os índices de citação são mais elevados na Imunologia.

Resultados dessa natureza são relevantes, pois decisões sobre qual base utilizar para o cálculo do índice-h têm implicações para o ranking dos pesquisadores e das áreas acadêmicas.

Pesquisadores da Imunologia apresentaram valores medianos similares dos índices-h calculados nas três diferentes bases, enquanto os pesquisadores da Medicina e da Saúde Coletiva apresentam significativas diferenças nos índices-h estimados pelo GA, quando comparados à WoS e à Scopus. Essa diferença foi superior a 50% para a Saúde Coletiva. A área de saúde, em geral, tem maior número de revistas publicadas no Brasil que não estavam indexadas ou que tinham sido indexadas recentemente nas bases Scopus e WoS.

Utilizando diferente abordagem, Pereira &Bronhara 16 (2011) estimaram os índices-h para todos os docentes brasileiros ativos em programas de pós-graduação em Saúde Coletiva em 2009. Utilizaram a WoS e encontraram média nacional do índice-h de 3,1, com 29,8% dos docentes obtendo índices-h iguais a zero.

A utilização do GA em lugar do WoS traria resultados diferentes. A maioria dos pesquisadores 1-A na Saúde Coletiva é de epidemiologistas, com padrão de publicação mais próximo das ciências naturais ou exatas, como a Imunologia; portanto, estão bem representados na WoS. Na Saúde Coletiva, há docentes das subáreas ciências sociais em saúde e política e gestão de serviços de saúde, cujos perfis de publicações e citações se aproximam das ciências sociais em geral, que têm menor cobertura de indexação e de registro de citações na WoS do que no GA. Isso ocorre porque parte significativa das publicações das ciências sociais é feita em forma de livros ou outros tipos de documentos, capturados pelo GA, não indexados na Scopus ou na WoS.

A emergência do GA e de interfaces que maximizam a sua utilização traz a um novo patamar as discussões sobre a medida do impacto bibliométrico das publicações cientificas. Áreas com fortes componentes profissionais, em que o conhecimento produzido é e deve ser publicado também na língua nativa, vis-a-vissua divulgação junto à comunidade científica internacional, têm padrão de publicações e citações científicas diferente de áreas exclusiva ou predominantemente acadêmicas.

As diferenças dos índices-h encontradas nas três fontes estão relacionadas a características particulares dessas fontes. A WoS pertence a Thomson Reuters, terceira maior companhia editorial do mundo, que cobra pelo seu acesso. É a mais tradicional das bases e a mais utilizada, inclusive nas instituições de pesquisa no Brasil. A Scopus, desenvolvida pela Elsevier, segunda maior companhia editorial do mundo, é privada e de acesso pago. Apesar de ser mais jovem, é forte competidora da WoS. Tem cobertura mais ampla de revistas científicas, inclusive de outras línguas que não a inglesa e publicadas fora do eixo América do Norte-Europa Ocidental. De acordo com informações disponíveis nos respectivos portais, a base Scopus apresentava 19.500 revistas em 2012, mais de 240 eram brasileiras. Na WoS, dos mais de 12 mil periódicos indexados, cerca de 140 eram brasileiros. O GA, por sua vez, está inserido no mais popular engenho de busca de informações em toda aWorld Wide Web .

Um dos primeiros autores a comparar essas três fontes destacou diferenças entre elas que precisavam ser mais bem esclarecidas. 1 Enquanto Bar-Ilan 1 encontrou variações para cima e para baixo entre os índices-h estimados pelo GA em comparação com as duas outras fontes, 1 no presente estudo o GA gerou sistematicamente resultados mais altos, com diferenças estatisticamente significantes para a Saúde Coletiva e a Medicina.

Essas divergências podem dever-se ao fato de que, no seu início, os índices eram estimados diretamente do GA sem a possibilidade de exclusão de citações não referentes a artigos ou de homônimos. Porém, a criação doPublish-or-Perish (PorP) e, mais recentemente, uma nova interface desenvolvida pela própria Google (o comando my citationsno GA) trouxeram melhorias ao sistema, gerando redução das inconsistências. As diferenças atuais de resultados entre os índices-h do GA em comparação às outras duas bases podem melhor refletir diferenças reais nos números de publicações e citações.

A pesquisadora que desenvolveu o software PorP chama a atenção para a superioridade do GA em estimar índices-h de pesquisadores de áreas científicas aplicadas e áreas sociais e humanas em especial, cujos periódicos científicos estão pouco cobertos pelas duas bases utilizadas. 7 Uma vantagem do GA é não depender de bases de dados comerciais fechadas. Ao indexar referências e citações disponíveis na web , o GA torna-se mais aberto e permite acessar larga base de informações que não está indexada na Scopus nem na WoS.

A abordagem dos engenhos de busca também tem desvantagens. Aceita maior grau de “sujeira” nas informações obtidas, i.e., a inclusão de publicações e citações de artigos não científicos, o que traz limitações, exige mais cuidados na sua manipulação e na construção dos índices, e faz com que o GA tenha adeptos e detratores. 6 , 10 O fato de a estimativa do índice-h depender de um número de publicações que é um pequeno percentual do total das publicações de um pesquisador ativo faz com que seja mais simples verificar as publicações e suas respectivas citações que entraram no cálculo do índice, excluindo as menções indevidas.

O conhecimento das vantagens e imperfeições de cada uma das fontes utilizadas permitirá o uso mais produtivo dos tais índices bibliométricos, explorando melhor o potencial de cada um. Isso pode evitar sua utilização como forma de controle acadêmico ou de criação de (falsas) hierarquias entre pesquisadores e instituições de pesquisa.

A variação do índice-h decorrente da fonte bibliográfica ou do engenho de busca em que é aplicado não é uma deficiência inerente a essa medida. Contudo, há insuficiências do próprio índice que são destacadas por alguns autores. Acumulam-se críticas sobre o uso desse indicador, sejam de caráter mais geral em relação ao uso de índices que tenham por base as citações como medida do impacto científico, sejam as relacionadas especificamente a esse indicador. As críticas mais gerais afirmam que o uso de citações pode ser afetado por fatores de diferentes ordens: sociais, políticos ou geográficos, e contestam a relação entre “popularidade” para gerar número elevado de citações e clara expressão da efetiva qualidade científica. 13 Em perspectiva mais radical, alguns arguem que o uso de métricas científicas, em especial as bibliometrias, é parte de um projeto maior que visa impor umquantified control das atividades acadêmicas. 3

Críticas mais específicas ao índice-h destacam o fato de ele ser dependente do tempo. Ele é cumulativo e tem relação com o número de citações, mas também com o número de publicações. Um autor com dez publicações com milhares de citações nunca terá um índice-h maior do que 10. Esse aspecto é importante e o próprio Hirsch 9 (2007) definiu em artigo original que o índice serviria para avaliar pesquisadores em um mesmo estágio da carreira. O indice-h é útil para comparar os cientistas mais produtivos, que geralmente possuem maior tempo de atuação no seu campo, o que justificou a escolha pelos pesquisadores 1-A do CNPq. 2 Outra desvantagem do índice-h refere-se ao fato de poder ser manipulado por meio de autocitação ou outros mecanismos.

Outro aspecto relevante a comentar é a variação do índice-h entre áreas científicas. Uma comparação entre os índices-h dos membros das dez áreas científicas da Academia de Brasileira de Ciências mostrou que as médias mais altas dos índices-h, calculados com base na WoS, estavam nas áreas de Biomedicina, Saúde e Química (23, 20 e 19, respectivamente), médias baixas encontravam-se nas áreas de Ciências da Terra, Engenharias e Matemática (9, 8, e 7, respectivamente) e médias praticamente nulas na área de Ciências Humanas (1). 11

A utilização de bases adequadas às especificidades de cada campo do conhecimento é fundamental. Isso possibilita tornar mais robusta a utilização do índice-h para informar a performance de pesquisadores, grupos e instituições de pesquisa e de orientar as promoções de cientistas, o fomento da pesquisa e a formação de pessoal.

REFERÊNCIAS

1. Bar-Ilan J. Which h-index? A comparison of WoS, Scopus and Google Scholar. Scienciometrics. 2008;74(2):257-71. DOI: http://dx.doi.org/10.1007/s11192-008-0216-y [ Links ]

2. Bornmann L,Hans-Dieter D. What Do We Know About the h Index? J Am Soc Inf Sci Technol. 2007;58(9):1381-5. DOI: http://dx.doi.org/10.1002/asi.20609 [ Links ]

3. Burrows R. Living with the h-index? Metric assemblages in the contemporary academy. Sociol Rev. 2012;60(2):355-72. DOI: http://dx.doi.org/10.1111/j.1467-954X.2012.02077.x [ Links ]

4. Cronin B, Meho L I. Using the h-index to rank influential information scientists. J Am Soc Inf Sci Technol. 2006;57(9):1275-8. DOI: http://dx.doi.org/10.1002/asi.20354 [ Links ]

5. Dalgaard P. Introductory Statistics with R. 2 ed. New York: Springer Science; 2008. [ Links ]

6. Harzing AWK, Van-der-Wal R. Google Scholar: the democratization of citation analysis? Ethics Sci Environ Polit. 2008; (1):61-73. DOI: http://dx.doi.org/10.3354/esep00076Links ]

7. Harzing AW,Van-der-Wal R. A Google Scholar H-Index for journals: an alternative metric to measure journal impact in economics &business? J Am Soc Inf Sci Technol. 2009;60(1):41-6. DOI: http://dx.doi.org/10.1002/asi.20953 [ Links ]

8. Hirsch JE. An index to quantify an individual’s scientific research output. Proc Natl Acad Sci USA. 2005;102(46):16569-72. DOI: http://dx.doi.org/10.1073/pnas.0507655102 [ Links ]

9. Hirch JE. Does the h index have predictive power? Proc Natl Acad Sci USA. 2007;104(49):19193-8. DOI: http://dx.doi.org/10.1073/pnas.0707962104 [ Links ]

10. Jacso P. Metadata mega mess in Google Scholar. Online Inf Rev. 2009;34(1):175-91. DOI: http://dx.doi.org/10.1108/14684521011024191 [ Links ]

11. Kellner AW, Ponciano LC. H-index in the Brazilian Academy of Sciences: comments and concerns. An Acad Bras Cienc. 2008;80(4):771-81. DOI: http://dx.doi.org/10.1590/S0001-37652008000400016 [ Links ]

12. Lacasse JR, Hodge DR, Bean KF. Evaluating the productivity of social work scholars using the h-index. Res Soc Work Pract. 2011;21(5):599-607. DOI: http://dx.doi.org/10.1177/1049731511405069 [ Links ]

13. Lindsey D. Using citation counts as a measure of quality in science measuring what’s measurable rather than what’s valid. Scientometrics. 1989;15(3-4):189-203. DOI: http://dx.doi.org/10.1007/BF02017198 [ Links ]

14. Norris M, Oppenheim C. Comparing alternatives to the Web of Science for coverage of the social sciences’ literature. J Informetr. 2007;1(2):161-9. DOI: http://dx.doi.org/10.1016/j.joi.2006.12.001 [ Links ]

15. Ouimet M, Bedard PO, Gelineau F. Are the h-index and some of its alternatives discriminatory of epistemological beliefs and methodological preferences of faculty members? The case of social scientists in Quebec. Scientometrics. 2011;88(1):91-106. DOI:http://dx.doi.org/10.1007/s11192-011-0364-3 [ Links ]

16. Pereira JCR,Bronhara B. H-index of Collective Health professors in Brazil. Rev Saude Publica. 2011;45(3):599-606. DOI:http://dx.doi.org/10.1590/S0034-89102011005000027 [ Links ]

Artigo disponível em português e inglês em: www.scielo.br/rsp

aMinistério de Ciência e Tecnologia. Conselho Nacional de Desenvolvimento Científico e Tecnológico. Resolução Normativa n° 9, de 24 de abril de 2009. Brasília (DF); 2009.

bHarzing AW. Publish or Perish. Version 3.0.3813. Londres; 2010 [citado 2013 jan]. Disponível em: www.harzing.com/pop.htm

Recebido: 1 de Setembro de 2012; Aceito: 21 de Fevereiro de 2013

Os autores declaram não haver conflito de interesses.

Correspondência | Correspondence: , Mauricio Lima Barreto, Instituto de Saúde Coletiva – UFBA, Rua Basílio da Cunha, s/n° Canela, 40110-040 Salvador, BA, Brasil, E-mail: mauricio@ufba.br

Creative Commons License This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License, which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.