Índice h de docentes em Saúde Coletiva no Brasil

Índice h de docentes en Salud Colectiva en Brasil

Resumos

OBJECTIVE: To estimate reference values and the hierarchy function of professors engaged in Collective Health in Brazil by analyzing the distribution of the h-index. METHODS: From the Portal da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Portal of Coordination for the Improvement of Higher Education Personnel ), 934 authors were identified in 2008, of whom 819 were analyzed. The h-index of each professor was obtained through the Web of Science using search algorithms controlling for namesakes and alternative spellings of their names. For each Brazilian region and for the country as a whole, we adjusted an exponential probability density function to provide the population parameters and rate of decline by region. Ranking measures were identified using the complement of the cumulative probability function and the hierarchy function among authors according to the h-index by region. RESULTS: Among the professors analyzed, 29.8% had no citation record in Web of Science (h=0). The mean h for the country was 3.1, and the region with greatest mean was the southern region (h=4.7). The median h for the country was 3.1, and the greatest median was for the southern region (3.2). Standardizing populations to one hundred, the first rank in the country was h=16, but stratification by region shows that, within the northeastern, southeastern and southern regions, a greater value is necessary for achieving the first rank. In the southern region, the index needed to achieve the first rank was h=24. CONCLUSIONS: Most of the Brazilian Collective Health authors, if assessed on the basis of the Web of Science h-index, did not exceed h=5. Regional differences exist, with the southeastern and northeastern regions being similar and the southern region being outstanding.

Authorship and Co-Authorship in Scientific Publications; Researcher Performance Evaluation Systems; Scientific Publication Indicators; Bibliometric Indicators; Public Health

ARTIGOS ORIGINAIS

Índice h de docentes em Saúde Coletiva no Brasil

Índice h de docentes en Salud Colectiva en Brasil

Julio Cesar Rodrigues Pereira^I; Bruna Bronhara^II

^IDepartamento de Epidemiologia. Faculdade de Saúde Pública (FSP). Universidade de São Paulo (USP). São Paulo, SP, Brasil

^IIPrograma de Pós-Graduação em Saúde Pública. FSP- USP. São Paulo, SP, Brasil

^{Correspondência | Correspondence}

RESUMO

OBJETIVO: Estimar valores de referência e função de hierarquia de docentes em Saúde Coletiva do Brasil por meio de análise da distribuição do índice h.

MÉTODOS: A partir do portal da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior, 934 docentes foram identificados em 2008, dos quais 819 foram analisados. O índice h de cada docente foi obtido na Web of Science mediante algoritmos de busca com controle para homonímias e alternativas de grafia de nome. Para cada região e para o Brasil como um todo ajustou-se função densidade de probabilidade exponencial aos parâmetros média e taxa de decréscimo por região. Foram identificadas medidas de posição e, com o complemento da função probabilidade acumulada, função de hierarquia entre autores conforme o índice h por região.

RESULTADOS: Dos docentes, 29,8% não tinham qualquer registro de citação (h = 0). A média de h para o País foi 3,1, com maior média na região Sul (4,7). A mediana de h para o País foi 2,1, também com maior mediana na Sul (3,2). Para uma padronização de população de autores em cem, os primeiros colocados para o País devem ter h = 16; na estratificação por região, a primeira posição demanda valores mais altos no Nordeste, Sudeste e Sul, sendo nesta última h = 24.

CONCLUSÕES: Avaliados pelos índices h da Web of Science, a maioria dos autores em Saúde Coletiva não supera h = 5. Há diferenças entres as regiões, com melhor desempenho para a Sul e valores semelhantes entre Sudeste e Nordeste.

Descritores: Autoria e Co-Autoria na Publicação Científica. Sistemas de Créditos e Avaliação de Pesquisadores. Indicadores de Produção Científica. Indicadores Bibliométricos. Saúde Pública. Brasil.

RESUMEN

OBJETIVO: Estimar valores de referencia y función de jerarquía de docentes en Salud Colectiva de Brasil por medio de análisis de distribución del índice h.

MÉTODOS: A partir del Portal de la Coordinación de Perfeccionamiento de Personal de Nivel Superior 934 docentes fueron identificados en 2008, de los cuales 819 fueron analizados. El índice h de cada docente fue obtenido en la Web of Science mediante algoritmos de búsqueda con control para homonimias y alternativas de grafía de nombre. Para cada región y para Brasil como un todo se ajustó función de densidad de probabilidad exponencial a los parámetros promedio y tasa de decrecimiento por región. Fueron identificadas medidas de posición y, con el complemento de la función probabilidad acumulada, función de jerarquía entre autores conforme el índice h por región.

RESULTADOS: De los docentes, 29,8% no tenían registro alguno de citación (h=0). El promedio de h para Brasil fue 3,1, con mayor promedio en la región Sur (4,7). La mediana de h para el país fue 2,1, también con mayor mediana en el Sur (3,2). Para una estandarización de población de autores en cien, los primeros colocados para el país deben tener h=16; en la estratificación por región, la primera posición demanda valores más altos en el Noreste, Sureste y Sur, siendo en ésta última h=24.

CONCLUSIONES: Evaluados por los índices h de la Web of Science, la mayoría de los autores en Salud Colectiva no supera h=5. Hay diferencias entre las regiones, con mejor desempeño para el Sur y valores semejantes entre Sureste y Noreste.

Descriptores: Autoría y Coautoría en la Publicación Científica. Sistemas de Créditos y Evaluación de Investigadores. Indicadores de Producción Científica. Indicadores Bibliométricos. Salud Pública.

INTRODUÇÃO

O índice h tem despertado largo interesse na comunidade acadêmica desde sua proposição por Hirsch, em 2005.⁶ Sua atratividade surgiu da possibilidade de ordenar os cientistas por apenas um número, além das vantagens em relação a outros índices baseados em citações, como número total de publicações, número total de citações ou citações por publicação.² Bases de dados bibliográficos como Web of Science (Thomson Reuters) e Scopus (Elsevier B.V.) incorporaram seu cálculo para consultas sobre a produção científica de autores. O índice tornou-se um item de curriculum vitæ (CV) de pesquisadores, como mostra sua adoção pela Plataforma Lattes do Conselho Nacional de Desenvolvimento Científico e Tecnológico.

O índice h quantifica a produção cumulativa de um autor⁶ incorporando informações sobre suas publicações e sua avaliação pela comunidade científica correspondente (o impacto das citações).^5,12 Segundo a definição de Hirsch,⁶ "um cientista terá um índice h se o h de suas Np publicações apresentar pelo menos h citações cada e o restante de suas publicações (Np-h) apresentarem h < citações cada". Portanto, o índice h mede o número de artigos que um autor tem com pelo menos tantas citações quanto a cardinalidade desse conjunto de artigos, v.g. um autor de dez artigos dos quais cinco tenham pelo menos cinco citações tem índice h = 5.

Como indicador bibliométrico, o índice h também tem atraído a atenção de acadêmicos da cienciometria em análises sobre suas vantagens e desvantagens, bem como sobre novas oportunidades de modelagem de produção científica. Desde 1995, avolumam-se artigos de análise e modelagem do índice nos periódicos especializados: o Scientometrics registra 55 desses artigos, 23 dos quais publicados no ano de 2009 [algoritmo de busca na Web of Science (WoS): Publication Name = (scientometrics) AND Topic = (H index)]. Revistas de diferentes campos do conhecimento dedicam editoriais ao índice, os primeiros surgidos imediatamente em 2005: 26 editoriais em 22 revistas na WoS [Topic = (H index) AND Year Published = (2008) Refined by: Document Type = (editorial material)].

A despeito de todo esse interesse, o valor de h de um dado autor carece de significado e qualquer juízo de mérito só pode ser feito por comparação com valores de referência em cada área do conhecimento. De fato, para aportar conteúdo semântico a valores de h, o artigo original de Hirsch descreve o índice h de autores notáveis de seu campo de conhecimento, a Física. No Brasil há pelo menos três iniciativas de identificação de valores de referência para h.^1,8,10

Em 2006, Batista et al¹ estudaram as publicações científicas brasileiras registradas pela WoS de 1970 a 2004 para Física, Química, Matemática e Ciências Biológicas e Biomédicas e os mais altos valores de h encontrados em cada área. Batista et al¹ propuseram um novo indicador em que o h é ponderado pelo volume de co-autores, merecendo larga atenção de pesquisadores em cienciometria.

Mugnaini et al¹⁰ proveram valores de referências para juízos de grandeza sobre um dado índice h ao comparar acadêmicos das Academias de Ciências do Brasil e Estados Unidos nos campos Ciências Biomédicas, Ciências da Saúde, Química, Física, Ciências Biológicas, Agricultura, Ciências da Terra, Engenharias, Matemática e Ciências Humanas.

Luz et al⁸ encontraram elevada correlação entre h e outros indicadores bibliométricos em programas de pós-graduação de cinco instituições de ensino superior com base em índice h institucional, sem distinção de campo de conhecimento. De fato, Van Raan¹² encontrou associação não só entre diferentes indicadores numéricos como também com juízos de pares em grupos de pesquisa na Química.

O presente estudo teve por objetivo estimar valores de referência e função de hierarquia de docentes de pós-graduação em Saúde Coletiva com base em análise de parâmetros da distribuição do índice h.

MÉTODOS

O universo da produção científica em Saúde Coletiva é impreciso e não é identificável nem por afiliação institucional nem por veículo de publicação. Examinou-se o conjunto de todos os docentes de pós-graduação em Saúde Coletiva no País para obter uma amostra de autores. Nomes e afiliações a programas de pós-graduação foram acessados via registros da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior, de domínio público na internet.^ª Selecionaram-se as opções: 1) Cadastro de discentes; 2) Caderno de indicadores e 3) Saúde Coletiva para o ano de 2008, resultando em todas as Instituições de Ensino Superior (IES) e respectivos programas em Saúde Coletiva do Brasil. Para cada IES, selecionou-se a opção Corpo Docente, resultando em lista de todos os docentes em Saúde Coletiva, com informações sobre vínculo, área e titulação. Esses dados formaram banco de dados sobre docentes em Saúde Coletiva do Brasil.

As publicações do docente foram ordenadas por maior número de "times cited" da base de dados da WoS. O índice h calculado pela página "citation report" foi registrado. Para cada nome, consideraram-se diferentes versões de grafia identificadas no nome em citações bibliográficas do CV Lattes e no "author index" da WoS. As principais dificuldades dessa etapa foram presença de homonímias e diferentes modelos de nome em citações bibliográficas. As homonímias foram resolvidas por reconhecimento de filiação institucional, reconhecimento de grupo por co-autores, consistência de campo de investigação e confrontação com registros Lattes. Para os diferentes modelos de citação bibliográfica, foram incluídos os possíveis nomes com asterisco ao final das letras maiúsculas, com o objetivo de tornar a pesquisa mais sensível. Por exemplo, se o nome fictício "João Adalberto Gonçalvez Silva" no CV Lattes registrava Silva J, Silva JA ou Silva JAG, o nome era incluído na WoS como Silva J*, e as informações utilizadas para resolver homonímias eram incluídas no filtro da página da WoS para a busca índice h do autor. Na presença de autores diferentes com mesmo nome em citações bibliográficas, tais publicações eram excluídas e o índice h era recalculado automaticamente. As publicações eram comparadas àquelas identificadas nos CV Lattes para garantir a validade das informações obtidas.

Os algoritmos de busca e estratégias de validação foram testados para cada docente de março a novembro de 2008. Padronizadas as consultas ao WoS, em novembro de 2009 procedeu-se à coleta de dados atualizados.

A Figura 1 mostra a distribuição de freqüência de h segundo regiões do País e sugere a estratégia metodológica de análise. A linha pontilhada descreve uma curva exponencial decrescente, uma característica lotkaniana⁴ (Lei de Lotka⁷) da distribuição de h. As distribuições teóricas de probabilidade exponencial e Pareto são ambas aptas para generalização desse tipo de distribuição de freqüências, tendo-se optado pela primeira para ajuste de ocorrências a partir de h = 0. As funções densidade e acumulada de uma distribuição exponencial de probabilidades são descritas como:

Com auxílio do pacote estatístico SPSS, funções densidade foram ajustadas aos dados de freqüência de cada região e Brasil. A qualidade do ajuste de cada função foi descrita pelo complemento da razão variância residual/variância total (R² ajustado) e as estimativas de taxa de decréscimo (λ) foram avaliadas por intervalo de 95% de confiança (IC95%) e por nível descritivo obtido por Anova.

Para definir uma função de hierarquia em h segundo a ocorrência, recorreu-se ao complemento de percentis da distribuição acumulada:

Valores de h nulos (percentil zero) corresponderam à última posição de um suposto conjunto de valores discretos e ordenados de cem h. Valores entre 98,5 e 99,49 percentis indicaram primeiro lugar (ambos os extremos arredondam para 99 e 100-99 = 1) e percentis além 99,49 ocuparam a posição zero (arredondam para zero) e foram considerados hors concours - ocorrências muito raras, 0,5% ou menos, que estatisticamente sugerem elemento estranho ao conjunto, ainda que no sentido de um destaque positivo de alto desempenho. O segundo lugar correspondeu a valores entre o percentil 97,5 e 98,49 (que arredondam para 98) e assim sucessivamente obtiveram-se diferentes posições de ordem entre autores num suposto conjunto que reduziria o total de autores a 100. Essa estratégia de hierarquia busca equilibrar autores excepcionais e autores com h = 1 que, embora modesto, deve prover um distanciamento de último lugar entre autores, já que tal posição deve ser reservada aos que sequer têm algum artigo citado.

RESULTADOS

Os índices h de 934 docentes distribuídos por região, IES e programa estão descritos na Tabela 1.

A Figuras 2 e 3 mostram que as regiões Sudeste (SE) e Nordeste (NE) abrigam mais programas e docentes: em média 35 docentes por programa no SE e 22 no NE. A região Sul (S), embora com menor número de programas e docentes, tem programas cuja média de docentes (15/programa) aproxima-se mais do NE do que do SE. Há apenas um programa com 21 docentes na região Centro-Oeste (CO). Na região Norte (N), há em funcionamento o programa de Saúde Coletiva em nível de Mestrado da Universidade Federal do Acre (homologado pelo CNE, Portaria MEC 458, DOU 11/04/2008 - Parecer CES/CNE 28/2008, 10/04/2008), mas não há disponibilização do "Caderno de Indicadores" que permita a identificação de docentes.

Na Tabela 2 registram-se os resultados da análise da distribuição de índices h por região e para o País como um todo. Para todas as regiões, alcançou-se ajuste satisfatório de função densidade de probabilidade exponencial, todas como o parâmetro λ com significância estatística. Para ajustar as funções aos dados de cada região, os registros repetidos de docentes de mais de um programa foram desconsiderados. A primeira linha da Tabela 2 informa quantos registros de autores contribuíram em cada região.

DISCUSSÃO

As regiões S e SE têm as menores proporções de h nulo. O SE, entretanto, tem o destaque negativo, com a maior taxa de decréscimo (28%, em média, a cada acréscimo unitário de valor de h). Taxa de decréscimo maior significa queda mais abrupta de densidade de probabilidade a partir de h = 0 e conseqüente redução de probabilidade de ocorrência de valores maiores de h. Logo, se h = 19 coloca o autor em 1º lugar no SE, no S essa posição demandaria h = 24.

Com o ajuste das funções densidade de probabilidade exponencial, as regiões de maior semelhança são SE e NE: seus parâmetros λ da função densidade são próximos, com larga sobreposição de intervalos de confiança. Como corolário, média e mediana são semelhantes, bem como a posição de hierarquia para um dado h é semelhante entre essas duas regiões.

As funções de hierarquia de cada região (Tabela 2) permitem formar um juízo de posição numa dada região, dado um valor de h. Por exemplo, para um autor de índice h = 10 na região SE, tem-se o seguinte cálculo:

Isso quer dizer que, se fossem 100 os autores em Saúde Coletiva no SE, esse autor seria o sexto colocado. Nessa região, h = 10 corresponde ao percentil 93,92, cujo complemento 6,08 quando arredondado resulta em 6. No CO, cujo h médio é 2, h = 10 corresponderia ao primeiro lugar, empatado com autores de h = 9 (em ambos os casos função rank resulta na unidade). Na região NE, esse autor estaria na quinta colocação e na região S, na 11ª colocação. Novamente, há semelhanças entre SE e NE.

Em estudo anterior,¹¹ foram encontradas maiores semelhanças entre NE e S. Essas regiões registraram as maiores taxas anuais de crescimento de publicações e de citações, menor dispersão de interesses de pesquisa (maiores valores do Índice E de Shannon), maior proporção de autores citados, maior engajamento em campos da Medicina Clínica e Experimental. Esse aparente paradoxo de resultados talvez se explique por transformações na WoS em 2007 e 2008 (anos que separam os dois estudos), em que, buscando responder à concorrência estabelecida pela base Scopus, a WoS mais que duplicou o número de revistas brasileiras indexadas com conseqüente súbito aumento de registros de produção e citação.^b O estudo anterior abrangeu registros WoS até dezembro de 2005, quando revistas brasileiras indexadas totalizavam 26. Em 2007, esse número passou a 63 e, em 2008, alcançou a cifra atual de 103.⁹ A WoS passou também a registrar publicações de congressos (Conference Proceedings), o que deve ter estendido igualmente o reconhecimento da produção científica brasileira.

Contudo, o destaque da região NE perante as demais regiões brasileiras é notável. O Ministério de Ciência e Tecnologia vem realizando convênios com fundações de amparo à pesquisa que promovem a desconcentração da produção científica nacional, com maior investimento em bolsas de estudos para os estados da região N, NE e CO. Desde 2003, a criação da bolsa de Desenvolvimento Científico Regional visa atrair e fixar doutores em regiões carentes do País. Em 2007, o governo brasileiro implantou a lei 11.540/2007, que dispõe sobre o Fundo Nacional de Desenvolvimento Científico e Tecnológico. Segundo a Lei, do total de recursos destinados ao Ministério da Ciência e Tecnologia, serão aplicados pelo menos 40% em programas de fomento à capacitação e ao desenvolvimento científico e tecnológico do N e NE, incluindo as respectivas áreas de abrangência das agências de desenvolvimento regional. Iniciativas como essa podem explicar o destaque científico em Saúde Coletiva alcançado pelo NE.

Como limitação deste estudo, os autores em Saúde Coletiva no Brasil talvez não estejam perfeitamente representados no universo estudado, restrito aos docentes de pós-graduação. A produção científica brasileira tem contribuição não desprezível de profissionais da Saúde Pública que, dedicados à gestão do Sistema Único de Saúde, preservam o interesse pela pesquisa. Exemplo disso são as várias publicações mantidas como periódicos pelo Ministério da Saúde, v.g. Boletim Epidemiológico, Boletim Saúde Mental, Cadernos RH Saúde, entre outros.^c Por outro lado, a análise do comportamento do índice h de docentes de pós-graduação pode ter fornecido valores de referência para propósitos de avaliação ou comparação da produção científica cumulativa em cada região brasileira, que se prestem de referência a juízos sobre grande ou pequeno.

O índice h pela página citation report subestima o real h de autores cujos trabalhos mais citados não integrem os registros de publicação da WoS. Essa estimativa de h pode ser refinada na WoS via cited references search, que, por sua vez, também se limitará a citações feitas em matéria publicada que tenha tido registro na WoS. A imprecisão dessa métrica não compromete comparações de medidas efetuadas sob as mesmas premissas. O índice h pode também ser obtido na Scopus B.V. e no Google Acadêmico, resultando em diferentes valores, sendo imprópria a comparação de valores de h de diferentes origens.

O índice h apresenta limitações que servem de base para uma interpretação crítica sobre a produção científica de um autor. Exemplos disso são sua dependência do número de anos de atividade científica,⁶ comprometendo a comparação do h de jovens pesquisadores com aqueles mais velhos; uso excessivo de autocitações, que podem inflar valor do índice h¹³ e possibilidade de subestimar a produção de "pesquisadores seletivos", i.e., de pesquisadores que publicam menor número de documentos, mas com impacto internacional notável, recebendo muitas citações.³ Além disso, a avaliação da produção científica do pesquisador não pode se resumir à avaliação de indicador único. Um único número não pode fornecer mais que uma aproximação grosseira do perfil multifacetado de um indivíduo e muitos outros fatores deveriam ser considerados em combinação ao avaliar um pesquisador.⁶ O índice h é um instrumento de auxílio para avaliação da produção científica dos pesquisadores.

O estudo anterior¹¹ e o presente convergem para a conclusão de que a região NE alcançou o "sul maravilha", para lembrar a expressão cunhada por Henfil (Henrique de Souza Filho, 1944-1988). Fosse ele ainda vivo, talvez seu saboroso personagem Graúna pudesse agora reconhecer um Nordeste maravilha, pelo menos em Saúde Coletiva.

Recebido: 6/12/2009

Aprovado: 16/12/2010

Pesquisa financiada pelo Conselho Nacional de Desenvolvimento Científico e Tecnológico (processo nº 308502/2006-0).

• 1. Batista PD, Campiteli MG, Kinouchi O, Martinez AS. Is it possible to compare researchers with different scientific interests? Scientometrics 2006;68(1):179-89. DOI:10.1007/s11192-006-0090-4
• 2. Bornmann L, Hans-Dieter D. What do we know about the h index? J Am Soc Inf Sci Technol. 2007;58(9):1381-5. DOI:10.1002/asi.20609
• 3. Costas R, Bordons M. The h-index: Advantages, limitations and its relation with other bibliometric indicators at the micro level. J Informetrics. 2007;1(3):193-203. DOI:10.1016/j.joi.2007.02.001
• 4. Egghe L. Modelling successive h-indices. Scientometrics 2008;77(3):377-387. DOI:10.1007/s11192-007-1968-5
• 5. Glanzel W. On the h-index - a mathematical approach to a new measure of publication activity and citation impact. Scientometrics 2006;67(2):315-21. DOI:10.1007/s11192-006-0102-4
• 6. Hirsch JE. An index to quantify an individual's scientific research output. Proc Natl Acad Sci USA. 2005;102(46):16569-72. DOI:10.1073/pnas.0507655102
• 7. Lotka AJ. The frequency distribution of scientific productivity. J Wash Acad Sci. 1926;16(12):317-24.
• 8. Luz MP, Marques-Portella C, Mendlowicz M, Gleiser S, Coutinho ESF, Figueira I. Institutional h-index: the performance of a new metric in the evaluation of Brazilian Psychiatric Pos-graduation Programs. Scientometrics 2008;77(2):361-8. DOI:10.1007/s11192-007-1964-9
• 9. Marques F. Muito calor, pouca luz. Pesqui FAPESP. 2009;160:28-30.
• 10. Mugnaini R, Packer AL, Meneghini R. Comparison of scientists of the Brazilian Academy of Sciences and of the National Academy of Sciences of the USA on the basis of the h-index. Braz J Med Biol Res. 2008;41(4):258-62. DOI:10.1590/S0100-879X2008000400001
• 11. Pereira JCR, Vasconcellos JP, Furusawa L, Barbati AM. Who's Who and what's what in Brazilian Public Health Sciences. Scientometrics 2007;73(1):37-52. DOI: 10.1007/s11192-007-1787-8
• 12. Van Raan AFJ. Comparison of the Hirsch-index with standard bibliometric indicators and with peer judgment for 147 chemistry research groups. Scientometrics 2006;67(3):491-502. DOI:10.1007/s11192-006-0066-4
• 13. Zhivotovsky LA, Krutovsky KV. Self-citation can inflate h-index. Scientometrics 2008;77(2):373-5. DOI:10.1007/s11192-006-1716-2

a

Ministério da Educação. CAPES - Caderno de Avaliação. Brasília; 2007[citado 2008 mar]. Disponível em:

http://conteudoweb.capes.gov.br/conteudoweb/CadernoAvaliacaoServlet?acao=filtraArquivo&ano=2008&codigo_ies=&area=22

b

Meneghini R. Inusitado aumento da produção científica. In: Tendências e Debates.

Folha Sao Paulo. 12 de maio de 2009, p.3.

c

Ministério da Saúde. Periódicos Institucionais. Brasília;[s.d.][citado 2011 mar 21]. Disponível em:

http://bvsms.saude.gov.br/php/level.php?lang=pt&component=44&item=79

Datas de Publicação

• Publicação nesta coleção
  20 Abr 2011
• Data do Fascículo
  Jun 2011

Histórico

• Recebido
  06 Dez 2009
• Aceito
  16 Dez 2010