Indicadores bibliométricos em ciência da informação: análise dos pesquisadores mais produtivos no tema estudos métricos na base Scopus

Bibliometric indicators in information science: analysis of the most productive researchers about metric studies in the Scopus basis

ARTIGOS

Indicadores bibliométricos em ciência da informação: análise dos pesquisadores mais produtivos no tema estudos métricos na base Scopus

Bibliometric indicators in information science: analysis of the most productive researchers about metric studies in the Scopus basis

Ely Francina Tannuri de Oliveira^I; Maria Cláudia Cabrini Gracio^II

^IDocente do Departamento de Ciência da Informação e do Programa de Pós-Graduação em Ciência da Informação da Universidade Estadual Paulista em Marília

^IIDocente do Programa de Pós-Graduação em Ciência da Informação da Universidade Estadual Paulista em Marília

RESUMO

Esta pesquisa objetiva analisar os indicadores de impacto e relevância - total de artigos publicados, média de citações, número total de citações e índice h dos pesquisadores mais produtivos na área "Estudos Métricos", nos periódicos da base Scopus, por meio de um estudo de correlação, de determinação de melhor equação de regressão do índice h, em função do total de citações, bem como em função de todos os indicadores sob análise. Como procedimento de pesquisa, utilizou-se os termos de busca: "bibliometr* OR scientometr* OR infometr* OR webometr* OR informetr* OR webmetr* OR patentometr*", recuperando-se 36 pesquisadores apontados como os mais produtivos. Para cada indicador, foram calculadas as seguintes estatísticas descritivas: máximo, mínimo, média, desvio padrão e coeficiente de variação. Calculou-se o coeficiente de correlação de Pearson e ajustou-se a equação de regressão do índice h, em função do total de citações. Determinou-se a equação de regressão múltipla, do índice h em função dos demais indicadores. Nas considerações finais, destaca-se a necessidade da combinação destes indicadores para se descrever amplamente o perfil multifacetado de um pesquisador, dada a complementaridade de informações fornecidas pelos indicadores de produtividade e impacto, de naturezas distintas.

Palavras-chave: Estudos métricos; Indicadores bibliométricos; Produção científica; Indicadores de citação; Índice h.

ABSTRACT

This research aims at analyzing the indicators of impact and relevance - total of published articles, average of citations, total number of citations and index h of the most productive researchers in the "Metric Studies" field, within periods of the Scopus base by means of a correlation study, determining the best equation of regression of index h due to the total of citations, as well as to all other indicators under analysis. As research procedure, we used the search terms "bibliometr* OR scientometr* OR infometr* OR webometr* OR informetr* OR webmemetr* OR paentometr*", obtaining 36 researchers as the most productive ones. For each indicator, the following descriptive statistics were calculated: maximum, minimum, average, standard deviation and coefficient of variation. The coefficient of correlation of Pearson was calculated and adjusted to the equation of regression of index h due to the total of citations. The equation of multiple regression was identified, from index h due to the other indicators. Concluding, we highlight the need for a matching of such indicators to broadly describe a researcher's multifaceted profile, seeing the complementarity of information provided by the indicators of productivity and impact, from distinctive nature.

Keywords: Metric studies; Bibliometric indicators; Scientific production; Citation indicators; Index h.

1 Introdução

Diversas modalidades de avaliação do comportamento da ciência têm sido sugeridas em virtude da crescente explosão do conhecimento nas diferentes áreas, com a finalidade de se conhecer os pesquisadores, avanço do saber, bem como subsidiar políticas científicas governamentais e de instituições.

Apesar das controvérsias e ressalvas apontadas por estudiosos, as análises bibliométricas têm se mostrado procedimentos tangíveis e confiáveis, que utilizam indicadores de produção, ligação e citação, explicitando, além da produtividade, a relevância e impacto de autores, periódicos, instituições, grupos ou países, nas diferentes áreas do conhecimento. Entre os indicadores clássicos de produção e citação, encontram-se o total de publicações, média de citações por documento e total de citações.

Recentemente, em 2005, o físico Jorge E. Hirsch, da Universidade da Califórnia, propôs um novo indicador bibliométrico - o índice h - com a finalidade de avaliar a produção científica individual de um pesquisador, visando estimar a importância e o impacto da sua contribuição acumulada de pesquisa.

Considerando que os indicadores citados procuram mensurar a inserção de pesquisadores, seja por meio de sua produção e/ou sua citação, nesta pesquisa focou-se o conjunto de pesquisadores mais produtivos na temática "Estudos Métricos", nos periódicos disponíveis na base Scopus.

A Scopus é uma base de dados multidisciplinar, lançada pela editora Elsevier, em 2004. É o maior banco de dados de resumos, citações e textos completos da literatura científica mundial revisada, com cobertura desde 1960, com mais de 18.500 títulos de aproximadamente 5.000 editoras internacionais e atualizações diárias (SCOPUS, [200-?]).

Grande parte dos seus títulos é de outros países, que não os Estados Unidos, e seu conteúdo é indexado, utilizando os vocabulários controlados para a definição das palavras-chave e/ou descritores. A base Scopus cobre as seguintes áreas do conhecimento: química, física, matemática, engenharia, ciências da saúde e vida, ciências sociais, psicologia, economia, biologia, agricultura, ciências ambientais e ciências gerais (MESQUITA et al., 2006).

A proposta desta pesquisa é analisar o comportamento dos indicadores de produção e citação por meio do estudo da dependência existente entre eles, avaliando se há uma sobreposição parcial, total ou uma complementação do poder de explicação de um indicador como descritor do desempenho científico em relação aos outros.

Com base nas questões arroladas, objetiva-se, de forma geral, analisar os indicadores de impacto e relevância dos pesquisadores mais produtivos na área "Estudos Métricos", nos periódicos disponíveis na base Scopus, a fim de realizar uma comparação destes indicadores, como descritores de medidas de produtividade e visibilidade científica, bem como os atributos que os indicadores descrevem.

Especialmente para os pesquisadores mais produtivos na base de dados Scopus, objetiva-se correlacionar os indicadores: total de artigos publicados, média de citações, número total de citações e índice h. Ainda, busca-se determinar a melhor equação de regressão do índice h em função do total de citações, bem como apresentar o modelo de regressão linear mais adequado do índice h em função dos demais indicadores sob análise.

Centra-se o estudo na construção de modelos de equação, no entorno do índice h, por ser ele o mais recente indicador criado entre os indicadores sob análise, gerando debates e polêmicas; por ter recebido alguns desdobramentos referentes às suas propriedades e representatividade; e por envolver em sua definição outros indicadores, especificamente de produção e citação.

Assim, esta pesquisa justifica-se pela contribuição para o aprofundamento da análise destes indicadores e relação entre os mesmos, bem como para a compreensão dos indicadores como descritores da trajetória acadêmica de um pesquisador, grupo ou país. Destaque-se, também, que, a partir do momento que um grupo avalia sua produção, propicia a visualização de parâmetros que tornam possível avaliar e repensar seus objetivos, proporcionando subsídios para tomadas de decisões que viabilizem novas estratégias de crescimento. Alia-se a essas questões a carência de estudos, relacionando esses indicadores de forma conjunta e aprofundada, utilizando metodologias estatísticas inferenciais.

2 O conceito de indicadores bibliométricos

Os "Estudos Métricos" compreendem o conjunto de estudos relacionados à avaliação da informação produzida, mais especialmente científica, em diferentes suportes, baseados em recursos quantitativos como ferramentas de análise. Fundamentados na sociologia da ciência, na ciência da informação, matemática, estatística e computação, são estudos de natureza teórico-conceitual, quando contribuem para o avanço do conhecimento da própria temática, propondo novos conceitos e indicadores, bem como reflexões e análises relativas à área. São, também, de natureza metodológica, quando se propõem a dar sustentação aos trabalhos de caráter teórico da área onde estão aplicados.

Os Estudos Métricos desenvolveram-se a partir da bibliometria, cientometria, webometria, tendo como tema "maior" a informetria. Mais modernamente, surge, também, a patentometria. Os Estados Unidos, Bélgica, Holanda e Espanha, entre outros, são os países precursores destes estudos.

Eles envolvem um amplo conjunto de indicadores bibliométricos, agrupados em indicadores de produção, indicadores de citação e indicadores de ligação (OKUBO, 1997; SPINAK, 1998; NARIN; OLIVASTRO; STEVENS, 1994; CALLON; COURTIAL; PENAN, 1993).

Nesta pesquisa, focam-se os indicadores bibliométricos, especificamente os de produção e de citação, a partir de dados levantados para os pesquisadores mais produtivos na temática em questão, em âmbito internacional, presentes na base Scopus.

O indicador básico de produção é constituído pela contagem do número de publicações do pesquisador, que busca, por meio de sua produtividade, refletir o impacto junto à comunidade científica a qual pertence. No entanto, estudiosos têm analisado a relação entre produtividade e impacto de pesquisador, considerando que nem sempre um alto volume de produção acadêmica significa visibilidade e reconhecimento pelos pares.

A análise de citações envolve indicadores básicos e derivados de citações, e é considerada, por vários autores, a área mais importante da bibliometria (ARAÚJO, 2006). Entre os indicadores de citação clássicos para a avaliação dos pesquisadores, instituições ou países têm-se o número total de citações e a média de citações por trabalho publicado, que buscam refletir o impacto, a influência e a visibilidade junto à comunidade científica.

Entretanto, estudiosos da área apontam questões associadas ao uso destes indicadores, tomados em sua forma bruta na análise da produção científica. Essas questões se relacionam às diferentes naturezas das áreas onde se aplicam, às motivações para citação, à própria natureza da publicação se de revisão ou original (VANZ; CAREGNATO, 2003). Outros ainda relacionam à barreira linguística e à origem da publicação se de países periféricos ou mainstream (VELHO, 1985).

Em decorrência das questões apontadas, os pesquisadores buscam continuamente novos indicadores, a fim de caracterizar de forma mais plena e verdadeira o comportamento da ciência e seus atores.

Recentemente, Jorge Hirsch, em 2005, propôs o índice h, um indicador de número único, a fim de caracterizar a produção científica e impacto de um pesquisador, instituição ou país. Trata-se de um índice que propicia uma estimativa da relevância, do reconhecimento e da contribuição da pesquisa acumulada para a área de atuação.

Hirsch (2005) propôs o índice h para caracterizar a produção científica acumulada de um pesquisador, instituição ou país, e o define como "a scientist has index h if h of his /her N_p papers have at least h citations each, and the other (N_p-h) papers have no more than h citation each" (HIRSCH, 2005, p. 1), onde N_p é o total de artigos publicados. O índice h está associado à distribuição das citações pelos documentos e seu valor depende da natureza da área do pesquisador.

O índice apresenta algumas características: é um valor que nunca decresce no decorrer da trajetória de um pesquisador, porém, à medida que se avança no valor do índice, requer dele maior esforço; seu aumento não é linear, pois o indicador não é totalmente influenciado pelo número de trabalhos publicados, mas está fortemente associado ao número de citações; e seu valor depende da natureza da área do pesquisador.

Segundo Hirsch (2005), o índice h é preferível aos outros indicadores anteriormente citados, também de valor pontual - número total de artigos, número total de citações e média de citações por artigo, classicamente usados para avaliar a produção científica de um pesquisador, por constituir um número simples e fácil de se calcular, por medir o impacto e a importância dos artigos e por ser uma estimativa robusta da contribuição global do pesquisador para a área, na medida em que não é influenciado por valores extremos, isto é, pelo conjunto de artigos não citados, pouco citados ou altamente citados.

Os estudiosos têm sido unânimes em considerar o índice h uma medida que tende a valorar o esforço científico, ao levar em conta todo o percurso acadêmico do pesquisador, de forma cumulativa (GRUPO SCIMAGO, 2006).

No entanto, Hirsch destaca que um único valor nunca será suficiente para descrever amplamente o perfil multifacetado de um pesquisador, instituição ou país, sendo necessária a combinação de outros indicadores na avaliação dos mesmos.

3 Procedimentos metodológicos

Em 20 de abril de 2011, na base de dados Scopus, foram levantados os artigos produzidos na temática "Estudos Métricos", a partir dos termos de busca: "bibliometr* OR scientometr* OR infometr* OR webometr* OR informetr* OR webmetr* OR patentometr*", em "Article Title, Abstract, Keywords", e com filtro para tipo de documentos "Article", para todos os anos e todas as subáreas.

Recuperou-se um total de 4722 artigos, sendo a primeira publicação datada de 1974, com 36 pesquisadores apontados como os mais produtivos pela Scopus, com pelo menos 11 artigos publicados. Recorreu-se às estatísticas de síntese que a própria base apresenta, a partir dos artigos recuperados, presentes na janela de diálogo em "Author name", em sua expansão "view more" para este recorte.

Trabalhou-se com esse universo sob a perspectiva do mecanismo de busca da Scopus, considerados os 36 autores mais produtivos. Para cada um deles, buscou-se na base em questão: o índice h, o total de artigos publicados e o número total de citações. Estes procedimentos foram realizados a partir do filtro "limit to" para cada nome de autor. Salienta-se que, algumas vezes, neste procedimento, encontrou-se um número maior de artigos publicados do que aqueles registrados nos mais produtivos, considerando-se, assim, o maior número de publicações, pois os autores apresentavam mais de uma forma de nome de entrada na base. Constatou-se também, algumas vezes, autores com nomes registrados de duas formas diferentes. Neste caso, limitou-se pelos dois nomes ao mesmo tempo para a busca do número de artigos publicados, do índice h e total de citações. A média de citações por documento foi calculada a partir dos dados em questão.

Os dados levantados foram organizados e para cada indicador, sob análise, foram calculadas as seguintes estatísticas descritivas: máximo, mínimo, média, desvio padrão e coeficiente de variação.

Calculou-se o coeficiente de correlação de Pearson para todos os indicadores, de forma pareada. Ajustaram-se as equações de regressão do índice h em função do total de citações, sendo consideradas as seguintes possibilidades de modelos: linear, logarítmico, logístico e exponencial. Adotou-se a curva de melhor ajuste, usando como critério o maior valor de R2. Observe-se que o valor de R2 aponta a porcentagem da variação da variável dependente (índice h), que é explicada pela variável independente (total de citações).

A seguir, determinou-se a equação de regressão múltipla do índice h em função dos demais indicadores, a fim de prever o comportamento do índice h como resposta ao comportamento das variáveis independentes, a saber: total de artigos publicados, número total de citações e média de citações por documento. A combinação linear das variáveis independentes por meio da regressão múltipla é determinada de forma a ser o melhor preditor da variável dependente, fornecendo um meio de se avaliar objetivamente o grau e natureza da relação entre a variável dependente e as independentes. Foi utilizado o método stepwise, que começa selecionando o melhor preditor da variável dependente e adiciona variáveis independentes em termos do poder explicativo que incrementa ao modelo de regressão. Se o poder preditivo de uma variável independente cair para um nível não significante quando outra variável independente for acrescentada ao modelo, as mesmas podem ser eliminadas (HAIR et al., 2005).

Observe-se que, quando a equação de regressão contém mais de uma variável independente, o R² apresenta o efeito combinado das variáveis independentes envolvidas na previsão da variável dependente.

4 Apresentação, análise e discussão dos resultado

A Tab. 1 apresenta os indicadores, número de artigos produzidos, índice h, total de citações e média de citações por documento, esta última calculada pela razão entre o total de citações e número de artigos, apresentados em ordem decrescente do número de artigos publicados.

A partir da Tab. 1, destacam-se o total de citações como o indicador que apresenta maior variabilidade, determinada pelo maior coeficiente de variação, igual a 126%, e o total de artigos produzidos como o indicador com menor dispersão no conjunto sob análise, igual a 44%. Esses comportamentos indicam que, embora o grupo seja relativamente homogêneo quanto à produção, seu impacto, medido por meio das citações recebidas, apresenta-se bastante variado, com mínimo de citações recebidas igual a cinco e o máximo igual a 2012, portanto com grande amplitude.

Observa-se, ainda, que, para todos os indicadores, o coeficiente de variação ficou acima 30%, indicando que suas médias não podem ser consideradas representativas de um comportamento característico do grupo de pesquisadores. Em decorrência, acrescente-se que, mesmo considerando um grupo relativamente homogêneo quanto à produção, o comportamento dos indicadores não segue um padrão de normalidade, em virtude de, basicamente, alguns pesquisadores apresentarem comportamentos extremos, tais como Glänzel, por um lado, e Yang e Quarcoo, por outro.

Destaca-se que todas as correlações acima de 0,8 correspondem a correlações entre indicadores de citação, a saber, índice h, citações por documento e total de citações. Das três maiores correlações acima de 0,8, consideradas fortes, duas delas referem-se ao índice h e citações por documento, entre índice h e total de citações, bem como entre total de citações e citações por documento.

Por outro lado, todas as correlações inferiores a 0,8, consideradas moderadas, encontram-se associadas ao indicador de produção, ou seja, número de artigos.

Assim, o indicador de produção apresenta-se como aquele que descreve a característica de desempenho científico mais independente de um pesquisador em relação aos outros três indicadores estudados. Isso valida, de certa forma, a ideia de que indicadores de produção analisam o pesquisador por uma perspectiva e os indicadores de citação por outra.

A seguir, apresenta-se a Fig. 1, com a regressão logarítmica do índice h em função do total de citações, por ser a maior correlação existente envolvendo o índice h (r=0,85). Destaca-se que este modelo de regressão foi o que apresentou o melhor ajuste, comparado aos modelos de regressão linear, logística e exponencial, com R² igual a 0.789 ou 78,9%, apontando que 78,9% da variação do índice h é explicada pelo total de citações, quando se adota o modelo logarítmico de relação das mesmas.

A partir destas informações, destaca-se o grande poder de predição do total de citações em relação ao índice h, isto é, por meio do valor do total de citações de um pesquisador pode-se ter uma boa estimativa do valor de seu índice h.

A Fig. 1 mostra que os dados analisados se concentram em baixos valores de total de citações e de índice h, menores que 500 e que 12, respectivamente, dos 36 pares de dados, 31 deles encontram-se aí concentrados. Ainda, para esses 31 dados, com até 500 citações, o índice h cresce de forma a se aproximar de um comportamento linear. Por outro lado, quanto maior o total de citações, maior dispersão do valor do índice h, e este tende a crescer mais lentamente, deixando de se adequar a um comportamento linear. Assim, para valores de total de citações bem grandes, a aproximação à curva logarítmica, embora mais representativa que as demais possibilidades - linear, logística e exponencial - não apresenta ajuste muito preciso.

Acrescente-se, ainda, que o esforço necessário para um pesquisador saltar posições no índice h aumenta na medida em que aumenta o valor do índice h, portanto escalar valores h de grandeza maior requer cada vez mais esforço, pois a sua projeção não é linear (GRUPO SCIMAGO, 2006).

Calculou-se, a seguir, a equação de regressão linear, com método Stepwise, tomando-se o índice h como variável dependente e os demais indicadores total de citações, média de citações por documento e número de artigos publicados como variáveis independentes. Considerando o valor de R² como critério para o melhor ajuste, as duas melhores equações lineares ajustadas foram: índice h em função dos outros três indicadores (R²=0,817) e índice h em função somente de dois deles, média de citação por documento e número de artigos (R²=0,818), ambos modelos de equações com valor de R² muito próximos.

Considerando o que foi exposto, aponta-se como modelo de reta a equação que mostra o índice h em função da média e do número de artigos - modelo mais simples, uma vez que envolve menor quantidade de variáveis-, dada por:

Onde:

H= índice h

M= média de citações por documento

N= número de artigos publicados

Em vista do modelo construído, aponta-se que são suficientes um indicador de produção (N) e um indicador de citação (M) para se ter uma estimativa do comportamento do índice h, sendo que 81,8% da variação do índice h pode ser explicada por essa equação, em função da média de citações por documento (M) e pelo número de artigos publicados (N).

Instanciando o modelo de regressão (I) aos pesquisadores que compõem o grupo sob análise, observa-se que, para 28 deles, a estimativa do índice h em função da média de citações por documento(M) e número de artigos por documento (N) distanciou-se no máximo duas unidades em relação ao valor real do índice do pesquisador. Por outro lado, as maiores diferenças entre a estimativa obtida por este modelo (I) e o valor real do índice h foram observadas para três pesquisadores, a saber: Glänzel, Ingwersen e Van Raan, para ao quais se observou um erro de aproximadamente quatro unidades em relação ao valor real. Estes resultados sugerem que a equação possui bom ajuste, exceto para pesquisadores mais expoentes.

Acresce-se a esta análise que, individualmente, o indicador total de citações é aquele que apresenta melhor ajuste, como variável independente, em relação ao índice h. Todavia, quando considerado o conjunto dos três indicadores como variáveis independentes, o indicador total de citações perde sua significância como preditor do comportamento do índice h. Esta constatação pode ser também visualizada por meio da Tabela 2, de correlação entre os indicadores, uma vez que o total de citações é o indicador que apresenta maior correlação com o índice h. Entretanto, quando inseridos os outros dois indicadores no modelo, o total de citações perde sua relevância como variável preditiva do índice, dada sua alta correlação com o indicador "número de artigos produzidos".

Esta constatação pode ser também visualizada por meio da Tabela 2, de correlação entre os indicadores, uma vez que o total de citações é o indicador que apresenta maior correlação com o índice h, entretanto, quando inserido os outros dois indicadores no modelo, o total de citações perde sua relevância, como variável preditiva do índice, dado sua alta correlação com o indicador "número de artigos produzidos".

5 Considerações finais

A partir da proposta inicial desta pesquisa, mostrou-se os indicadores de impacto e relevância dos pesquisadores mais produtivos na área "Estudos Métricos", nos periódicos disponíveis na base Scopus. Realizou-se um estudo comparativo e de correlação entre os indicadores, como descritores de medidas de produtividade e visibilidade científica, além de se analisar os atributos que eles descrevem.

Concluiu-se que o total de citações é o indicador que apresenta maior variabilidade e o total de artigos produzidos é o indicador com menor dispersão no conjunto sob análise, indicando que, embora o grupo seja relativamente homogêneo quanto à produção, seu impacto e visibilidade apresentam-se bastante variados.

Encontrou-se correlações mais fortes, acima de 0,8, entre os indicadores de citação e correlações consideradas moderadas associadas ao indicador de produção. Esse indicador apresenta-se como aquele que descreve a característica de desempenho científico de um pesquisador, de forma mais independente, em relação aos outros três indicadores estudados. De certa forma, isso valida a ideia de que indicadores de produção analisam o pesquisador por uma perspectiva e os indicadores de citação por outra.

Em relação à equação de ajuste do índice h em função do total de citações, destaca-se o grande poder de predição deste em relação ao índice h, isto é, por meio do valor do total de citações de um pesquisador pode-se ter uma boa estimativa do valor de seu índice h.

Considerando-se o modelo de regressão múltipla do índice h como variável dependente dos demais indicadores, aponta-se que é suficiente um indicador de produção e um indicador de citação para se ter uma estimativa do comportamento do índice h, na maioria dos casos, com exceção para os pesquisadores que têm mais alto desempenho em relação, especialmente, à média de citações.

Apesar da significativa dependência e associação entre os indicadores estudados, este estudo mostra a complementação de informações fornecidas por indicadores de naturezas - distintas produtividade e impacto -, apontando a necessidade da combinação dos mesmos para se descrever amplamente o perfil multifacetado de um pesquisador.

Finalizando, destaque-se que o conjunto de pesquisadores sob análise apresenta relativa homogeneidade com respeito à produtividade, pois são os 36 primeiros mais produtivos na temática "Estudos Métricos". No entanto, considerando o conjunto maior e mais heterogêneo de pesquisadores, estas correlações poderiam ser menos intensas.

Recomenda-se que se dê continuidade a este estudo, propondo-se que a pesquisa em questão seja realizada em outras bases de dados, se estenda a outros temas e que se utilizem outros indicadores.

Recebido em 03/05/2011

Aceito em 12.12.2011

• ARAUJO, C. A. Bibliometria: evolução histórica e questões atuais. Em Questão, Porto Alegre, v. 12, n. 1, p. 11-32, jan/jun, 2006.
• CALLON, M.; COURTIAL, J.-P.; PENAN, H. Cienciometría: la medición de la atividad científica: de la bibliometría a la vigilancia tecnológica. Astúrias: Ediciones Trea, 1995.
• GRÁCIO, M. C. C.; OLIVEIRA, E. F. T. Comparando el índice h con otros indicadores bibliométricos en el tema "Estudios Métricos" en el SciELO, en Ciencia de la Información. Ibersid: Revista de Sistemas de Información y Documentación, Zaragoza, v. 15, p. 123-130, 2010.
• GRUPO SCIMAGO. El índice h de Hirsch: aportaciones a un debate. El profesional de la información, v. 16, n. 1, p. 47-49, 2007.
• HAIR, J. F et al. Análise multivariada de dados 5. ed. Porto Alegre: Bookman, 2005.
• HIRSCH, J. E. An index to quantify an individual's scientific research output. ArXiv:physics/0508025v5 [physics.soc-ph, Sep. 2005. Disponível em: <http://arxiv.org/abs/physics/0508025 Acesso em: 18 abr. 2009.
• MESQUITA, R. et al. Elaboração e aplicação de instrumentos para avaliação da base de dados Scopus. Perspectivas em Ciência da Informação. Belo Horizonte, v. 11, n. 2, p. 187-205, maio-ago. 2006.
• NARIN, F.; OLIVASTRO, D.; STEVENS, K. S. Bibliometric theory, practice and problem. Evaluation Review, v. 18, n. 1, p. 65-76, 1994.
• OKUBO, Y. Bibliometric indicators and analysis of research systems: methods and examples. Paris: OECD, 1997.
• SCOPUS. What does it cover? [200-?] Disponível em: <http://www.info.sciverse.com/scopus/scopus-in-detail/facts>. Acesso em: 23 de maio de 2011.
• SPINAK, E. Indicadores cienciométricos. Ciência da Informação, Brasília, v. 27, n. 2, p. 141-148, 1998.
• VANZ, S. A. S; CAREGNATO, S. E. Estudos de citação: uma ferramenta para entender a comunicação científica. Em Questão, v. 9, n. 2, p. 295-307, 2003.
• VELHO, L. M. L. S. Como medir a Ciência? Revista brasileira de tecnologia, Brasília, v. 16, n.1, p. 35-41, jan.fev. 1985.

Datas de Publicação

• Publicação nesta coleção
  05 Mar 2012
• Data do Fascículo
  Dez 2011

Histórico

• Recebido
  03 Maio 2011
• Aceito
  12 Dez 2011