Bibliometria e "avaliação" da atividade científica: um estudo sobre o índice h

Bibliometrics and "evaluation" of scientific activity: a study of the h-index

ARTIGOS

Bibliometria e "avaliação" da atividade científica: um estudo sobre o índice h

Bibliometrics and "evaluation" of scientific activity: a study of the h-index

Ricardo Arcanjo de Lima^I; Lea Maria Leme Strini Velho^II; Leandro Innocentini Lopes de Faria^III

^IAnalista de Gestão da Informação na Embrapa Solos e Doutorando do Programa de Pós-graduação em Política Científica e Tecnológica, Instituto de Geociências da Universidade Estadual de Campinas

^IIProfessora Titular no Departamento de Política Científica e Tecnológica, Instituto de Geociências da Universidade Estadual de Campinas

^IIIProfessor Adjunto no Departamento de Ciência da Informação, Centro de Educação e Ciências Humanas da Universidade Federal de São Carlos

RESUMO

Avaliar a atividade científica é um fator crucial para agências de fomento e institutos de pesquisa, razão pela qual um novo indicador bibliométrico vem ganhando espaço na comunidade científica – o índice h. O presente estudo observa a variabilidade/persistência do valor do índice em diferentes áreas do conhecimento e sua aplicação como ferramenta de política científica e tecnológica.

Palavras-chave: Índice H; Bibliometria; Política científica.

ABSTRACT

Assessing scientific activity is a crucial factor for development agencies and research institutes. That is why a new bibliometric indicator has been gaining grounds in the scientific community - the h-index. This study analyzes the variability/persistence of the index value in different areas of knowledge and its application as a tool for science and technology policy.

Keywords: H-index; Bibliometrics; Scientific Policy.

1 Introdução

A pesquisa científica é uma atividade de extrema importância e consome somas consideráveis de recursos públicos e privados, razão pela qual é importante analisar os resultados que gera, assim como seu impacto em diferentes dimensões – científica, econômica, social. Várias são as maneiras pensadas e desenhadas para examinar cada uma destas dimensões. A literatura científica tem sido, historicamente, a fonte de dados mais utilizada para gerar indicadores que permitam analisar os resultados e a qualidade da produção científica e, ainda, estimar o impacto científico. Em anos recentes, destaca-se, entre tais indicadores de impacto, o índice h, que, baseado em citações recebidas, analisa e compara a atividade científica dos pesquisadores de forma individual (COSTAS; BORDONS, 2007).

O índice h tem sido adotado por diversos órgãos financiadores de pesquisa, com destaque para agências na Austrália, Nova Zelândia, Reino Unido¹ e Espanha (IMPERIAL; RODRIGUEZ-NAVARRO, 2007), além de universidades e centros de pesquisa que, também, o utilizam como critério para a promoção funcional de pesquisadores e avanço dos mesmos na carreira científica. No Brasil, o índice h tem sido, paulatina, mas sistematicamente, apropriado por algumas fundações estaduais de amparo à pesquisa (FAPs), pelo Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq) e Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES), como critério para alocação de recursos e benefícios, tais como as bolsas de produtividade científica concedidas pelo CNPq.

Apesar da tendência de ampliação de seu uso, muitas limitações e problemas associados ao conceito, metodologia e interpretação do índice h têm sido apontados (BORNMANN; HANS-DIETER, 2007; ROUSSEAU, 2008). Entre esses problemas, destaca-se a tendência crescente de comparar o índice h de pesquisadores de áreas diferentes do conhecimento, levando a conclusões equivocadas sobre a superioridade científica de instituições, grupos de pesquisa e, até mesmo, pesquisadores individuais, construindo e destruindo reputações.

Com base no exposto, este artigo desenvolve o argumento de que, sendo o índice h baseado nas citações recebidas, e sendo a prática de citação bastante variada entre as áreas do conhecimento, o índice h varia, substantivamente, entre áreas e não pode ser usado como indicador de comparação de desempenho científico entre elas. Além disso, as práticas de publicação dos pesquisadores, assim como as citações que tais publicações recebem, são, reconhecidamente, afetadas pelas condições de trabalho dos pesquisadores, pelo estágio da carreira profissional, pelo número de orientandos de doutorado, além de outros fatores.

Para desenvolver esse argumento, este artigo tem como objetivo ilustrar, empiricamente, a variação nas práticas de publicação e citação entre áreas do conhecimento e, consequentemente, no índice h. Optou-se, como base empírica para essa ilustração, fazer uma análise comparada entre a produção científica declarada pelos bolsistas de produtividade do CNPq dos níveis 1-A e 1-B, de algumas áreas diferentes. Os bolsistas de produtividade científica do CNPq, de quaisquer que sejam as áreas, conforme se explica na seção de metodologia abaixo, já tiveram sua qualidade científica analisada e julgada pelos comitês assessores de suas respectivas áreas, em processos altamente competitivos. Portanto, são uma amostra extremamente adequada para selecionar, de maneira não aleatória, pesquisadores de alta reputação em suas respectivas áreas do conhecimento e que tenham índice h compatível com a qualidade que o sistema de avaliação praticado lhes atribui e reconhece. Por outro lado, visando eliminar da análise a influência de fatores que possam ser atribuídos às condições de trabalho dos pesquisadores, decidiu-se por cientistas vinculados a instituições de ensino e pesquisa do estado de São Paulo. Isso se deve ao fato de que este estado conta com condições excepcionais de financiamento para pesquisa, graças à FAPESP, respondendo por aproximadamente 72% do dispêndio estadual de pesquisa², além de contar com um contingente enorme de estudantes de doutorado e de pesquisadores pós-doutores que, sem dúvida, contribuem para a produção científica dos pesquisadores.

O artigo está estruturado em cinco seções, como se segue: uma breve caracterização a respeito da citação como instrumento de avaliação da atividade científica; considerações conceituais, metodológicas e interpretativas sobre o índice h; uma descrição do método empregado e das fontes de informação para esse estudo; apresentação dos resultados e discussão dos mesmos; e considerações finais.

2 A citação como instrumento de avaliação da atividade científica

No campo científico, diversas práticas são quase universais, entre elas a citação, que pode ser vista como um dos imperativos do método científico (JOB; ALVARENGA, 2008). De um modo geral, as citações refletem os processos de desenvolvimento das ciências, reconhecem a contribuição prévia dos pesquisadores por seus pares, ao mesmo tempo em que são importantes sinalizações, que indicam não apenas o "ambiente teórico" em que se processam as interpretações acadêmicas, mas, também, os "circuitos acadêmicos" que as legitimam (SILVA, 2000).

Ainda que a citação seja comum a todas as áreas do conhecimento, a prática da citação está sujeita aos modos particulares de organização da produção de conhecimento de cada área, subárea ou especialidade. Uma vez que as comunidades e seus conhecimentos estão interligados (SKILTON, 2006), a citação se tornou um instrumento que permite analisar as diferentes práticas entre as áreas e a razão destas diferenças.

Ao permitir evidenciar elos existentes entre indivíduos, instituições e áreas de pesquisa, a análise de citações pode ser considerada a ferramenta mais importante da bibliometria (ARAÚJO, 2006). Spinak (1998) apresenta diversos indicadores que podem ser confeccionados a partir da citação: índice de atividade, afinidade, atração, imediatez, "popularidade", isolamento, abertura e, finalmente, o de impacto.

Entender o comportamento da citação é uma tarefa complexa, estudada tanto pela Ciência da Informação quanto pela Sociologia da Ciência (GLANZEL et al., 2006). Enquanto a primeira se refere às citações como sinais deixados para trás após a informação ter sido utilizada, a última vê a citação como uma representação do comportamento social da comunidade de determinada área.

Desta forma, para que se possa compreender a função da citação, é preciso considerá-la, também, como parte do comportamento da comunidade científica, pela qual pode ser observada a confiança, a autoridade, a credibilidade ou o papel do conhecimento já acumulado (SKILTON, 2006; NORONHA, 1998).

Para Weinstock (1971) apud Glanzel et al. (2006), existe apenas três razões pelas quais a citação ocorre:

a) citação positiva: na qual ocorre o acolhimento da ideia/estudo pela comunidade científica, passando, assim, a integrar o corpo teórico da disciplina;

b) citação neutra: que visa apenas contextualizar o estudo ou reconhecer os pioneiros da área; e

c) citação negativa: na qual a ideia/estudo não é acolhida e a citação indica repúdio ou reivindicações.

As razões ou motivações que levam um autor a citar ou não determinada fonte bibliográfica, conforme sugeridas pelos autores acima, indicam que as citações não têm o mesmo peso e nem a mesma função em um texto acadêmico. Esta constatação, entretanto, não necessariamente invalida o uso das citações para fins de política científica, pois toda classe de citações, mesmo as negativas, podem ser entendidas como pertinentes ao expressar o uso/impacto da informação.

O uso de citações, como instrumento de avaliação científica, têm sido, até agora, muito mais comum nas Ciências Naturais. Entretanto, como apontam Archambault et al. (2006), isso está mudando com a ampla adoção dos instrumentos bibliométricos para avaliação científica, por parte das agências de fomento à pesquisa. A expansão deste tipo de processo de avaliação para as Ciências Sociais e Humanas pode ser um motivo de preocupação, uma vez que elas apresentam uma atividade científica mais fragmentada, o que dificulta a formação de núcleos "sólidos" de periódicos, além das diferenças em suas práticas de comunicação científica (HICKS, 1999). Acrescenta-se, ainda, a deficiente cobertura de publicações em outros idiomas que não o inglês, pelas bases de dados científicas internacionais, além do fato de que é prática comum nas ciências sociais a publicação de artigos de interesse local (RAAN, 2005a).

Apesar dos diferentes pesos e das limitações inerentes à citação, inclusive metodológicos, que acarretam em "perdas" de citações, como: variações em nomes de autores, dados bibliográficos com erros ou incompletos e de afiliação institucional de difícil determinação (RAAN, 2005b), a contagem e análise das mesmas são um marcador importante na aferição de mérito de um pesquisador no campo científico (LILLQUIST; GREEN, 2010). Tal reconhecimento é a principal razão pela qual um novo indicador vem ganhando espaço: o índice h.

3 O índice h: indicador bibliométrico combinado de produção e citação científica

A avaliação individual do pesquisador para fins de reconhecimento, progressão acadêmica e de fomento para suas atividades de pesquisa, é uma atividade crítica para as agências de financiamento e para os institutos de pesquisa e universidades em seus processos de contratação e promoção de pessoal altamente qualificado. Valendo-se desta necessidade e do argumento de que o impacto de um periódico torna-se menos importante, à medida que os artigos estão disponíveis em ambiente eletrônico, o índice h vem se destacando, transferindo o foco da avaliação do impacto do periódico para o impacto do pesquisador (WOHLIN, 2009).

O índice, proposto pelo físico Jorge Hirsch, tem como objetivo quantificar a atividade científica e mensurar o impacto de pesquisadores, baseando-se nos seus papers mais citados. Para Hirsch (2007), o índice h de um pesquisador é o número de documentos publicados com pelo menos h citações cada, ou seja, como podemos observar na ^{fígura 1}, o valor de h é o maior número de artigos de um autor específico que possui, pelo menos, o mesmo número de citações.

O índice visa a caracterizar a produção científica acumulada de um pesquisador e apresenta algumas características importantes: o índice h é um valor que nunca decresce no decorrer da trajetória de um pesquisador, porém, à medida que se avança no valor do índice, requer dele maior esforço; seu aumento não é linear, pois o indicador não é totalmente influenciado pelo número de trabalhos publicados, mas está fortemente associado ao número de citações; e seu valor depende da natureza da área do pesquisador (OLIVEIRA; GRACIO, 2011).

Para Dorta-González e Dorta-González (2010), trata-se de um indicador vigoroso, que concentra aspectos quantitativos e qualitativos (visibilidade), uma vez que se pode traçar uma relação entre o valor de h e a reputação de um pesquisador, segundo a avaliação por seus pares.

O índice é um indicador que tende a valorar o esforço científico e, segundo Hirsch (2005), preferível a outros indicadores tradicionalmente utilizados para avaliar a atividade científica de um pesquisador: número total de artigos, número total de citações e média de citações por artigo.

Por ser um valor simples de calcular e permitir sua utilização em diversas áreas do conhecimento, o índice vem se destacando como ferramenta de avaliação científica, levando em conta tanto a produtividade quanto a "qualidade" dos artigos, uma vez que o método é baseado nas citações recebidas (HASELEN, 2007). Além disso, apresenta várias vantagens ao combinar dados da trajetória do pesquisador (produtividade com citação), usar dados de fácil acesso nas bases científicas (Web of Science e Scopus) e não ser sensível a valores extremos, como o fator de impacto, resultando em valores difíceis de serem corrompidos (BOULD et al., 2011; BATISTA; CAMPITELI; KINOUCHI, 2006).

Alguns autores consideram o índice h como o número áureo da avaliação de pesquisadores, argumentando que este se baseia em um método quantitativo válido para todas as ciências e disciplinas (GÁLVEZ; AMEZCUA, 2006). Contudo, a validade de sua aplicação universal causa controvérsia entre analistas de Política Científica e Tecnológica (PC&T), uma vez que o índice h, como ponderam Franceschini e Maisano (2010), está sujeito a um conjunto de críticas, entre as quais se destacam as seguintes:

a) não leva em conta autocitações, taxa que não é pequena entre os pesquisadores mais jovens, sendo justamente, nessa fase da carreira, que o índice h é mais frequentemente utilizado para avaliação, promoção ou comparação entre pares (SCHREIBER, 2007);

b) não leva em conta as características das publicações - uma vez que não é possível uniformizar os canais de comunicação científica - o que pode interferir no seu valor final (SIDIROPOULOS; KATSAROS; MANOLOPOULOS, 2007);

c) o valor do índice h pode ser alterado por citações feitas de forma incorreta. Apesar dos esforços recentes das principais bases científicas, a padronização na entrada dos dados de autoria ainda é uma questão que pode interferir nos dados de citação; e

d) por apresentar fórmula simplista, o índice h descarta muitos dados do registro do artigo, detalhes que poderiam revelar fatos latentes da rede de citação e levar a avaliações mais equilibradas (SIDIROPOULOS; KATSAROS; MANOLOPOULOS, 2007).

Outra crítica importante são os problemas existentes na comparação entre diferentes áreas do conhecimento. Por essa razão, o uso do índice h tem gerado desconfiança na comunidade científica, já que se sabe que existem grandes diferenças entre as áreas de conhecimento, no que tange aos mecanismos de divulgação do resultado de suas atividades de pesquisa. O exemplo mais claro é a diferença existente nos padrões de publicação e práticas de citação entre as Ciências Naturais e as Sociais, que, como aponta o estudo de Archambault et al. (2006), apresentam, respectivamente, maior produção de papers com orientação internacional/universal e livros com orientação local/regional. Esta preferência de uma e outra área por canais particulares de publicação de resultados de pesquisa, gera diferenças marcantes nas taxas de citação em bases de dados internacionais (GUERRERO-BOTE et al., 2007), tendo em conta que parte importante dessa produção está excluída das bases.

Em vistas disso, Antonakis e Lalive (2008) ressaltam que, dadas às especificidades de cada área do conhecimento, as taxas de citação variam muito entre as áreas, resultando em um valor de h muito acentuado em algumas disciplinas e drasticamente atenuado em outras.

Estas diferentes práticas, como aponta Meadows (1999), estão intimamente ligadas ao desenvolvimento histórico das várias áreas do conhecimento e das disciplinas que compõem cada uma delas, razão pela qual não é possível, através da aplicação de um indicador, uniformizar os indicadores de análise das diferentes áreas. No entanto, o próprio Meadows (1999) aponta para a existência de similaridades nas práticas de algumas áreas, e o estudo de Batista, Campiteli e Kinouchi (2006) vê, apesar das diferenças marcantes entre as áreas do conhecimento, a possibilidade do uso do índice h para comparar pesquisadores de disciplinas com práticas semelhantes.

Tendo em conta as limitações apresentadas e, conforme já apontado acima, este estudo busca explorar diferenças e semelhanças entre áreas do conhecimento, calculando o índice h para os pesquisadores paulistas, que são beneficiados com bolsas de produtividade nível 1-A e 1-B do CNPq em quatro áreas do conhecimento - Física, Genética, Agronomia e Sociologia. Procura-se, além disso, analisar o grau de variabilidade/persistência do índice h, em cada uma destas áreas.

4 Procedimentos metodológicos

As bolsas de produtividade em Pesquisa do CNPq são concedidas a pesquisadores com alto desempenho científico, com o objetivo de distinguir seu trabalho e valorizar sua produção. Os pesquisadores detentores dessas bolas são considerados a elite da comunidade em sua respectiva área do conhecimento, sendo a bolsa um critério para permitir o acesso a diversos canais de fomento, à coordenação de institutos nacionais de pesquisa (INCTs) e para avaliar os programas de pós-graduação pela CAPES.

Entre os critérios para concessão estão a produção científica, a participação na formação de recursos humanos e itens específicos estabelecidos pelos Comitês de Assessoramento (CAs) de cada área do CNPq³. Portanto, ao selecionar os bolsistas produtividade 1-A e 1-B, automaticamente se selecionaram os pesquisadores com maior reputação em suas respectivas áreas do conhecimento.

A escolha por pesquisadores afiliados a centros de pesquisa do estado de São Paulo teve como foco uniformizar as condições de pesquisa da amostra, o importante papel dos centros de pesquisas paulistas no contexto nacional e a necessidade de restringir o universo de pesquisadores, visando a otimizar a coleta de dados.

A seleção das áreas de conhecimento obedeceu à divisão tradicional de três grandes blocos: Ciências Exatas e Engenharias, Ciências da Vida e Ciências Humanas e Sociais. Foi analisado o comportamento do índice h de pesquisadores de, pelo menos, uma disciplina representativa de cada um destes blocos: Física, Genética, Agronomia e Sociologia.

Apenas para Ciências da Vida, área com maior número de pesquisadores no Brasil e, certamente, a de maior tradição em pesquisa que remonta ao século XIX, optou-se por uma disciplina básica (Genética) e uma aplicada (Agronomia), visando identificar se a orientação mais básica ou mais aplicada se manifesta no comportamento diferenciado de publicação e citação, como indica a literatura (VELHO, 2008a).

A lista de pesquisadores bolsistas 1-A e 1-B de cada área foi obtida do cadastro do CNPq, através dos comitês de Física, Genética, Agronomia e Sociologia.

O universo da amostra é composto por 154 pesquisadores. A Tabela 1 apresenta a distribuição de bolsistas 1-A e 1-B nas áreas abrangidas pelo estudo, podendo ser observado um acúmulo de bolsas de produtividade na Física e Agronomia, áreas que possuem muitas interfaces de estudo e abrangem um grande número de subdisciplinas.

A fonte de informação empregada para a coleta de dados sobre o índice h dos pesquisadores foi a base de dados Scopus. A escolha da Scopus deve-se à sua abrangência: 16.000 títulos de 4.000 editoras, sendo a base de dados com maior cobertura de publicações internacionais e brasileiras ocorridas a partir de 1996⁴, e sua atuação pioneira na implementação do indice h, como ferramenta bibliométrica de sua plataforma.

A coleta dos dados relativos à publicação, à citação e ao índice h foi realizada isoladamente para cada pesquisador, através da ferramenta Author Search da base Scopus. Os dados dos diversos pesquisadores foram consolidados em planilha do software Excel, a partir da qual, foram realizados os cálculos de média de publicações, de citações e de índice h.

5 Resultados e discussão

A partir dos dados coletados na base Scopus, foi produzida tabela que visa a apresentar elementos que indiquem as diferentes práticas de publicação e citação nas áreas estudadas, além de permitir estabelecer valores de referência do índice h.

A seguir, exploram-se os valores obtidos através da média aritmética das publicações, citações e índice h por disciplina, com o objetivo de encontrar padrões dentro das áreas e explorar as possibilidades de uma análise comparativa.

A Tabela 2 apresenta os valores de índice h, de publicação e de citação encontrados para as áreas de Física, Genética, Agronomia e Sociologia.

Legenda:

Média aproximada do índice h;

Média aproximada de publicação; e

Média aproximada de citação.

Para a área de Física, pode-se notar que a diferença dos valores de h entre os pesquisadores 1-A e 1-B é de dois pontos; já os valores encontrados para publicação e citação são bem diferentes, chegando a quase 50% menos de citações recebidas pelos bolsistas 1-B.

Apesar de fortemente influenciado pelo elevado número de citações, o índice h não é uma média das citações dos autores, mas um valor encontrado a partir da concentração de citações em um conjunto de artigos, o que pode explicar a pouca diferença encontrada no índice h de pesquisadores 1-A e 1-B. Os valores próximos de índice h para estas duas categorias de pesquisadores indica que o número de artigos de grande impacto dos dois grupos de pesquisadores é bastante próximo.

Em Genética, os dados encontrados mostram que a disciplina apresenta valores de índice h próximos aos de Física, sendo o índice para pesquisadores 1-A superior ao de seus pares da Física e o de pesquisadores 1-B em Genética equivalente ao dos físicos. Este resultado reforça a ideia apresentada por Gigch (2002), de que Física e Biologia (Genética), enquadradas no âmbito das Ciências Naturais, compartilham as mesmas práticas e dinâmica de produção de conhecimento.

O que chama atenção é a média menor do número de publicações da área de Genética, mas com número de citação superior ao da disciplina de Física. Para Vieira e Gomes (2010), a maior distribuição de citações para a área de Ciências da Vida, em detrimento das Ciências Naturais, está relacionada à cultura de publicação das duas áreas, a exemplo do número médio de referências por documento, que é mais elevado em disciplinas biológicas.

Na área de Agronomia, a diferença do índice h entre pesquisadores 1- A e 1-B é de um ponto, menos acentuada que na área de Física. A diferença também é mais tênue no número de publicações e citações, indicando que os pesquisadores dos dois níveis apresentam produção científica mais homogênea.

Comparando-se com as disciplinas de Física e Genética, os valores de h, publicação e citação em Agronomia apresentam diferenças significativas das disciplinas citadas.

A disciplina de Sociologia, que representa a área de humanidades no estudo, é um caso a parte. Com valores de índice h quase nulos, a disciplina, hoje, não pode ser avaliada por suas práticas de publicação em bases de dados internacionais, pois possui uma cultura acadêmica distinta das apresentadas pelas áreas de Física, Genética e Agronomia que acompanham o mainstream internacional.

Analisar essas práticas, no âmbito de qualquer disciplina, é algo complexo que exige a coleta de dados qualitativos, para que se tenha um panorama mais completo; no entanto, os dados encontrados na base Scopus permitiram observar a diferença existente entre as disciplinas estudadas e a validade e viabilidade do uso do índice h.

No caso das disciplinas Física e Genética, que apresentaram valores de h muito próximos, pode-se dizer que são disciplinas que atendem demandas globais por conhecimento, contando com um núcleo de periódicos bem definido, como apontam Lariviére et al. (2006) e Archambault et al. (2006), resultando em índices positivos nas bases internacionais. Outro dado a ser considerado é que a área de pesquisa básica, com alto grau de consolidação paradigmática, tende a publicar em um número mais restrito de periódicos – esse conjunto restrito concentra as publicações e citações (VELHO, 2008a).

Assim, a maturidade destas disciplinas e a sofisticação de seus métodos de pesquisa reforçam a ideia de Batista, Campiteli e Kinouchi (2006), de que é possível analisar diferentes áreas com práticas semelhantes. Porém, a média de citação de ambas as disciplinas indica que cada uma apresenta suas especificidades e que suas práticas de citação são influenciadas por sua cultura acadêmica e mesmo por fatores intrínsecos à publicação, tais como número de co-autores, número de endereços, número de páginas, número de referências e pelo impacto do periódico (VIEIRA; GOMES, 2010). Para Glanzel e Thijs (2004), a taxa média de citação entre artigos de pesquisadores da área de Ciência da Vida e Ciências Naturais cresce com o numero de coautores e, segundo Peters e van Raan (1994), o impacto, o tamanho do artigo e o número de referências são fatores relacionados.

O que torna comparações transdisciplinares do índice h algo delicado, uma vez que indicador é muito dependente da produção e da disciplina científica (ANTONAKIS; LALIVE, 2008).

No caso de Agronomia, ainda que o índice h guarde correlação com os níveis de bolsa produtividade, pode-se notar que o número médio de trabalhos publicados e de citações recebidas por cada pesquisador de agronomia é muito menor do que o valor encontrado para as áreas de pesquisa básica e mais internacionalizada (Física e Genética). Esses dados refletem a realidade da disciplina que, como afirma Velho (2008b), se concentra em problemas que tendem a ser geograficamente localizados, e a simples transferência de resultados de um país para outro, ou de uma região para outra no mesmo país, na maioria das vezes, não se aplica. Em consequência, boa parte dos resultados é publicada em periódicos de menor impacto - com visibilidade nacional e regional, ou em outros canais de divulgação. Tendo em vista esta realidade, a base de dados Scopus reflete apenas parte da produção científica dos pesquisadores da Agronomia, aquela publicada em periódicos internacionais indexados.

Soma-se a isso o caráter aplicado de boa parte da pesquisa em Ciências Agrárias que, segundo Imperial e Rodriguez-Navarro (2007), apresentam citação inferior a das áreas básicas.

Na área de Sociologia, os valores quase nulos indicam que, atualmente, o uso do índice h é inviável para a área, uma vez que, para Soares, Souza e Moura (2010), a estratégia de promover a visibilidade da Sociologia por meio de publicações tem falhado, sendo evidenciado pela vida curta de periódicos da área e a importância dada pelas Ciências Humanas e Sociais para os livros e outros documentos no processo de comunicação científica (LARIVIÉRE et al., 2006). No entanto, o estudo identificou dados superiores para os pesquisadores 1-B em relação aos 1-A, o que poderia indicar mudanças nas práticas da disciplina no Brasil, tradicionalmente alinhada à escola francesa mais filosófica, menos experimental (SOARES; SOUZA; MOURA, 2010) e, por isso, não tão propensa a divulgar seus trabalhos por meio de periódicos indexados.

6 Considerações finais

Parece existir uma convergência entre os valores de índice h e nível de bolsa de produtividades nas áreas de Física, Genética e Agronomia. Ou seja, os valores mais altos de índice h, em cada uma destas três áreas, correspondem aos pesquisadores de nível 1-A, decrescendo para os pesquisadores 1-B. Portanto, pode-se inferir que o índice h, nestas áreas, é convergente com o julgamento dos pares. Na área de Sociologia, entretanto, isso não ocorre, e o fato de ter-se encontrado dados ligeiramente superiores para os pesquisadores 1-B em relação aos 1-A de Sociologia, pode indicar o início de mudanças nas práticas de publicação da disciplina no Brasil e a influência de políticas indutoras de C&T.

Apesar dos indícios de possíveis mudanças na disciplina, torna-se premente que as agências de fomento e outros órgãos de avaliação encontrem medidas adequadas para quantificar e agregar valor à produção brasileira em Sociologia.

Os dados do estudo também demonstram que o valor de h pode sofrer grande variação, dependendo da área de aplicação, o que ressalta a importância de se conhecer as práticas de publicação, de forma a compreender suas diferenças e estabelecer um valor padrão de h para cada disciplina.

Apesar desta diferença de valores encontrados para o índice h, ilustra-se sua empregabilidade em disciplinas que tenham como prática divulgar seus resultados através da publicação de papers em revistas indexadas, como é o caso da Física, Genética e, em parte, a Agronomia. Isto, importante ressaltar, desde que sejam observadas as especificidades de cada disciplina, os valores padrão de h refletirão as distintas características de cada área do conhecimento.

Não se deve esquecer que, como destaca Alonso et al. (2009), os problemas apresentados pelo índice h são igualmente notados em qualquer indicador bibliométrico baseado na citação, o que reforça o desafio para que os gestores de política em Ciência e Tecnologia viabilizem novas metodologias que representem os processos científicos das mais diversas disciplinas, principalmente as que ainda não são medidas de forma satisfatória pelos indicadores já existentes.

Recebido em 13.08.2010

Aceito em 02.07.2012

• ALONSO, S. et al. H-index: a review focused in its variants, computation and standardization for different scientific fields. Journal of Informetrics, v. 2, p. 273-289, 2009.
• ANTONAKIS, J.; LALIVE, R. Quantifying scholarly impact: IQp versus the hirsch h. Journal of the American Society for Information Science and Technology, v. 59, n. 6, p. 956-969, 2008.
• ARAÚJO, C. A. Bibliometria: evoluçăo histórica e questőes atuais. Em Questăo, Porto Alegre, v. 12, n. 1, p. 11-32, 2006.
• ARCHAMBAULT, E. et al. Benchmarking scientific output in the social sciences and humanities: The limits of existing databases. Scientometrics, Budapest, v. 68, n. 3, p. 329-342, 2006
• BATISTA, P. D.; CAMPITELI, M. G.; KINOUCHI, O. Is it possible to compare researchers with different scientific interests?Scientometrics, Budapest, v. 68, n. 1, p. 179-189, 2006.
• BORNMANN, L.; HANS-DIETER, D. What do we know about the h index? Journal of the American Society for Information Science and Technology, v. 58, n. 9, p. 1381-1385, 2007.
• BOULD, M. D. et al. H-indices in a university department of anaesthesia: an evaluation of their feasibility, reliability, and validity as an assessment of academic performance. British Journal of Anaesthesia, v. 106, n. 3, p. 325-30, 2011.
• CONSELHO NACIONAL DE DESENVOLVIMENTO CIENTÍFICO E TECNOLÓGICO (CNPq). Bolsas em curso. Disponível em: <http://plsql1.cnpq.br/divulg/RESULTADO_PQ_102003.curso>. Acesso em:  10 nov. 2009.
• COSTAS, R.; BORDONS, M. The h-index: Advantages, limitations and its relation with other bibliometric indicators at the micro level. Journal of Informetrics, Amsterdam, v. 1, p. 193-203, 2007.
• DORTA-GONZÁLEZ, P.; DORTA-GONZÁLEZ, M. I. Indicador bibliométrico basado en el índice h. Revista Espańola de Documentación Científica, v. 33, n. 2, p. 225-245, 2010.
• FRANCESCHINI, F.; MAISANO, D. A. Analysis of the Hirsch indexs operational properties. European Journal of Operational Research, v. 203, p. 494-504, 2010.
• GÁLVEZ TORO, A.; AMEZCUA, M. El factor h de Hirsch: the h-index. Una actualización sobre los métodos de evaluación de los autores y sus aportaciones en publicaciones científicas. Index Enferm, Granada, v. 15, n. 55, p. 38-43, 2006.
• GIGCH, J. P. van. Comparing the Epistemologies of Scientific Disciplines in Two Distinct Domains: Modern Physics versus Social Sciences. Systems Research and Behavavioral Science, v. 19, p. 199-209, 2002.
• GLANZEL, W.; THIJS, B. Does co-authorship inflate the share of self-citation? Scientometrics, v. 61, n. 3, p. 395-404, 2004.
• GLANZEL, W. et al. A concise review on the role of author self-citations in information science, bibliometrics and science policy. Scientometrics, Budapest, v. 67, n. 2, p. 263-277, 2006.
• GUERRERO-BOTE, V. P. et al. Import-export of knowledge between scientificsubject categories: The iceberg hypothesis. Scientometrics, Budapest, v. 71, n. 3, p. 423-441, 2007.
• HASELEN, R. van. The h-index: A new way of assessing the scientific impact of individual CAM authors. Complementary Therapies in Medicine, v. 15, p. 223-227, 2007.
• HICKS, D. The difficulty of achieving full coverage of international social science literature and the bibliometric consequences. Scientometrics, Budapest, v. 44, n. 2, p. 193-215, 1999.
• HIRSCH, J. E.An index to quantify an individuals scientific research output.Proceedings of the National Academy of Sciences of the United States of America, v. 102, n. 46, p. 16569-16572, 2005.
• HIRSCH, J. E. Does the h index have predictive power? Proceedings of the National Academy of Sciences of the United States of America, v. 104, n. 49, p. 19193-19198, 2007.
• IMPERIAL, J.; RODRIGUEZ-NAVARRO, A. Usefulness of hirschs h-index to evaluate scientific research in Spain. Scientometrics, v. 71, n. 2, p. 271-282, 2007.
• JOB, I.; ALVARENGA, L. Citaçőes presentes em teses e perfis de pesquisadores: fonte de indícios para se estudar a área da educaçăo física. Perspectivas em Cięncia da Informaçăo, v.13, n.3, p. 151-166, 2008.
• LARIVIČRE, V. et al. The place of serials in referencing practices: comparing natural sciences and engineering with social sciences and humanities. Journal of the American Society for Information Science and Technology, v. 57, n. 8, p. 997-1004, 2006.
• LILLQUIST, E.; GREEN, S. The discipline dependence of citation statistics. Scientometrics, v. 84, n. 3, p. 749-762, 2010.
• MEADOWS, A. J. Tradiçőes da Pesquisa. In: MEADOWS, A. J. A comunicacăo científica Brasilia: Briquet de Lemos, 1999. p. 39-78.
• NORONHA, D. P. Análise das citaçőes das dissertaçőes de mestrado e teses de doutorado em saúde pública (1990-1994): estudo exploratório. Cięncia da Informaçăo, Brasília, v. 27, n. 1, p. 66-75, 1998.
• OLIVEIRA, E. F. T. de; GRACIO, M. C. C. Indicadores bibliométricos em cięncia da informaçăo: análise dos pesquisadores mais produtivos no tema estudos métricos na base Scopus. Perspectivas em Cięncia da Informaçăo, v. 16, n. 4, p. 16-28, 2011.
• PETERS, H. P. F.; RAAN, A, F. J. van. On determinabts of citations scores: a case study in chemical engineering. Journal of the American Society for Information Science, v. 45, n. 1, p. 39-49, 1994.
• RAAN, A. F. J. van. Measurement of Central Aspects of Scientific Research: Performance, Interdisciplinarity, Structure. Measurement, v. 3, n. 1, p. 1-19, 2005a.
• RAAN, A. F. J. van. For your citations only? Hot topics in bibliometric analysis. Measurement, v. 3, n. 1, p. 50-62, 2005b.
• ROUSSEAU, R. Reflections on recent developments of the h-index and h-type indices. Collnet journal of Scientometrics and Information Management, v. 2, n. 1, p. 1-9, june. 2008.
• SCHREIBER, M. Self-citation corrections for the Hirsh index. EPL Journal, v. 78, p. 1-6, may. 2007.
• SCOPUS. Author Search Disponível em: http://www.scopus.com/search/form.url Acesso em: 2 dez. 2009.
• SIDIROPOULOS, A.; KATSAROS, D.; MANOLOPOULOS, Y. Generalized hirsch h-index for disclosing latent facts in citation networks. Scientometrics, v. 72, n. 2, p. 253-280, 2007.
• SILVA, V. G. da. Antropólogo e sua magia Săo Paulo: Edusp, 2000.
• SKILTON, P. F. A comparative study of communal practice: Assessing the effects of taken-for-granted-ness on citation practice in scientific communities. Scientometrics, Budapest, v. 68, n. 1, p. 73-96, 2006.
• SOARES, G. A. D;  SOUZA, C. P. E de; MOURA, T. W. de. Colaboraçăo na produçăo científica na Cięncia Política e na Sociologia brasileiras. Sociedade & Estado, v. 25, n. 3, p. 525-538, 2010.
• SPINAK, E. Indicadores cienciométricos. Cięncia da Informaçăo, Brasília, v. 27, n. 2, p. 141-148, 1998.
• VELHO, L. Cięncias, publicaçőes e avaliaçăo. In: HOFFMANN, W. A. M.; FURNIVAL, A. C. (Org.). Olhar: cięncia, tecnologia e sociedade. Săo Carlos: Pedro e Joăo Editores: CECH - UFSCar, 2008a. p. 9-21.
• VELHO, L. Publicaçăo científica e avaliaçăo nas Cięncias Agrárias: pontos para discussăo. Boletim Informativo da Sociedade Brasileira de Cięncia do Solo, Viçosa, set./out. 2008b.
• VIEIRA, E . S.; GOMES, J. A. N. F. Citations to scientific articles: Its distribution and dependence on the article features. Journal of Informetrics, v. 4, n. 1, p. 1-13, 2010.
• WHOLIN, C. A new index for the citation curve of researchers. Scientometrics, v. 81, n. 2, p. 521-533, 2009.

1

RESEARCH Performace Measurement: introducing the Scopus h index. [New York]: Elsevier, 2007.

2

CRUZ, C. H. de B. Os Estados, a União e o apoio à pesquisa.

Estado de São Paulo, São Paulo, 2 maio 2012. Disponível em: <

http://www.estadao.com.br/noticias/impresso,os-estados-a-uniao--e-o-apoio-a-pesquisa-,867726,0.htm?reload=y>. Acesso em: 10 maio 2012.

3

Disponível em: <

http://www.cnpq.br/view/-/journal_content/56_INSTANCE_0oED/10157/100343>. Acesso em: 10 jul. 2010.

4

Disponível em: <

http://www.info.scopus.com>. Acesso em: 2 abr. 2010.

Datas de Publicação

• Publicação nesta coleção
  22 Nov 2012
• Data do Fascículo
  Set 2012

Histórico

• Recebido
  13 Ago 2010
• Aceito
  02 Jul 2012