Cientometria: a métrica da ciência

Scientometrics: the measurement of science

Cientometria: a métrica da ciência

Scientometrics: the measurement of science

José Aparecido da Silva^I; Maria de Lourdes Pires Bianchi^II

^IFFCLRP-Universidade de São Paulo

^IIFCFRP-Universidade de São Paulo

^{Endereço para correspondência}

RESUMO

Cientometria é definida como o estudo da mensuração e quantificação do progresso científico, estando a pesquisa baseada em indicadores bibliométricos. A cientometria tem um grande potencial de aplicação, havendo interesse de Governos e instituições de pesquisas em utilizar este conhecimento com o objetivo de implementar diferentes formas de apoio ao desenvolvimento científico e tecnológico. Nos últimos tempos, também, ela tem sido usada para ajudar nações a tomarem decisões sobre quais áreas do saber necessitam de fundos especiais; além disso, a análise das citações ou dos fatores de impacto de periódicos e artigos vem se tornando uma fonte importante de informação para historiadores, sociólogos e outros pesquisadores interessados na evolução da ciência. Este artigo focaliza como diferentes indicadores de citação tornam possível verificar tanto a evolução das descobertas quanto o impacto do trabalho publicado. Esta análise quantitativa complementa as opiniões e os julgamentos realizados por especialistas (avaliação pelos pares), fornecendo instrumentos úteis e objetivos para avaliar os resultados da atividade científica.

Palavras-chave: Indicadores Bibliométricos, análise de citações, atividade científica, fator de impacto

ABSTRACT

Scientometrics is defined as the study of the measurement and quantification of scientific and technological progress and much the research is bibliometric in nature. Scientometric has a wide potential applicability. Government and research institutions have expressed interest in applying this knowledge of scientific growth to the management of science.. Ultimately, scientometrics may be used to help nations make decisions on what areas of research need funding. The citation analyses have become an increasingly significant source of information for historians, sociologists, and other researchers studying the evolution of science. This article focuses on how citation indexes make it possible to trace the background and development of discoveries as well as to assess the credit that publishing scientists assign to particular discoverers. This kind of analysis complements the opinions and judgments of experts (peer review), thus providing objective and useful tools for evaluating the results of scientific activity.

Key-words: Bibliometric indices, citation analysis, scientific activity, Journal Citation Report, Impact Factor

Examinando a evolução das ciências verifica-se que o problema da medida tem sido objeto de atenção desde muito tempo, de tal modo que quanto mais evoluída uma ciência se mostra, mais cedo aconteceu sua preocupação com a mensuração. A Física e, sobretudo, a Astronomia desde a Antiguidade vêm estimando a distância entre as estrelas e estabelecendo medidas do tempo, seja em termos de dias, meses, anos, ou mesmo em frações como horas e minutos. Conhece-se também a importância fundamental das medidas nos trabalhos de Galileu (1564-1642) e de Kepler (1571-1630) e sua influência no desenvolvimento da mecânica racional durante o Renascimento. Porém, foi Laplace (1749-1827) o primeiro a estudar sistematicamente os problemas teóricos levantados pela aplicação das medidas nas ciências de sua época. A Química permaneceu numa situação quase de estagnação até o momento em que Lavoisier (1745-1794) introduziu a balança analítica e, indubitavelmente, foi este fato que permitiu sua rápida evolução. É claro que a Metrologia nasceu e se desenvolveu no contexto das ciências mais velhas, que, graças a ela, são chamadas de exatas.

Atualmente, cada ciência tem seus problemas específicos com relação às medidas e instrumentos de mensuração de que faz uso. Por exemplo, na Biologia há a Biometria; na Economia encontra-se a Econometria, que evoluiu extraordinariamente nos últimos 20 anos; na Arqueologia a preocupação com a medida do tempo levou, através do uso das técnicas de datação por radiocarbono, à determinação da idade de diferentes artefatos ou criações milenares dos homens. Foi por meio da Arqueometria, que E. T. Hall, falecido no ano passado, criou as ferramentas científicas usadas para desmascarar a fraude do Homem de Piltdown (suposto elo perdido) e determinar a idade do sudário de Turim. No domínio da Psicologia há a Psicometria e, na Sociologia e Antropologia existem, respectivamente, a Sociometria e a Antropometria, que desempenham o mesmo papel que as disciplinas congêneres das outras ciências.

O que é cientometria?

Em face desta grande preocupação com o desenvolvimento da medida em diferentes campos da ciência, era inevitável surgir a bibliometria ou cientometria que é definida como o estudo da mensuração do progresso científico e tecnológico e que consiste na avaliação quantitativa e na análise das inter-comparações da atividade, produtividade e progresso científico. Em outras palavras, a cientometria consiste em aplicar técnicas numéricas analíticas para estudar a ciência da ciência. Já a bibliometria consiste no tratamento e na análise estatística da mensuração destes resultados e desenvolvimentos através das diferentes publicações científicas refletidas em artigos, livros e em revistas científicas editadas.

Os dados ou indicadores bibliométricos utilizados por pesquisadores que estudam a ciência da ciência incluem (mas não são limitados somente a eles): o número de pessoas que recebem titulações acadêmicas ou científicas, o número de patentes registradas por cientistas, o número de artigos científicos publicados, o número de cientistas que publicam artigos científicos, o número de referências bibliográficas citadas nos artigos científicos, o número de citações recebidas por artigo científico, o número de auxílios à pesquisa recebidos pelos cientistas e a quantidade de recursos destinados às atividades de pesquisa fomentadas pelas agências (Taubes, 1993).

Aplicações da cientometria

Estes indicadores bibliométricos, as razões entre eles e as suas diferentes combinações podem ser utilizados em programas de política científica bem como nos estudos de avaliação destes programas mensurando o "poder" e o "prestígio" científico de países, regiões e, em particular, de universidades ou centros de pesquisas. De fato, a pesquisa em cientometria tem um grande potencial de aplicabilidade. A partir da análise cuidadosa destes números, pode-se acompanhar a evolução ou o declínio de campos da ciência e também se podem identificar áreas emergentes que necessitam de maiores suportes financeiros ou de recursos humanos para melhor progredirem.

Os governos e as instituições de pesquisa têm mostrado interesse em aplicar este conhecimento para poderem manipular mais apropriadamente os escassos e limitados recursos de fomento, utilizando os indicadores científicos num esforço para estimar a saúde relativa da ciência em várias nações, ajudando-as a tomarem decisões quanto às áreas de pesquisa com necessidade imediata de maiores suportes financeiros e humanos.

A cientometria está relacionada com a demografia da comunidade científica mundial e tem se tornado um tema importante não somente em países mais industrializados, mas também naqueles em desenvolvimento, que pretendem melhor distribuir os seus fundos de suporte à ciência.

É, hoje, inquestionável que a pesquisa biomédica tem um papel relevante no desenvolvimento científico das nações e, por conseqüência, quanto ao bem-estar social, material e subjetivo de suas respectivas populações. Mas, é também evidente que pesquisas desta natureza são cada vez mais caras, tanto pela sua especialização quanto pela sua complexidade. Como exemplo, o programa de pesquisas sobre o Genoma Humano tem demandado um montante de recursos crescente e volumoso, e, face às limitações econômicas de muitas nações, esses são ainda bastante limitados. Neste contexto, entende-se a importância que tem tido a cientometria para os países mais desenvolvidos no sentido de analisarem e avaliarem suas atividades de pesquisa; considerando-se que os resultados do trabalho científico só se tornam conhecidos através de sua publicação em veículos especializados, as análises bibliométricas permitem tanto ter uma visão mais globalizada da atividade científica do próprio país, como estimar sua posição relativa num contexto internacional e, por conseqüência, elas facilitam a tomada de decisões por parte dos responsáveis pela política científica daquele país.

Os Indicadores bibliométricos

O uso dos indicadores bibliométricos para estudar as atividades de pesquisa de um país se baseia na premissa de que as publicações científicas são um demonstrativo essencial da presença e qualidade delas. Do ponto de vista cognitivo, um novo conhecimento somente adquire o seu valor quando ele é difundido dentro da comunidade, pois, somente assim poderá contribuir para o avanço científico. Do ponto de vista social, a publicação de novos descobrimentos é uma etapa essencial do processo de investigação, permitindo ao cientista obter o reconhecimento de seu próprio trabalho.

São estas as razões que fazem da publicação científica um elemento essencial e robusto da pesquisa, dando aos indicadores bibliométricos validade como uma medida indireta da atividade da comunidade científica. Isto leva a que se possa afirmar que a fidedignidade ou a confiabilidade dos resultados dos estudos bibliométricos irá depender substancialmente de sua aplicação correta, levando em conta suas vantagens, mas também as limitações e condições necessárias de sua utilização.

Dois são os conjuntos de indicadores bibliométricos: 1) Os indicadores quantitativos da atividade científica refletida no número de publicações e 2) Os indicadores de impacto, baseados no número de citações obtidas pelos trabalhos publicados e que caracterizam a importância desta produção científica, em função do reconhecimento outorgado por outros pesquisadores.

Importante mencionar que um estudo completo da atividade científica e tecnológica requer também uma análise do número de patentes registradas, uma vez que estas se constituem no principal indicador da área tecnológica.

Indicadores quantitativos da atividade científica

O número de publicações de uma instituição, centro, área de pesquisa ou país é um indicador muito útil da sua quantidade de produção científica, ao permitir compará-la com a de outros locais, e acompanhar, de forma sistemática a sua evolução ao longo dos anos. Assim é que, por exemplo, o Brasil tem hoje 1,2% da produção científica mundial indexada no Science Citation Index (SCI) e ocupa a 17ª posição entre os países, tendo melhorado sua colocação no decorrer dos últimos dez anos graças ao crescimento e fomento à pós-graduação. É evidente que o número de publicações é um output que depende substancialmente dos inputs introduzidos no sistema, de maneira que seria conveniente normalizar estes dados em função dos montantes alocados para a pesquisa, verificando tanto os recursos humanos envolvidos, quanto os financeiros empregados em ciência e tecnologia; isto possibilitaria identificar instituições, centros e regiões, que mesmo de pequeno porte, conseguem desenvolver uma atividade importante numa dada área do saber.

A partir do número de publicações, podem-se derivar outros indicadores, como por exemplo, o Índice de Atividade (IA) que permite comparar o grau de especialização de uma instituição, centro ou uma região num determinado tema. Assim, o IA de uma unidade qualquer é estimado a partir da porcentagem da produção científica que esta unidade dedica ao assunto em estudo, dividido pela porcentagem que este representa na produção científica nacional. Desta forma, se a unidade obtém valores superiores, isto significa que ela tem uma atividade maior no tema do que a média nacional e vice versa.

Indicadores de impacto

O número de publicações é um indicador meramente quantitativo, que não leva em conta a qualidade ou a importância do conteúdo do trabalho realizado. É claro que nem todas as publicações despertam o mesmo interesse e nem contribuem de maneira semelhante para o progresso científico da área.

Para valorizar de alguma forma a qualidade dos trabalhos publicados foram introduzidos dois outros indicadores: o número de citações que um artigo recebe na literatura e o fator de impacto da revista ou periódico em que a publicação é feita.

a) Impacto dos trabalhos

O número de citações recebidas por um artigo é um indicador da influência ou impacto que o seu conteúdo produziu na comunidade científica da área. Os avanços que abrem novas linhas de pesquisa, teóricos ou técnicos, usualmente despertam interesse entre os cientistas e são freqüentemente referenciados em trabalhos posteriores publicados na literatura internacional. A idéia de um fator de impacto foi primeiramente mencionada, em 1955, por Eugene Garfield, Diretor Emérito, do Institute for Scientific Information (ISI). Para esta análise é considerado o número de citações que o trabalho publicado recebe durante determinado período de tempo depois de sua publicação. Atualmente este indicador é gerado a partir do Science Citation Index (ver também o Web of Science), criado em 1963, que é uma base de dados multidisciplinar de ciência e tecnologia produzida pelo ISI (Strata, 1995). Este banco de dados cobre aproximadamente 8.000 revistas que são selecionadas em função de critérios de qualidade científica, formal e reconhecimento por parte da comunidade (citações recebidas).

Seria importante, contudo, destacar que impacto e qualidade de um trabalho científico não são sinônimos. A qualidade se refere ao conteúdo científico da publicação, à adequação da metodologia, à clareza da redação e à originalidade do delineamento e das conclusões. O impacto, de outro lado, diz respeito à influência do artigo sobre as pesquisas afins num determinado momento. Desta forma, o impacto de um trabalho sobre os pesquisadores da área seria um indicador indireto de sua qualidade (Garfield, 1996).

Entretanto, os artigos denominados hot-papers, que possuem um número maior de citações dentro de sua área, são considerados relevantes e de alta qualidade, todavia, há outros que atendem a esses critérios (avaliação por pares- peer review) e que recebem algumas poucas citações e, portanto, têm pouco impacto (Brinn, Jones & Pendlebury, 2000). A razão é que o número de citações de um artigo científico depende obviamente de sua qualidade, mas também de outras variáveis como o prestígio do autor(es), de sua instituição de trabalho, a atualidade do tema investigado, a língua utilizada e o que oferece, em termos de difusão, a revista ou periódico em que foi publicado. Em resumo, o número de citações dadas a um trabalho científico deve ser considerado como um indicador parcial de sua qualidade.

Impacto das revistas

A valorização do impacto das revistas através da quantidade de citações que um artigo recebe não é imediata, pois este indicador somente pode ser estimado alguns anos depois de ele ter sido publicado. Para evitar este tipo de problema se introduziu um método alternativo (em adição ao número absoluto de citações recebidas) que consiste em atribuir um peso às revistas científicas em função do número médio de citações que os trabalhos nelas publicados atingem. Como os periódicos que publicam mais artigos têm maior probabilidade de serem citados, Sher e Garfield criaram, no início dos anos 60, o indicador denominado de fator de impacto das revistas/periódicos (Journal Impact Factor) que normaliza o número de citações em função do seu tamanho, permitindo a comparação entre periódicos. Praticamente, para todas as revistas que estão no Science Citation Index, Social Citation Index e no Arts & Humanities Citation Index são calculados anualmente os fatores de impacto, de maneira que comparações entre revistas, áreas, anos e também os fatores de impacto a longo e curto prazo e o acumulado em 5, 10 e 15 anos podem ser facilmente obtidos para acompanhamento. Estes dados estão nas publicações anuais do ISI, em especial no Journal of Citation Reports-JCR, que cobre aproximadamente 5.000 revistas em ciência e tecnologia.

O fator de impacto de uma revista num dado ano é o quociente entre o número de citações recebidas neste ano pelos artigos publicados nos dois anos anteriores e o número de artigos publicados na revista naqueles dois anos. Por exemplo, o fator de impacto de uma revista X no ano de 2001 é definido como o número total de citações recebidas durante o ano de 2001 pelos artigos publicados nos anos de 2000 e 1999 divididos pelo número total de artigos publicados por esta revista durante estes dois últimos anos.

O fato de publicar em revistas de alto fator de impacto, como por exemplo, a Nature e a Science, é considerado pelos cientistas como um critério de qualidade do trabalho realizado. Dentro de cada área ou domínio da ciência as revistas de impactos mais altos são usualmente aquelas que possuem os melhores critérios de qualidade, prestígio e difusão internacional; elas são extremamente rigorosas na análise dos artigos recebidos para publicação, e, portanto, ser selecionado já reflete a qualidade do trabalho.

Em adição ao fator de impacto, é importante considerar também dois outros indicadores bibliométricos: o índice de imediação ou de rapidez e o de vida média de um determinado artigo. O índice de imediação é determinado pela rapidez de citação dos trabalhos de uma revista ou periódico. Quanto menor for este índice tanto maior será o valor da revista, pois suas publicações são rapidamente utilizadas por outros pesquisadores para transformá-las em novos conhecimentos. O índice de vida média (ou meia-vida) permite conhecer o grau de envelhecimento ou obsolescência de uma revista. Ele é definido como o número de anos retrospectivamente necessários para alcançar 50% das citações dos artigos desta revista.

Estes indicadores bibliométricos possuem algumas limitações.

Limitações dos indicadores bibliométricos

Os indicadores bibliométricos quando utilizados de forma adequada são muito importantes para análise e estudo das atividades científicas. Todavia, tais como outras formas de avaliação da produção científica, eles possuem certas limitações que devem ser consideradas ao se fazer comparações entre diferentes domínios do saber. De fato, o número absoluto de publicações fornece apenas um indicador da quantidade, mas ele nada diz sobre a qualidade dos trabalhos realizados. Portanto, é interessante combinar este indicador com os de impacto e também com os julgamentos por pares. Usualmente é difícil realizar comparações entre áreas temáticas porque os hábitos de publicação e a produtividade dos autores diferem em função das delas. Estas diferenças são especialmente salientes entre: ciências sociais, engenharia e tecnologia, ciências experimentais e naturais. Ao lado disso, dentro de uma mesma área há grande diversidade entre suas diferentes disciplinas. Por exemplo, no caso da Psicologia os hábitos de publicação em Psicologia Experimental, Psicobiologia e Neurociência são muito diferentes daqueles da Psicologia Clínica, Psicologia da Saúde ou Psicologia do Escolar. Via de regra, as áreas clínicas se caracterizam por menor produtividade em relação às básicas ou experimentais (Opthof, 1997).

Do mesmo modo, o uso dos indicadores de impacto, tanto de um artigo quanto de uma revista, também apresentam algumas limitações que devem ser consideradas:

- A primeira é a falta de um modelo apropriado e amplamente aceito que explique o processo de citação. Os autores referem aqueles trabalhos que têm influenciado as suas pesquisas, mas alguns estudos revelam, de um lado, que muitas influências não são citadas e, de outro que freqüentemente são incluídos trabalhos que não foram diretamente utilizados na pesquisa. De fato, nem toda ciência de alto impacto é uma grande ciência. Embora raros, há alguns trabalhos de alto impacto mas com uma grande porcentagem de citações críticas ou negativas. Um exemplo deste tipo é o caso do artigo de Arthur Jensen publicado no Harvard Educational Review versando sobre Quociente Intelectual (QI) e desempenho escolar e as possíveis influências da hereditariedade, classe social e diferenças étnico-raciais nesta relação. O número de citações recebidas foi enorme, mas todas elas com conotações críticas ou negativas. O tema era e ainda é sujeito a muitas controvérsias.

- A segunda limitação consiste no fato de que as citações são derivadas exclusivamente do banco de dados do Science Citation Index fornecido pelo ISI.

- Uma terceira se refere ao tipo de publicação mais comumente citada na literatura; uma análise global dos indicadores de impacto dos periódicos revela que artigos de natureza metodológica, ou seja, que introduzem técnicas ou métodos, possuem um número alto de citações, da mesma maneira que os de revisões da literatura ou as revistas nelas especializadas, tais como o Annual Review ou o Progress Advances, com poucos artigos, mas de grande extensão, que são beneficiados por estes indicadores, pois manipulam um grande número de referências atualizadas e sua consulta é especialmente útil para os cientistas obterem um estado da arte naquele domínio.

- A quarta limitação diz respeito ao fato de que comparações entre áreas ou disciplinas, baseadas exclusivamente no número de citações ou no fator de impacto, não são totalmente apropriadas; as razões podem ser verificadas através de exemplos: assim é que a maioria dos artigos em Biologia Molecular e Bioquímica contém aproximadamente 45 referências, mas a idade média deles é de aproximadamente 7 anos. Em contraste, na Matemática eles têm cerca de 15 referências, similar aos da Botânica e Taxonomia, mas cuja idade média é de 20 ou mesmo de 30 anos. Em certas áreas das Ciências Sociais ou das Humanidades, a idade média da literatura citada pode ser ainda muito maior. Ou seja, apesar do tamanho comparativo da literatura nestes campos, as revistas de Bioquímicas terão impactos mais altos do que as de Matemática porque contêm mais referências para artigos mais recentemente publicados. Portanto, comparações dos fatores de impacto entre campos do saber e, também dentro de áreas de dado campo, tornar-se-ão infrutíferas se não forem considerados tanto os números de referências mencionadas num artigo quanto o índice de imediação da literatura sendo citada. De fato, como exemplo das diferenças entre áreas pode-se ainda mencionar que somente 5% dos artigos publicados em artes e humanidades, 25% em ciências sociais e 30-40% em engenharia e tecnologia recebem alguma citação depois de transcorridos 5 anos de sua publicação. No caso da medicina 50 a 60% são citados nos 5 anos seguintes após sua publicação, devendo-se ainda considerar que os trabalhos de pesquisa básica têm mais chances de serem citados do que os de clínica, visto que estes últimos também utilizam os resultados dos oriundos da pesquisa básica.

Finalmente, devemos destacar que o ritmo de envelhecimento da bibliografia referenciada nas diferentes áreas do saber varia em função da velocidade do progresso científico de cada uma, o que determina a rapidez com que os trabalhos são citados. Em áreas de rápido crescimento os pesquisadores tendem a citar os trabalhos mais recentes, enquanto nas de evolução mais lenta citam-se trabalhos mais antigos. Portanto, diferenças na contagem do número de citações de artigos publicados por pesquisadores de áreas distintas não implicam necessariamente numa diferença no impacto dos artigos e nem na qualidade das pesquisas realizadas (Garfield, 2000).

Conclusões

O uso dos indicadores bibliométricos dentro do processo de avaliação das atividades científicas se constitui atualmente numa necessidade inequívoca como forma de otimizar os recursos, sempre limitados, que se destinam ao fomento da ciência e tecnologia. A fidedignidade destes indicadores dependerá substancialmente do seu uso adequado e do conhecimento de suas limitações e das condições ótimas de aplicação. Estes indicadores podem ser utilizados para se obter uma informação global da situação da pesquisa e sempre de forma a complementar a avaliação por pares. A fidedignidade será maior quando se analisam grandes unidades, como por exemplo, a produção científica de um país, de uma instituição ou de uma área científica. Para análises de casos individuais, como as da produção científica de um pesquisador, tais indicadores tornam-se menos confiáveis, pois muitos deles são de natureza estatística e a sua fidedignidade fica reduzida com amostras pequenas.

Artigo recebido para publicação em janeiro de 2002; aceito em maio de 2002

• Brinn, T., Jones, M.J. & Pendlebury, M. (2000). Measuring research quality: peer review 1 citation indices 0. Omega, 28, 237-239.
• Garfield, E. (1996). How can impact factors be improved? British Medical Journal, 313, 411-413.
• Garfield, E. (2000). Use of Journal Citation Reports and Journal Performance Indicators in measuring short and long-term journal impact. Croation Medical Journal, 41 (4), 368-374.
• Opthof, T. (1997). Sense and nonsense about the impact factor. Cardiovascular Research, 33, 1-7.
• Strata, P. (1995). Citation analysis. Nature, 375, 624.
• Taubes, G. (1993). Measures for measure in science. Science, 260, 884-886.

Datas de Publicação

• Publicação nesta coleção
  29 Jul 2009
• Data do Fascículo
  2001

Histórico

• Recebido
  Jan 2002
• Aceito
  Maio 2002