SciELO - Scientific Electronic Library Online

 
vol.25Protagonismo da Enfermagem nas Metas da ONU para a saúde dos povosExame das ações prioritárias para o fortalecimento do papel das enfermeiras para conseguir a cobertura universal em saúde índice de autoresíndice de assuntospesquisa de artigos
Home Pagelista alfabética de periódicos  

Serviços Personalizados

Journal

Artigo

Indicadores

Links relacionados

Compartilhar


Revista Latino-Americana de Enfermagem

versão impressa ISSN 0104-1169versão On-line ISSN 1518-8345

Rev. Latino-Am. Enfermagem vol.25  Ribeirão Preto  2017  Epub 05-Jun-2017

http://dx.doi.org/10.1590/1518-8345.0000.2865 

Editorial

Métricas de avaliação em ciência: estado atual e perspectivas

Lilian Nassi-Calò1 

1Coordenadora de Comunicação Científica em Saúde na BIREME/OPAS/OMS e colaboradora do SciELO. E-mail: calolili@paho.org

A avaliação da ciência utiliza uma variedade de indicadores bibliométricos, em sua maioria baseados em citações, a despeito de não existir uma relação inequívoca entre citações e mérito ou qualidade científica. Estes indicadores, no entanto, abarcam mais do que uma indicação de visibilidade, relevância e impacto dos artigos e podem representar na carreira de um pesquisador prestígio, contratações, promoções na carreira, premiações, obtenção de auxílio a pesquisa e outras recompensas.

Indicadores de impacto científico

Um dos primeiros e mais utilizados índices já criados - o Fator de Impacto (FI) - data de 1975, quando Eugene Garfield, fundador do então Institute for Scientific Information - ISI, o introduziu para apoiar na seleção de periódicos por assinatura em bibliotecas1. No percurso, a partir desta origem para sua ubíqua utilização para ranquear publicações, pesquisadores e instituições, suas características e peculiaridades foram negligenciadas em prol da conveniência de um índice fácil de calcular e amplamente disseminado por todas as áreas de conhecimento em todo o mundo. Até meados de 2016, a base Journal Citation Reports (JCR), que publica o FI, e a Web of Science pertenciam à empresa Thomson Reuters, e hoje, integram os produtos da Clarivate Analytics.

O FI não teve sérios concorrentes até 2004, quando o publisher multinacional Elsevier criou a base bibliográfica Scopus, e a partir desta, foi lançado em 2008 o índice SCImago Journal & Country Rank (SJR), disponível em acesso aberto, ao contrário do JCR, que requer assinatura. A forma de calcular o SJR e o FI apresentam algumas diferenças, porém ambos basicamente aferem citações por intervalo de tempo e guardam uma relação linear.

Em 2005, o físico Jorge E. Hirsch da Universidade da Califórnia em San Diego criou o índice h para medir não apenas o impacto, mas também a produtividade de pesquisadores. Este indicador ganhou popularidade rapidamente, e também se aplica a periódicos ou instituições, sendo frequentemente referenciado em curricula vitae, como na Plataforma Lattes.

Além destes, existem índices como Eigenfactor e Article Infuence2, também baseados em citações, cujos cálculos empregam elegantes algoritmos e estão disponíveis em acesso aberto, porém, não são frequentemente utilizados ou mencionados.

Apesar de largamente empregados em processos de avaliação da ciência, a limitação e precariedade do uso de indicadores de citações são reconhecidos pela comunidade científica mundial, tendo em vista as particularidades e vieses das principais métricas utilizadas para aferir o desempenho de artigos, periódicos, pesquisadores, instituições e países. Iniciativas que tem por objetivo coibir ou desaconselhar seu uso como a San Francisco Declaration on Research Assessment3 (DORA) ou o Manifesto de Leiden4 recebem apoio de pesquisadores e instituições em todo o mundo. Somam-se a estas iniciativas de sociedades científicas, universidades, agências de fomento e periódicos, entre outros5.

Compreender a natureza dos indicadores, como são calculados, sua aplicabilidade e limites é fundamental não apenas para os especialistas em cienciometria e técnicos de agências de fomento, mas para toda a comunidade científica. Afinal, são os pesquisadores eles próprios que avaliam seus pares em processos de contratação e progressão na carreira, por isso, é aconselhável ir além da simples análise do número de publicações, FI dos periódicos ou seu índice h. A consideração de Antonio Augusto P. Videira, Professor Adjunto de Filosofia da Ciência da UFRJ, é eloquente: "Deveria causar surpresa o fato de que o uso de um indicador torne elegível um ou outro autor pelo fato de que tenha publicado em um periódico de mais alto FI, de que é mais importante saber onde ele publicou do que ler seu trabalho"6. Todos aqueles envolvidos na avaliação da ciência e nos sistemas de recompensa devem estar comprometidos com este conceito para não inferir em julgamentos precipitados e injustiças.

Um dos fatores que faz com que os índices bibliométricos, baseados em citações, sejam criticados é que a prática de citação de artigos é extremamente complexa e influenciada por inúmeros fatores. Assim, os verdadeiros motivos para citar um e não outro artigo não traduz a qualidade, validade ou relevância dos estudos7. De fato, não foi possível comprovar uma relação sobre o trabalho mais citado e seu melhor trabalho, na autoavaliação dos pesquisadores8. Normalizar métricas de citação pode nivelar os índices por área do conhecimento, idade da publicação, tipo de documento e abrangência da base de dados onde foram contabilizadas, permitindo, assim, comparações mais balanceadas em processos de avaliação9.

Métricas alternativas ou altimetrias

As redes sociais são veículos muito eficientes para compartilhamento de notícias, opiniões e conteúdos em geral. Mais recentemente, vêm sendo largamente utilizadas como métricas de avaliação da ciência, e recebem o nome de altmetrias, ou "alternative metrics"10.

Estudos estimam que, levando em conta apenas citações formais, estaremos desconsiderando quase 50% da literatura científica publicada em todo o mundo. As altmetrias, como o índice Altmetric11, vêm ganhando credibilidade na avaliação de publicações e pesquisadores. O índice Altmetric monitora várias redes sociais no compartilhamento do artigo científico: blogs, Twitter, Facebook, Mendeley, YouTube, ResearchGate, Google, Reddit, LinkedIn, notícias na mídia impressa e online, menção na elaboração de políticas públicas, e outros. Um estudo12 mostra que as altmetrias apresentam correlação com índices de impacto baseados em citações e podem ser usadas para complementá-las, conjuntamente com avaliação pelos pares e medidas de uso como acesso e download.

Como todo novo conceito, costuma gerar dúvidas e questões sobre sua legitimidade, principalmente pelo fato de utilizar ferramentas 'informais' para medir o impacto da ciência, essencialmente formal. É possível que o ceticismo da comunidade acadêmica às altmetrias seja comparável à reação causada pelo uso da Internet os 1990 como plataforma para publicar periódicos científicos.

É importante considerar novas formas de comunicação científica que já estão influenciando a maneira como os resultados de pesquisa são publicados, disseminados e avaliados. Trata-se dos repositórios eletrônicos de preprints. O primeiro deles, arXiv13, foi criado em 1991 para publicar versões preliminares de artigos na área de física, astronomia, ciências da computação e estatística. Os autores postam estes artigos antes de submetê-los formalmente a um periódico para obter comentários da comunidade científica e outorgar-se a autoria de uma ideia ou resultado. Muitos artigos, no entanto, nem chegam a ser publicados formalmente, não por falta de relevância ou qualidade, apenas porque a publicação no repositório per se é reconhecida na academia - ao menos na área de física - como o mesmo peso de um artigo em periódico. Comentários são postados online e os autores podem atualizar seus artigos com base nesta avaliação por pares pós-publicação. Com base no sucesso do arXiv, repositórios de preprints para diferentes disciplinas vem sendo criados. BioRxiv foi lançado em 2013 para as ciências da vida, e reúne, em fevereiro de 2017, mais de 8 mil preprints. Estão em processo de implementação repositórios de preprints nas áreas de química (ChemRxiv), psicologia (PsyArXiv) e ciências sociais (SocArXiv). O incentivo e reconhecimento desta forma de publicação por parte da comunidade acadêmica é demonstrado por iniciativas como ASAP Bio14 que incentiva a publicação de preprints e avaliação por pares pós-publicação, além da crescente adoção e reconhecimento dos repositórios de preprints por instituições, organizações internacionais e agências de fomento15. Trata-se de uma via de publicação particularmente adequada à rápida e aberta disseminação de resultados, como se requer em casos de emergências de saúde pública, como as recentes epidemias de ebola e zika.

A comunicação científica, como a conhecemos, está evoluindo rapidamente - para melhor, acredito - com mais agilidade, transparência, responsabilidade, acesso facilitado e uso da pesquisa em prol dos indivíduos e da sociedade, e é preciso acompanhar estas mudanças para delas extrair o maior benefício para todos.

References

1 Garfield E. The History and Meaning of the Journal Impact Factor. JAMA. 2006;295(1):90-93. doi:10.1001/jama.295.1.90 [ Links ]

2 Eigenfactor [Database] [Internet]. [Access Feb 3, 2017]. Washinton: University of Washington; 2007. Available from: www.eigenfactor.org/ [ Links ]

3 Declaration on Research Assessment. European Association of Science Editors (EASE) Statement on Inappropriate Use of Impact Factors [Internet]. [Access Feb 7, 2017]. Available from: http://am.ascb.org/dora/ [ Links ]

4 Hicks D, Wouters P, Waltman L, de Rijcje S, Rafols I. Bibliometrics: The Leiden Manifesto for research metrics. Nature. 2015;520(7548):429-31. doi: http://dx.doi.org/10.1038/520429a [ Links ]

5 Corneliussen ST. Bad summer for the journal impact factor. Physics Today. 2016. doi:10.1063/PT.5.8183 [ Links ]

6 Videira AAP. Declaração recomenda eliminar o uso do Fator de Impacto na avaliação de pesquisa. Estudos de CTS [blogwordpress] [Internet]. 2013. [Acesso 10 fev 2017]. Disponível em: https://estudosdects.wordpress.com/2013/07/29/declaracao-recomenda-eliminar-o-uso-do-fator-de-impacto-na-avaliacao-de-pesquisa/ [ Links ]

7 Nassi-Calò L. Study proposes a taxonomy of motives to cite articles in scientific publications. SciELO em Perspectiva. [Internet]. 2014 [Acesso 7 fev 2017]. Disponível em: http://blog.scielo.org/en/2014/11/07/study-proposes-a-taxonomy-of-motives-to-cite-articles-in-scientific-publications/ [ Links ]

8 Ioannidis JPA, Boyack KW, Small H, Sorensen AA, Klavans R. Bibliometrics: Is your most cited work your best? Nature. [Internet]. 2014 [Access Feb 11, 2017];514(7524):561-2. doi: 10.1038/514561a. Available from: http://www.nature.com/news/bibliometrics-is-your-most-cited-work-your-best-1.16217#assess [ Links ]

9 Nassi-Calò L. Is it possible to normalize citation metrics? SciELO em Perspectiva. 2016 [Acesso 7 fev 2017]. Disponível em: http://blog.scielo.org/en/2016/10/14/is-it-possible-to-normalize-citation-metrics/ [ Links ]

10 Spinak E. What can alternative metrics - or altmetrics - offer us? SciELO em Perspectiva. [Internet]. 2014 [Acesso 8 fev 2017]. Disponível em: http://blog.scielo.org/en/2014/08/07/what-can-alternative-metrics-or-altmetrics-offer-us/ [ Links ]

11 Altmetric [Database] [Internet]. [Access Feb 2, 2017]. Available from: http://www.altmetric.com/ [ Links ]

12 Hoffmann CP, Lutz C, Meckel M. Impact Factor 2.0: Applying Social Network Analysis to Scientific Impact Assessment. 47th Hawaii International Conference on System Science, Hilton Waikoloa Village; 2014. doi: 10.1109/HICSS.2014.202 [ Links ]

13 Cornell University Library. arXix [Database] [Internet]. Ithaca, NY, USA. [Access Feb 8, 2017]. Available from: http://arxiv.org/ [ Links ]

14 Nassi-Calò L. Saiu no NY Times: From the NY Times: Biologists went rogue and publish directly on the Internet. SciELO em Perspectiva. [Internet]. 2016 [Acesso 7 fev 2017]. Disponível em: http://blog.scielo.org/en/2016/04/07/from-the-ny-times-biologists-went-rogue-and-publish-directly-on-the-internet/ [ Links ]

15 Velterop J. Preprints - the way forward for rapid and open knowledge sharing. SciELO em Perspectiva. [Internet]. 2017 [Acesso 8 fev 2017]. Disponível em: http://blog.scielo.org/en/2017/02/01/preprints-the-way-forward-for-rapid-and-open-knowledge-sharing/ [ Links ]

Creative Commons License This is an open-access article distributed under the terms of the Creative Commons Attribution License