SciELO - Scientific Electronic Library Online

 
vol.28 número3A bibliometric analysis of doctoral dissertations about the Internet in Spanish universities (1996-2011)ERRATA índice de autoresíndice de assuntospesquisa de artigos
Home Pagelista alfabética de periódicos  

Serviços Personalizados

Journal

Artigo

Indicadores

Links relacionados

Compartilhar


Transinformação

versão On-line ISSN 2318-0889

Transinformação vol.28 no.3 Campinas set./dez. 2016

http://dx.doi.org/10.1590/2318-08892016000300009 

ORIGINAL

Altmetria: a métrica social a serviço de uma ciência mais democrática

Altmetrics: Social media metrics for a more democratic Science

Nadia VANTI1 

Elias SANZ-CASADO2 

1Universidade Federal do Rio Grande do Norte, Programa de Pós-Graduação em Gestão da Informação e do Conhecimento, Departamento de Ciência da Informação. Caixa-Postal 1524, Campus Universitário, Lagoa Nova, 59072-970, Natal, RN, Brasil.

2Universidad Carlos III de Madrid, Facultad de Humanidades, Comunicación y Documentación, Laboratorio de Estudios Métricos de la Información, Departamento de Biblioteconomía y Documentación. Getafe, Madri, Espanha.

Resumo

Revisão teórica dos principais métodos de medição do impacto da produção científica na área de Estudos Métricos da Informação, com ênfase no recente método da Altmetria. O objetivo deste estudo é evidenciar a ascensão dessa métrica com o surgimento da Web 2.0 e das mídias sociais, apontando para o impacto e a influência que têm alcançado as atividades acadêmicas em novas plataformas. Aborda os seus antecedentes, a sua origem, conceitos, aplicações, indicadores, fontes de dados, ferramentas e formas de contagem. Expõe outras abordagens sobre os motivos da utilização de indicadores e métricas alternativas para estimar o impacto acadêmico e apresenta, ainda, uma breve análise a respeito das perspectivas que se abrem para o futuro com a utilização dos mesmos. Conclui que a Altmetria pode ser uma métrica alternativa complementar às tradicionais, pois permite que a contagem de citações ou menções à produção acadêmica mundial seja mais justa e igualitária, dando lugar a uma ciência também mais democrática.

Palavras-chave: Altmetria; Cibermetria; Estudos bibliométricos; Mídias sociais; Produção científica

Abstract

Theoretical review of the methods to measure scientific production impact in the area of Metric Studies of Information, focusing on Altmetrics, a more recent approach. The objective of this study is to demonstrate the rise of altmetrics with the emergence of Web 2.0 and social media, examining the impact and influence of academic activities in these new online platforms. This study addresses altmetrics' origin, concepts, applications, indicators, data sources, tools, and ways to retrieve information from social media platforms, as well as previous or traditional research metrics. It discusses reasons to use alternative indicators and metrics to measure academic research impact and presents the future perspectives that these metrics are opening. It was concluded that Altmetrics can be considered as alternative complementary metrics to traditional metrics because they can give a fair reflection of citations count or global scholarly impact, resulting in a more democratic science.

Keywords: Altmetrics; Cybermetrics; Bibliometric studies; Social Networks; Scientific production

Introdução

Assim como a Web e a Internet estão em contínuo desenvolvimento, as formas de medir a informação e a comunicação científica na rede tendem a acompanhar essa evolução. É o que vem ocorrendo na área de Estudos Métricos a partir da análise do fluxo da informação e do conhecimento nas redes sociais, mídias para onde tem migrado substancialmente todo tipo de comunicação, inclusive a acadêmica. Fazem parte desse conjunto a divulgação de eventos e de publicações, a apreciação ou crítica a autores e obras e a recomendação de bibliografia, entre outras informações que tenham sido, de alguma forma, mencionadas na rede, tornando-se referência para outras pessoas.

Neste sentido, o presente estudo tem por objetivo evidenciar a ascensão de uma nova forma de medir o impacto e a influência que as atividades acadêmicas vêm alcançando em diferentes plataformas, com o surgimento da Web 2.0 e das mídias sociais, denominada Altmetria. Para tanto, faz-se uma revisão teórica sobre o tema, abordando os seus antecedentes, a sua origem, conceitos, aplicações, indicadores, fontes de dados, ferramentas e formas de contagem. Busca-se, por outro lado, expor algumas possíveis explicações sobre os motivos da utilização de indicadores e métricas alternativas para estimar o impacto acadêmico, e apresenta--se, ainda, uma breve análise a respeito das perspectivas que se abrem para o futuro com a utilização dessas métricas.

Antecedentes

Historicamente, a medição da produção científica tem sido realizada com a finalidade de oferecer subsídios para o estabelecimento e acompanhamento de políticas nacionais de ensino e pesquisa, bem como para auxiliar nas decisões estratégicas dos gestores de políticas científicas e tecnológicas. Isso acontece uma vez que essa medição permite um diagnóstico das reais potencialidades de determinados grupos e/ou instituições de pesquisa, o monitoramento de distintas áreas do conhecimento e a identificação dos projetos mais promissores para o futuro (Oliveira et al., 1992; Santos, 2003). Neste contexto, tornou-se necessária a estruturação de sistemas de informação científica e tecnológica que possibilitassem o desenvolvimento de indicadores, metodologias e ferramentas para esse fim (Santos, 2003).

De forma geral, os indicadores representam uma medida ou um índice que permite avaliar ou acompanhar o desempenho de um fenômeno, da sua natureza, do seu estado e de sua evolução. Quando voltados para a avaliação da ciência, esses indicadores permitem medir as ações sistemáticas que têm relação com a produção, difusão, transferência e aplicação dos conhecimentos científicos e tecnológicos, possibilitando a padronização dos procedimentos e servindo de parâmetro para diferentes avaliações (Vanti, 2011).

O Fator de Impacto de Revistas ou Journal Impact Factor (JIF) (Garfield, 1955) tem sido um dos indicadores mais utilizados para medir o impacto das publicações científicas na academia, tendo como foco principal o periódico - e, por extensão, seus artigos, autores, departamentos, universidades e até os países que estes representam - e sua influência no conhecimento científico global. Para isso, utiliza como base a relação entre o número de vezes que esses dados tenham sido citados em outros documentos e o número total de artigos (no caso de periódicos) ou de páginas (no caso de artigos) em um determinado período de tempo (Strehl, 2005; Bollen et al., 2009).

A maioria dos especialistas concorda, no entanto, que o Fator de Impacto de Revistas está longe de ser uma medida perfeita, embora ainda seja usado por causa da falta de reconhecimento de outras possíveis alternativas. Como forma de amenizar certas limitações desse indicador foram propostas mudanças com relação ao período de tempo considerado na medição e modificados os critérios estatísticos de distribuição de citações.

Outras medidas também surgiram em auxílio ao JIF como o Índice-H (Hirsch, 2005) e o Índice-G de Egghe (2006). O primeiro, criado na forma original para classificar e posicionar autores segundo suas distribuições de citação, foi estendido também para revistas por Braun (2005), enquanto que o Índice-G se caracteriza por ser uma modificação do Índice-H (Bollen et al., 2009).

Com o surgimento de novas mídias, como a Internet e a Web, houve a necessidade da criação de índices de impacto para a avaliação da produção científica que começava a ser disponibilizada nesses espaços. Foi, então, com a ascensão da Webometria, a partir da análise de links de sítios, que se criou o Fator de Impacto Web (FIW) (Rodríguez-Gairín, 1997; Ingwersen, 1998) para medir o grau de atratividade e influência desses novos recursos de informação na Web (Vanti & Sanz-Casado, 2014).

Assim como nos anos 1990 a Webometria e os indicadores a ela ligados estiveram em evidência, recentemente, com o despontar da Web 2.0, as ferramentais sociais é que têm melhor refletido o impacto e a influência das atividades acadêmicas nesse ambiente. Além disso, motores de busca como o Google, que obtiveram grande sucesso com seu método de ranking de páginas Web, também impulsionaram inúmeras medidas de impacto aplicáveis à análise de redes sociais por meio da citação nas redes (Bollen et al., 2009).

Origem

Pode-se dizer que o surgimento da Altmetria se deu a partir da influência e da convergência de determinados fatores-chave os quais vêm se configurando na academia e nas redes com o decorrer do tempo:

  • - a insatisfação com as formas tradicionais de medição do impacto científico;

  • - o surgimento de novas ferramentas sociais na rede que facilitaram e ampliaram todas as formas de comunicação;

  • - a necessidade de novos filtros para selecionar informação relevante dentro da ciência;

  • - o movimento open access que democratizou tanto a divulgação quanto o alcance a qualquer tipo de informação científica.

Os primeiros textos que abordaram esses assuntos de forma detalhada, como "Análise dos principais componentes de 39 medidas de impacto científico", de Bollen et al. (2009), apontam as limitações das medidas de impacto tradicionais e sugerem a criação de novas métricas de impacto com base na análise das redes sociais, levando em conta que as menções online têm tido um crescente desenvolvimento. Neste mesmo sentido, Priem e Hemminger (2010), em seu artigo "Cientometria 2.0: em direção às novas métricas de impacto acadêmico na Web social", expõem as debilidades dos métodos de avaliação baseados em citações e filtragem de artigos por pares em consequência do grande volume de literatura acadêmica a ser analisada. Os autores propõem uma nova abordagem de examinar o uso e a citação de documentos em um novo fórum que é a Web social; sugerem ainda a construção e a validação das métricas coletadas nesse ambiente.

Outro escrito importante que marca o início de uma nova maneira de medir a repercussão da produção científica nos mais recentes recursos informacionais proporcionados pelos avanços tecnológicos intitula-se justamente "Altmetria: um manifesto", de Priem et al. (2010). Nesse documento, os autores defendem a ideia de se voltar para a contabilização de citações e a análise do impacto acadêmico por meio das diferentes ferramentas sociais disponíveis na rede. Essa proposta baseia-se na percepção de que existe um excesso de produção acadêmica na literatura universal sendo avaliada com os mesmos filtros de outrora, retardando, assim, a sua avaliação e consequentemente, a sua publicação. Exaltam a condição da Web social como recurso que facilita os contatos pessoais, promove a disseminação dos conteúdos, registra e dá visibilidade a procedimentos antes temporários e velados. Destacam ainda que a Altmetria seria uma ótima maneira de monitorar o impacto acadêmico também fora da academia.

No que tange à origem das métricas alternativas, autores como Torres et al. (2013) acertadamente as associam à Webometria - o estudo quantitativo das características da Web (Thelwall et al., 2005) e da aplicação das técnicas bibliométricas aos sítios online, incluindo várias disciplinas, entre elas a Comunicação. Apesar da Web vir desempenhando um papel cada vez mais importante na vida social, econômica e política das pessoas e no campo da Webometria, especificamente, ter trazido novas perspectivas à análise de citação por meio da introdução dos estudos dos links, essa métrica acabou esbarrando em alguns problemas inerentes a sua metodologia, técnicas e, principalmente, às fontes de informação empregadas.

Estas últimas sofreram profundas mudanças a partir de 2009, fruto das políticas comerciais das empresas responsáveis, como o bloqueio de comandos de pesquisa que dificultaram a recuperação de dados fundamentais aos estudos Webométricos (Gouveia, 2012). Como bem explicam Thelwall e Sud (2011):

A abordagem original e mais difundida [na Webometria] é contar hiperlinks para o objeto estudado, normalmente usando uma consulta avançada do motor de busca na web. Esta facilidade de busca, no entanto, foi aparentemente cessada em 2012, uma vez que o Yahoo!, o único grande motor de pesquisa que oferecia um serviço de busca a links, foi adquirida pela Microsoft (BBC, 2009), devido a que já havia fechado o recurso de pesquisa a links na sua própria busca do Bing (Seidman, 2007). [...] Além disso, o Yahoo! deixou de apoiar pesquisas automáticas, como normalmente usado em Webometria, em abril de 2011 (Yahoo, 2011), não deixando nenhuma fonte automática de dados restante de buscas a links nos motores de busca. Por isso, é importante desenvolver e avaliar métodos de estimativa de impacto online como substitutos para pesquisas de links (Thelwal & Sud, 2011, p.1, tradução nossa)3.

Esses fatores associados à consolidação das ferramentais sociais como plataformas de divulgação da comunicação científica abriram as portas para novos indicadores e também para novas métricas, como a Altmetria.

Conceitos

O conceito de Altmetria, na verdade, ainda está em plena evolução, por remeter a métodos bastante recentes. Essas técnicas possibilitam medir e quantificar o impacto dos trabalhos científicos de novas maneiras em plataformas distintas. O termo, no entanto, foi cunhado por Priem et al. (2010) para se referir às métricas alternativas que se caracterizam pela criação e estudo de novos indicadores baseados na Web 2.0, com a finalidade de analisar as atividades científica e acadêmica ou, ainda, explorar as propriedades das medições baseadas nas mídias sociais.

Em "The Collection Altmetrics", Priem et al. (2012) definem Altmetria da seguinte forma:

Altmetria é o estudo e uso de medidas de impacto com base nas atividades acadêmicas e em ferramentas e ambientes online. O termo também tem sido utilizado para descrever métricas próprias que podem ser expressas no plural [em inglês] "um conjunto de novas altmetrics". Altmetria é, na maioria dos casos, fruto da intersecção de ambas métricas, a Cientometria e a Webometria; sendo um subconjunto desta última que se concentra mais especificamente na influência acadêmica, medida por meio de ferramentas e ambientes em linha, mais do que na Web em geral (Priem et al., 2012, tradução nossa)4.

Para Alperin (2013), essas métricas se concentram, especificamente, em medir o impacto acadêmico no ambiente online. Thelwall et al. (2013), por sua vez, aclaram que a Altmetria remete a contagens de citações ou menções em serviços de Web social. E Taylor (2013), de forma mais detalhada, explica que:

Altmetria é o termo coletivo para os dados de uso acadêmico que vão além da contagem de citações formais. Normalmente, os dados altmétricos vêm de plataformas especializadas e ferramentas de pesquisa, mas também podem incluir dados de aplicações gerais e plataformas técnicas. Às vezes, o termo abrange também as referências da mídia de massa, e os dados de editoras, como visualizações de páginas web e downloads (Taylor, 2013, online, tradução nossa)5.

Aplicações

São muitas as aplicações atribuídas à Altmetria. Entretanto, a sua principal função tem sido estudar e descrever o amplo impacto de artigos de pesquisa acadêmicos (Priem et al., 2010). Tem sido utilizada para medir a influência ou impacto que uma atividade ou produção científica desempenha tanto dentro quanto fora da academia. Como o material acadêmico está cada vez mais acessível, com a ampliação da publicação de acesso aberto e com o crescente uso das mídias sociais, a Altmetria pode vir a se tornar um método importante para compreender e avaliar também o impacto social (Taylor, 2013).

Segundo alguns pesquisadores (Thelwall et al., 2013), as práticas levadas a cabo por meio das métricas alternativas podem operar como indicador para a eventual contagem de citações e, também, desvendar ligações acadêmicas normalmente não registradas nesse tipo de contabilização (Priem & Hemminger, 2010). Neste sentido, pode-se também incluir como função das métricas alternativas despertar o interesse nos leitores em consultar e conhecer determinados trabalhos científicos ocultos, na medida em que são mencionados ou recomendados em algum tipo de mídia social (Torres et al., 2013). Outra forma de uso atribuída à Altmetria é a de possibilitar a avaliação da qualidade científica de uma publicação, por meio de menções online (Priem et al., 2010).

Indicadores Altmétricos

Com a introdução de novas métricas para a avaliação da produção científica dentro e fora da academia, surgem outros parâmetros mais consistentes para medir o impacto das informações disponibilizadas nas mais recentes e utilizadas fontes de dados, plataformas e ferramentas online, conhecidos como indicadores alternativos (altmetrics indicators). Pode ser considerado indicador alternativo qualquer medida não convencional na avaliação da ciência, embora seja mais conveniente se reportar aos indicadores que são derivados das ferramentais 2.0, ou seja, aqueles concebidos a partir da interação dos usuários - normalmente cientistas, mas não exclusivamente - da Web social, com materiais gerados por pesquisadores (Torres et al., 2013).

Os indicadores altmétricos podem ser classificados em três grandes grupos: as medidas de repercussão social das publicações (contabilizadas pelo número de menções ou citações online); as medidas de uso das publicações científicas (calculadas por meio do número de descargas de materiais científicos da rede ou pelo número de usuários que incluíram dados de trabalhos científicos em suas listas pessoais de referências); e as medidas de qualidade ou nível das publicações (computadas a partir da quantidade de citações em sítios de avaliação por pares).

Um primeiro grupo de indicadores altmétricos a ser examinado diz respeito às medidas de repercussão social, representadas pelas menções ou citações online. De acordo com Thelwall et al. (2013), uma menção Web é uma menção textual em uma página da Web, normalmente de um título do documento e/ou do nome do responsável pelo mesmo. Não obstante, a menção online pode ser encontrada em diferentes espaços dentro da rede. Elas aparecem nas redes sociais em forma de compartilhamentos, tweets e retweets, o "curtir" no Facebook, postagens e comentários e toda a sorte de informação científica que passa a ser referência para outras pessoas a partir do momento que tenha sido evidenciada. As menções que os trabalhos científicos podem receber nas diversas redes sociais que estão disponíveis online são um reflexo da difusão e da disseminação das publicações (Torres et al., 2013).

Também as citações de artigos científicos em blogs fazem parte desse conjunto de indicadores dentro das métricas alternativas, caracterizando-se como aproximações quantitativas à medição do interesse que essas publicações provocam na comunidade científica e no público em geral. Esse indicador complementa e vai além do impacto dos índices tradicionais de citação (Torres et al., 2013).

Ainda no que diz respeito às menções, elas podem ser encontradas e contabilizadas por meio de enciclopédias colaborativas online. E, por último, outro locus que serve de base para a extração desse tipo de dado são os sistemas de promoção de notícias e as plataformas de temas específicos. Estes podem fornecer índices de impacto de pesquisa também para aqueles que não são especialistas (Torres et al., 2013). Habitualmente, a análise do número dessas menções online configura-se como indicador de impacto dentre as medições alternativas.

Em um segundo grupo encontram-se as medidas de uso e repercussão das publicações científicas, as quais têm se tornado centrais nas discussões sobre a relevância dos novos indicadores extraídos de fontes de dados alternativas. Pesquisadores como Neylon & Wu (2009) e Lin & Fenner (2013) consideram que essas medidas fazem parte do campo Article-Level Metrics (Métricas de Nível do Artigo) que abrange visualizações e downloads, dados de circulação na Web social e também as próprias citações.

Neste sentido, aponta-se para as descargas de materiais científicos da rede que oferecem informação complementar à medição tradicional de repercussão científica e ainda mostram padrões diferentes das de citação (Bollen et al., 2009; Torres et al., 2013). Estudos envolvendo a descarga desse tipo de material na rede estão sendo amplamente desenvolvidos com a finalidade de mostrar com precisão como esses documentos estão sendo utilizados e o possível impacto na geração de novos conhecimentos. Assim, no projeto Counting Online Usage of Networked Electronic Resources (Counter) já foram definidos indicadores para medir o uso dos conteúdos de revistas científicas, como o Usage Factor Journals (UFJ), ou o Usage Factor (UF), este último aplicado para medir o uso de qualquer categoria de publicação online.

Uma crítica frequente aos indicadores de uso corrente aponta o fato destes não apontarem se um texto baixado da Internet é realmente lido, muito menos se é assimilado e posto em prática. Esse seria um dado importante, tendo em vista que o que se pretende medir é a influência de determinado artigo sobre a atividade científica e não quantas pessoas clicaram em um botão para baixar um arquivo. Por isso, acredita-se que seria mais acertado contabilizar o número de pessoas que optaram por incluir os dados de um trabalho científico em sua lista pessoal de referências, utilizando ferramentas tradicionais como o EndNote, o Refworks ou no formato BibTex. Existe, no entanto, um número crescente de ferramentas dessa natureza com vantagens significativas, como o fato de serem gratuitas, fáceis de usar e de poderem auxiliar a encontrar artigos de alta qualidade, sem exigir qualquer esforço adicional dos pesquisadores (Neylon & Wu, 2009). Esses instrumentos também permitem ao investigador coletar e guardar trabalhos científicos que considere importantes em sua biblioteca pessoal enquanto está navegando pela Internet, muitas vezes com apenas um clique no botão "favoritos". As mais conhecidas são Zotero, CiteULike, Connotea e Mendeley (Torres et al., 2013).

Para testar algumas dessas ferramentas, Li et al. (2012) investigaram se CiteULike e Mendeley eram realmente válidas para medir a influência acadêmica, com uma amostra de 1.613 artigos publicados na Nature e na Science no ano de 2007. Utilizaram o número de citações tradicionais da Web of Science (WoS) desses artigos como parâmetro de comparação com o número de usuários os quais marcaram os mesmos artigos em um desses dois gerenciadores livres de referências online. Conseguiram encontrar correlações significativas entre a contagem de usuários e a de citações na WoS. O estudo sugere que esse tipo de influência está, de alguma forma, relacionado ao impacto acadêmico com base na citação tradicional, embora o número de usuários desses sistemas ainda seja baixo.

De qualquer maneira, esses indicadores representam o interesse que os trabalhos científicos provocam nos leitores, mais do que o uso que deles possa ser feito (Torres et al., 2013). Taraborelli (2008) salienta, ainda, que esses mesmos indicadores denotam uma espécie de "revisão ligeira", uma vez que refletem a aceitação dos trabalhos na academia.

E, finalmente, no terceiro grupo, encontram-se os indicadores altmétricos que costumam gerar cautela: as medidas de qualidade ou nível das publicações. Segundo Taraborelli (2008), as métricas baseadas em uso podem oferecer uma nova via para a avaliação da qualidade científica, embora enfrentem os mesmos riscos que os motores de busca de primeira geração experimentaram ao usar medidas duvidosas, como os dados brutos de fluxo, para estimar a qualidade do conteúdo.

Dadas as limitações próprias da dificuldade de estimar a qualidade de uma publicação científica em qualquer âmbito, em contrapartida ao filtro da revisão por pares na avaliação tradicional, na Altmetria se utilizam os sítios de revisão aberta para a contagem das citações que ali se encontram. Esses sítios ou plataformas são locais na rede onde se pode entrar tanto para escrever como para ler opiniões de pares sobre trabalhos acadêmicos publicados. No entanto, é possível estabelecer duas categorias de sítios de avaliação aberta por pares: aqueles que só apoiam a revisão de artigos que ali se hospedam - muito mais próximos da publicação tradicional, uma vez que promovem a divulgação, o arquivamento e a certificação dos artigos no mesmo espaço - e outros em que a revisão por pares é aplicada a artigos de acesso aberto, tanto de fontes externas quanto internas. De qualquer forma, ambos gerenciam revisões ou comentários pós-publicação. Existe uma variedade dessas plataformas, como por exemplo o OpenPub e o Peer Evaluation, na primeira categoria, e o F1000 Research e o PLOS Open Evaluation, na segunda. Vale ainda destacar que esses recursos podem estar voltados a todas as áreas do conhecimento ou especializados em um único domínio científico.

Geralmente apresentam algumas características em comum que os identificam:

  • - a promoção dos melhores trabalhos avaliados para as primeiras páginas do sítio;

  • - a possibilidade de se transferir dados de pré-publicações, bem como de links para artigos publicados em outros lugares;

  • - comentários abertos, que podem ser anônimos ou não;

  • - os próprios revisores escolhem os textos que irão avaliar (não há indicação prévia) (Priem, 201-).

Fontes de dados, ferramentas e contagens altmétricas

Como pôde ser observado na seção anterior, existe uma variedade de indicadores altmétricos de proveniência, categoria e nível de padronização distintos, causando uma certa dificuldade na compilação de dados acerca de cada publicação e no seu posterior cálculo. A principal delas seria o alto custo de tempo e o esforço despendido. Para minimizar essa dificuldade, a solução foi buscar fontes de pesquisa de dados, plataformas e ferramentas que pudessem auxiliar no monitoramento dessas atividades.

Essas fontes podem ser classificadas em diferentes grupos, como pode ser visto a seguir:

  • - as mídias sociais (Facebook, Twitter, LinkedIn);

  • - os gestores de referências online (CiteULike, Zotero, Mendeley);

  • - os bookmarks sociais (Delicious, Connotea);

  • - as enciclopédias colaborativas (Wikipédia, Scholarpedia);

  • - os blogs, tanto os científicos (Nature Blogs, Research Blogging) quanto os para o público em geral;

  • - as redes sociais acadêmicas (ResearchGate, Academia.edu);

  • - os sítios de organização de congressos (Lanyrd.com);

  • - os sistemas de promoção de notícias (Menéame ou Reddit) e as plataformas com especialização temática (Documenea) (Torres & Guallar, 2009; Priem et al,. 2012);

  • - os sítios de revisão aberta por pares (OpenPub, Peer Evaluation, F1000 Research e o PLOS Open Evaluation);

  • - e, também, protocolos ou plataformas padrão para relatórios de estatísticas de uso dos recursos online (Counter).

No entanto, já existem algumas ferramentas que oferecem o eficaz monitoramento dos dados altmétricos referentes a um ou vários documentos de forma integrada, em plataformas online como o Altmetric.com, o Plum Analytics, o Science Card, o Citedin ou o Impact Story. Para que os dados retornem agrupados por métrica, basta, normalmente, incluir o número de identificação único do(s) artigo(s) (como o Digital Object Identifier [Doi] e o PubMed). No Altmetrics.com, por exemplo, é possível inserir até 1.mil identificadores únicos de artigos de cada vez em uma busca (Gouveia, 2013; Torres et al., 2013).

Essas plataformas oferecem relatórios com as estatísticas de conjuntos de trabalhos. A parte mais importante de um relatório desses é a que diz respeito aos dados qualitativos. Neste sentido, é interessante estar atento ao contexto e perceber como alguns artigos estão se saindo em relação a outros, e é justamente a pontuação recebida por um artigo que pode dar uma ideia da atenção gerada.

Convém esclarecer que essa pontuação costuma ser ponderada, levando em conta as diferentes fontes que mencionam os trabalhos científicos. Dessa forma, é possível refletir a importância relativa de cada uma delas na medida em que é dada maior pontuação a uma menção feita em um sistema de promoção de notícias, por exemplo, do que de uma mídia social. Além da fonte de informação, também tem importância "quem" menciona o artigo. Portanto a atenção de um pesquisador conta mais do que a atenção de um Twitter bot automatizado.

Um modelo de contagem para cada tipo de fonte pode ser observado na Tabela 1.

Tabela 1 Exemplo de pontuação padrão para diferentes fontes. 

Fonte: Altmetric (201-).

Para a produção desses coeficientes, foi solicitado a grupos de pesquisadores que classificassem as diferentes fontes de acordo com a amplitude que o impacto de um artigo pode alcançar ao ser nelas mencionado. Um exemplo de cálculo com base no peso de cada fonte pode ser visualizado logo abaixo:

Fontes onde o artigo foi mencionado: uma menção em um blog e uma no Facebook

Cálculo: 5 (Blog) + 0,25 (Facebook) = 5,25 (Altmetric, 201-).

Cabe mencionar, no entanto, que essa ferramenta também apresenta algumas limitações, como, por exemplo, alguns resultados contraditórios, além da recuperação das estatísticas ser feita de forma parcial (Torres et al., 2013).

Outras abordagens e expectativas para o futuro

Uma abordagem interessante sobre o porquê da utilização de novos indicadores e métricas para medir o impacto acadêmico é apontada por Alperin (2013) ao afirmar que a contabilização tradicional de citações utilizada para avaliar o impacto da produção científica mundial beneficiaria injustamente os países da América do Norte e da Europa, prejudicando os pesquisadores dos países em desenvolvimento. Já as métricas alternativas mediriam com maior precisão o impacto acadêmico, sendo mais convenientes a esses países, na medida em que promovem uma cultura de pesquisa a qual suporta os objetivos nacionais de desenvolvimento.

Segundo o autor supracitado, no atual sistema de avaliação, os periódicos dominantes e temas de interesse da comunidade científica hegemônica, recuperados pelas principais bases de dados bibliográficas, acabam sendo favorecidos. A solução estaria na disponibilização de periódicos marginais em plataformas abertas, pois estimularia uma maior contribuição de ideias e de intercâmbio acadêmico entre os pesquisadores dos países periféricos.

Nesse sentido, para facilitar o desenvolvimento científico internacional de forma justa e igualitária, seria imprescindível fomentar a investigação sobre temas de interesse local e nacional, a qual seria disponibilizada por meio de canais de comunicação acessíveis a todos e divulgada em redes de comunicação social. A redução das barreiras tecnológicas para a publicação da literatura acadêmica em plataformas de acesso aberto torna-se, portanto, fundamental para o avanço dessas propostas. Assim, fica evidente a importância das métricas alternativas no sentido de trazer maior proveito aos chamados "pesquisadores alternativos" (Alperin, 2013), pois colaboram na resolução de problemas locais e ainda desvelam contribuições científicas há muito tempo relegadas a um segundo plano.

Ao se referir a "pesquisadores alternativos", Alperin (2013) sugere que as métricas alternativas podem servir àqueles que estão à margem do sistema atual: aqueles que trabalham com recursos escassos, em áreas acadêmicas que não estejam em evidência ou ainda, e mais importante, aqueles os quais pesquisam e publicam com objetivos diferentes da maioria dos pesquisadores. Embora esses estudiosos possam ser encontrados em todo o mundo, predominam nos países subdesenvolvidos e, ao abordar suas necessidades, a Altmetria pode alcançar um diferente tipo de impacto.

De igual importância e um passo natural para a maior credibilidade das medições com base em indicadores altmétricos, como bem apontam Zahedi et al. (2014), será validar os dados obtidos por meio das diferentes fontes de informação alternativas. A validação da qualidade, fiabilidade e robustez das ferramentas altmétricas é fundamental para que sejam incorporadas para fins de avaliação de pesquisas assim como já o são as ferramentas e fontes de dados tradicionais.

Conclusão

A partir das reflexões levantadas neste texto, desprende-se que o debate sobre as perspectivas de revisão por pares na era da Internet e as crescentes críticas levantadas ao papel dominante de indicadores como o fator de impacto levaram à busca de novas formas de medir a qualidade da produção científica. Levando-se em conta que essa produção mudou seu locus de exibição, do material impresso para as plataformas de acesso online, ampliou-se sua visibilidade e permitiu-se que tanto especialistas como leigos pudessem consultá-la. Além disso, como as mídias sociais vêm desempenhando um papel importante na disseminação dessa produção, nada mais natural do que os estudos métricos utilizarem essas ferramentas para estimar o impacto que têm alcançado dentro e fora da academia. Assim nascem as métricas alternativas ou a Altmetria.

É interessante perceber que essas novas métricas estão sendo testadas como forma de avaliar a qualidade das atividades científicas por meio de menções, marcações, citações online, postagens e comentários, sobretudo, nas mídias sociais - fóruns com cada vez mais adeptos - e, também, em sistemas e plataformas online, os quais, de alguma forma, captam e registram os dados das publicações que tiveram alguma influência ou impacto positivo sobre as pessoas criando um amplo espiral de apreciadores. No entanto, mesmo ainda sendo uma medida pouco utilizada em processos regulares de avaliação, não há dúvidas de que a Altmetria pode complementar as avaliações tradicionais de pesquisa feitas com o objetivo de estimar a repercussão da literatura científica na academia. Isso pode ser observado uma vez que grandes editores, como a Elsevier, já começam a aderir à Altmetria em suas avaliações, bem como bases de dados importantes como a Scientific Eletronic Library Online (SciELO), ao incluírem tais medidas para decidir quais revistas têm condições de serem indexadas ou mesmo de continuarem fazendo parte do repositório (Scientific Eletronic Library Online, 2014).

Com esse recurso se consegue chegar a outros âmbitos não alcançados pelos indicadores habituais, detectando a influência, o estímulo, a atenção, o interesse dos leitores em determinadas publicações, além de torná-las visíveis e populares ao serem mencionadas nessas novas fontes alternativas de informação. Acredita--se, também, que pelo seu alcance, essas métricas devem ser usadas a favor da produção científica oculta e excluída das principais bases de dados de citação bibliográfica, bem como para facilitar o desenvolvimento científico internacional, fomentando a investigação sobre temas de interesse local e nacional, especialmente nos países subdesenvolvidos. Desta forma, a contagem de citações ou menções à produção acadêmica mundial torna-se mais justa e igualitária e a ciência mais democrática como um todo.

Referências

Alperin, J. P. Ask not what altmetrics can do for you, but what altmetrics can do for developing countries. Bulletin of the Association for Information Science and Technology, v.39, n.4, p.18-21, 2013. [ Links ]

Altmetric. London, [201-]. Available from: <http://www.altmetric.com/whatwedo.php#score>. Cited: Jun. 26, 2014. [ Links ]

BBC. Profiles: Yahoo, Google and Microsoft. BBC News. 2009. Available from: <http://news.bbc.co.uk/2011/hi/business/7222431.stm>. Cited: Feb. 28, 2011. [ Links ]

Bollen, J. et al. A principal component analysis of 39 scientific impact measures. PLoS One, v.4, n.6, p.1-11, 2009. [ Links ]

Braun, T.; Glaenzel, W.; Schubert, A. A hirsch-type index for journals. The Scientist, v.19, n.8, p.169-173, 2005. [ Links ]

Egghe, L. Theory and practise of the g-index. Scientometrics, v.69, n.1, p.131-152, 2006. [ Links ]

Garfield, E. Citation indexes for science through association of ideas. Science, v.122, n.3159, p.108-111, 1955. [ Links ]

Gouveia, F. Novos caminhos e alternativas para a Webometria. Em Questão, v.18, Esp., p.249-261, 2012. [ Links ]

Gouveia, F. Altmetria: métricas de produção científica para além das citações. Liinc em Revista, v.9, n.1, p.214-227, 2013. Disponível em: <http://www.ibict.br/liinc>. Acesso em: 18 fev. 2014. [ Links ]

Hirsch, J. E. An index to quantify an individual's scientific research output. Proceedings of the National Academy of Sciences, v.102, n.46, p.16569-16572, 2005. [ Links ]

Ingwersen, P. The calculation of web impact factors. Journal of Documentation, v.54, n.2, p.236-243, 1998. [ Links ]

Li, X.; Thelwall, M.; Gustini, D. Validating online reference managers for scholarly impact measurement. Scientometrics, v.91, n.10, p.461-471, 2012. [ Links ]

Lin, J.; Fenner, M. Altmetrics in evolution: Defining and redefining the ontology of article-level metrics. Information Standards Quarterly, v.25, n.2, p.20-26, 2013. [ Links ]

Neylon, C.; Wu, S. Article-level metrics and the evolution of scientific impact. PLos Biology. 2009. Available from: <http://www.plosbiology.org/article/info%3Adoi%2F10.1371% 2Fjournal.pbio.1000242>. Cited: Jun. 26, 2014. [ Links ]

Oliveira, A.C.; Dórea, J.G.; Domene, S.M.A. Bibliometria na avaliação da produção científica da área de nutrição registrada no Cibran: período de 1984-1989. Ciência da Informação, v.21, n.3, p.239-242, 1992. [ Links ]

Priem, J. List: Standalone peer review platforms. [Chapel Hill (NC): s.n., 201-]. Available from: <https://docs.google.com/document/d/1HD-BEaVeDdFjjCNFkb0j3pvwe7MrP3PtE-bWHkkdq7Q/edit?pli=1#>. Cited: Oct. 10, 2014. [ Links ]

Priem, J.; Hemminger, B.H. Scientometrics 2.0: New metrics of scholarly impact on the social web. First Monday, v.15, n.7, 2010. Available from: <http://firstmonday.org/ojs/index.php/fm/article/view/2874>. Cited: Jun. 15, 2014. [ Links ]

Priem, J. et al. Altmetrics: A manifesto. Altmétrics, v.1, 2010. Disponível em: <http://altmetrics.org/manifesto>. Acesso em: 8 jul. 2014. [ Links ]

Priem, J.; Groth, P.; Taraborelli, D. The altmetrics collection. PLoS One, v.7, n.11, p.1-2, 2012. Available from: <http://www.ncbi.nlm.nih.gov/pmc/articles/PMC3486795/>. CIted: May 3, 2014. [ Links ]

Rodriguez-Gairín, J.M. Valoración del impacto en la web. Revista Española de Documentación Científica, v. 20, n.2, 175-181, 1997. [ Links ]

Santos, R.N.M. Produção científica: por que medir? O que medir? Revista Digital de Biblioteconomia e Ciência da Informação, v.1, n.1, p.22-38, 2003. [ Links ]

Scientific Eletronic Library Online. Critérios, política e procedimentos para a admissão e a de periódicos científicos na Coleção SciELO Brasil. São Paulo: SciELO, 2014. Disponível em: <http://www.scielo.br/avaliacao/20141003NovosCriterios_ SciELO_Brasil.pdf>. Acesso em: 28 ago. 2015. [ Links ]

Seidman, E. We are flattered, but... Bing Community, 2007. Available from: <http://www.bing.com/community/blogs/search/archive/2007/2003/2028/we-are-flattered-but.aspx>. Cited: Nov. 11, 2009. [ Links ]

Strehl, L. O fator de impacto do ISI e a avaliação da produção científica: aspectos conceituais e metodológicos. Ciência da Informação, v.34, n.1, p.19-27, 2005. [ Links ]

Taraborelli, D. Soft peer review: Social software and distributed scientific evaluation. International Conference on the Design of Cooperative Systems (COOP '08), 8., Carry-Le-Rouet, 2008. Proceedings... Carry-Le-Rouet: Institut d' Etudes Politiques d' Aix-en-Provence, 2008. p.99-110. [ Links ]

Taylor, M. The challenges of measuring social impact using altmetrics. Research Trends, n.33, 2013. Available from: <http://www.researchtrends.com/issue-33-june-2013/the-challenges-of-measuring-social-impact-using-altmetrics/>. Cited: Jul. 14, 2014. [ Links ]

Thelwall, M.; Vaughan, L.; Björneborn, L. Webometrics. Annual Review of Information Science and Technology, v.39, n.1, p.81-135, 2005. [ Links ]

Thelwall, M.; Sud, P. A comparison of methods for collecting web citation data for academic organisations. Journal of the American Society for Information Science and Technology , v.62, n.8, p.1448-1497, 2011. [ Links ]

Thelwall, M. et al. Do altmetrics work? Twitter and ten other social web services. Plos One, v.28, 2013. Available from: <http:// dx.doi.org.10.1371/journal>. Cited: Jul.10, 2016. [ Links ]

Torres, D.; Cabezas, A.; Jiménez, E. Altmetrics: nuevos indicadores para la comunicación científica en la Web 2.0. Comunicar: Revista Científica de Educomunicación, v.21, n.41, p.53-60, 2013. [ Links ]

Torres, D.; Guallar, J. Evaluación de DocuMenea, sistema de promoción social de noticias de biblioteconomía y documentación. El Profesional de la Información, v.18, n.2, p.171-179, 2009. [ Links ]

Vanti, N. A cientometria revisitada à luz da expansão da ciência, da tecnologia e da inovação. Salvador, Ponto de Acesso, v.5, n.3, p.5-31, 2011. [ Links ]

Vanti, N.; Sanz-Casado, E. Posição das universidades públicas espanholas por meio do cálculo do fator de impacto web alternativo. In: Foro Internacional sobre la Evaluación de la Calidad de la Investigación y de la Educación Superior, 11., Bilbao, 2014. Resúmenes... Bilbao: Asociación Española de Psicología Conductual, 2014. p.35. [ Links ]

Yahoo. Search APIs from Yahoo! Search. 2011. Available from: <http://developer.yahoo.com/search/web/webSearch.html>. Cited: Apr. 13, 2011. [ Links ]

Zahedi, Z.; Costas, R.; Wouters, P. How well developed are altmetrics? A cross-disciplinary analysis of the presence of 'alternative metrics' in scientific publications. Scientometrics, v.101, n.2, p.1481-1513, 2014. [ Links ]

Apoio: Coordenação de Aperfeiçoamento de Nível Superior (Processo nº BEX 10915-13-3).

3 "The original and most widespread approach is to count hyperlinks to the object studied, normally using an advanced web search engine query. This search facility was apparently due to cease by 2012, however, since Yahoo!, the only major search engine to offer a link search service, was taken over by Microsoft (BBC, 2009), which had previously closed down the link search capability of its own search engine Bing (Seidman, 2007). [...] Moreover, Yahoo stopped supporting automatic searches, as normally used in webometrics, in April 2011 (Yahoo, 2011), leaving no remaining automatic source of link data from search engines".

4 "Altmetrics is the study and use of scholarly impact measures based on activity in online tools and environments. The term has also been used to describe the metrics themselves-one could propose in plural a "set of new altmetrics". Altmetrics is in most cases a subset of both scientometrics and webometrics; it is a subset of the latter in that it focuses more narrowly on scholarly influence as measured in online tools and environments, rather than on the Web more generally".

5 "Altmetrics is the collective term for scholarly usage data that goes beyond formal citation counts. Typically, altmetric data comes from specialist platforms and research tools but can also include data from general applications and technical platforms. Sometimes the term also encompasses mass-media references, and data from publishers, such as web page views and PDF downloads".

Recebido: 12 de Dezembro de 2014; Revisado: 14 de Setembro de 2015; Aceito: 23 de Outubro de 2015

Correspondência para/Correspondence to: N. VANTI. E-mail: <nvanti@ufrnet.br>.

Colaboradores

Todos os autores colaboraram em todas as etapas do artigo.

Creative Commons License Este é um artigo publicado em acesso aberto sob uma licença Creative Commons