Interpretação dos dados estatísticos da SciELO (Scientific Eletronic Library Online)

ARTIGO ESPECIAL

Interpretação dos dados estatísticos da SciELO (Scientific Eletronic Library Online)

Saul Goldenberg^I; Regina C. Figueiredo Castro^II; Fernando Redondo Moreira Azevedo^III

^IFundador, Editor Chefe da Revista Acta Cirúrgica Brasileira, Líder de Grupo, Núcleo de Comunicação Científica em Cirurgia no Diretório dos Grupos de Pesquisa do CNPq, São Paulo, Brasil

^IIIntegrante do Núcleo de Comunicação Científica em Cirurgia [NCCC] da Sociedade Brasileira para o Desenvolvimento da Pesquisa em Cirurgia [SOBRADPEC], Coordenadora de Comunicação Científica em Saúde na BIREME/OPAS/OMS (Centro Latino-Americano e do Caribe de Informação em Ciências da Saúde), São Paulo, Brasil

^IIIIntegrante do Núcleo de Comunicação Científica em Cirurgia [NCCC] da Sociedade Brasileira para o Desenvolvimento da Pesquisa em Cirurgia [SOBRADPEC], São Paulo, Brasil

^{Correspondência}

Introdução

A Biblioteca Científica Eletrônica em Linha–SciELO (em inglês, Scientific Electronic Library Online) é uma biblioteca eletrônica que abrange uma coleção selecionada de periódicos científicos ibero-americanos. A SciELO é o resultado de uma parceria entre a FAPESP - Fundação de Amparo à Pesquisa do Estado de São Paulo e a BIREME - Centro Latino-Americano e do Caribe de Informação em Ciências da Saúde, iniciada em 1997. A partir de 2002, conta também com o apoio do CNPq - Conselho Nacional de Desenvolvimento Científico e Tecnológico. Atualmente o banco de dados da SciELO Brasil conta com 173 revistas brasileiras de todas as áreas do conhecimento, incluindo as revistas que tiveram mudanças de títulos. A rede de coleções SciELO se estende por outros países da América Latina (Argentina, Chile, Cuba, Venezuela, Peru, Colômbia, Costa Rica, México,, Uruguai), Espanha e Portugal, além de coleções especializadas na área de Saúde Pública e Ciências Sociais. O total de revistas da rede SciELO, incluindo Brasil, ultrapassa 350 títulos. O objetivo da SciELO é o desenvolvimento de uma metodologia comum para a preparação, armazenamento, disseminação e avaliação da produção científica em formato eletrônico. Dentre seus objetivos específicos estão a produção de indicadores bibliométricos e de uso das revistas da coleção para a gestão do fluxo da comunicação científica nesses países. A SciELO permite a consulta às revistas em três módulos: i) "periódicos", que permite acesso às revistas em ordem alfabética, por assunto ou pesquisa de título, como se fosse uma biblioteca; ii) "artigos", que permite consulta aos artigos pelos índices de autor, assunto ou todos os campos; iii) "relatórios", que permite consultar relatórios de utilização do site e das coleções de revistas e relatórios de citações e co-autoria. O módulo de relatórios apresenta os indicadores bibliométricos e de uso das revistas científicas, que podem ser usados pelos editores científicos na gestão das revistas, pelos gestores de ciência & tecnologia e pesquisadores para estudos sobre áreas temáticas específicas e pelos leitores para análise e seleção das revistas onde publicarão seus trabalhos. Contudo, como a apresentação desses dados numéricos na SciELO não inclui explicações sobre a metodologia de cálculo e significado de cada indicador, torna-se difícil a sua interpretação para os que não são estudiosos da cienciometria e bibliometria, que é o caso da maioria dos editores e da comunidade científica em geral. No módulo de "relatórios" os indicadores estão disponíveis para toda a coleção de revistas, e é permitida a consulta a uma ou várias revistas e a um período de anos de publicação. A consulta simultânea a várias coleções é útil para mostrar tendências específicas de uma determinada área temática ou de um grupo de revistas. Nos sites individuais das revistas na SciELO, os indicadores específicos de cada título aparecem na seção "estatísticas". O objetivo deste artigo é coletar e interpretar os indicadores bibliométricos e de uso das revistas científicas, disponíveis na seção "estatísticas" dos sites da coleção SciELO Brasil, tomando como exemplo a revista Acta Cirúrgica Brasileira.

Métodos

Para a análise dos indicadores de uso e citações disponíveis, foi consultada a seção "estatísticas" da revista Acta Cirúrgica Brasileira, disponível na SciELO Brasil (www.scielo.br/acb), na versão em português. O período analisado foi de fevereiro de 1998 a dezembro de 2005. Não foram incluídos os indicadores de 2006, por não representar ainda um ano completo. Para cada indicador foram pesquisados os conceitos na literatura e foi discutida a sua utilidade na gestão do fluxo da revista ou da comunicação científica em geral. Os indicadores disponíveis nos sites de cada revista da coleção, de acordo com sua ordem de apresentação, são:

1. Relatórios de utilização do site

• Acessos às revistas

• Acessos aos fascículos

• Acessos aos artigos

2. Relatório de co-autoria

• Co-autoria

3. Relatório de citações de revistas

• Dados fonte

• Fator de impacto em um período de dois anos

• Fator de impacto em um período de três anos

• Vida média

• Citações recebidas

• Citações concedidas

Deve-se destacar que, embora o site da SciELO Brasil seja apresentado em três idiomas, as abreviaturas dos indicadores, em geral, foram tomadas do idioma inglês e em algumas páginas de resultados estão escritas em inglês.

Definição dos indicadores e interpretação de resultados

1. Relatórios de utilização do site

Acessos às revistas

Esse indicador fornece a quantidade de acessos feitos pelos usuários da SciELO à página principal da revista (home), à tabela de conteúdo (toc), que nas revistas brasileiras é denominada índice ou sumário, aos artigos (articles) e a outras seções da revista ou por meio de outras formas de consulta, reunidas sob o item "outros" (other). As datas de início e fim do cálculo desse indicador podem ser selecionadas pelos usuários, a partir de fevereiro de 1998. Para conhecer a evolução do número de acessos ano a ano, devem-se definir as datas de início e fim da consulta. A evolução do número de acessos a artigos da Acta Cirúrgica Brasileira é representada na Figura 1.

Acessos aos fascículos

Esse indicador mostra quais os fascículos da revista foram mais visitados desde sua indexação na SciELO, sendo possível também definir os períodos de tempo. O cálculo do indicador considera os acessos à tabela de conteúdo, aos resumos e aos artigos, tanto no formato HTML como PDF. O usuário também pode delimitar o número mínimo de vezes que o artigo foi consultado; o padrão (default) é uma citação. Na coluna da esquerda do resultado aparece o número de vezes que determinado fascículo foi acessado e na da direita, o volume, número e ano de publicação, com link direto para o fascículo (Figura 2). No caso de suplementos, aparece na tela apenas o volume e ano, mas o link vai para o número do suplemento consultado.

Acessos aos artigos

Esse indicador mostra quais os artigos da revista foram mais acessados no site da SciELO. A análise desse indicador pode indicar aos editores quais os assuntos e artigos que despertaram mais interesse dos usuários da revista e, portanto, é útil para orientar a política editorial e a seleção de trabalhos para publicação. Oferece também aos autores a medida de popularidade de seus artigos, por meio do número de acessos. Na coluna da esquerda do resultado aparece o número de vezes que o artigo foi acessado e na coluna da direita a referência completa com link para o resumo ou texto completo do artigo, nos vários idiomas disponíveis (Figura 3).

Observa-se que artigos recentes podem ter número de acesso superior a artigos publicados há mais tempo, dependendo do destaque que o artigo ou tema representam na comunidade científica da área.

2. Relatório de co-autoria

Co-autoria

Esse indicador revela o grau de cooperação entre autores de diferentes países em uma determinada revista ou área do conhecimento. O país é extraído da afiliação institucional de autor, registrada para cada autor dos artigos publicados. Caso esse dado não seja fornecido pela revista, os autores são identificados com a origem "país não identificado". A consulta pode ser feita delimitando-se um país na caixa de seleção à esquerda e, na caixa de seleção central, as opções: qualquer país, autor individual ou um país específico. Como o resultado é mostrado ano a ano, pode-se acompanhar a evolução da colaboração entre autores na revista. Uma revista nacional mostrará cooperação principalmente entre autores do país de publicação. Quanto maior o número de autores de outros países que publicam artigos em colaboração na revista, maior o índice de aceitação internacional da revista, sob o ponto de vista dos autores. A Figura 4 mostra a evolução da participação de autores, por país de origem, de 2000 a 2005.

Considerando-se apenas o total de autores com país de origem identificado, os resultados mostram que 92% foram autores brasileiros; 2% de outros países e 5% dos autores não escreveram em colaboração. Autores de países estrangeiros que escreveram em conjunto com brasileiros no período eram dos Estados Unidos, França, Itália, Japão e Países Baixos. Pode-se acompanhar também a evolução da identificação de países no campo de afiliação de autores das revistas. No total do período analisado da Acta Cirúrgica Brasileira 26% dos autores não identificaram o país de origem. A apresentação dos dados de afiliação de autores não é normalizada e só passou a merecer maior atenção dos editores, quando a colaboração nacional ou internacional começou a ser destacada como critério de avaliação de pesquisadores e das revistas científicas. Para recuperar a produção científica de uma instituição ou país em uma base de dados, é necessário contar com registros completos dos dados de afiliação institucional dos autores. É muito comum que autores de um país, publicando nas revistas de seu próprio país, não identifiquem a cidade e país nos dados de afiliação¹. Por exemplo, um autor da Universidade Federal de São Paulo, em geral indica apenas a instituição, quando o correto seria Universidade Federal de São Paulo, São Paulo, Brasil, embora pareça redundante. Se o dado de afiliação não vem completo, as bases de dados podem registrar apenas a instituição, ficando o campo de cidade e país vazios.

3. Relatórios de citações de revistas

Dados fonte

Através da análise desses indicadores é possível obter um diagnóstico do desempenho da revista. Pode-se selecionar o período de análise que pode ser de um ou vários anos ou o total geral através da escolha da opção "todos". O resultado da pesquisa em todos os anos apresenta os totais parciais ano a ano e os totais ou médias gerais em destaque (negrito) na primeira linha. Os seguintes indicadores aparecem na tabela de resultados: número de fascículos publicados, número de artigos, número de citações concedidas (referências dos artigos publicados), número de citações recebidas (citações a artigos da revista recebidas de outras revistas da coleção SciELO), médias de artigos por fascículo e por artigo, médias de citações concedidas por fascículo e por artigo. No exemplo da Acta Cirúrgica Brasileira (Figura 5) pode-se observar que o total anual de artigos publicados pela revista teve um aumento de mais de 100%, passando de 42 em 1998 para 104 em 2005. Esse aumento foi possível com a mudança da periodicidade a partir de 2002 e com a publicação de suplementos e números especiais. Observa-se também que a média geral é de 11 artigos por fascículo e a de referências por artigo, 19. Pelas normas dessa revista os artigos devem ter no máximo 20 referências, o que justifica essa média.

Fator de impacto em um período de dois anos ou de três anos

O Fator de Impacto é uma medida da freqüência pela qual um "artigo normal" de uma revista é citado em um determinado ano ou período de anos. Esse indicador foi criado em 1955 por Eugene Garfield, fundador do Institute for Scientific Information (ISI), hoje Thomson Scientific, como subsídio às políticas de aquisição e desenvolvimento de coleções em bibliotecas^2,3. Seu uso mais freqüente, contudo, tem sido como critério de classificação e avaliação de revistas e artigos científicos. O cálculo do Fator de impacto é efetuado pela soma das citações recebidas por uma revista em um determinado período de tempo, dividida pela soma dos artigos publicados pela revista no mesmo período. O Fator de Impacto é calculado pelo ISI com base em dois anos e publicado anualmente no Journal Citation Reports (JCR)^4,5. Na SciELO, o Fator de Impacto é calculado sobre dois ou três anos de publicação (Figura 6).

O aumento do Fator de Impacto da Acta Cirúrgica Brasileira tem sido constante desde 2001, considerando o cálculo em um período de dois anos (Figura 7) e desde 2002, considerando o cálculo de três anos .

Vida Média

O indicador de vida média das citações (cited half-life) é uma das medidas de obsolescência da literatura científica. Esse termo foi adaptado do conceito de meia vida na área de física, utilizado para medir o tempo que leva para que metade dos átomos de elementos radioativos se desintegre⁶. Esse conceito foi introduzido na área de ciência da informação na década de 60, e depois foi adotado pelo ISI para expressar o tempo (em anos) para que 50% das citações recebidas por uma revista apareça na literatura⁷. Na SciELO, esse indicador é apresentado como "Distribuição cronológica de citações de revistas citantes" com a seguinte definição entre parênteses: "percentual acumulado de citações de revistas de [ano] para artigos publicados durante os anos indicados". A interpretação desse indicador é a seguinte: 50% das citações que a revista recebeu em 2004 foram para artigos publicados de 1999 a 2004, ou seja, nos últimos 5,75 anos (Figura 8). A vida média da Acta Cirúrgica Brasileira tem variado entre cinco e seis anos, ao longo do período analisado.

Citações recebidas

Esse indicador mostra o total de citações recebidas por artigos publicados pela revista em determinado período de tempo. Podem ser selecionados os anos de publicação, os anos em que os artigos foram citados e o total de resultados a serem apresentados. Quando se selecionam vários anos, o total apresentado é o total acumulado no período solicitado. Para saber a evolução do total de citações recebidas ano a ano é necessário repetir a pesquisa para cada ano. O resultado mostra não apenas o total de citações recebidas, mas também os periódicos que citaram os artigos da revista (Figura 9). Observa-se que a Acta Cirúrgica Brasileira recebeu 300 citações no período, sendo 232 (77%) por artigos publicados na própria revista (auto-citação) e 68 (23%) concedidas por artigos publicados em outras 24 revistas da coleção SciELO Brasil. As revistas que mais citaram a Acta Cirúrgica Brasileira, além dela mesma, foram a Revista do Colégio Brasileiro de Cirurgiões e os Arquivos de Gastroenterologia.

Se for feita uma pesquisa ano a ano, observa-se que até 2000 a Acta recebeu apenas auto-citações; em 2001 e 2002 foi citada por outras duas revistas da coleção; em 2003 e 2004 por sete e seis, respectivamente e, em 2005, por 10. Houve variação dos títulos que citaram a Acta a cada ano, chegando a um total de 24 títulos diferentes. O aumento do número de revistas citantes pode ser interpretado, em primeiro lugar, pelo aumento da visibilidade da revista e depois, pelo ingresso de maior número de títulos da mesma área ou áreas relacionadas na coleção SciELO Brasil.

Citações concedidas

Esse indicador mostra as citações concedidas pelos autores dos artigos publicados em uma revista para artigos da própria revista ou de outras revistas nacionais ou estrangeiras. Pode-se assim identificar os títulos mais citados pelos autores da área a que corresponde a revista. O resultado mostra o título das revistas citadas em determinado ano, grupo de anos ou total, as fontes de indexação onde cada revista citada é indexada, o total de citações recebidas e as formas variantes do título nas citações recebidas. Os programas da SciELO procuram identificar essas formas variantes e normalizá-las⁸. A Acta Cirúrgica Brasileira publicou no período 10426 citações, das quais 20% foram para 10 títulos apresentadas na Figura 10. A revista mais citada pelos autores que publicaram no período, com 368 (4%) citações, foi a própria Acta, seguida de Annals of Surgery com 240 (2,3%) e outras sete revistas da área de cirurgia e uma de urologia (Journal of Urology). No total, foram citados 2130 títulos de revistas, dos quais 1219 (57%) receberam apenas uma citação. O resultado desse indicador evidencia que as revistas estrangeiras são mais citadas que as revistas nacionais, principalmente as indexadas nas bases de dados do ISI e MEDLINE. Dentre os 50 títulos mais citados, apenas 3 são nacionais.

Considerações finais

Os indicadores de uso e de citação das revistas da coleção SciELO Brasil, descritos neste artigo, constituem um recurso ainda não muito explorado, mas que pode se tornar indispensável na gestão das revistas científicas. É preciso que se difunda a cultura de análise e interpretação desses indicadores entre os editores científicos para que se ampliem os conhecimentos sobre as características das revistas e da produção científica brasileiras. Espera-se que os exemplos apresentados para a Acta Cirúrgica Brasileira contribuam para a melhor compreensão dos dados disponíveis na SciELO e estimulem outros editores científicos e gestores de ciência & tecnologia a utilizar esses indicadores para a gestão das revistas científicas e para a definição de políticas científicas nacionais, nas diferentes áreas do conhecimento.

• 1. Castro RCF, Mugnaini R. Afiliación de autores y títulos de revistas en los estudios bibliométricos desde las bases de datos MEDLINE, LILACS y SciELO. In: Memorias del Congreso Internacional de Información INFO'2004; 2004; La Habana. La Habana; 2004.
• 2. Garfield E. Citation indexing for studying science. Nature. 1970;227:669-71.
• 3. Garfield E. The agony and the ecstasy: the history and the meaning of the Journal Impact Factor. In: Fifth International Congress on Peer Review in Biomedical Publication; 2005 September 16; Chicago. Chicago; 2005. Available from: <http://garfield.library.upenn.edu/papers/jifchicago2005.pdf >
• 4. Journal Citation Reports. Philadelphia: Institute for Scientific Information; 2004.
• ⁵
  The ISI impact factor. Philadelphia: Institute for Scientific Information; 2006 [
• 6. Spinak E. Diccionario enciclopédico de bibliometría, cienciometría e informetría. Venezuela: UNESCO CII/II; 1996.
• 7. Strehl L. Impact factor of ISI and evaluation of scientific production: conceptual and methodological aspects. Ci. Inf. [serial on the Internet]. 2005 [cited 2006 Oct 31]; 34:19-27.
• 8. Mugnaini R, Tardelli AO, Tuesta EF. Citations Titles Standardization using Information Retrieval Techniques. In: 7es Journées Internationales D'Analyse Statististique des Données Textuelles; 2004 Mar 10-12, Louvain-la-Neuve. Actes. Louvain-la-Neuve: Presses universitaires de Louvain; 2004. p. 824-830. Available from: <http://www.cavi.univ-paris3.fr/lexicometrica/jadt/jadt2004/pdf /JADT_079.pdf >

Datas de Publicação

• Publicação nesta coleção
  15 Mar 2007
• Data do Fascículo
  Fev 2007