SciELO - Scientific Electronic Library Online

 
vol.27 número2A base de dados ISI e seu processo de seleção de revistas índice de autoresíndice de assuntospesquisa de artigos
Home Pagelista alfabética de periódicos  

Serviços Personalizados

Journal

Artigo

Indicadores

Links relacionados

Compartilhar


Ciência da Informação

versão impressa ISSN 0100-1965versão On-line ISSN 1518-8353

Ci. Inf. v.27 n.2 Brasília  1998

http://dx.doi.org/10.1590/S0100-19651998000200023 

Seminário sobre Avaliação da Produção Científica:
Relatório Final*

 

Irati Antonio
Abel Packer

 

 

Resumo
Descreve os objetivos e o programa do Seminário sobre Avaliação da Produção Científica, realizado em São Paulo pelo Projeto SciELO, de 4 a 6 de março de 1998. Inclui os temas e a abrangência dos trabalhos apresentados e as conclusões do evento.
Palavras-chave
Avaliação de literatura científica; SciELO – Scientific Electronic Library Online.

 

 

DESCRIÇÃO

Foi realizado em São Paulo, de 4 a 6 de março de 1998, o Seminário sobre Avaliação da Produção Científica, com a presença de especialistas do Brasil e do exterior em bibliometria, cienciometria, informetria e política científica e tecnológica.

Como atividade integrante do Projeto SciELO, o Seminário teve por objetivo contribuir para o desenvolvimento do projeto, especialmente em relação à análise de critérios, metodologia e indicadores para subsidiar programas e projetos de avaliação da produção científica.

Financiado pela FAPESP (Fundação de Amparo à Pesquisa do Estado de São Paulo) e implementado em parceria com a BIREME (Centro Latino-Americano e do Caribe de Informação em Ciências da Saúde), o projeto desenvolveu uma metodologia para a preparação, armazenamento, disseminação e avaliação de periódicos científicos em formato eletrônico. A aplicação da metodologia está disponível em um site na Internet, denominado SciELO – Scientific Electronic Library Online, uma biblioteca virtual que reúne uma coleção de periódicos científicos brasileiros (URL: http://www.scielo.br).

A metodologia SciELO é formada por módulos integrados que possibilitam, ao mesmo tempo, a publicação de textos completos de artigos, seu armazenamento em bases de dados e sua recuperação eficiente e imediata. A metodologia inclui também um módulo para o controle e a medida de uso de periódicos na Internet, assim como de seu impacto mediante a produção de relatórios, a partir dos quais especialistas poderão analisar a literatura científica incluída na biblioteca. Esses relatórios são baseados em indicadores e critérios quantitativos e em técnicas e métodos bibliométricos.

O Seminário reuniu especialistas e representantes de instituições brasileiras e internacionais para discutir a avaliação da literatura científica, envolvendo tanto os aspectos técnicos e normativos, como os de política científica e da produção científica propriamente. Para tanto, o Seminário foi dividido em duas partes, sendo a primeira dedicada a dois dias de palestras e debates com um público selecionado de aproximadamente quarenta especialistas (4 e 5 de março); e a segunda destinada a um workshop reunindo exclusivamente consultores convidados e a equipe do projeto (6 de março).

Além de conferencistas do Brasil, México, Estados Unidos, Chile, Uruguai e Bélgica, cujos trabalhos encontram-se publicados neste fascículo da Ciência da Informação, estiveram presentes ao lado da FAPESP, representada por seu diretor científico José Fernando Perez, que abriu o evento, e dos coordenadores do projeto, Rogério Meneghini (FAPESP) e Abel Packer (BIREME), representantes das seguintes instituições: Conselho Nacional de Desenvolvimento em Ciência e Tecnologia - CNPq, Instituto Brasileiro de Informação em Ciência e Tecnologia - IBICT, Associação Brasileira de Editores Científicos - ABEC, Financiadora de Estudos e Projetos - FINEP, Universidade de São Paulo - USP, Universidade Estadual Paulista - UNESP, Universidade de Campinas - UNICAMP, Pontifícia Universidade Católica de Campinas - PUCCAMP, Institute for Scientific Information - ISI, Comisión Nacional de Investigación Científica y Tecnológica do Chile - CONICYT.

O Seminário também contou com a participação de professores e pesquisadores, de profissionais da área da ciência da informação e de editores científicos de várias áreas do conhecimento, especialmente os editores das revistas integrantes da SciELO.

Resumo dos trabalhos e conclusões

O Seminário sobre Avaliação da Produção Científica constituiu-se em um fórum sobre o tema, ao mesmo tempo, divulgando o projeto e seus objetivos e propondo um debate oportuno sobre a comunicação científica e seus instrumentos.

Em primeiro lugar, o Seminário situou o projeto no âmbito do sistema de comunicação científica e da avaliação da produção de ciência no país, enquanto intrumento capaz de aperfeiçoar os meios de divulgação, aumentar a visibilidade e a acessibilidade das publicações, bem como fornecer indicadores consistentes e atualizados sobre o uso e o impacto da literatura científica.

As análises, opiniões e diferentes manifestações de profissionais e especialistas que atuam nas áreas de informação e de comunicação científica recebidas pela equipe do projeto indicaram que a metodologia SciELO vem satisfazer a demanda existente no país por canais mais eficientes e sistemáticos de comunicação e avaliação científica.

Os dois primeiros dias do encontro ofereceram uma abordagem ampla do tema, iniciando-se com a exposição das condições existentes no país para a publicação e a disseminação da literatura científica, incluindo questões como canais de comunicação, níveis de qualidade e evolução da produção científica nacional nos últimos anos, visibilidade, distribuição e demanda por indicadores para tomadas de decisão (José Fernando Perez e Rogério Meneghini). Em seguida, a apresentação do Projeto SciELO destacou seus objetivos, hipóteses, resultados e estratégias para a melhoria do processo de comunicação científica como um todo, especialmente uma maior divulgação e disseminação das publicações científicas — ampliando sua visibilidade nacional e internacional — e a medida do uso e do impacto dessas publicações — oferecendo instrumentos para a avaliação da produção científica (Abel Packer).

As palestras seguintes foram dedicadas à política científica e tecnológica como instrumento para o planejamento, promoção e desenvolvimento da atividade científica. Foram abordados aspectos políticos, sociais, econômicos e institucionais que orientam e condicionam o investimento na área, bem como a necessidade de aprimorar os mecanismos e modelos de avaliação de desempenho (individual e institucional) e de criar e manter atualizados indicadores cienciométricos adequados para orientar a tomada de decisões na seleção e promoção de programas de pesquisa, assim como as atividades relacionadas à distribuição de recursos financeiros e materiais e o avanço da ciência e da tecnologia (Sandra Brisolla, Anna Maria Prat, Cesar Macias-Chapula, Edson Kondo).

O segundo dia do Seminário começou com a apresentação do tema sob o ponto de vista do editor científico, sendo discutidos os critérios e procedimentos editoriais adotados para a seleção e avaliação da literatura científica com vistas à sua publicação, bem como os aspectos que condicionam a atividade editorial na área científica (Charles Pessanha e Lewis Joel Greene). Encerrando esse painel, foram tratados os critérios existentes para a avaliação das revistas científicas brasileiras e os critérios de seleção para a SciELO, quanto ao mérito (conteúdo) e ao desempenho (forma) das publicações, permitindo a classificação das revistas em níveis de relevância em suas respectivas áreas (Rosaly Krzyzanowski).

O Seminário seguiu com a discussão sobre os indicadores cienciométricos, agora em seus aspectos técnicos e metodológicos, apontando sua importância, finalidade, limitações e possibilidades de aplicação. Apresentou-se uma série de indicadores de publicação e de citação, sendo analisada sua adequação em relação às políticas científicas, principalmente nos países latino-americanos, devido à dependência existente dos indicadores produzidos pelo ISI, que considera um número limitado de revistas da região (Ernesto Spinak). O painel prosseguiu com a apresentação da metodologia do Institute for Scientific Information (ISI) para a análise de citações e para a seleção de revistas (James Testa) e com a descrição de um estudo de caso que aplica indicadores bibliométricos e econométricos para a avaliação de instituições científicas, incluindo aspectos como ensino e alocação de recursos (Ronald Rousseau).

Encerrando a primeira parte do Seminário dedicada às palestras, foi realizado um debate geral com a participação dos conferencistas e do público, no qual foi reconhecida a relevância de se contar com métodos de avaliação da produção científica, com especial atenção ao contexto latino-americano, sendo levantadas questões como a necessidade de intercâmbio entre instituições e de compatibilidade entre metodologias de avaliação, a limitação dos indicadores, as dimensões políticas do tema e a necessidade de um esforço conjunto da comunidade científica na implementação de políticas de avaliação. Foram apresentadas manifestações de apoio ao projeto com relação à continuidade no desenvolvimento da metodologia de avaliação, enquanto iniciativa em andamento com possibilidades concretas de viabilizar a curto prazo a operação de um sistema amplo de apoio a programas de avaliação científica.

A segunda parte do Seminário (dia 6 de março) foi dedicada exclusivamente a um workshop com a participação da equipe do projeto — Abel Packer, Irati Antonio, Mariana Biojone, Asael Silva e Alberto Pedroso García — e de especialistas — Anna Maria Prat, Cesar Macias-Chapula, Edson Kondo, Ernesto Spinak, Ronald Rousseau e James Testa— , com o objetivo de focalizar mais detidamente a metodologia de avaliação considerada pelo projeto, nos seguintes aspectos básicos: Quais indicadores produzir?, Quais indicadores deverão ser publicados e quais não?, A compatibilidade com a metodologia do Institute for Scientific Information: citações, áreas de assunto etc., Para cada indicador, qual são os dados mínimos a serem produzidos: número de revistas e de registros?

Os aspectos mais destacados nesse debate e as principais recomendações podem ser resumidos da seguinte forma:

  • Os objetivos da qualidade da comunicação e da produção científica são fundamentais
  • A definição de diretrizes que encontrem repercussão e suporte nacional e internacional para o desenvolvimento e a aplicação da metodologia de avaliação é essencial
  • Os debates sobre essas diretrizes devem ser efetivados, com o envolvimento da comunidade científica internacional, principalmente da América Latina
  • Necessidade de implementação de sistemas claramente definidos para a seleção das revistas científicas que integrarão a base de dados, critérios que devem integrar a metodologia
  • Necessidade de compatibilidade e de aceitação internacional da metodologia (incluindo o ISI) para possibilitar a comparação e a análise de dados
  • O fluxo da aplicação da metodologia deve ser estabelecido e divulgado (como classificar as revistas e os dados, processar e comunicar os dados claramente, verificar a consistência das informações, disseminar os indicadores aos editores, estabelecer um canal de comunicação para receber sugestões)
  • A consistência e integridade dos dados é fundamental e poderão ser asseguradas pela metodologia
  • A disponibilização de dados originais dos meios necessários para a obtenção de indicadores e dados de avaliação, além da disponibilização de relatórios prontos, é indispensável para permitir que sejam realizadas as mais diferentes análises
  • A metodologia deve concentrar-se em indicadores básicos e já reconhecidos internacionalmente, acrescentando indicadores específicos conforme as necessidades da clientela
  • A promoção de pesquisas e projetos na área de bibliometria é um campo que deve ser explorado pelo projeto.

O aspecto extremamente positivo do Seminário foi o enriquecimento da metodologia SciELO com múltiplas perspectivas em relação ao tema da avaliação da produção científica, quer seja a proposição de diretrizes e recomendações para o desenvolvimento do projeto, como a análise da metodologia de avaliação e a discussão de indicadores básicos (fator de impacto de uma publicação, o número de vezes que um autor e uma revista são citados, por quais autores e revistas são citados etc.), quer sejam os aspectos políticos e administrativos envolvidos na sua aplicação (o uso de padrões internacionais, o desenvolvimento de estratégias para a disseminação da metodologia, o tipo e a forma dos dados que serão oferecidos, os padrões para a seleção de revistas, a compatibilidade entre bases de dados, citações e áreas do conhecimento etc.), como também as limitações dos indicadores.

Outros benefícios do Seminário incluem o estabelecimento de intercâmbio com especialistas e instituições, incluindo não somente a troca de informações, como principalmente a possibilidade do desenvolvimento de atividades e projetos conjuntos; a visualização de que a SciELO é o embrião de uma base de dados sobre a produção científica brasileira, e um meio eficiente para a avaliação da produção científica; e a compatibilização e intercâmbio entre bases de dados brasileiras e internacionais (como a do Institute for Scientific Information). E, ainda, representantes de países da América Latina manifestaram interesse em aplicar a metodologia SciELO em programas de publicações eletrônicas e bases de dados.

 

 

Scientific Literature Evaluation Seminar: Final Report

Abstract
It describes the aims and program of the Scientific Literature Evaluation Seminar, organized by the SciELO Project, on March 4-6, 1998. It includes a summary of the presented lectures, as well as the results and conclusions of the event.
Keywords
Scientific literature evaluation; SciELO – Scientific Electronic Library Online.

 

 

Irati Antonio
Consultora, SciELO
irati@bireme.br

Abel Packer
Coordenador, SciELO
abel@bireme.br

 

 

* O Seminário sobre Avaliação da Produção Científica foi realizado em São Paulo pelo Projeto SciELO, de 4 a 6 de março de 1998.

Creative Commons License Todo o conteúdo deste periódico, exceto onde está identificado, está licenciado sob uma Licença Creative Commons