Seminário sobre Avaliação da Produção Científica: Relatório Final

Scientific Literature Evaluation Seminar: Final Report

Seminário sobre Avaliação da Produção Científica:

Relatório Final^*

Irati Antonio

Abel Packer

Resumo

Descreve os objetivos e o programa do Seminário sobre Avaliação da Produção Científica, realizado em São Paulo pelo Projeto SciELO, de 4 a 6 de março de 1998. Inclui os temas e a abrangência dos trabalhos apresentados e as conclusões do evento.

Palavras-chave

Avaliação de literatura científica; SciELO – Scientific Electronic Library Online.

DESCRIÇÃO

Foi realizado em São Paulo, de 4 a 6 de março de 1998, o Seminário sobre Avaliação da Produção Científica, com a presença de especialistas do Brasil e do exterior em bibliometria, cienciometria, informetria e política científica e tecnológica.

Como atividade integrante do Projeto SciELO, o Seminário teve por objetivo contribuir para o desenvolvimento do projeto, especialmente em relação à análise de critérios, metodologia e indicadores para subsidiar programas e projetos de avaliação da produção científica.

Financiado pela FAPESP (Fundação de Amparo à Pesquisa do Estado de São Paulo) e implementado em parceria com a BIREME (Centro Latino-Americano e do Caribe de Informação em Ciências da Saúde), o projeto desenvolveu uma metodologia para a preparação, armazenamento, disseminação e avaliação de periódicos científicos em formato eletrônico. A aplicação da metodologia está disponível em um site na Internet, denominado SciELO – Scientific Electronic Library Online, uma biblioteca virtual que reúne uma coleção de periódicos científicos brasileiros (URL: http://www.scielo.br).

A metodologia SciELO é formada por módulos integrados que possibilitam, ao mesmo tempo, a publicação de textos completos de artigos, seu armazenamento em bases de dados e sua recuperação eficiente e imediata. A metodologia inclui também um módulo para o controle e a medida de uso de periódicos na Internet, assim como de seu impacto mediante a produção de relatórios, a partir dos quais especialistas poderão analisar a literatura científica incluída na biblioteca. Esses relatórios são baseados em indicadores e critérios quantitativos e em técnicas e métodos bibliométricos.

O Seminário reuniu especialistas e representantes de instituições brasileiras e internacionais para discutir a avaliação da literatura científica, envolvendo tanto os aspectos técnicos e normativos, como os de política científica e da produção científica propriamente. Para tanto, o Seminário foi dividido em duas partes, sendo a primeira dedicada a dois dias de palestras e debates com um público selecionado de aproximadamente quarenta especialistas (4 e 5 de março); e a segunda destinada a um workshop reunindo exclusivamente consultores convidados e a equipe do projeto (6 de março).

Além de conferencistas do Brasil, México, Estados Unidos, Chile, Uruguai e Bélgica, cujos trabalhos encontram-se publicados neste fascículo da Ciência da Informação, estiveram presentes ao lado da FAPESP, representada por seu diretor científico José Fernando Perez, que abriu o evento, e dos coordenadores do projeto, Rogério Meneghini (FAPESP) e Abel Packer (BIREME), representantes das seguintes instituições: Conselho Nacional de Desenvolvimento em Ciência e Tecnologia - CNPq, Instituto Brasileiro de Informação em Ciência e Tecnologia - IBICT, Associação Brasileira de Editores Científicos - ABEC, Financiadora de Estudos e Projetos - FINEP, Universidade de São Paulo - USP, Universidade Estadual Paulista - UNESP, Universidade de Campinas - UNICAMP, Pontifícia Universidade Católica de Campinas - PUCCAMP, Institute for Scientific Information - ISI, Comisión Nacional de Investigación Científica y Tecnológica do Chile - CONICYT.

O Seminário também contou com a participação de professores e pesquisadores, de profissionais da área da ciência da informação e de editores científicos de várias áreas do conhecimento, especialmente os editores das revistas integrantes da SciELO.

Resumo dos trabalhos e conclusões

O Seminário sobre Avaliação da Produção Científica constituiu-se em um fórum sobre o tema, ao mesmo tempo, divulgando o projeto e seus objetivos e propondo um debate oportuno sobre a comunicação científica e seus instrumentos.

Em primeiro lugar, o Seminário situou o projeto no âmbito do sistema de comunicação científica e da avaliação da produção de ciência no país, enquanto intrumento capaz de aperfeiçoar os meios de divulgação, aumentar a visibilidade e a acessibilidade das publicações, bem como fornecer indicadores consistentes e atualizados sobre o uso e o impacto da literatura científica.

As análises, opiniões e diferentes manifestações de profissionais e especialistas que atuam nas áreas de informação e de comunicação científica recebidas pela equipe do projeto indicaram que a metodologia SciELO vem satisfazer a demanda existente no país por canais mais eficientes e sistemáticos de comunicação e avaliação científica.

Os dois primeiros dias do encontro ofereceram uma abordagem ampla do tema, iniciando-se com a exposição das condições existentes no país para a publicação e a disseminação da literatura científica, incluindo questões como canais de comunicação, níveis de qualidade e evolução da produção científica nacional nos últimos anos, visibilidade, distribuição e demanda por indicadores para tomadas de decisão (José Fernando Perez e Rogério Meneghini). Em seguida, a apresentação do Projeto SciELO destacou seus objetivos, hipóteses, resultados e estratégias para a melhoria do processo de comunicação científica como um todo, especialmente uma maior divulgação e disseminação das publicações científicas — ampliando sua visibilidade nacional e internacional — e a medida do uso e do impacto dessas publicações — oferecendo instrumentos para a avaliação da produção científica (Abel Packer).

As palestras seguintes foram dedicadas à política científica e tecnológica como instrumento para o planejamento, promoção e desenvolvimento da atividade científica. Foram abordados aspectos políticos, sociais, econômicos e institucionais que orientam e condicionam o investimento na área, bem como a necessidade de aprimorar os mecanismos e modelos de avaliação de desempenho (individual e institucional) e de criar e manter atualizados indicadores cienciométricos adequados para orientar a tomada de decisões na seleção e promoção de programas de pesquisa, assim como as atividades relacionadas à distribuição de recursos financeiros e materiais e o avanço da ciência e da tecnologia (Sandra Brisolla, Anna Maria Prat, Cesar Macias-Chapula, Edson Kondo).

O segundo dia do Seminário começou com a apresentação do tema sob o ponto de vista do editor científico, sendo discutidos os critérios e procedimentos editoriais adotados para a seleção e avaliação da literatura científica com vistas à sua publicação, bem como os aspectos que condicionam a atividade editorial na área científica (Charles Pessanha e Lewis Joel Greene). Encerrando esse painel, foram tratados os critérios existentes para a avaliação das revistas científicas brasileiras e os critérios de seleção para a SciELO, quanto ao mérito (conteúdo) e ao desempenho (forma) das publicações, permitindo a classificação das revistas em níveis de relevância em suas respectivas áreas (Rosaly Krzyzanowski).

O Seminário seguiu com a discussão sobre os indicadores cienciométricos, agora em seus aspectos técnicos e metodológicos, apontando sua importância, finalidade, limitações e possibilidades de aplicação. Apresentou-se uma série de indicadores de publicação e de citação, sendo analisada sua adequação em relação às políticas científicas, principalmente nos países latino-americanos, devido à dependência existente dos indicadores produzidos pelo ISI, que considera um número limitado de revistas da região (Ernesto Spinak). O painel prosseguiu com a apresentação da metodologia do Institute for Scientific Information (ISI) para a análise de citações e para a seleção de revistas (James Testa) e com a descrição de um estudo de caso que aplica indicadores bibliométricos e econométricos para a avaliação de instituições científicas, incluindo aspectos como ensino e alocação de recursos (Ronald Rousseau).

Encerrando a primeira parte do Seminário dedicada às palestras, foi realizado um debate geral com a participação dos conferencistas e do público, no qual foi reconhecida a relevância de se contar com métodos de avaliação da produção científica, com especial atenção ao contexto latino-americano, sendo levantadas questões como a necessidade de intercâmbio entre instituições e de compatibilidade entre metodologias de avaliação, a limitação dos indicadores, as dimensões políticas do tema e a necessidade de um esforço conjunto da comunidade científica na implementação de políticas de avaliação. Foram apresentadas manifestações de apoio ao projeto com relação à continuidade no desenvolvimento da metodologia de avaliação, enquanto iniciativa em andamento com possibilidades concretas de viabilizar a curto prazo a operação de um sistema amplo de apoio a programas de avaliação científica.

A segunda parte do Seminário (dia 6 de março) foi dedicada exclusivamente a um workshop com a participação da equipe do projeto — Abel Packer, Irati Antonio, Mariana Biojone, Asael Silva e Alberto Pedroso García — e de especialistas — Anna Maria Prat, Cesar Macias-Chapula, Edson Kondo, Ernesto Spinak, Ronald Rousseau e James Testa —, com o objetivo de focalizar mais detidamente a metodologia de avaliação considerada pelo projeto, nos seguintes aspectos básicos: Quais indicadores produzir?, Quais indicadores deverão ser publicados e quais não?, A compatibilidade com a metodologia do Institute for Scientific Information: citações, áreas de assunto etc., Para cada indicador, qual são os dados mínimos a serem produzidos: número de revistas e de registros?

Os aspectos mais destacados nesse debate e as principais recomendações podem ser resumidos da seguinte forma:

• Os objetivos da qualidade da comunicação e da produção científica são fundamentais

• A definição de diretrizes que encontrem repercussão e suporte nacional e internacional para o desenvolvimento e a aplicação da metodologia de avaliação é essencial

• Os debates sobre essas diretrizes devem ser efetivados, com o envolvimento da comunidade científica internacional, principalmente da América Latina

• Necessidade de implementação de sistemas claramente definidos para a seleção das revistas científicas que integrarão a base de dados, critérios que devem integrar a metodologia

• Necessidade de compatibilidade e de aceitação internacional da metodologia (incluindo o ISI) para possibilitar a comparação e a análise de dados

• O fluxo da aplicação da metodologia deve ser estabelecido e divulgado (como classificar as revistas e os dados, processar e comunicar os dados claramente, verificar a consistência das informações, disseminar os indicadores aos editores, estabelecer um canal de comunicação para receber sugestões)

• A consistência e integridade dos dados é fundamental e poderão ser asseguradas pela metodologia

• A disponibilização de dados originais dos meios necessários para a obtenção de indicadores e dados de avaliação, além da disponibilização de relatórios prontos, é indispensável para permitir que sejam realizadas as mais diferentes análises

• A metodologia deve concentrar-se em indicadores básicos e já reconhecidos internacionalmente, acrescentando indicadores específicos conforme as necessidades da clientela

• A promoção de pesquisas e projetos na área de bibliometria é um campo que deve ser explorado pelo projeto.

O aspecto extremamente positivo do Seminário foi o enriquecimento da metodologia SciELO com múltiplas perspectivas em relação ao tema da avaliação da produção científica, quer seja a proposição de diretrizes e recomendações para o desenvolvimento do projeto, como a análise da metodologia de avaliação e a discussão de indicadores básicos (fator de impacto de uma publicação, o número de vezes que um autor e uma revista são citados, por quais autores e revistas são citados etc.), quer sejam os aspectos políticos e administrativos envolvidos na sua aplicação (o uso de padrões internacionais, o desenvolvimento de estratégias para a disseminação da metodologia, o tipo e a forma dos dados que serão oferecidos, os padrões para a seleção de revistas, a compatibilidade entre bases de dados, citações e áreas do conhecimento etc.), como também as limitações dos indicadores.

Outros benefícios do Seminário incluem o estabelecimento de intercâmbio com especialistas e instituições, incluindo não somente a troca de informações, como principalmente a possibilidade do desenvolvimento de atividades e projetos conjuntos; a visualização de que a SciELO é o embrião de uma base de dados sobre a produção científica brasileira, e um meio eficiente para a avaliação da produção científica; e a compatibilização e intercâmbio entre bases de dados brasileiras e internacionais (como a do Institute for Scientific Information). E, ainda, representantes de países da América Latina manifestaram interesse em aplicar a metodologia SciELO em programas de publicações eletrônicas e bases de dados.

Scientific Literature Evaluation Seminar: Final Report

Abstract

It describes the aims and program of the Scientific Literature Evaluation Seminar, organized by the SciELO Project, on March 4-6, 1998. It includes a summary of the presented lectures, as well as the results and conclusions of the event.

Keywords

Scientific literature evaluation; SciELO – Scientific Electronic Library Online.

Irati Antonio

Consultora, SciELO

[e-mail]

Abel Packer

Coordenador, SciELO

[e-mail]

^*

O Seminário sobre Avaliação da Produção Científica foi realizado em São Paulo pelo Projeto SciELO, de 4 a 6 de março de 1998.

Datas de Publicação

• Publicação nesta coleção
  20 Out 1998
• Data do Fascículo
  1998