Avaliação da produção científica como instrumento para o desenvolvimento da ciência e da tecnologia

The evaluation of the scientific literature as a tool for the development of science and techonology

Avaliação da produção científica como instrumento para o desenvolvimento da ciência e da tecnologia^*

Anna Maria Prat

Resumo

Descreve as atividades do CONICYT (Comisión Nacional de Investigación Científica y Tecnológica), do Chile, quanto à avaliação da literatura científica, abordando aspectos como difusão e acesso. Os critérios para avaliação de revistas científicas também são discutidos.

Palavras-chave

Literatura científica; Revistas científicas – Avaliação.

O CONICYT (Comisión Nacional de Investigación Científica y Tecnológica do Chile), além de ter um programa de informação em ciência e tecnologia, há muitos anos está preocupado com o problema da avaliação da literatura científica.

O primeiro aspecto é a grande quantidade de recursos que temos investido para um país pequeno como o Chile — são muitos os recursos que investimos no financiamento de projetos de pesquisa, embora nem sempre os resultados desses projetos sejam acessíveis ou tenham uma difusão suficiente. Portanto, uma das nossas primeiras motivações é assegurar a difusão dos resultados dos projetos de pesquisa financiados no país, supondo-se que sejam pesquisas de alto nível, já que passaram por toda uma série de avaliações por pares. O segundo aspecto é que temos que assegurar o acesso a essa informação e, portanto, o problema do acesso tem sido também uma de nossas principais preocupações.

O CONICYT é um organismo do governo que depende diretamente da presidência da República e recebe recursos de forma indireta através do Ministério da Educação. Apesar disso, tivemos que convencer muitos ministros, ao longo deste ano, de que os recursos que estão sendo aplicados em ciência são um investimento que vale a pena. Dessa forma, tivemos que gerar uma grande quantidade de indicadores que nos permitissem demonstrar às autoridades que vale a pena investir em ciência.

Um dos muitos indicadores com os quais devemos trabalhar é aquele que permite medir o output (os resultados) da ciência, o produto de toda essa pesquisa. Uma das muitas maneiras de medir essa produção é através da literatura, por isso, também iniciamos esse tipo de avaliação. Sobre a base desses indicadores, tivemos que realizar estudos especiais de forma permanente para suprir a solicitação das autoridades do CONICYT ou do governo. Tais estudos abordam o desenvolvimento de certas áreas do conhecimento, áreas deficitárias, capacidade científica frente a determinados problemas etc. Assim, também nesses casos, tivemos que trabalhar com indicadores bibliométricos de alguma espécie.

Por isso, quando soube a respeito da SciELO (Scientific Electronic Library Online), pareceu-me que se tratava de um programa que solucionaria 89% dos problemas que temos normalmente no CONICYT. Conforme já mencionado, o primeiro problema é a difusão da informação.

Nas ciências, supõe-se que todo o pesquisador deva terminar seu projeto de investigação publicando um artigo numa revista de circulação internacional. Por exemplo, física é uma de nossas áreas mais fortes e também de a maior impacto em pesquisa — existem sete observatórios internacionais no Chile. Todos os resultados de pesquisa do país em física estão publicados em revistas internacionais. Dessa forma, nessa área é relativamente fácil consultar a base de dados do ISI (Institute for Scientific Information) e verificar tudo o que se deseja saber sobre física no país. Isso ocorre em grande medida também em química. A única revista nessa área existente no Chile está incluída no ISI e, portanto, podemos fazer grande parte de nossos estudos através dessa base. Afirma-se, em geral, que se uma pesquisa está incluída em publicações como o Current Contents, ela está sendo difundida e existe a possibilidade de que alguém interessado no tema em todo o mundo a encontre.

No caso da matemática, encontramos a mesma situação. Começamos a ter problemas em biologia e no campo clínico da área biomédica e, a partir daí, nos perdemos totalmente, sobretudo quando se trata da produção da área tecnológica e das engenharias, que raramente é publicada em revistas internacionais.

Na área de ciências sociais, o que é difundido através de revistas que são indexadas no ISI é praticamente nulo, encontrando algo como trinta artigos por ano. Em humanidades e artes, esse número aumenta consideravelmente, mas de qualquer forma, é inexpressivo. Em agricultura e outras áreas da agropecuária, nossa presença no ISI também diminui muito.

Portanto, existe uma grande quantidade de literatura, não necessariamente incluída no ISI, que é publicada em nível nacional, nos países de língua espanhola e também na Europa. Encontramos aí sérios problemas tanto para obter a difusão dessas publicações, como para elaborar estudos sobre produtividade nessas áreas.

Quando os resultados de pesquisa são publicados em revistas de circulação internacional, não há problema. Mas, no momento em que são publicados sobretudo em revistas chilenas, existem grandes dificuldades. A maioria das revistas chilenas é lida por um grupo pequeno de pessoas. Isso acontece não porque as revistas sejam ruins — elas podem ser muito boas —, mas porque não temos, em geral, os recursos para a sua distribuição e difusão. Dessa forma, grande parte dos resultados de pesquisas não está sendo difundida e, se não existe difusão, tampouco pode ser citada. O círculo completo, infelizmente, termina com o artigo publicado — cumprindo-se ao menos o que o CONICYT exige para manter o financiamento —, mas não há difusão. Isso também acontece com as poucas revistas chilenas que estão no ISI. A única diferença é que sabemos que existem e podemos solicitar cópias.

Para solucionar esse problema, criou-se há alguns anos um fundo nacional para apoio a revistas chilenas, de modo a assegurar que essas publicações mantenham a periodicidade e melhorem a distribuição. Entretanto, esse fundo se mantém estável no CONICYT, enquanto os demais fundos aumentaram constantemente desde que foram criados. Dessa forma, os objetivos de realmente aumentar a tiragem e a distribuição das revistas não foram atingidos, mas serviu para algo muito importante, ou seja, para gerar uma cultura de avaliação das revistas, pois a comunidade alimenta a esperança de obter recursos para as suas publicações, que serão avaliadas de forma objetiva, levando em conta diferentes critérios. Assim, a qualidade das revistas melhorou imediatamente. De fato, demos um salto nos últimos anos: as revistas são pouco lidas, mas estão muito melhores que antes. Portanto, não se trata de um problema de qualidade, mas um problema real de financiamento para a distribuição. Como alcançar a difusão é o nosso problema!

Em 1997, iniciamos um projeto piloto com o objetivo de gerar um programa de revistas eletrônicas. Se o problema não é a qualidade das revistas nem o seu conteúdo, mas uma questão de distribuição, vimos que uma solução para isso era desenvolver versões eletrônicas dessas publicações. Assim, poderíamos baixar os custos de distribuição, e os gastos com edição poderiam ser razoavelmente assimilados pela edição eletrônica.

Começamos o programa em duas vertentes: a primeira para converter revistas com edições em papel para o formato eletrônico; e a segunda para investigar o que ocorreria se gerássemos uma revista 100% eletrônica desde o seu nascimento, ou seja, que nunca teve edição em papel. A primeira vertente foi suspensa no México em setembro de 1997, quando assisti a uma apresentação de Abel Packer sobre a SciELO, pois não iremos reinventar a pólvora, se alguém já a inventou. Assim, espero poder utilizar a pólvora inventada na BIREME (Centro Latino-Americano e do Caribe de Informação em Ciências da Saúde). O programa do CONICYT já selecionou as revistas, definiu os mecanismos etc., mas seguramente iremos retomá-lo num projeto conjunto.

Por outro lado, iniciamos o trabalho com a Universidade Católica de Valparaíso, que aceitou o desafio dessa aventura: o projeto de gerar uma revista exclusivamente eletrônica. Esse projeto, que acreditávamos que seria breve, foi muito longo, porque, primeiro, tivemos que inventar como fazer a revista fisicamente, mas, sobretudo, tivemos que buscar um mecanismo para assegurar que as revistas tivessem os mesmos padrões de uma revista em papel (como um comitê editorial nacional e internacional), além de um mecanismo de avaliação que fosse eficiente e viável e um sistema de armazenamento que assegurasse que não haveria modificações nos textos por parte de hackers. Isso deve-se ao fato de que não haveria uma versão em papel para demonstrar qual a versão original — se não haveria uma versão "verdadeira" em papel, teríamos receio de que alguém entrasse no sistema e modificasse os resultados, e não haveria meios de saber qual a versão verdadeira.

Também foi bastante extenso o trabalho de selecionar a área de conhecimento, porque não queríamos duplicar o que já existisse em papel. Queríamos que a revista fosse um projeto piloto que permitisse realmente avaliar a aceitação desse tipo de publicação por parte de diferentes autores e usuários. Finalmente, gerou-se a Revista Internacional en Biotecnología, editada em inglês e castelhano, que já tem um número na Internet.

A metodologia permitiu iniciar um estudo para avaliar essa nova forma de comunicação. Especialmente, tivemos interesse em avaliar como os autores acolhem esse novo tipo de publicação, já que por esse meio, não há maneira dos autores serem avaliados hoje. Se publicamos um artigo em Physical Review (em papel), tudo bem; mas se publicamos numa revista eletrônica de algum lugar desconhecido, como as universidades poderão nos avaliar academicamente? Portanto, precisamos saber como será a recepção dos autores e dos leitores.

Aconteceu, então, algo curioso que nunca havia ocorrido no Chile: quando essa revista virtual foi criada, convidou-se um comitê internacional composto por pesquisadores de primeiro nível na área biotecnológica com vários prêmios Nobel e por professores de universidades importantes de todo o mundo. Do Chile, contatamos cinqüenta pesquisadores, pensando que apenas dois responderiam, mas quarenta responderam dizendo que o experimento lhes interessava. Isso também indicou que havia uma outra forma de comunicação na publicação virtual, sugerindo que o importante não é o lugar onde a revista é publicada, mas o seu conteúdo e seu corpo editorial etc. Essa é a nossa experiência em tentar melhorar a difusão.

O acesso é algo que preocupa a todos que trabalham com informação, pois é preciso obter o documento e o texto completo. No CONICYT, foram organizadas bases integradas que estão disponíveis através da Internet, incluindo projetos de pesquisa, pesquisadores e, agora, está sendo implementado o módulo de publicações geradas pelos projetos. Assim, é relativamente possível saber quem publicou o resultado de um projeto no Chile, embora o acesso a esse documento seja mais complexo.

A idéia com o programa de publicações eletrônicas é justamente conseguir que a maior quantidade possível de materiais com texto completo esteja disponível, como forma de assegurar que não somente a referência desses documentos seja difundida, mas que haja acesso ao documento completo.

(Um parêntese. Neste Seminário, surgiu a seguinte discussão sobre a publicação eletrônica: iremos colocar somente as revistas como um todo num programa como a SciELO, ou eventualmente poderíamos também armazenar artigos, independentemente da identidade das revistas?)

Para gerar nossos indicadores e falar de produtividade científica, usamos única e exclusivamente o ISI, porque, se queremos comparar dados e medir nossa ciência com a ciência internacional, teremos que usar uma medida que seja comum a todos. Por isso, creio que um dos subprodutos mais interessantes da SciELO são os relatórios de uso e de impacto, pois se organizarmos uma hemeroteca com as revistas mais importantes da região e se pudermos ter medidas que sejam comuns, poderemos ter indicadores de qualidade e de quantidade utilizáveis em toda a América Latina, o que não existe no momento.

Para os estudos especiais realizados pelo CONICYT, além dos indicadores do ISI, utilizamos algumas bases de dados locais que nos permitem ter uma visão um pouco mais geral de certas áreas do conhecimento. O problema é que, no Chile, todos apreciaram tanto ter uma base de dados através da qual avaliar a produtividade, que começamos a receber pedidos que nos têm assustado. Para o quê estamos usando a avaliação formal da literatura científica? Em nível do Ministério da Educação, por lei, a dotação fiscal indireta para as universidades é calculada sobre o número de projetos de pesquisa realizados e, sobretudo, sobre o número de artigos que aparecem nas principais publicações periódicas correntes. Isso significa ISI.

As grandes universidades estão pouco preocupadas com isso, pois possuem uma produção de seiscentos ou setecentos artigos, um a mais ou a menos não é nada. Mas, para muitas universidades que publicam um ou dois artigos por ano em uma revista indexada pelo ISI, um artigo é muito. Um reitor me dizia uma vez que o Ministério o havia informado que faltava um artigo para a sua universidade, e esse artigo, publicado mas não contabilizado, significava um professor de jornada completa por ano.

Esse é o tipo de problema temerário ao utilizarmos indicadores bibliométricos. Aquela universidade, localizada ao norte do país, que tem seu forte em antropologia e que é reconhecida internacionalmente por ter os melhores investigadores na área, está sendo julgada pelo artigo que um físico publicou em uma revista corrente principal, e não pela quantidade de outros artigos em revistas que, por várias razões, não estão incluídas no ISI. Eu, pessoalmente, tenho problemas éticos todos os anos ao informar coisas assim. Em nível do CONICYT, somos menos drásticos, pois usamos os indicadores para dados comparativos, visando saber como é o desempenho do Chile por áreas, comparando-o com o mundo.

Outro aspecto é a avaliação do desempenho institucional, sobre o qual nos são solicitados estudos. Para isso, utilizamos tanto os indicadores do ISI como nossas próprias bases de dados. De qualquer forma, existe aí uma questão que preocupa.

Entretanto, o pior é quando chegamos à avaliação dos grupos disciplinares. Primeiro, porque um dos problemas é que os estudos não podem chegar a uma grande precisão disciplinar, pois sempre se referem a grandes agregados disciplinares. Sabemos o que se passa em física, mas não em física de altas temperaturas, pois não chegamos a tal nível de especificidade. Sem dúvida, fizemos estudos muito complexos sobre desempenho e tendências de certos grupos para poder avaliar como as especialidades têm evoluído, como os grupos começaram, quais suas trajetórias, em quê são realmente fortes e em quê deixaram de ser. Esse tipo de estudo, que é importante para a destinação de recursos dentro de certas áreas prioritárias, tem sido realizado com muitas dificuldades.

Num país pequeno como o Chile, não podemos ter especialistas em todas as áreas do conhecimento, mas se queremos saber em que áreas temos excelência e em quais essa excelência permanece com o tempo, seremos capazes de reforçar essas áreas e, ao menos em redor delas, criar uma capacidade competitiva de pesquisa. Entretanto, fazer essas avaliações tem sido extremamente difícil, justamente porque as ferramentas com que contamos são deficientes na especificação disciplinar.

Tenho pavor, contudo, de utilizar indicadores bibliométricos para avaliar pessoas. Desgraçadamente, as universidades começam a utilizar estudos de impacto, número de citações, número de artigos em revistas correntes principais etc. para promover a carreira acadêmica. Isso me parece muito perigoso, porque a informação que contabilizamos é a verdade, ninguém duvida, mas não é toda a verdade. Então, avaliar pessoas com uma parte da verdade é muito perigoso, pois se pode cometer injustiças muito grandes.

A literatura nacional, aquela que circula somente no país — eu a diferencio das publicações de circulação internacional —, está razoavelmente coberta. A avaliação da literatura científica em nível nacional está sendo usada, primeiro, para o fundo de financiamento de revistas científicas, sobretudo, para a avaliação complementar das áreas mal cobertas pelo ISI e, além disso, para a avaliação complementar de áreas de interesse local. Há problemas locais de importância que, o mais provável, é que os resultados desses projetos nunca sejam publicados em revistas internacionais, porque é de interesse que se publique e se conheça em nível nacional. O resultado dessas pesquisas pode ser igualmente de alto nível, o rigor da informação é o mesmo, mas seu interesse é local e não internacional. Portanto, é sob essa perspectiva que devemos avaliá-la.

Num país como o Chile, em que há pouco mais de 7 mil investigadores ativos, existem cerca de mil revistas científicas. Destas, deve haver 50 boas; outras nascem e morrem como as flores. Todo mundo quer ter uma revista porque dá prestígio, e todos encerram uma revista porque não têm como financiá-la. Deveríamos inauguarar, com isso, um seguimento do tipo "psicologia institucional científica" para estudar o nascimento e a morte das publicações científicas em nossos países. Isso mostra algo; é mais um indicador.

Os critérios gerais que estamos usando para a avaliação de revistas são os critérios que todo mundo usa, porque, por mais que inventemos novos critérios, sempre chegaremos aos mesmos; é muito difícil avaliar mais do que isso. Somente financiamos revistas que incluam 80% de resultados de projetos de pesquisa. O segundo critério é a qualidade do corpo editorial e a forma de avaliação de artigos que a revista adota, ou seja, o mecanismo de avaliação é acompanhado e se comprova se as pessoas que estão no corpo editorial efetivamente avaliam os artigos e não somente cedem seus nomes para a revista.

O que mais nos importa também é o corporativismo endógeno, ou seja, não financiamos nenhuma revista que somente publique artigos de sua própria instituição. Se uma instituição quer ter uma revista para seu próprio prestígio, deve financiá-la. Se não tem dinheiro, é preciso cortar revistas para gerar outras melhores. Portanto, somente financiamos as revistas cujos artigos provêm de diferentes instituições.

Também nos preocupam a difusão e o impacto das revistas: em quais bibliotecas estão; como se difundem; qual porcentagem da tiragem é efetivamente distribuída; que tipo de uso se faz de uma revista nas principais bibliotecas da área (normalmente, são solicitadas às bibliotecas, uma vez por ano, estatísticas de uso); e, finalmente, a periodicidade e a duração da revista (não apoiamos nenhuma revista antes de publicada pelo menos há dois anos — queremos saber se há, efetivamente, vontade institucional para mantê-la).

Cumpridos todos os demais requisitos, incluindo o cumprimento de normas, dá-se preferência às revistas que, dentro de uma especialidade, cobrem um maior número de subáreas, objetivando ter menos publicações com melhor nível de qualidade. O último critério é a apresentação, incluindo a ortografia. Em geral, isso permitiu efetivamente que as revistas científicas alcançassem uma qualidade bastante maior.

Em todo caso, creio que para um projeto como a SciELO, poderemos começar a trabalhar de forma experimental com cinco revistas, até chegarmos a incorporar novos títulos — o máximo seria quarenta ou cinqüenta revistas, para tentar manter a qualidade em um nível elevado. Para a SciELO, creio que é importante definir critérios comuns de avaliação das revistas antes de serem incorporadas ao sistema. Se todos tivermos critérios comuns quanto à seleção das revistas que ingressam no sistema, poderemos ter para a região, no futuro, outro instrumento de avaliação, além do ISI.

The evaluation of the scientific literature as a tool for the development of science and techonology

Abstract

It describes the activities of the CONICYT (Comisión Nacional de Investigación Científica y Tecnológica), Chile, in relation to scientific literatue evaluation, specially aspects such as diffusion and access. Criteria for evaluation of scientific periodicals are also discussed.

Keywords

Scientific literature; Scientific periodicals – Evaluation.

Anna Maria Prat

Chefe do Departamento de Información,

Comisión Nacional de Investigación Científica y Tecnológica – CONICYT, Chile

[e-mail]

*

Trabalho apresentado no Seminário sobre Avaliação da Produção Científica, realizado em São Paulo pelo Projeto SciELO, de 4 a 6 de março de 1998.

Datas de Publicação

• Publicação nesta coleção
  20 Out 1998
• Data do Fascículo
  1998