DEBATE DEBATE
O que estamos avaliando?
Carlos E. A. Coimbra Jr.
Escola Nacional de Saúde Pública Sergio Arouca, Fundação Oswaldo Cruz, Rio de Janeiro, Brasil. coimbra@ensp.fiocruz.br
O ensaio de Camargo Jr. constitui uma oportuna contribuição à discussão sobre a avaliação da produção científica no Brasil. Afinal, acontecerá ainda neste ano uma nova avaliação trienal dos programas de pós-graduação no país pela Capes e, em breve, teremos mais uma edição do concorrido programa de bolsas de produtividade científica pelo CNPq. Assim como o autor desse ensaio, ao longo da última década integrei os comitês de Saúde Coletiva da Capes e do CNPq e, pessoalmente, vivi a frustração de, ao final de exaustivas jornadas de trabalho em Brasília, retornar para casa sem a convicção de que, efetivamente, estamos avaliando de forma adequada a qualidade de nossa produção acadêmico-científica.
Não restam dúvidas de que a avaliação rotineira da produção científica é central para a formulação de políticas e programas em ciência, tecnologia e ensino superior. A pós-graduação e a ciência brasileira deram grandes saltos ao longo das últimas décadas, e acredito que a implementação e o aperfeiçoamento da avaliação tenham sido importantes fatores propulsores nesse sentido. Apesar disso, não vejo com bons olhos a lógica "produtivista" à qual temos sido submetidos. É nesse sentido que pergunto "O que estamos avaliando"?
Estou de pleno acordo com Camargo Jr. quando ele afirma que carecemos de unidades claras de mensuração da produção científica. Ao invés disso, lançamos mão de "proxis" que, por meio de números (os tais bibliometrics), indicariam aqueles que produzem mais ou menos em ciência. Considero esse caminho bastante perigoso, pois, primeiramente, não deixa claro o que exatamente estamos avaliando o pesquisador ou a revista na qual ele publicou? A literatura está repleta de excelentes análises críticas sobre os vieses associados ao fator de impacto (FI), índice h e outras métricas bibliográficas, razão pela qual não preciso rever isso aqui 1. O fato é que o importante trabalho de avaliação da produção científica não pode se resumir a uma contabilidade de pontos associados a número de artigos publicados em periódicos classificados de acordo com o seu FI ou índice h e hierarquizados segundo pontos de corte arbitrários. Penso que estamos perdendo a nossa capacidade de realmente avaliar, ao repassarmos à revista, classificada segundo a lógica do Qualis-Capes, a responsabilidade de pontuar o currículo de um pesquisador.
Em ensaio iluminador sobre esse assunto, Castiel & Sanz-Valero 2 indagam: "o artigo científico é uma mercadoria acadêmica?". Se no passado o sentido do artigo era unicamente comunicar ciência, nos dias de hoje deparamo-nos crescentemente com situações que claramente ferem a ética. Escândalos associados à má prática científica tornaram-se frequentes, inclusive em nosso país (refiro-me a plágio, roubo de ideia, autoria indevida, publicação redundante etc.). O aumento vertiginoso do número médio de autores por artigo é notório e, no contexto do nosso atual sistema de avaliação da produção, está cada vez mais difícil aquilatar o papel relativo de cada autor.
Com base nessas rápidas considerações, cabe-nos perguntar se nossas bolsas de produtividade e outras premiações acadêmicas estão de fato sendo atribuídas pelo mote da qualidade acadêmica. Na grande maioria das vezes estou convicto de que sim, pelo menos a partir da minha experiência em comitês de saúde coletiva. A questão é que existe uma zona cinzenta que é muito difícil avaliar quando só dispomos de totais de produtos publicados ordenados em A1, A2 etc. A alternativa inovadora adotada pelo comitê de saúde coletiva e nutrição do CNPq e recuperada no texto de Camargo Jr. é merecedora de nossa atenção. Isso porque, a partir do momento em que candidatos à bolsa de produtividade se virem obrigados a refletir sobre, selecionar e justificar um subconjunto coerente do que seriam os seus produtos mais importantes, estaremos dando um passo além da pretensa objetividade refletida nas simples listas de artigos e revistas. Torço para que essa iniciativa seja apenas o início de uma fase mais criativa e menos normativa da avaliação da produção científica no Brasil, como nos faz pensar o autor desse ensaio.
Debate sobre o artigo de Camargo Jr.
Debate on the paper by Camargo Jr.
Debate acerca del artículo de Camargo Jr.
- 1. Adler R, Ewing J, Taylor P. Citation statistics: a report from the International Mathematical Union (IMU) in Cooperation with the International Council of Industrial and Applied Mathematics (ICIAM) and the Institute of Mathematical Statistics (IMS). Stat Sci 2009; 24:1-14.
- 2. Castiel LD, Sanz-Valero J. Entre fetichismo e sobrevivência: o artigo científico é uma mercadoria acadêmica? Cad Saúde Pública 2007; 23:3041-50.
Datas de Publicação
-
Publicação nesta coleção
28 Maio 2013 -
Data do Fascículo
Set 2013
