DEBATE DEBATE

Sonia Maria Ramos de Vasconcelos

Instituto de Bioquímica Médica, Universidade Federal do Rio de Janeiro, Rio de Janeiro, Brasil. [e-mail]

O texto de Camargo Jr. é sem dúvida um convite a uma reflexão extremamente contemporânea sobre a avaliação da produção científica e sobre os impactos dessa avaliação, por exemplo, na alocação de recursos para a pesquisa e na formação de jovens pesquisadores. O autor ressalta alguns dos pontos críticos nesse sistema de avaliação, como a utilização distorcida de indicadores bibliométricos, que cada vez mais gera controvérsias na ciência mundial. De fato, sabemos que essas controvérsias vêm, há pelo menos duas décadas, inquietando pesquisadores em diversos países, de forma mais ou menos acentuada. Em 1991, portanto há mais de 20 anos, um artigo na Science, intitulado No Citation Analysis Please, We're British ¹, destaca detalhes de um relatório da Royal Society em que pesquisadores britânicos manifestam uma preocupação: a adoção de análise de citações na avaliação da pesquisa britânica poderia estimular a criação de citation circles ou cartels, que poderiam se espalhar pelo Reino Unido. Sobre esse temor, David Pendlebury, editor da revista Science Watch do então Institute for Scientific Information (ISI) argumentava que esses cartéis seriam puro folclore acadêmico. Com o tempo, entretanto, a ideia de que tais cartéis poderiam de fato se estabelecer em alguns cenários de publicações tornou legítimo o receio dos britânicos ².

Mais recentemente, outra preocupação associada com a má utilização de indicadores bibliométricos na avaliação da produção acadêmica é o impacto negativo na comunicação da ciência. Além da maior incidência de má conduta em publicações em revistas de maior fator de impacto, como mencionado por Camargo Jr., existe uma questão associada à própria natureza do artigo científico. Fraser & Martin ³, por exemplo, identificaram uma tendência de "interpretação hiperbólica dos resultados de pesquisa" em artigos de áreas biomédicas. Essa tendência indicaria a geração de uma espécie de artefato no artigo científico. Numa abordagem Mertoniana, poderíamos atribuir a geração desses possíveis artefatos a uma "preocupação excessiva com o sucesso" na atividade científica e com o acúmulo de créditos no sistema de recompensas da ciência ⁴.

Entretanto, o que parece ter se tornado objeto de maior preocupação nas discussões sobre a avaliação da ciência mundial é o quanto as contribuições reais à geração de conhecimento estão sendo identificadas pelos sistemas que privilegiam a utilização de indicadores quantitativos, como o fator de impacto, na avaliação da produção científica. Camargo Jr. cita a San Francisco Declaration on Research Assessment (DORA; http://am.ascb.org/dora/), liderada pela American Society for Cell Biology, que, num contexto mais amplo, parece refletir o zeitgeist de boa parte do ambiente de pesquisa contemporâneo. O documento DORA, muito mais do que uma crítica ao fator de impacto propriamente dito, aponta a necessidade de corrigir distorções na avaliação da produção científica causadas pelo mau uso desse indicador, o que implica a adoção de outros mecanismos de avaliação. Essa necessidade de corrigir distorções e valorizar de forma mais cuidadosa a qualidade das contribuições à produção científica vem sendo apontada por Academias de Ciências e agências de fomento à pesquisa em diversos países, como Inglaterra, França e Canadá. Se compararmos discussões recentes sobre os sistemas de avaliação de pesquisa nesses países, observamos que existe uma harmonização com pontos relevantes da argumentação de Camargo Jr. e destacaria, por exemplo, o lugar privilegiado que vem sendo atribuído ao expert judgement para alocação de recursos.

Apesar desse expert judgement envolver um sistema cercado de subjetividade, por ser potencialmente influenciado por conflitos de interesse e outros possíveis vieses ⁵, o foco que vem sendo dado ao papel decisivo dos revisores, de uma forma geral, nos sistemas de avaliação e alocação de recursos é absolutamente surpreendente. Em 2012, o Council of Canadian Academies publicou o relatório Informing Research Choices: Indicators and Judgement ⁶, em que são pontuados diversos aspectos sobre a avaliação da pesquisa canadense. O relatório também indica características e tendências em países como Austrália, China, Finlândia, Coreia do Sul, Alemanha e Estados Unidos, dentre outros. Esse documento, riquíssimo em sua análise, parece não deixar dúvidas de que há uma sinalização para que seja fortalecido o papel dos revisores/comitês de avaliação e, por conseguinte, o impacto dos pareceres, nas tomadas de decisão no contexto da pesquisa e de seu financiamento.

Entretanto, fortalecer o impacto desse julgamento de especialistas traz um importante desafio para o sistema de avaliação da ciência mundial, já que depende fortemente dos critérios de revisão e transparência dos processos avaliativos. Nesse sentido, o documento DORA, nos itens específicos para agências de fomento, recomenda que elas "sejam explícitas sobre os critérios utilizados na avaliação da produtividade científica dos pesquisadores solicitantes e destaquem claramente, especialmente para aqueles em início de carreira, que o conteúdo científico de um artigo é muito mais importante do que as métricas de publicação ou do que a revista em que ele foi publicado". Nesse contexto de alocação de recursos, há uma tentativa internacional de esclarecer esses critérios e aumentar a transparência desses processos avaliativos. Em 2012 foi estabelecido o Global Research Council (GRC) ⁷, uma associação de cerca de 50 países representados pelos seus conselhos/agências nacionais de pesquisa que, a partir desse encontro no ano passado, estabeleceram condições consensuais no julgamento de projetos de pesquisa. Essas condições estão expressas em 6 princípios, dentre os quais os de transparência e de imparcialidade recomendam que os solicitantes recebam feedback (que podemos chamar aqui de parecer apropriado) sobre a avaliação das propostas, e que conflitos de interesse na revisão sejam declarados e gerenciados de acordo com processos definidos e publicados ⁸. Há meses atrás, cerca de 70 países integrados numa reunião do GRC (2nd Annual Meeting of the Global Research Council) ⁹, liderada pelo CNPq e pela Fundação Alemã de Pesquisa (DFG), definiram, em seus princípios sobre integridade na pesquisa, que as agências de fomento devem incorporar o item "integridade na pesquisa" como uma condição para que os pesquisadores recebam e mantenham financiamento para as suas atividades.

Esse não me parece um fato isolado no contexto mais amplo sobre a gestão da ciência local e mundial. Quando nos deparamos com o estabelecimento de princípios associados à ética e integridade em pesquisa para nortear a avaliação de projetos submetidos às principais agências de fomento à pesquisa mundial, percebemos uma importante compatibilidade com "uma reintrodução de uma lógica qualitativa na avaliação em pesquisa", indicada por Camargo Jr. Entretanto, estamos aqui falando de uma quebra de cultura de um sistema de avaliação que de alguma forma cultiva uma abordagem completamente journal centered ¹⁰. No Brasil, reintroduzir "uma lógica qualitativa na avaliação da pesquisa" depende de uma atitude que parece começar a ser protagonizada pelo CNPq, como também sugere Camargo Jr. Entretanto, como impactar as universidades e, em especial, a pós-graduação com essa lógica? Objetivamente, como essa quebra de cultura ajuda a ampliar o leque de contribuições na ciência de forma que a publicação dos resultados da pesquisa, extremamente relevante em boa parte das áreas, não seja desestimulada entre jovens pesquisadores? Venho cultivando a ideia de que o desenvolvimento de políticas de integridade em pesquisa na formação de jovens pesquisadores deve ser considerado um grand challenge no âmbito de políticas científicas internacionais ¹¹, e acho que reintroduzir "uma lógica qualitativa na avaliação da pesquisa" também deveria ser tratada como um grand challenge, que, como sugere a natureza do termo, demanda um esforço muito além do local.

Debate sobre o artigo de Camargo Jr.

Debate on the paper by Camargo Jr.

Debate acerca del artículo de Camargo Jr.

• 1. Anderson A. No citation analyses please, we're British. Science 1991; 252:639.
• 2. Fry J, Oppenheim C, Creaser C, Johnson W, Summers M, White S, et al. Communicating knowledge: how and why researchers publish and disseminate their findings. http://www.jisc.ac.uk/media/documents/publications/communicatingknowledge_focusgroupreport.pdf (acessado em 28/Jul/2013).
• 3. Fraser VJ, Martin JG. Marketing data: has the rise of impact factor led to the fall of objective language in the scientific article? Respir Res 2009; 10:35.
• 4. Merton RK. Priorities in scientific discovery. Am Sociol Rev 1957; 22:635-59.
• 5. Benos DJ, Bashari E, Chaves JM, Gaggar A, Kapoor N, LaFrance M, et al. The ups and downs of peer review. Adv Physiol Educ 2007; 31:145-52.
• 6. Council of Canadian Academies. Informing research choices: indicators and judgement. Report; 2012. http://www.scienceadvice.ca/uploads/eng/assessments%20and%20publications%20and%20news%20releases/Science%20performance/SciencePerformance_FullReport_EN_Web.pdf (acessado em 21/Jul/2013).
• 7. National Science Foundation. National Science Foundation hosts inaugural Global Summit on Merit Review. http://www.nsf.gov/news/news_summ.jsp?cntn_id=124178&org=NSF&from=news (acessado em 28/Jul/2013).
• 8. Global Research Council. Statement of principles for scientific merit review. http://www.globalresearchcouncil.org/sites/default/files/pdfs/gs_principles-English.pdf (acessado em 28/Jul/2013).
• 9. Global Research Council (GRC). 2nd Annual Meeting of the Global Research Council, 2013. http://www.globalresearchcouncil.org/meetings/2013meeting (acessado em 28/Jul/2013).
• 10. Sahel JA. Quality versus quantity: assessing individual research performance. Sci Transl Med 2011; 3:84cm13.
• 11. Vasconcelos SMR. Integridade e conduta responsável na pesquisa: grandes desafios. Pesqui FAPESP 2012; (209):58-9.

Datas de Publicação

• Publicação nesta coleção
  28 Maio 2013
• Data do Fascículo
  Set 2013