Avaliação da qualidade da produção científica e suas consequências imprevistas e indesejadas: um conceito autoevidente?

DEBATE DEBATE

Avaliação da qualidade da produção científica e suas consequências imprevistas e indesejadas: um conceito autoevidente?

Claudio José Struchiner

Programa de Computação Científica, Fundação Oswaldo Cruz, Rio de Janeiro, Brasil. [e-mail]

Kenneth, meu querido colega e amigo, gostaria antes de tudo agradecê-lo por assentar as bases de uma discussão que há muito se faz necessária. Você certamente o faz magistralmente e torna a vida de qualquer debatedor interessado em encontrar brechas no seu pensamento extremamente difícil. Assim, entendo que meus comentários a seguir sejam complementares à sua linha de raciocínio, já que agrego mais indagações do que propostas concretas de solução, sem confrontar seus argumentos básicos.

Ao ler seu texto, percebo uma enorme lacuna na definição do que seja qualidade da produção científica. Essa lacuna irá obviamente dificultar qualquer estratégia que tenha como objetivo a avaliação dessa qualidade, quer seja a estratégia proposta de caráter subjetivo ou objetivo, ou ainda utilizando parâmetros qualitativos ou quantitativos. Não podemos encontrar o que procuramos sem a clareza do que estamos a procurar. Situações análogas a essa surgem com frequência, como por exemplo, quando lidamos com a avaliação de inteligência ou qualidade de vida. Eu certamente não me aventuro a abraçar uma definição em particular neste debate, mas chamo a atenção para o fato de que cada participante deste debate terá a sua definição implícita traduzindo diferentes perspectivas individuais, históricas e sociais. Já de antemão é possível prever que não conseguiremos chegar a um consenso mínimo sem um enfrentamento corajoso dessa definição.

Entretanto, para a continuidade do raciocínio, assumamos por um instante que todos temos a mesma noção do que seja qualidade científica. Para a avaliação desse conceito comum, estaríamos mesmo diante de opções que contrastam dimensões como a subjetividade e a objetividade, ou o quantitativo e o qualitativo? Esses contrastes nos remetem aos primórdios da nossa militância na área da saúde coletiva, há algumas décadas, e trazem à superfície um sentimento de dejá vu cuja fragilidade e potencial de fracasso já conhecemos. Acredito já termos superado essa fase e percebido que a combinação das virtudes inerentes a cada dimensão anterior nos permite apreender a realidade com maior robustez e amplitude. É sempre bom lembrar que o processo de decisão dos comitês assessores do CNPq já se baseou em avaliações subjetivas no passado, e que esta dinâmica levou a uma disputa fratricida entre áreas do conhecimento, por exemplo, física e matemática versus ciências humanas e saúde coletiva, e atritos internos a cada um dos comitês, opondo pesquisadores que utilizam uma metodologia quantitativa àqueles que utilizam uma metodologia qualitativa. Essa tensão é desnecessária nos dias atuais, já que dispomos de várias abordagens metodológicas que permitem a síntese explícita de um componente subjetivo a um componente objetivo empírico, como o Bayesianismo, entre outras.

Por outro lado, se ainda assim quiséssemos argumentar favoravelmente a um retorno a um passado em que a avaliação da qualidade científica se dava em bases subjetivas, a quem caberia a escolha dos novos árbitros deste sistema? Se tomarmos como exemplo a dinâmica do nosso conselho de pesquisas, esta escolha se dá como fruto das ações lobistas das sociedades científicas e afins, entre outras influências. Como poderíamos garantir que esses novos árbitros assim escolhidos se tornariam os guardiões dos nossos anseios de alocação dos recursos da sociedade baseados numa atividade de pesquisa de qualidade? Não estaríamos apenas substituindo um problema por outro? Quem dentre nós não possui queixas ao sistema de peer review?

Se por um lado o conceito do que seja qualidade da produção científica me parece indefinido, a outra ponta da questão é igualmente ambígua, já que as supostas consequências imprevistas e indesejadas dos atuais processos avaliativos são de difícil caracterização. Há alguns anos, numa conversa informal com Eduardo Massad, professor titular da Faculdade de Medicina da Universidade de São Paulo, sobre este mesmo tema, uma observação nos chamou a atenção. Um exercício de avaliação do corpo docente daquela faculdade, utilizando diferentes métodos, levou a conclusões praticamente idênticas. Essa observação pode ser exemplificada no contexto do presente debate. Não seriam os cinco trabalhos mais importantes de sua produção, identificados pelo próprio autor como proposto por Bruce Alberts, também aqueles mais citados? Minha intuição (avaliação subjetiva) me instigaria a responder a essa questão com um sonoro sim, se eu não estivesse ciente das peças que nossa cognição nos prega.

Nosso sistema cognitivo possui muitas virtudes, mas não menosprezemos suas fragilidades. Kahneman ¹ em seu livro reúne uma infinidade de exemplos que ilustram a nossa dificuldade em lidar com a ilusão da compreensão, e a ilusão de validade, assim como a nossa resistência em "domar" nossas intuições na presença de evidências empíricas. Avanços da psicologia cognitiva aplicados a esse contexto parecem indicar que a questão não será resolvida contrapondo o subjetivo/qualitativo ao objetivo/quantitativo. A robustez e validade de nossas avaliações só parecem vislumbráveis se a realidade for apreendida por intermédio de uma síntese metodológica dessas abordagens. Não podemos abrir mão de nenhuma fonte de informação. Se utilizadas separadamente, essas avaliações serão ilusórias. A verdade emerge como uma interseção de mentiras ².

Debate sobre o artigo de Camargo Jr.

Debate on the paper by Camargo Jr.

Debate acerca del artículo de Camargo Jr.

• 1. Kahneman D. Thinking, fast and slow. New York: Farrar, Straus and Giroux; 2013.
• 2. Levins R. Strategy of model building in population biology. Am Sci 1966; 54:421-31.

Datas de Publicação

• Publicação nesta coleção
  28 Maio 2013
• Data do Fascículo
  Set 2013