Accessibility / Report Error

Muitas dúvidas, poucas certezas, enquanto isso...

DEBATE DEBATE

Muitas dúvidas, poucas certezas, enquanto isso...

Hillegonda Maria Dutilh Novaes

Faculdade de Medicina, Universidade de São Paulo, São Paulo, Brasil. hidutilh@usp.br

O tema proposto por Camargo Jr. e as considerações desenvolvidas no texto são de extrema atualidade e pertinência, refletindo a experiência acumulada tanto como pesquisador quanto como gestor de C&T, em várias frentes. A produção científica sobre políticas de C&T&I na área da Saúde Coletiva é relevante, mas se beneficiaria de uma ampliação temática e desenvolvimento de maior número de projetos nesta área, ampliando a discussão com a literatura internacional e, principalmente, buscando crescente protagonismo nas políticas de C&T nacionais, em geral e na Saúde Coletiva em particular.

Uma questão sempre colocada mas nem sempre tratada com a devida clareza é o que medir e como medir Ciência, compreendendo-se que ela se traduz em uma prática científica que é desenvolvida em contextos sociais e econômicos específicos e tem como principais agentes/atores as instituições de ensino e pesquisa, as agências de fomento e financiamento, e os pesquisadores. Esses agentes produzem um dos bens mais valorizados nas sociedades contemporâneas, o conhecimento, que é mostrado de múltiplas formas, sendo um dos seus produtos mais valorizados as publicações de artigos em revistas científicas 1. As definições de quantidade, qualidade e impacto dos produtos da prática científica, em particular os artigos publicados em revistas, têm significados distintos, quando os usamos para avaliar instituições, agências ou pesquisadores, no que diz respeito à sua própria produtividade, qualidade e impacto.

Os artigos científicos passam por múltiplas etapas entre o escrever e o publicar, e a força da sua contribuição como: (a) resultado de boa prática científica das instituições, agências financiadoras, equipes 2 e pesquisadores individuais; e (b) elemento indutor de novas práticas, científicas e sociais, se mostra distinta, dependendo da área de conhecimento científico em que se insere e do contexto em que são publicados 3,4.

O que se espera é que ambas as competências estejam presentes, mas uma não decorre imediatamente da outra, e definir, e medir, qualidade da produção científica e seu impacto, tem se constituído no grande desafio das instâncias responsáveis pelo julgamento da prática científica dos diferentes agentes.

Como discute Camargo Jr., cresceu muito nos últimos anos o encanto com as metodologias quantitativas, por razões as mais variadas, e o desenvolvimento de indicadores e de índices capazes de medir tanto a qualidade quanto o impacto (número e regularidade de produção de artigos, valoração dos artigos segundo o valor científico atribuído às revistas, quantificação e valoração de citações dos artigos, fator de impacto, índice h etc.), muitas vezes de forma mecânica e acrítica. Em paralelo, foram sempre adotados procedimentos essencialmente baseados no julgamento por pares, isto é, com a constituição de comissões, responsáveis pelas decisões finais, muitas vezes de forma pouco transparente.

As combinações entre esses procedimentos e o peso relativo maior ou menor, das duas abordagens, a quantitativa e a qualitativa (lembrando que sempre há qualidade na quantidade e quantidade na qualidade) têm apresentado movimentos pendulares, nos diferentes países. Assim, no Reino Unido, aumentou recentemente o peso da quantificação enquanto que na Austrália ocorreu o inverso, passando-se a atribuir maior peso ao julgamento por pares, com base em metodologias qualitativas, quando do julgamento da produção científica das instituições de pesquisa 5. Além disso, as mensagens para as instituições e pesquisadores parecem ser confusas, quanto a como de fato as avaliações acontecem, como mostra uma consulta feita pela revista britânica Nature em 2010 6, em que os pesquisadores referiram que os indicadores quantitativos (metrics) têm muito peso nos diferentes julgamentos, enquanto os administradores referiram que eles pesam pouco nas decisões!

Como em alguma medida haverá sempre a convivência entre abordagens qualitativas e quantitativas nos julgamentos, está havendo grande investimento no estudo e comparação dos resultados das abordagens quantitativas e qualitativas e na proposição de novas abordagens que buscam superar a dicotomia 7. A força da correlação entre os resultados positivos e negativos nas duas abordagens tem se mostrado variável, dependendo da área de conhecimento em que o estudo foi realizado, mais forte nas "hard sciences", mais fraca nas "soft sciences" 8. A correlação se mostrou variável também na Saúde Pública, em estudo australiano, dependendo da área de especialização temática (álcool, drogas, tabaco, câncer de pele, violência ou obesidade) 9.

Ou seja, não é simples realizar julgamentos justos em qualquer instância da prática científica, que incluam na análise a complexidade necessária, mantendo-os ao mesmo tempo viáveis e transparentes. O que todos devemos fazer, quando colocados nessa situação, é reconhecer e enfrentar as dificuldades, utilizar procedimentos considerados adequados e legítimos pela comunidade científica e lembrar sempre o que significa ser par entre pares.

Debate sobre o artigo de Camargo Jr.

Debate on the paper by Camargo Jr.

Debate acerca del artículo de Camargo Jr.

  • 1. Research Trends. Special issue on Big Data. 2012; (30). http://www.researchtrends.com/category/issue-30-september-2012/
  • 2. Wutchy S, Jones BF, Uzzi B. The increasing dominance of teams in production of knowledge. Science 2007; 316:1036-9.
  • 3. Fanelli D, Glanzel W. Bibliometric evidence for a hierarchy of the sciences. PloS One 2013; 8(6):e66938.
  • 4. Jones TH, Donovan C, Hanney S. Tracing the wider impacts of biomedical research: a literature search to develop a novel citation categorization technique. Scientometrics 2012; 93:125-34.
  • 5. Donovan C. Introduction: future pathways for science policy and research assessment: metrics vs peer review, quality vs impact. Sci Public Policy 2007; 34:538-42.
  • 6. Abbott A, Cyranoski D, Jones N, Maher B, Schiermeier, van Noorden R. Do metrics matter? Nature 2010; 465:860-2.
  • 7. van Noorden R. A profusion of measures. Nature 2010; 465:864-6.
  • 8. Mryglod O, Kenna R, Holovatch Y, Berche B. Comparison of citation-based indicator and peer review for absolute and specific measures of research group excellence. Scientometrics. DOI 10.1007/s11192-013-1058-9.
  • 9. Derrick GE, Haynes A, Chapman S, Hall WD. The association between four citation metrics and peer rankings of research influence of Australian researchers in six fields of public health. PLoS One 2001; 6:e18521.

Datas de Publicação

  • Publicação nesta coleção
    28 Maio 2013
  • Data do Fascículo
    Set 2013
Escola Nacional de Saúde Pública Sergio Arouca, Fundação Oswaldo Cruz Rua Leopoldo Bulhões, 1480 , 21041-210 Rio de Janeiro RJ Brazil, Tel.:+55 21 2598-2511, Fax: +55 21 2598-2737 / +55 21 2598-2514 - Rio de Janeiro - RJ - Brazil
E-mail: cadernos@ensp.fiocruz.br