EDITORIAL
O novo QUALIS e a avaliação dos Programas de Pós-Graduação na área médica: mitos e realidade
The new QUALIS and the evaluation of Brazilian Graduate Programs in the medical area: myths and reality
Este ano os Programas de Pós-Graduação (PG) brasileiros passarão por mais uma avaliação trienal. Como em ocasiões anteriores, o período que antecede a avaliação é farto em discussões sobre os critérios adotados pela Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes) na avaliação dos programas. Na área médica isso não tem sido diferente e, desta vez, a avaliação tem sido discutida em congressos, seminários e fóruns de PG, e em editoriais de revistas médicas nacionais1,2.
A conquista deste espaço nos editoriais destas revistas deve ser comemorada, pois representa um avanço na divulgação das questões da PG; no entanto, a veiculação de informações equivocadas nestes editoriais pode trazer mais desinformação, prestando um desserviço para o aprofundamento de temas relevantes, como são os critérios utilizados para a classificação dos periódicos (QUALIS) na avaliação da produção científica.
Esta classificação, implementada em 1998, categorizava a produção científica de acordo com a qualidade dos periódicos nos quais os artigos eram publicados, baseada em dois parâmetros: a abrangência da distribuição (internacional, nacional, local) e a qualidade (A: alta, B: média, C: baixa) das publicações. O ponto de corte para a classificação dos periódicos era o Fator de Impacto (FI) (Journal Citation Reports, JCR): Internacional A (IA) FI > 1, Internacional B FI < 1, e Internacional C, indexação na base Medline. Este critério foi utilizado por quatro avaliações (1996-1997, 1998-2000, 2001-2003, 2004-2006) e estava ultrapassado, pois a análise da produção dos programas de PG indicava uma excessiva concentração de periódicos no estrato IA (mais de 80% em algumas áreas) e pela elevação da mediana do FI dos periódicos nas diversas áreas (nas Medicinas I, II, e III as medianas no triênio 2004-2006 foram 2,40, 2,24, e 1,74, respectivamente). Constatou-se que este antigo QUALIS não possuía mais poder discriminante para a classificação dos periódicos.
Assim, as áreas da Capes decidiram pelo estabelecimento de um novo QUALIS, com ampliação do número de estratos: A1, A2, B1 a B5, sendo que nas áreas médicas os quatro estratos superiores (A1 a B2) teriam o FI como critério norteador (na Medicina II A1 > 3,8; A2 3,8 < FI < 2,36; B1 2,36 < FI < 1,1; e B2 1,1 < FI < 0,11). Os estratos A1+A2 não deveriam ultrapassar 26% dos periódicos e os estratos A1+A2+B1 não deveriam ultrapassar 50% dos periódicos. Essencialmente, a utilização do FI para os estratos superiores continuou sendo adotada, houve apenas uma melhor discriminação das revistas com FI, ocupando quatro estratos ao invés de dois. A divulgação destes critérios, no entanto, levou a manifestações contrárias em editoriais, que têm questionado os métodos utilizados pela Capes, mas valendo-se de informações e dados que não têm compromisso com a realidade1:
Mito 1: A adoção desta classificação levará à "extinção" das revistas brasileiras1.
Realidade: Esta afirmação fundamentou-se em relatos da imprensa leiga, a partir de entrevistas e opiniões de pesquisadores brasileiros, sem se basear em qualquer estudo sistemático1,3. Embora este mesmo questionamento já tivesse sido levantado há 12 anos (avaliação de 1998), não existe qualquer evidência de que a adoção do FI tenha levado ao fechamento de revistas brasileiras. Ao contrário, o que se observou neste período foi um incremento importante do número de revistas indexadas nas bases SciELO, Medline, Scopus e JCR. Entre 2002 e 2008, o Brasil teve um aumento de 205% no número de indexações na base JCR, a maior da América Latina. Ademais, houve incremento do FI das revistas brasileiras nesta base4.
Mito 2: O valor limite do FI que a Capes implementou para as áreas da Medicina havia sido tirado da base "subject categories" do JCR e que não tinha relação nenhuma com a produção científica da área, e que esta numerologia arbitrária valeria para qualquer nação do globo terrestre1.
Realidade: O procedimento adotado pelas áreas da Capes (incluindo as Medicinas I, II, e III) foi justamente estabelecer o FI mediano da área baseado na produção científica dos programas de PG no triênio anterior (2004-2006). Assim, a relação com a produção científica da área é total.
Mito 3: A adoção do novo QUALIS irá repercutir negativamente nas notas dos programas de PG. Esta afirmação baseou-se no sentimento de que os sete estratos do QUALIS guardariam alguma relação com as notas (de 1 a 7) dadas aos programas e que para as notas superiores (6 e 7) os programas de PG deveriam publicar majoritariamente em periódicos A1 e A2.
Realidade: Conforme amplamente pactuado entre as diversas áreas, os dois estratos superiores foram estabelecidos para indicar o conjunto dos melhores periódicos de uma determinada área e não para se tornar um pré-requisito. Assim, cada área poderia fazer a sua indução para o futuro, indicando a excelência da produção científica na área. Por estarem no "topo da pirâmide", estes estratos devem ser necessariamente constituídos por um número relativamente pequeno de periódicos. Como consequência, é esperado nesta avaliação trienal que muitos programas com desempenho muito bom nas avaliações anteriores tenham a sua produção majoritariamente representada no estrato B1. De fato, esta constatação pode ser confirmada em recente estudo na subárea da Psiquiatria (Medicina II), que comparou o desempenho dos cinco programas utilizando os dois critérios do QUALIS (antigo e atual). A Psiquiatria teve como a moda o estrato B15.
É importante salientar que o QUALIS é apenas uma ferramenta de medida, isto é, um "metro" na avaliação da produção dos programas. Portanto, a posição relativa da produção científica entre os programas de PG em uma determinada área não se altera.
Mito 4: As áreas médicas da Capes não acompanham a grande evolução das novas metodologias de informação e que os critérios adotados estão fundamentados em um discutível critério - o FI do JCR - e que existiriam novas bases e outras ferramentas que poderiam ser mais úteis (por exemplo, o índice H das revistas da base SCImago)1.
Realidade: Nos vários fóruns de PG na área médica, nos quais se discutiu a adoção destes critérios, o coordenador da área Medicina II (acredito que também os coordenadores das Medicinas I e III) apresentou vários dados comparativos entre estas bases, apontando que a base SCImago tem potencial para substituir a base JCR no futuro, pela sua maior abrangência. No entanto, as simulações com dados da produção científica do triênio (2004-2006) indicavam que o FI da base JCR apresentava correlação muito alta com todos os indicadores da base SCImago, particularmente nas publicações mais qualificadas.
Esta constatação se repetiu neste triênio (2007-2009), quando comparamos os 763 periódicos publicados na Medicina II, classificados como A1 e A2 pelo FI (JCR), com parâmetros da base SCImago (SJR, Citações por doc e Índice H, Figura 1). Como pode ser constatado na Figura 1, todos estes parâmetros tiveram uma alta correlação. A maior correlação se deu entre o FI e Citações por doc (mesma fórmula para cálculo do FI, mas com as citações da base SCImago), indicando que mesmo com as diferenças de periódicos indexados nestas bases, a correlação se manteve altíssima (Figura 1C). Em outras palavras, a adoção de qualquer um destes parâmetros pouco alteraria os critérios de classificação da produção mais qualificada dos programas. A base JCR foi mantida por ser mais estável, e por sofrer menos oscilações que a base SCImago, particularmente quando analisamos os periódicos recém-indexados e os de menor impacto.
A avaliação da PG é uma tarefa complexa. Sabemos que a adoção de qualquer critério pode cometer injustiças, daí a necessidade de incluir vários parâmetros qualitativos e quantitativos complementares para uma boa avaliação. O estabelecimento de diferentes FIs para cada subárea tem sido muito discutido, mas até o momento parece muito difícil na prática. A titulo de exemplo, na área da Pediatria existia uma queixa antiga de que os periódicos da área listados no "subject categories" do Web of Science tinham a mediana do FI abaixo da área da Medicina II (Pediatria, 1,4, e Medicina II, 2,24) e que os programas eram prejudicados na avaliação. No entanto, o levantamento da produção científica dos programas de PG da Pediatria no triênio 2004-2006 indicou que a mediana de FI desta subárea era 2,0, mais próximo da mediana da Medicina II do que a observada no "subject categories" (Goldani, informação pessoal). A melhor produção da área de Pediatria pode ser devida ao bom desempenho desta subárea, mas certamente deveu-se também ao fato destes programas publicarem a sua produção em periódicos de outras áreas. Numa época em que a produção do conhecimento se torna cada vez mais inter e transdisciplinar, é um contrassenso "circunscrever" áreas de conhecimento e dentro dela estabelecermos um parâmetro (FI ou SJR) específico. Ademais, esta medida poderia desencorajar a indução de produção de conhecimento inter e transdisciplinar.
Por fim, é importante destacar que a avaliação dos periódicos é um processo dinâmico e que necessita ser aperfeiçoado continuadamente, incorporando outros elementos no processo. Ademais, a produção em periódicos representa 40% da nota final. Existem ainda outros indicadores na avaliação, como a produção discente (30%), desempenho do corpo docente, captação de recursos, nucleação, transparência, entre outros, que devem ser considerados.
Agradecimentos
O autor gostaria de agradecer aos editores da RBP pela oportunidade desta manifestação.
João Pereira Leite
Coordenador da Área de Medicina II, Coordenação de
Aperfeiçoamento de Pessoal de Nível Superior (CAPES)
Triênio 2007-2009
- 1 Rocha-e-Silva M. The new Qualis, which has nothing to do with the science of Brazil: open letter to the president of CAPES. Rev Bras Cir Cardiovasc 2009;24(3):III-VI.
- 2 Brazilian Editors. Classification of journals in the QUALIS system of CAPES - urgent need of changing the criteria! Clinics (São Paulo). 2010;65(2):121-3.
-
33. Ranking põe revistas científicas em "risco de extinção": Jornal Estadão de S. Paulo. 2009 julho 06: [citado 15 dez 2009. Disponível em: http://www.estadao.com.br/noticias/geral,ranking-poe-revistas-cientificas-em-risco-de-extincao,398433,0.htm
-
44. Brazilian Science on the Rise - ScienceWatch.com - Thomson Reuters; [cited 2009 dez 18]. Available from: http://search.thomsonscientific.com/search?q=brazil&btnG.x=0&btnG.y =0&site=sciencewatch&entqr=0&output=xml_no_dtd&sort=date%3AD%3AL%3Ad1&ud= 1&client=sciencewatch&oe=UTF-8&ie=UTF-8&proxystylesheet=sciencewatch
- 5. Gerolin J, Bressan RA, Pietrobon R, Mari Jde J. Ten-year growth in the scientific production of Brazilian Psychiatry: the impact of the new evaluation policies. Rev Bras Psiquiatr 2010;32(1):6-10.
Datas de Publicação
-
Publicação nesta coleção
16 Jul 2010 -
Data do Fascículo
Jun 2010
