EDITORIAL
O novo Qualis, ou a tragédia anunciada
Mauricio Rocha-e-Silva, Editor
Hospital das Clínicas, Faculdade de Medicina da Universidade de São Paulo São Paulo/SP, Brazil. mrsilva36@hcnet.usp.br
Para marcianos recém-desembarcados, Qualis é definido pela CAPES como uma lista de veículos utilizados para a divulgação da produção intelectual dos programas de pós-graduação stricto sensu (mestrado e doutorado). Até recentemente estes veículos eram classificados quanto ao âmbito de circulação (Local, Nacional, Internacional) e quanto à qualidade (A, B, C), para cada área de avaliação. Serve para fundamentar o processo de avaliação do Sistema Nacional de Pós-Graduação da CAPES.
Esta classificação foi de grande importância como primeira medida de qualidade do produto da pós-graduação. Praticamente todos concordam que ela já esgotou seu ciclo de validade e deve ser substituída. O evidente crescimento em qualidade da produção científica brasileira extrapolou os limites deste metro, que perdeu seu poder discriminativo. Uma nova tabela Qualis está em vias de ser ativada. Não me sinto capacitado a avaliá-la para outras áreas, mas o produto oferecido à consideração da comunidade médica merece comentários.
As premissas em que se baseia são três. A primeira é que a distribuição de freqüência de conceitos dos programas brasileiros de pós-graduação deve ser normal, ou Gaussiana. Poder-se-ia aqui indagar como foi que se chegou à conclusão de que essa distribuição é naturalmente normal. A segunda premissa estabelece que apenas 25% dos programas podem ter conceito máximo (6 ou 7) em qualquer área de avaliação. Caso o número de programas merecedores de conceito máximo supere o limite, as normas de avaliação serão automaticamente "apertadas" para manter o limite. Igualmente, pode-se perguntar se não é absurdo mudar as regras do jogo no meio da partida para rebaixar o conceito de programas que à primeira vista pareciam excelentes.
A terceira premissa diz respeito a nova tabela Qualis para periódicos, que passa a ter sete níveis conforme a Tabela 1. Esta vale para todas as áreas do conhecimento, devendo cada área estabelecer os níveis específicos de corte de tal modo a assegurar que apenas 25% dos periódicos estejam no nível mais alto (Qualis A) e que haja maior número de periódicos A2 que A1. Embora isso não seja explícito, parece evidente que estes 25% derivam diretamente dos 25% do conceito anterior.
Conhecemos já os níveis propostos para periódicos das áreas de Medicina 1 e Medicina 2, faltando bater o martelo para os da Medicina 3. A Tabela 1 exibe os valores decididos (Medicinas 1 e 2) e propostos (Medicina 3). Segundo a Comissão de Revisão do Qualis Medicina, estes valores foram calibrados para cumprir a meta de 25% de periódicos em Qualis A, com maior número de periódicos em A2 que em A1. O problema é que estas áreas compreendem sub-áreas, definidas pelo próprio sistema ISI-JCR, como "subject categories". A redação de CLINICS fez um levantamento destas subject categories e constatou a existência de pelo menos 14 que correspondem à Medicina 1, oito à Medicina 2 e sete à Medicina 3. A Tabela 2 exibe alguns parâmetros levantados pela redação de CLINICS para estas 29 subject categories. Não podemos garantir que nossa lista é exaustiva e podem existir enganos decorrentes de um levantamento a mão. Se houver enganos tenho certeza que serão pequenos e não influenciam a análise que se segue. De qualquer modo, penitencio-me antecipadamente, se erros existirem.
A primeira observação é que quando se tomam as subject categories individualmente, as normas estabelecidas para a construção da nova tabela Qualis desabam.
Para demonstrar este colapso, comecemos pela Medicina 1. Para este conjunto, o sistema ISI-JCR reconhece a existência de pelo menos 14 subject categories. A Tabela 2 mostra que todas, exceto uma, superam os 25%. Também constatamos que três subject categories tem mais revistas A1 que A2. Em Medicina 2, três subject categories superam 25% enquanto quatro ficam abaixo. Em Medicina 3, a prevalecer a proposta, todas as subject categories, exceto duas, superariam os 25%; enquanto uma teria mais periódicos A1 que A2.
A Figura 1 mostra, para cada subject category de Medicina 1, 2 e 3 a percentagem de revistas ISI-JCR que atinge os níveis Qualis A1 a A2.
Várias conclusões são importantes.
Esta é a coleção mundial de revistas ISI-JCR. A distribuição heterogênea de fator de impacto pelas "subject categories"não reflete absolutamente uma diferença de qualidade entre ciências no começo ou no fim da escala. Reflete apenas uma banalidade, conhecida de todos: o Fator de Impacto não pode ser aplicado em absoluto, porque diferentes áreas do conhecimento atraem referências de modo diferenciado. Entretanto, o novo Qualis equaliza todas as subject categories dentro de cada área. Já o fazia antes a velha tabela, mas a elevação extrema dos níveis de corte, modelo Harvard, agudizou a discrepância, criando subject categories nobres e subject categories párias.
Com relação à regra dos 25%, vê-se logo que para as categorias à esquerda do gráfico há um excesso de revistas Qualis A e uma escassez à direita.
A conseqüência óbvia desta heterogeneidade dentro de cada área é que contribuições relativamente banais em subject categories à esquerda merecerão Qualis A, enquanto contribuições de alto valor em subject categories à direita, terão baixíssima chance de chegar a esse nível.
Quando se combina, por um lado a regra que limita a 25% os programas de excelência e, por outro, a heterogeneidade das subject categories, é fácil deduzir aquilo que no título defini como a tragédia anunciada: subject categories à esquerda povoarão os níveis mais altos de excelência excluindo as subject categories à direita. Esta colonização diferenciada não será determinada por qualidade diferenciada, mas por atração diferenciada de citações. É perfeitamente lícito supor que as novas regras estejam prestes a premiar banalidade na ponta superior. Já na outra ponta, é garantido que vamos punir qualidade. Na área de Medicina 3 há o caso extremo: um pesquisador brasileiro pode ganhar o Prêmio Nobel por uma descoberta em otorrinolaringologia e não conseguir a glória caseira de um Qualis A1!
Finalmente uma palavra a respeito dos periódicos brasileiros. Para marcianos que ainda nem desembarcaram, o Brasil é um país do quarteto BRIC, ou do sexteto BRICKT (BRIC mais Korea e Turquia). A ciência nestes países cresce mais depressa que no primeiro mundo, muito mais depressa que no resto do terceiro mundo. Todos estes países (Brasil inclusive) têm políticas oficiais agressivas de fomento aos periódicos nacionais, por entenderem que periódico autóctone de alta qualidade é imperativo de soberania e segurança. Por outro lado é fato bem conhecido que periódicos do terceiro mundo tem um viés negativo para captação de citações. Não sou ingênuo a ponto de crer que os periódicos BRICKT publicam ciência equivalente à do primeiro mundo: o que publicamos é inferior ao que aparece nos periódicos "lá de cima"! Mas isso não exclui a existência de viés: a diferença de citação é maior que a diferença de qualidade. Bem a propósito, em maio do próximo ano, sou palestrante convidado num debate do congresso anual do Council for Science Editors dos Estados Unidos: "Bridging the Geographic Science Gap: Editors' View of Evaluating and Rating Scientific Papers. Mauricio Rocha e Silva, MD, Editor, CLINICS; Ana Marusic, MD, Croatian Medical Journal; Adrian Stanley, The Charlesworth Group. "Peer-review is the gold standard for pre-publication manuscript evaluation. How good is it? Citations are how we evaluate published science. Citations have differential properties intrinsically related to subject area, journal visibility, geographic origin, language. How do we bridge these gaps?"
Ainda não é possível quantificar com exatidão o tamanho deste viés. Esta é uma das metas da citada mesa de debate e também do Council Americano.
É pois evidente que a CAPES não deveria apoiar os periódicos brasileiros com a mão direita do financiamento e prejudicá-los com essa anunciada mão do novo Qualis. A nova tabela exclui radicalmente a totalidade das revistas brasileiras até mesmo do Qualis A2. Realisticamente, não creio que existam revistas brasileiras Qualis A1. Talvez seja o caso de repensar este caso e introduzir um fator de correção suficiente para que as nossas melhores publicações cheguem a Qualis A2. Seria um poderoso incentivo a estes periódicos e algo que os colocaria no caminho de se tornarem verdadeiros veículos de excelência internacional.
Em conclusão, parece-me que algumas das premissas precisam ser repensadas. Os níveis propostos parecem altos demais. Parece que os autores resolveram aplicar um metro tipo Harvard ao Sistema brasileiro sem se darem conta que ainda temos que crescer um bocado antes de encarar Harvard de igual para igual. A regra dos 25% parece provir de um ilusório "wishful thinking": mas não adianta desejar ardentemente que a distribuição de freqüência de conceitos seja normal, porque a heterogênea verdade brasileira garante que essa distribuição será qualquer coisa, menos normal. Finalmente, um pouco de patriotismo sadio nunca fez mal a ninguém (perguntem aos americanos!): algum suporte aos periódicos brasileiros é imperativo. Não estou sugerindo que se escancare a porteira: apenas que se dê aos periódicos brasileiros metas atingíveis de ambição de progresso.
Datas de Publicação
-
Publicação nesta coleção
18 Jun 2009 -
Data do Fascículo
Jan 2009
