EDITORIAL EDITORIAL
Reflexões críticas sobre os três erres ou os periódicos brasileiros excluídos
Critical reflections on the three R's or the brazilian journals deleted
Mauricio Rocha e Silva
Médico do Hospital das Clínicas; professor da Faculdade de Medicina da Universidade de São Paulo (FMUSP)
Recentemente, a Clinics propôs para debate a ideia de que o QUALIS 2010 era passível de aperfeiçoamento por meio do conceito dos três erres (remover periódicos de revisão, reconhecer outras métricas de avaliação e reavaliar periódicos brasileiros)(1). Submetido ao debate por pares em novembro de 2010, por ocasião do II Seminário Satélite para Editores Plenos, organizado pela Associação Brasileira de Editores Científicos (ABEC), concluiu-se que idealmente dever-se-ia focalizar um único erre, a saber, o reconhecimento por parte da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES), para 2013, das métricas de avaliação SCImago (cites/document) e SciELO (impact factor).
Já demonstramos anteriormente que o impact factor ISI-Thomson, única métrica reconhecida pela CAPES, é praticamente idêntico ao cites/document da SCImago. A correlação geral por amostragem entre os dois índices é maior que 0,9 e o coeficiente angular é indistinguível da unidade. A recente divulgação da coleção 2009 do SCImago Journal & Country Rank(2) junta-se aos já divulgados fatores de impacto Journal of Citations Report (JCR-ISI) e Scientific Electronic Library Online (SciELO) para aquele ano e permite o cotejo em tempo real dos três índices. Salientamos que essa comparação não se aplica a qualquer tabela QUALIS, pois a tabela 2010 já é história e a 2013 será decidida no futuro. Em outras palavras, o cotejamento que se segue, relativo ao ano de 2009, é oferecido como base argumentativa adequada para reivindicar a correção de curso relativa à exclusão dos índices SCImago e SciELO.
Vamos ao cenário 2009 como simulação de uma hipotética tabela QUALIS: na versão 2009 do JCR-ISI, a representação brasileira saltou de 31 para 71 periódicos; já no SCImago Journal Ranking essa representação manteve-se constante em 235 periódicos.
Existem, portanto, 164 periódicos brasileiros (138 com impacto > 0) ausentes da tabela JCR-ISI. Mantida a norma QUALIS aplicada em 2010, esses 138 periódicos cairiam nas categorias "sem fator de impacto". A Figura 1 mostra a identidade entre ISI e SCImago para as 64 revistas incluídas nos dois índices. O coeficiente angular unitário e o elevado coeficiente de correlação significam que conhecendo um dos índices se pode estimar o outro com 95% de probabilidade de errar por menos de 5%.
A Tabela 1 exibe a relação desses 138 periódicos brasileiros com cites/document da SCImago > 0, mas sem fator de impacto JCR-ISI. Ressalte-se que não são periódicos de impacto nitidamente mais baixo que os da coleção JCR-ISI. Os quatro primeiros apresentam impacto > 1, o que os colocaria entre os 15 melhores do Brasil. Outros 10 apresentam impacto > 0,50, acima da mediana dos periódicos brasileiros no JCR-ISI. Todos os 138 títulos evidentemente fariam jus à classificação "com fator de impacto".
Outra correlação interessante ocorre entre SCImago e SciELO. De início, vale notar que existe extensa concordância: a coleção SCImago contém 235 títulos brasileiros e a coleção SciELO, 223. As inclusões não são 100% concordantes: a coleção SCImago contém 69 periódicos ausentes da coleção SciELO; reciprocamente, a coleção SciELO contém 56 periódicos ausentes da coleção SCImago. Por si só essa convergência revela a consistência de qualidade dos periódicos incluídos na coleção SciELO. É fácil intuir que para qualquer periódico brasileiro incluído nas duas coleções há de se esperar que o impacto SCImago seja maior que o SciELO, porque a coleção SCImago contém 18.732 periódicos contra apenas 759 da coleção SciELO. Surpreendentemente, porém, o efeito dessa enorme desproporção entre bases de dados é menor do que o esperado, como se pode ver na Figura 2. Entre os 142 periódicos brasileiros presentes nas duas coleções apenas 88 (62%) apresentam SCImago > SciELO, enquanto 45 (32%) apresentam SciELO > SCImago e nove (6%) apresentam igualdade.
Essa discrepância entre o esperado e o observado merece estudo bibliométrico adicional, mas uma boa hipótese seria que artigos brasileiros citam outros artigos brasileiros com mais intensidade em virtude de um pronunciado interesse local específico. A correlação entre os impactos (Figura 3) é igualmente reveladora: o coeficiente angular (0,54) sugere que o impacto médio SciELO é apenas 40% menor que o impacto SCImago. Já o alto índice de correlação (r2 = 0,62; p < 0,01) demonstra que as duas métricas avaliam o mesmo parâmetro em bases de dados muito díspares.
Caso a CAPES reconheça o cites/document do SCImago, estará resgatada a maior parte dos periódicos brasileiros com impacto > 0. Porém a Tabela 2 mostra que, se a decisão fosse tomada neste momento, restariam 35 periódicos brasileiros com impacto SciELO > 0, mas ausentes do JCR-ISI e do SCImago. Aqui também encontramos impactos não triviais: quatro periódicos apresentam impactos maiores que a mediana da coleção ISI. Sem esquecer a forte possibilidade de que esses 35 impactos SciELO estimem o que seriam seus impactos ISI ou SCImago.
Dessa simulação, podemos concluir que teríamos 173 periódicos brasileiros com impacto > zero tratados como "sem fator de impacto" pelo QUALIS, caso a avaliação fosse agora e os critérios 2010 fossem repetidos. Sabemos que essa "simulada exclusão" não é estática; quando a tabela QUALIS "fechar" para a próxima avaliação, muita coisa terá mudado, entre elas, as tabelas ISI-JCR, SCImago e SciELO, bem como (esperamos) os critérios CAPES de avaliação. Contudo, defendemos a tese de que reconhecer tão somente o fator de impacto ISI-JCR não seria lógico. Por isso entendemos que essa simulação é a base racional para um alerta, em tempo, pela adoção de novos critérios.
NOTA: Este editorial é publicado por Clinics livre de restrições de copyright. Oferecemo-lo aos periódicos científicos brasileiros para reprodução integral ou parcial. Alternativamente sugerimos que apoiem essa ideia em editoriais originais. Tais ações sinalizarão nossa vontade política de exercer o direito republicano de peticionar, perante o poder público, em defesa dessa que é uma reivindicação legítima e generalizada da comunidade editorial científica brasileira.
- 1. ROCHA E SILVA, M. Qualis 2011-2013: os três erres. Clinics, v. 65, p. 935-6, 2010.
- 2. SCImago. SJR - SCImago Journal & Country Rank. Retrieved January 26, 2011. Disponível em: <http://www.scimagojr.com>. 200
Datas de Publicação
-
Publicação nesta coleção
23 Maio 2011 -
Data do Fascículo
Abr 2011