Acessibilidade / Reportar erro

Reflexões críticas sobre os três erres ou os periódicos brasileiros excluídos

Critical reflections on the three R's or the brazilian journals deleted

EDITORIAL EDITORIAL

Reflexões críticas sobre os três erres ou os periódicos brasileiros excluídos

Critical reflections on the three R's or the brazilian journals deleted

Mauricio Rocha e Silva

Médico do Hospital das Clínicas; professor da Faculdade de Medicina da Universidade de São Paulo (FMUSP)

Recentemente, a Clinics propôs para debate a ideia de que o QUALIS 2010 era passível de aperfeiçoamento por meio do conceito dos três erres (remover periódicos de revisão, reconhecer outras métricas de avaliação e reavaliar periódicos brasileiros)(1). Submetido ao debate por pares em novembro de 2010, por ocasião do II Seminário Satélite para Editores Plenos, organizado pela Associação Brasileira de Editores Científicos (ABEC), concluiu-se que idealmente dever-se-ia focalizar um único erre, a saber, o reconhecimento por parte da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES), para 2013, das métricas de avaliação SCImago (cites/document) e SciELO (impact factor).

Já demonstramos anteriormente que o impact factor ISI-Thomson, única métrica reconhecida pela CAPES, é praticamente idêntico ao cites/document da SCImago. A correlação geral por amostragem entre os dois índices é maior que 0,9 e o coeficiente angular é indistinguível da unidade. A recente divulgação da coleção 2009 do SCImago Journal & Country Rank(2) junta-se aos já divulgados fatores de impacto Journal of Citations Report (JCR-ISI) e Scientific Electronic Library Online (SciELO) para aquele ano e permite o cotejo em tempo real dos três índices. Salientamos que essa comparação não se aplica a qualquer tabela QUALIS, pois a tabela 2010 já é história e a 2013 será decidida no futuro. Em outras palavras, o cotejamento que se segue, relativo ao ano de 2009, é oferecido como base argumentativa adequada para reivindicar a correção de curso relativa à exclusão dos índices SCImago e SciELO.

Vamos ao cenário 2009 como simulação de uma hipotética tabela QUALIS: na versão 2009 do JCR-ISI, a representação brasileira saltou de 31 para 71 periódicos; já no SCImago Journal Ranking essa representação manteve-se constante em 235 periódicos.

Existem, portanto, 164 periódicos brasileiros (138 com impacto > 0) ausentes da tabela JCR-ISI. Mantida a norma QUALIS aplicada em 2010, esses 138 periódicos cairiam nas categorias "sem fator de impacto". A Figura 1 mostra a identidade entre ISI e SCImago para as 64 revistas incluídas nos dois índices. O coeficiente angular unitário e o elevado coeficiente de correlação significam que conhecendo um dos índices se pode estimar o outro com 95% de probabilidade de errar por menos de 5%.


A Tabela 1 exibe a relação desses 138 periódicos brasileiros com cites/document da SCImago > 0, mas sem fator de impacto JCR-ISI. Ressalte-se que não são periódicos de impacto nitidamente mais baixo que os da coleção JCR-ISI. Os quatro primeiros apresentam impacto > 1, o que os colocaria entre os 15 melhores do Brasil. Outros 10 apresentam impacto > 0,50, acima da mediana dos periódicos brasileiros no JCR-ISI. Todos os 138 títulos evidentemente fariam jus à classificação "com fator de impacto".

Outra correlação interessante ocorre entre SCImago e SciELO. De início, vale notar que existe extensa concordância: a coleção SCImago contém 235 títulos brasileiros e a coleção SciELO, 223. As inclusões não são 100% concordantes: a coleção SCImago contém 69 periódicos ausentes da coleção SciELO; reciprocamente, a coleção SciELO contém 56 periódicos ausentes da coleção SCImago. Por si só essa convergência revela a consistência de qualidade dos periódicos incluídos na coleção SciELO. É fácil intuir que para qualquer periódico brasileiro incluído nas duas coleções há de se esperar que o impacto SCImago seja maior que o SciELO, porque a coleção SCImago contém 18.732 periódicos contra apenas 759 da coleção SciELO. Surpreendentemente, porém, o efeito dessa enorme desproporção entre bases de dados é menor do que o esperado, como se pode ver na Figura 2. Entre os 142 periódicos brasileiros presentes nas duas coleções apenas 88 (62%) apresentam SCImago > SciELO, enquanto 45 (32%) apresentam SciELO > SCImago e nove (6%) apresentam igualdade.


Essa discrepância entre o esperado e o observado merece estudo bibliométrico adicional, mas uma boa hipótese seria que artigos brasileiros citam outros artigos brasileiros com mais intensidade em virtude de um pronunciado interesse local específico. A correlação entre os impactos (Figura 3) é igualmente reveladora: o coeficiente angular (0,54) sugere que o impacto médio SciELO é apenas 40% menor que o impacto SCImago. Já o alto índice de correlação (r2 = 0,62; p < 0,01) demonstra que as duas métricas avaliam o mesmo parâmetro em bases de dados muito díspares.


Caso a CAPES reconheça o cites/document do SCImago, estará resgatada a maior parte dos periódicos brasileiros com impacto > 0. Porém a Tabela 2 mostra que, se a decisão fosse tomada neste momento, restariam 35 periódicos brasileiros com impacto SciELO > 0, mas ausentes do JCR-ISI e do SCImago. Aqui também encontramos impactos não triviais: quatro periódicos apresentam impactos maiores que a mediana da coleção ISI. Sem esquecer a forte possibilidade de que esses 35 impactos SciELO estimem o que seriam seus impactos ISI ou SCImago.

Dessa simulação, podemos concluir que teríamos 173 periódicos brasileiros com impacto > zero tratados como "sem fator de impacto" pelo QUALIS, caso a avaliação fosse agora e os critérios 2010 fossem repetidos. Sabemos que essa "simulada exclusão" não é estática; quando a tabela QUALIS "fechar" para a próxima avaliação, muita coisa terá mudado, entre elas, as tabelas ISI-JCR, SCImago e SciELO, bem como (esperamos) os critérios CAPES de avaliação. Contudo, defendemos a tese de que reconhecer tão somente o fator de impacto ISI-JCR não seria lógico. Por isso entendemos que essa simulação é a base racional para um alerta, em tempo, pela adoção de novos critérios.

NOTA: Este editorial é publicado por Clinics livre de restrições de copyright. Oferecemo-lo aos periódicos científicos brasileiros para reprodução integral ou parcial. Alternativamente sugerimos que apoiem essa ideia em editoriais originais. Tais ações sinalizarão nossa vontade política de exercer o direito republicano de peticionar, perante o poder público, em defesa dessa que é uma reivindicação legítima e generalizada da comunidade editorial científica brasileira.

  • 1. ROCHA E SILVA, M. Qualis 2011-2013: os três erres. Clinics, v. 65, p. 935-6, 2010.
  • 2. SCImago. SJR - SCImago Journal & Country Rank. Retrieved January 26, 2011. Disponível em: <http://www.scimagojr.com>. 200

Datas de Publicação

  • Publicação nesta coleção
    23 Maio 2011
  • Data do Fascículo
    Abr 2011
Sociedade Brasileira de Patologia Clínica, Rua Dois de Dezembro,78/909 - Catete, CEP: 22220-040v - Rio de Janeiro - RJ, Tel.: +55 21 - 3077-1400 / 3077-1408, Fax.: +55 21 - 2205-3386 - Rio de Janeiro - RJ - Brazil
E-mail: jbpml@sbpc.org.br