ANÁLISE DOS PERIÓDICOS DA CIRURGIA E CIRURGIA CARDIOVASCULAR

Resumos

Objective:

To analyze critically the effectiveness and value of bibliometric indicators in journals of Surgery or Cardiovacular Surgery in the context of the postgraduate programs of CAPES Medicine III.

Methods:

A sampling with 16 academic programs and one professional master of Medicine III, encompassing the General and Digestive System Surgery, Cardiovascular Surgery and Multidisciplinary courses with such contents, was evaluated. Thomson Reuters/ISI (JCR), Elsevier/Scopus (SJR), and also Scielo databases were used.

Results:

Only in seven programs, the teachers had an average of Qualis A1 articles greater than the others strata. Eleven journals in the surgical area are in stratum A1 (5%) and it reaches 25% in Cardiovascular Surgery. Among the six journals with the largest number of publications Qualis A1 in area Medicine III, five are from non-specific areas. The Acta Cirúrgica Brasileira represented 58% of the publications in the stratum A2. There are some obstacles in the Qualis classification with little uniformity among the Medicine areas I, II and III.

Conclusions:

A permanent committee should be set to update the Qualis, composed by the three medical areas. It should be considered using other index databases and the unification of the Qualis criteria for journals in medicine. Rating criteria of multi and transdisciplinary journals need to be reviewed. It is essential an institutional financial support for national journals chosen by peers aiming to provide a full computerization process and a professional reviewer of the English language, in order to increase the impact factor.

Postgraduate education; Bibliometrics; Indicators; Educational measurement

INTRODUÇÃO

Entender o sistema de avaliação dos periódicos Qualis CAPES dentro da área Medicina III e sua aplicabilidade é essencial para contribuir com o processo avaliativo dos programas de cirurgia. O Qualis exerce a função de estratificar a qualidade da produção intelectual dos programas de pós-graduação, aferindo os periódicos científicos na área da medicina. Trata-se de um dos parâmetros que baliza estratégias e políticas de alocação de recursos, além de resultar no incentivo à formação de massa critica de docentes e pesquisadores produtivos, com nucleação e capacidade de consolidar grupos de pesquisa no país. A utilização de bases de dados internacionais e a aplicação de indicadores bibliométricos à nossa produção científica permitem retratar, com clareza, a produção nacional e suas especificidades, por área do conhecimento.

O objetivo deste trabalho foi analisar criticamente a eficácia e valor de indicadores bibliométricos dos periódicos da Cirurgia e Cirurgia Cardiovascular no contexto dos programas de pós-graduação da área Medicina III da CAPES

MÉTODO

Foi analisada uma amostragem da totalidade dos programas da Medicina III da CAPES (36), compreendendo 16 programas (27 cursos acadêmicos e 1 mestrado profissional - MP) restritos à Cirurgia Geral e do Aparelho Digestivo, a Cirurgia Cardiovascular e eventuais Programas Multidisciplinares que incluíssem também, em seu conteúdo a especialidades supracitadas (Figura 1). Excluíram-se os específicos de anestesiologia, ginecologia e obstetrícia, oftalmologia e otorrinolaringologia, ortopedia, cirurgia plástica, cirurgia torácica e de urologia. O estudo foi realizado no intervalo compreendido pela última avaliação trienal (2010-2012)¹, mediante consulta, ano a ano, de cada caderno de indicadores dos respectivos programas/cursos. Pesquisaram-se, ainda, as bases de dados Thomson Reuters - ISI Web of Science (JCR), Elsevier/Scopus (SJR), além do Scielo, relativos aos indicadores bibliométricos^2-4.

FIGURA 1
- Programas e cursos utilizados na amostragem.

RESULTADOS

No documento de área (Medicina III, 2013) é possível observar que, somente nos programas 7, os docente têm média de artigos Qualis A1 maior ou igual que os demais estratos (linhas horizontais). Em geral, os estratos decrescem de forma diretamente proporcional a nota do programa (linhas verticais), excetos para aqueles com conceito 6, nos quais sobressai produção relevante no estrato B2 (Tabela 1). Dados de 2010: média de 1,9/docente e mediana de 2,21.

TABELA 1
- Produção científica nos estratos A1 a B2 do Qualis por docente permanente (DP) versus Notas dos programas de pós-graduação da Medicina III

Na pesquisa dos periódicos na área de Cirurgia, junto ao banco de dados ISI Web of Science, constataram-se que apenas 11 estão no estrato A1, com média 5,7 e mediana 5,19 (Figura 2).

FIGURA 2
- Representação dos 10 periódicos com maior fator de impacto na área de Cirurgia (ISI/JCR); as setas indicam alguns dos periódicos A1, nos quais a área mais publicou.

Foram 140 publicações A1 no triênio para os programas analisados. Na área houve cinco publicações no periódico The New England Journal of Medicine (FI-JCR/2014, em torno de 54) e duas na Nature (FI-JCR/2014, em torno de 48; Nature Medicine, FI-JCR/2014, de aproximadamente 28). Também mereceu destaque a Cochrane Library, na qual apenas um programa foi responsável por 11 artigos. Houve cinco publicações no periódico Annals of Surgery durante a trienal. Observa-se que entre os seis periódicos detentores do maior número de publicações na Medicina III, Qualis A1, cinco não são específicos da Cirurgia ou Cirurgia Cardiovascular (Figura 3).

FIGURA 3
- Distribuição dos periódicos preferenciais, classificados como Qualis A1 na Medicina III na amostragem analisada: verifica-se que o único específico da área cirúrgica teve apenas cinco publicações (Annals of Surgery, assinalado em oval).

Ainda de acordo com a fonte ISI Web of Science, na classificação dos periódicos brasileiros, específicos da área cirúrgica, os Arquivos Brasileiros de Cardiologia, a Revista Brasileira de Cirurgia Cardiovascular e a Acta Cirúrgica Brasileira ocupam, a 11ª, 50ª e 55ª posições, respectivamente (Figura 4).

FIGURA 4
- Classificação dos periódicos nacionais na base Web of Science.

No que tange ao estrato A2, na produção da última trienal foram apuradas 420 publicações em 97 revistas, 171 (40 %) concentradas em nove periódicos. Cinquenta e oito porcento das publicações preferenciais neste estrato foram publicadas na Acta Cirúrgica Brasileira (Figura 5). Atesta-se, neste estrato, que apenas um periódico (Nutrition) não é específico da área cirúrgica.

FIGURA 5
- Distribuição das publicações preferenciais, classificadas como Qualis A2 na área Medicina III na amostragem analisada

Quanto à classificação no Qualis B1 e B2, a Revista do Colégio Brasileiro de Cirurgiões, os Arquivos Brasileiros de Cardiologia e a Revista Brasileira de Cirurgia Cardiovascular foram responsáveis por 147 publicações na área no último triênio. Dois programas publicaram 22 artigos na Revista Brasileira de Cirurgia Cardiovascular em 2012 (Figura 6).

FIGURA 6
- Distribuição das três revistas nacionais da área de Cirurgia e Cirurgia Cardiovascular classificadas no Qualis nos estratos B1 e B2: 77 na Revista do Colégio Brasileiro de Cirurgiões, 51 na Revista Brasileira de Cirurgia Cardiovascular e 19 nos Arquivos Brasileiros de Cardiologia

Em 2013, de acordo com o ISI Web of Science, a Cirurgia apresentava apenas 5% de revistas disponíveis para publicação no estrato A1. Por sua vez, a Cirurgia Cardiovascular (na categoria Cardíaca e Sistema Cardiovascular) dispunha de 21% de todos os periódicos da especialidade classificados como Qualis A1. Em algumas outras especialidades da Medicina III este indicador era nulo, ou seja, não havia revistas no estrato A1, a exemplo da otorrinolaringologia. Dentre o universo de periódicos indexados nas áreas multidisciplinares ou de ciências básicas, a porcentagem no estrato A1 oscilou entre 15 a 29% (Tabela 2).

TABELA 2
- Porcentagem de periódicos no estrato A1 por especialidade ou categoria classificado pelo Web of Konowledge em 2013

A constante evolução do Qualis resulta na necessidade de validações constantes e alguns óbices são detectados. Sobressai a distinção entre a versão impressa e a online da Acta Cirúrgica Brasileira classificada no estrato B3 e B4, respectivamente. Também se destaca, para um mesmo periódico, variações amplas no Qualis entre as medicinas. A Neurosurgery (FI, JCR e SJR=3.0) se encontra no estrato A2 na Medicina I e B1 nas Medicinas II e III. A Surgical Endoscopy and Other Interventional Techniques cujo FI se encontra acima de 3.2, tem Qualis B5 na Medicina III e A1 nas Medicinas I e II (fonte Qualis 2014).

DISCUSSÃO

Indicadores qualitativos e quantitativos em ciência, tecnologia e inovação vêm se fortalecendo na última década, com o reconhecimento pelos gestores educacionais e pela comunidade científica nacional da necessidade de dispor de instrumentos para definir diretrizes e nortear políticas de alocação de recursos, bem como na formulação de programas e na avaliação de atividades relacionadas ao desenvolvimento científico e tecnológico no país (Mugnaini).

A ampla amostragem deste estudo, abrangendo quase 50% dos programas da Medicina III permitiu a obtenção de um retrato fidedigno da área cirúrgica, mediante a análise dos indicadores bibliométricos das publicações científicas no curso da última trienal (2010-2012). Utilizaram-se como fontes os dados contidos no documento de área e nos relatórios de avaliação da CAPES (antigo Coleta), em seu caderno de indicadores, bem como as bases de dados consagradas pela comunidade acadêmica^1-5.

Com a evolução da informática e da rede mundial de computadores foi possível integrar um número exponencial de dados em bancos específicos para tal fim ao redor do mundo. Na área da Medicina algumas bases contêm parte significante da produção mundial dentre as quais sobressaem a Science Citation Index (ISI- Web of Science), a Scopus e a Scientific Electronic Library Online (SciELO), esta compreendendo a América Latina e Caribe. Ressalta-se que todas são provenientes de sistemas privados e comercialzados. A CAPES e o CNPq adotam, preferencialmente, a base ISI. Indaga-se esta seria a mais adequada, porquanto não engloba a indexação de um número substancial de periódicos, geralmente oriundos de países em desenvolvimento, em especial aqueles incorporados ao PubMed, ainda sem fator de impacto, cujos artigo já recebem citações internacionais. É o caso da Revista do Colégio Brasileiro de Cirurgiões, cujo FI no Scopus/SJR, por exemplo, se situa em 0,58. Por suposto, o fator de impacto também merece reflexões. Este traduz medida da importância ou influência de um periódico, a partir das citações de artigos que essa revista recebe ao longo de um espaço de tempo^6-7. O uso do FI, sem critérios transparentes para qualificar periódicos, pode ocasionar viéses. Artigos de revisão ou contendo diretrizes podem ser muito citados e não apresentar o impacto de uma produção inédita. O excesso de autocitações pode elevar o fator de impacto sem que isto denote a maior visibilidade do artigo. Uma publicação de grande valor e ineditismo em revista nacional pode não ter impacto e reconhecimento meritório. A ética editorial pode ser subvertida pelo aporte financeiro substancial proveniente de artigos pagos para serem publicados, muitas vezes em face do seu potencial midiático⁸. Assim, é preciso que haja uma reflexão quanto ao fator de impacto e neste contexto, Petroianu⁹ nos faz uma ponderação relevante: "Há, provavelmente, boa intenção no estabelecimento dessas normas, porém, as premissas com relação à publicação científica e seus veículos de divulgação precisam ser reconsiderados".

É notório que a área cirúrgica vem crescendo em importância no âmbito da medicina ocupando já em 2013 - conforme o portal SCImago (Elsevier)^3,7,10 - o 12º lugar entre os países com maior número de citações de seus artigos nesta especialidade. Cumpre ressaltar que no triênio anterior (2007-2009) o estrato A1 era definido com o fator de impacto (FI) maior do que 2,96. Já neste último triênio (2010-2012) a estratificação A1, respeitadas as recomendações institucionais, elevou-se para um valor maior ou igual a 4,0⁵. Portanto, a estratificação dos periódicos da área Medicina III tem refletido este salto de qualidade, inclusive com equivalência às classificações das outras áreas da medicina (I e II), outrora distante.

O recorte bibliométrico demonstra que a Medicina III apresenta produção consistente em periódicos A1, apesar da concentração em alguns programas, não necessariamente 6 e 7. Observa-se evidente dispersão com a escolha de periódicos com enfoques muldisciplinares, com predomínio de outras áreas do conhecimento (a exemplo da gastroentorologia e endoscopia) ou de várias outras especialidades e de diversos campos do saber (tais como nos periódico Plos One e da Cochrane Library). Este cenário gera, obviamente, algumas diferenças na classificação dos periódicos, conforme a base de dados. Por exemplo, tanto na SCImago quanto na Thompson Reuters, o periódico Annals of Surgery mantem-se no topo do ranking, mas o British Journal of Surgery alcança o terceiro e o quinto lugares entre os 10 mais cotados nas consulta as duas bases, respectivamente.

Por escolha entre os pares da área, a Acta Cirúrgica Brasileira e a Revista do Colégio Brasileiro de Cirurgiões foram galgadas aos estratos, A2 e B1, respectivamente. No triênio 2007 a 2009 eram B2 e B3 e se aplicados os critérios atuais seriam enquadradas como B3 e B4, posto que o parâmetro se baseia no fator de impacto JCR. Questiona-se a validade desta estratégia e se a manutenção do status quo atual é benéfica para a área e para as revistas. Desde a recomposição da estratificação do Qualis CAPES de A1 a C, persiste a controvérsia no que diz respeito à valorização dos periódicos brasileiros. O presente estudo evidenciou que tanto a Acta Cirúrgica Brasileira quanto a Revista do Colégio Brasileiro de Cirurgiões foram, de fato, as que mais materializaram publicações nos estratos A2 e B1. Indaga-se qual o resultado prático disto. Relato dos editores de ambas as revistas comprova que a estratégia adotada não só promoveu amplicação na demanda, como resultou em aumento da qualidade dos artigos apresentados. A Acta Cirúrgica Brasileira publicou 97,5% de artigos originais¹¹ no ano passado. Ela se tornou mensal a partir de 2012 e, portanto, o fator de impacto ainda não expressou as consequências desta alteração. Ademais, em especial quanto à primeira (Acta Cir Bras) houve maior visibilidade internacional, haja vista a procura para submissão de artigos por autores de outras nacionalidades. Esta consolidação se reflete no desenvolvimento de ambos os periódicos e facilitou, no caso da segunda (Rev Col Bras Cir), a indexação no PubMed, encontrando-se a caminho a concretização de seu FI/JCR, no ISI Web of Science¹².

Outro aspecto controverso diz respeito ao nível de corte para estratificação no Qualis. A cada ano eleva-se a média e mediana das publicações da área e isto se reflete na redução dos periódicos de impacto nos maiores estratos (A1 e A2), para algumas especialidades. Em 2013, o JCR/ISI e o SJR/Scopus para os periódicos Arquivos Brasileiros de Cardiologia, Revista Brasileira de Cirurgia Cardiovascular e Acta Cirúrgica Brasileira foram 1.124 e 1.03; 0.632 e 0.58 e, por fim, 0.57 e 0.67, respectivamente. A média e mediana dos periódicos "top ten", Qualis A1, na categoria de cirurgia do banco de dados Web of Science situa-se em torno de 5.2. Apenas 5% dos periódicos específicos da Cirurgia estão no estrato A1, ou seja, dos 202 listados somente 11 tem fator de impacto maior ou igual a 4. Na Cirurgia Cardiovascular o padrão é mais amplo, posto que são 27 periódicos A1 entre 125 revistas indexadas (21%). Obviamente que nas ciências básicas o percentual de periódicos A1 se eleva consideravelmente (em torno de 25 a 30%) e o cirurgião tem a possibilidade de publicar neste nicho e/ou em revistas multidisciplinares, tais como nas áreas de gastroenterologia e hepatologia, endocrinologia e metabolismo, transplantes, bioquímica e biologia molecular. Por suposto, interessa ao cirurgião acadêmico e pesquisador divulgar o seu artigo entre os seus pares, mas esta intenção causa conflito permanente, haja vista que, na maior parte das vezes, ou ele publica em revistas de menor impacto na sua área, ou as ignora e busca periódicos com impacto maior, cuja visibilidade se reduz na especialidade em que atua^8-9. Claro está que, com a ferramenta de busca na internet, entre eles o PubMed, é possível triar a escolha do texto. No entanto, no contexto atual, em face da escassez de tempo e da indispensável objetividade nas suas atualizações, o cirurgião restringe sua leitura a pouquíssimos artigos, em apenas uma ou duas revistas de referência na sua especialidade.

O sistema Qualis, ainda que seja passível de críticas, ainda é o melhor que temos para aplicar os índices bibliométricos, mas sempre haverá necessidade de aprimorá-lo. No mundo globalizado, com acesso ao PubMed (NIH) e, eventualmente, ao texto integral, não faz mais sentido o uso de impressão em papel, exceto para arquivos de bibliotecas ou eventuais interesses dos autores. No terceiro milênio, a maioria das consultas a artigos se faz por meio eletrônico (internet), o que representa economia de papel e poupança de recursos, com a propalada sustentabilidade. Logo, não se coaduna com o bom senso aquinhoar com dois estratos distintos uma mesma revista. Um exemplo pode ser encontrado na Acta Cirurgica Brasileira, classificada diferentemente em ambos os Qualis das Medicinas I e II, em razão de seu veículo de publicação (online - B4 ou impressa- B3). Paradoxalmente, a versão online que apresenta visibilidade maior tem o Qualis menor. Trata-se da mesma produção científica, absolutamente igual no seu conteúdo, avaliada pelos mesmos critérios e corpo editorial. Se o periódico, ainda que figure com dois ISSN haja vista apresentar as duas versões, for indexado em bases internacionais, não há razão para qualificá-lo de modo desigual.

Outro viés relevante diz respeito aos critérios adotados para a classificação de um periódico no Qualis, entre as diversas áreas da medicina. Se, atualmente, a estratificação entre as medicinas é quase igualitária não se justifica que um periódico com fator de impacto único seja qualificado em diferentes estratos, ou que se observe classificações díspares nas quais o mesmo periódico recebe Qualis A1 em uma área da medicina e B5 em outra, mesmo com fator de impacto igual ou acima de 3.0. São os casos da Neurosurgery e da Surgical Endoscopy and Other Interventional Techniques. Obviamente há diferenças menos evidentes tais como B1 para A2.

Cada área tem autonomia para classificar seus periódicos nos estratos superiores atendendo aos limites estabelecidos pelo CTC (25% A1 + A2, A1 < A2 e A1 + A2 + B1 < ou = 50%) e pode valorizar ou não algumas revistas da especialidade. A Medicina III optou por escolher duas revistas e modificou seu Qualis. No entanto enfatiza-se que, se o corte para inserção no Qualis é praticamente o mesmo entre as "três medicinas", deveria prevalecer o FI, com unificação desta classificação, sob o risco de se produzirem incongruências entre as áreas. Torna-se imprescindível reavaliar o critério de margem percentual para os estratos, porquanto há grande possibilidade de se engessar a incorporação de periódicos com alto fator de impacto, principalmente em áreas multidisciplinares, ignorando-se a evolução do conhecimento em função da inter e transdiciplinaridade em constante evolução, tão presentes e necessárias ao mundo científico atual.

CONCLUSÕES

• 1) Faz-se mister a criação de um comitê permanente para atualização do Qualis, composto pelas três áreas da medicina, retroalimentado por planilhas Excel que permitam, em tempo real, a análise e re-estratificação de uma revista de modo equalitário.

• 2) Há que se ponderar a necessidade de utilizar outras bases de indexação, sem exclusividade para o ISI Web of Science e Scimago para balizar o conceito Qualis CAPES.

• 3) Dever-se-ia avaliar a unificação dos critérios Qualis para as revistas das áreas da medicina, considerando neste quadriênio estratificação praticamente semelhante.

• 4) A multi e transdisciplinaridade aliadas às pesquisas translacionais -ações estas desejáveis à integração da ciência do terceiro milênio - devem proporcionar mudanças no paradigma utilizado para as classificações dos periódicos no Qualis CAPES nos estratos superiores.

• 5) Ofertar suporte financeiro institucional para que os periódicos nacionais escolhidos entre os pares sejam informatizados conforme padrões internacionais vigentes, além de viabilizar os custos da revisão profissional da língua inglesa, habilitando-se em prazo racional para que a meta da elevação do fator de impacto se concretize.

REFERENCES

• ¹
  Relatorio de Avaliação 2010-2012 - Trienal 2013. Área de avaliação: Medicina III. Disponivel em: http://conteudoweb.capes.gov.br/conteudoweb/CadernoAvaliacaoServlet?acao=filtraArquivo&ano=2012&codigo_ies=&area=17 Acesso:janeiro/2015.
  » http://conteudoweb.capes.gov.br/conteudoweb/CadernoAvaliacaoServlet?acao=filtraArquivo&ano=2012&codigo_ies=&area=17
• ²
  Sistema Web Qualis. Portal CAPES. 2015. Disponível em:
• ³
  http://qualis.capes.gov.br/webqualis/publico/pesquisaPublicaClassificacao.seam?conversationPropagation=begin Acesso:janeiro/2015.SJR
  » http://qualis.capes.gov.br/webqualis/publico/pesquisaPublicaClassificacao.seam?conversationPropagation=begin
• ⁴
  SCImago Disponível em: http://www.scimagojr.com/ Acesso:janeiro/2015.
  » http://www.scimagojr.com/
• ⁵
  JCR Web of Science. 2015.
• ⁶
  Documento de área 2013. CAPES. Área de avaliação: Medicina III. Disponivel em: http://www.capes.gov.br/images/stories/download/avaliacaotrienal/Docs_de_area/Medicina_III_doc_area_e_comiss%C3%A3o_att08deoutubro.pdf Acesso:janeiro/2015.
  » http://www.capes.gov.br/images/stories/download/avaliacaotrienal/Docs_de_area/Medicina_III_doc_area_e_comiss%C3%A3o_att08deoutubro.pdf
• ⁷
  Mugnaini R, Jannuzzi PM, Quoniam L. Indicadores bibliométricos da produção científica brasileira: uma análise a partir da base Pascal. CiInf., Brasília 2004;33(2):123-31.
• ⁸
  Castro RCF. Journals in surgery and gastroenterology: indexing in databases and bibliometric indicators. Acta Cir Bras. 2006;21(3):122-32.
• ⁹
  Andriolo, A et al. Classificação dos Periódicos no Sistema QUALIS da CAPES - a Mudança dos Critérios é URGENTE!. Arq. Bras. Cardiol.2010;94(3):290-1.
• ¹⁰
  Petroianu A. Perversidade contra a publicação médica no Brasil. Rev Col Bras Cir. 2011; 38(5):290-1.
• ¹¹
  Población DA, Goldenberg S, Montero EFS, Moreira MB, Pellizzon RF. Revistas brasileiras publicadoras de artigos científicos em cirurgia. I - Características estruturais e administrativas das revistas. Acta Cir Bras. 2002;17(6):359-69.
• ¹²
  Goldenberg Saul. Acta Cirúrgica Brasileira em 2012: análise retrospectiva. Acta Cir. Bras. 2013;28(1):1-4.
• ¹³
  Manso JEF, Malafaia O, Ferraz EM. A Revista do CBC está no Medline / PubMed. Rev. Col. Bras. Cir. 2009;36(6):470-1.

Datas de Publicação

• Publicação nesta coleção
  2015

Histórico

• Recebido
  19 Fev 2015
• Aceito
  12 Set 2015