Mudanças no sistema de avaliação dos programas de pós-graduação

EDITORIAL

Mudanças no sistema de avaliação dos programas de pós-graduação

Realizada pela Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes), a avaliação da pós-graduação brasileira busca impor um caráter dinâmico, de forma que, a cada ciclo (que corresponde a um triênio, atualmente), as áreas do conhecimento e respectivos programas são avaliados pelo desempenho apresentado – especialmente na produção intelectual. O desempenho apresentado durante um período serve de base para os critérios de avaliação do triênio seguinte (em curso). Esta estratégia constitui um estímulo ou uma ação indutora para o desenvolvimento das diferentes áreas do conhecimento, principalmente para aquelas que apresentam distintos estágios de consolidação na comunidade científica. Neste contexto é que se emprega, usualmente, a expressão "aumento do sarrafo", em uma analogia ao nível de rendimento exigido na modalidade de salto em altura numa competição de atletismo. A cada tentativa em que o atleta consegue saltar, sem derrubar o sarrafo, este é colocado numa altura um pouco acima.

Dentro deste espírito e ao longo da última década, a pós-graduação tem desempenhado importante papel de melhoria, tanto quantitativa quanto qualitativa, da produção intelectual brasileira no cenário internacional. Além disso, ela estimula os pesquisadores, os docentes e os discentes a enfrentarem, a cada triênio, desafios novos, na tentativa de veicularem o conhecimento produzido em periódicos de divulgação internacional, cada vez mais competitivos e impactantes.

Nos últimos anos, a avaliação da produção científica da pós-graduação brasileira adotava nove estratos para classificação dos periódicos, sendo três níveis de categorias (A, B e C) e três níveis de circulação (Internacional, Nacional e Local). Os periódicos eram classificados nos diferentes estratos, desde o mais alto (Internacional A) até o mais baixo (Local C). Este sistema recebeu o nome de índice Qualis, com vistas à qualificação e à diferenciação dos periódicos, auxiliando no ranqueamento dos programas de pós-graduação. Apesar do importante papel exercido por este sistema na evolução da pós-graduação e no desenvolvimento científico de cada área do conhecimento, a Capes detectou, por meio de estudos recentes baseados na produção do triênio 2004-2006, a necessidade de aperfeiçoamento dos atuais critérios de avaliação, devido principalmente ao desgaste sofrido ao logo desses anos no poder de discriminação entre os programas de pós-graduação.

O poder de discriminação deste sistema tornou-se fragilizado ao constatar-se que nenhuma das 47 áreas utilizava os nove estratos; poucas áreas publicavam artigos nos estratos de circulação Local, tornando-o sem sentido; um expressivo número de áreas adotava apenas quatro estratos; muitas áreas publicavam um alto percentual de artigos somente no estrato mais alto (Internacional A), dificultando a discriminação dos programas dentro da mesma área. Além do grande desequilíbrio na distribuição dos níveis ou classificação das publicações entre diferentes áreas, grandes áreas e ramos do conhecimento, também foi observada uma acentuada e crescente heterogeneidade na classificação de um mesmo periódico por diferentes áreas.

Os resultados do estudo realizado pela Capes provocaram inúmeras discussões e reflexões sobre a estratificação até então adotada, justificando a necessidade de aprimoramento do sistema. Dentre as mudanças almejadas, um mesmo periódico não pode mais ser avaliado de forma diferente entre as áreas que integram a mesma grande área. Da mesma forma, novos indicadores e indexadores foram incorporados, como, por exemplo, os índices h e SCImago, da base Scopus, permitindo maior abrangência na avaliação quando associados ao conhecido Journal Citation Reports^® (JCR^®), produzido pelo Information Sciences Institute (ISI).

Um aspecto a destacar no estudo da Capes é que, em muitas áreas do conhecimento, as publicações ocorreram em periódicos considerados de outras áreas ou em áreas correlatas. Esta situação pode ter ocorrido por inúmeras razões: desde o crescimento progressivo da própria multidisciplinaridade até o reduzido número de periódicos especializados em algumas áreas e indexados em bases regionais e internacionais. No entanto, ela é preocupante, porque pode ser a causadora de sérias distorções na caracterização e consolidação de cada área do conhecimento.

Na tentativa de melhor identificar onde as diferentes áreas estão produzindo seu conhecimento, aplicou-se o princípio de Pareto, que trata da concentração de artigos num conjunto de periódicos. Com isso, estabeleceu-se que periódicos no quais a área veiculava 79% de suas publicações fossem classificados como de maior concentração (P1), seguidos daqueles com menor concentração (P2 e P3). A área responsável pelo maior número de artigos publicados num periódico classificado em P1 é denominada de madrinha, a qual será mandatária da estratificação deste periódico, que deverá ser seguido pelas demais áreas irmãs (áreas da mesma grande área). A proximidade ou familiaridade do periódico com as demais grandes áreas de um mesmo ramo de conhecimento será denominada de área prima, resultando no rebaixamento de apenas um estrato. O rebaixamento de dois estratos ocorre quando o periódico pertence à área cunhada, ou seja, a área de outro ramo do conhecimento.

O Conselho Técnico Científico do Ensino Superior (CTC-ES) da Capes aprovou oito estratos para a nova classificação dos periódicos. A Instrução Normativa nº. 5 da Diretoria de Avaliação esclarece que estes novos estratos serão assim constituídos: A-1 (maior nível), A-2, B-1, B-2, B-3, B-4 e B-5 (menor nível), seguido de um último, o nível C, que abrigará os periódicos considerados inapropriados para a divulgação da produção da pós-graduação. Cada grande área do conhecimento deverá alocar os periódicos que publicaram no triênio anterior nestes novos estratos, de forma a resguardar a homogeneidade do nível dos periódicos para todas as áreas nela contida.

Diante de tais mudanças, qual será o impacto para a área 21? Independentemente das previsões pessimistas de "aumento do sarrafo", há que se considerar que os prováveis impactos irão depender da reação dos envolvidos, bem como do atual estágio de desenvolvimento dessa área. Não há dúvidas da necessidade urgente de reorganização interna na produção do conhecimento e, sobretudo, uma especial atenção para a melhoria na indexação dos periódicos da qual ela é área madrinha. Acredita-se que tais mudanças representem, em curto prazo, um vasto trabalho de reorganização da área, e também, a médio e longo prazo, possa ter um importante papel indutor ao desenvolvimento qualitativo da área.

Na atualidade, um dos maiores desafios que se apresenta à área 21 é ampliar o reduzido número de periódicos nacionais indexados em bases regionais e internacionais, especialmente no SciELO, Scopus e ISI (JCR^®). Há que se considerar também que a avaliação dos programas de pós-graduação deve caracterizar-se como instrumento não apenas de mensuração e classificação, mas também como um forte elemento de estímulo, incentivo e indução do desenvolvimento científico de cada área do conhecimento.

Dirceu Costa

Coordenador da área 21 na Capes

Juarez Vieira do Nascimento

Coordenador Adjunto da área 21 na Capes

1 CNPq/AET, Tabelas 1.4.1, 1.4.2, 1.4.4, 2008.

2 Dados provenientes de acompanhamento pessoal do sistema nos últimos anos.

Datas de Publicação

• Publicação nesta coleção
  13 Out 2008
• Data do Fascículo
  Ago 2008