O sistema CAPES de avaliação da pós-graduação: da área de educação à grande área de ciências humanas

The CAPES' system of assessment of postgraduate programmes: education and human sciences

Resumo

O modelo introduzido pela Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES) para avaliar a pós-graduação brasileira no biênio 1996-1997 consolidou-se nos triênios subseqüentes (1998-2000 e 2001-2003) aprofundando mudanças na concepção e no direcionamento das políticas de avaliação para esse nível de ensino no país. O objetivo deste artigo é o de relatar os principais acontecimentos que marcaram esse processo. Em um primeiro momento focaliza-se, particularmente, a avaliação dos programas da área de educação; em um segundo, como a grande área de ciências humanas (GACH) buscou formas de resistência e de articulação para confrontar a supremacia das áreas científicas hegemônicas na CAPES. Espera-se que este relato esclareça os programas de pós-graduação da área acerca do processo avaliativo e lhes permita um posicionamento mais crítico e consciente em relação a ele.

avaliação; pós-graduação; CAPES

Abstract

During the biennial 1996/1997 the Co-ordinating Body for the Improvement of Postgraduate Studies in Higher Education (CAPES) introduced new paradigms for the assessment of postgraduate programmes in Brazil. These paradigms became firmly established in the following triennials (1998-2000 and 2001-2003) with profound effects on the conception and direction of policies of assessment for this level of study. The present article aims to examine some of the principal occurrences of this process. First of all, it focuses on the assessment of postgraduate programmes in education. It then centres analysis on how the broad area of human sciences found ways of resisting and confronting the supremacy of the hegemonic sciences in CAPES. The article proposes to contribute to a better understanding of assessment procedures so that postgraduate programmes in education can take a more critical and informed stance with relation to them.

assessment; postgraduate programmes; CAPES

ARTIGOS

O sistema CAPES de avaliação da pós-graduação: da área de educação à grande área de ciências humanas

The CAPES' system of assessment of postgraduate programmes: education and human sciences

José Silvério Baía Horta^I; Maria Célia Marcondes de Moraes^II

^IUniversidade Federal do Amazonas, Programa de Pós-Graduação em Educação

^IIUniversidade Federal de Santa Catarina, Programa de Pós-Graduação em Educação

RESUMO

O modelo introduzido pela Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES) para avaliar a pós-graduação brasileira no biênio 1996-1997 consolidou-se nos triênios subseqüentes (1998-2000 e 2001-2003) aprofundando mudanças na concepção e no direcionamento das políticas de avaliação para esse nível de ensino no país. O objetivo deste artigo é o de relatar os principais acontecimentos que marcaram esse processo. Em um primeiro momento focaliza-se, particularmente, a avaliação dos programas da área de educação; em um segundo, como a grande área de ciências humanas (GACH) buscou formas de resistência e de articulação para confrontar a supremacia das áreas científicas hegemônicas na CAPES. Espera-se que este relato esclareça os programas de pós-graduação da área acerca do processo avaliativo e lhes permita um posicionamento mais crítico e consciente em relação a ele.

Palavras-chave: avaliação; pós-graduação; CAPES

ABSTRACT

During the biennial 1996/1997 the Co-ordinating Body for the Improvement of Postgraduate Studies in Higher Education (CAPES) introduced new paradigms for the assessment of postgraduate programmes in Brazil. These paradigms became firmly established in the following triennials (1998-2000 and 2001-2003) with profound effects on the conception and direction of policies of assessment for this level of study. The present article aims to examine some of the principal occurrences of this process. First of all, it focuses on the assessment of postgraduate programmes in education. It then centres analysis on how the broad area of human sciences found ways of resisting and confronting the supremacy of the hegemonic sciences in CAPES. The article proposes to contribute to a better understanding of assessment procedures so that postgraduate programmes in education can take a more critical and informed stance with relation to them.

Key-words: assessment; postgraduate programmes; CAPES

Introdução

O modelo introduzido pela Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES) para avaliar a pós-graduação brasileira no biênio 1996-1997 consolidou-se nos triênios subseqüentes, aprofundando mudanças na concepção e no direcionamento das políticas para esse nível de ensino no país. A proposta de o programa ser a unidade básica da pós-graduação, e não mais os cursos de mestrado e doutorado avaliados isoladamente, o destaque aos cursos de excelência, compreendida como inserção internacional, e a organicidade entre linhas de pesquisa, projetos, estrutura curricular, publicações, teses e dissertações não deixam dúvidas quanto à finalidade esperada da pós-graduação: a de ser, prioritariamente, locus de produção de conhecimento e de formação de pesquisadores. Da mesma forma, a ênfase avaliativa sobre os produtos - basicamente, a produção bibliográfica qualificada - indica a expectativa de ampla divulgação dos resultados de pesquisa instalada (Kuenzer & Moraes, 2005).

O processo avaliativo provocou polêmicas no meio acadêmico e causou - e ainda causa -desconforto no universo da pós-graduação brasileira, não obstante ser absolutamente consensual, mesmo entre seus mais ferrenhos críticos, a importância da avaliação, particularmente a efetivada por pares, tal como procede a CAPES. Vale lembrar o impacto danoso para algumas áreas, a da educação entre elas, dos resultados da avaliação do primeiro biênio (1996-1997) em que se aplicou o novo paradigma.¹

No período subseqüente, o do triênio 1998-2000, embora mantidas as condições gerais da avaliação, algumas alterações foram introduzidas pela CAPES. Talvez uma das mais controversas tenha sido o papel assumido pelo Conselho Técnico Científico (CTC) da CAPES,² não mais de mera homologação de resultados, mas de rigorosa apreciação e questionamento das análises e avaliações efetivadas pelas comissões de áreas (chegando mesmo a modificar conceitos por elas atribuídos). Verificou-se, com nitidez, o que possivelmente já podia se antever em decisões anteriores do CTC: os níveis³ 6 e 7 foram definidos exclusivamente a partir de um único parâmetro, qual seja, o da produção científica internacional, e basicamente em periódicos estrangeiros. Os demais indicadores de excelência considerados na avaliação de 1998, o de competitividade em nível conciliável

a programas similares de excelente qualidade no exterior e o de demonstração evidente do papel de liderança e representatividade do corpo docente em sua respectiva comunidade, foram subsumidos pelo do desempenho diferençado, em nível internacional, da produção científica, cultural, artística ou tecnológica dos programas (Moraes, 2002, p. 201).

Tais ajustes permearam o embate travado pela área de educação e as demais áreas de ciências humanas, notadamente a de geografia, para terem assegurados os conceitos 6 e 7 atribuídos a seus programas. Aquele foi um momento particular de luta por hegemonia no interior do CTC - a de alcançar o mainstream epistemológico que asseguraria mais verbas e prestígio - e, nesse esforço, lançou-se mão de forte desqualificação epistemológica das áreas de ciências humanas e recorreu-se a ásperos enfrentamentos. A área de educação, como se sabe, perdeu três dos seis programas a que era atribuído o conceito 6. As conseqüências, quer nos parecer, mais de três anos depois não foram ainda totalmente assimiladas pela área, pela grande área de ciências humanas (GACH) e, diríamos, pela própria CAPES. Esse é um dos temas tratados neste artigo. Segue-se a ele o relato de como a GACH, no triênio subseqüente, buscou formas de resistência e de articulação para confrontar a supremacia das áreas hegemônicas no CTC. Consideramos que o relato desses acontecimentos pode contribuir para a compreensão do processo de avaliação dos programas de pós-graduação da área, dos últimos anos.

O autor e a autora deste artigo foram testemunhas privilegiadas desse processo. José Silvério Baía Horta como representante da área de educação no período 1999-2001 e representante da GACH no CTC (2000-2001), e, no triênio seguinte, como membro da comissão de avaliação. Maria Célia Marcondes de Moraes como representante adjunta e, depois, representante de área no período 2002-2004. Nesses seis anos procuramos, apoiados e respaldados permanentemente pelos demais membros da comissão de avaliação da área, defender uma proposta e uma compreensão político-acadêmica da área de educação, e também delimitar o seu perfil epistemológico, fazê-la respeitada na comunidade científica por seus critérios rigorosos e públicos. Em grande medida, alcançamos esses objetivos.

O constante contato dos dois representantes com o Fórum de Coordenadores de Programas de Pós-Graduação da Associação Nacional de Pós-Graduação e Pesquisa em Educação (ANPEd), além disso, possibilitou o aprofundamento da análise dos requisitos exigidos, e os programas da área, em sua maioria, apropriaram-se do paradigma, analisaram-no com mais coerência e, nos limites consentidos, aprenderam a manipulá-lo a seu favor. Perceberam, também, ao longo do período, como avançar na organização do próprio trabalho, em sua estruturação e reestruturação. "Houve aquiescência - muitas vezes com altos custos internos - aos critérios CAPES, mas houve também crescimento e maior profissionalismo na área" (idem, p. 202).

Avaliação do primeiro triênio (1998-2000)

O processo

A avaliação do triênio 1998-2000, realizada em 2001, ocorreu em quatro etapas: avaliação e atribuição dos conceitos aos programas, pelas comissões de área; homologação, pelo CTC da CAPES, dos resultados da primeira etapa; análise, por novas comissões de área, dos recursos apresentados pelos programas; e homologação, pelo CTC, dos resultados dos recursos.

A primeira etapa, interna às áreas, apesar de trabalhosa, desenrolou-se sem maiores problemas. As comissões de área avaliaram 1.545 programas, tendo atribuído 52 conceitos 7 (3,4%), 120 conceitos 6 (7,8%), 328 conceitos 5 (21,2%), 510 conceitos 4 (33%), 450 conceitos 3 (29,1%), 73 conceitos 2 (4,7%) e 12 conceitos 1 (0,8%).

O CTC realizou duas reuniões para a homologação dos resultados da avaliação (de 23 a 27 de julho e 16 e 17 de agosto de 2001). Uma subcomissão, nomeada pelo presidente da CAPES, ocupou-se da análise dos programas de todas as áreas situados na faixa dos conceitos 6 e 7.⁴ Os demais membros do CTC, em duplas, ocuparam-se da análise dos conceitos de 1 a 5.

Ao final do processo, 41 programas tiveram seus conceitos rebaixados pelo CTC: dois de 7 para 6, dois de 7 para 5, vinte e sete de 6 para 5, dois de 5 para 4 e oito de 4 para 3. Três programas tiveram seus conceitos aumentados pelo CTC, de 3 para 4. Registre-se que um dos programas teve seu conceito original 6 restaurado logo após a reunião do CTC, por iniciativa pessoal do presidente da CAPES.⁵ Dos conceitos rebaixados pelo conselho, 31 (76%) situavam-se na faixa de conceitos 6 e 7. Dos 29 programas que tiveram os seus conceitos 7 e 6 rebaixados, 15 (52%) eram da GACH, especialmente os das áreas de geografia e educação, que, juntas, somaram 12 conceitos nesse caso (41%). Na faixa dos conceitos 1 a 5, apesar de a análise dos mesmos ter ocupado a quase totalidade dos membros do CTC, e a despeito de propostas no sentido de rebaixar em um ponto todos os conceitos dos programas de algumas áreas (educação e geografia, entre outras),⁶ a intervenção do CTC foi mínima.

O que estava em jogo, como anunciamos, não era a avaliação, mas a disputa de espaço na área de excelência, onde se concentram financiamento e prestígio.⁷ Foi uma disputa acirrada, marcada em vários momentos por tensões, e, certamente, a forma como ela se desenrolou deixou marcas difíceis de serem superadas. Como exemplo, lembre-se que os representantes das diferentes áreas foram obrigados a justificar os conceitos 6 e 7 atribuídos pelas comissões de área por eles coordenadas, perante a subcomissão nomeada pela presidência da CAPES, subcomissão em alguns momentos ampliada, a ponto de incluir a presença de técnicos da CAPES.⁸ A área de educação, ademais, teve a produção bibliográfica internacional de seus cursos recontada, por mais de uma vez, na presença do representante da área e de todos os membros do CTC, em patente desrespeito ao representante de área e em clara manifestação de desconfiança e descrédito pelo trabalho realizado pela comissão da área.⁹

A GACH havia definido o perfil dos conceitos 1 a 7 em março de 2001. Esse documento, entregue à Diretoria de Avaliação, em nenhum momento foi questionado, e foi com base nesse perfil que a área de educação atribuiu os conceitos. Entretanto, no momento da homologação dos mesmos no CTC, esse perfil foi rejeitado, particularmente no que se refere aos programas com conceitos 6 e 7. A análise pautou-se exclusivamente na verificação da "inserção internacional do programa", para o que se criou, às pressas, um indicador específico para ser aplicado na análise dos conceitos da grande área, baseado na proporção entre produção intelectual internacional e produção total do programa. O representante da área de educação um dos representantes da GACH no CTC questionou esse indicador, pois além de ele não ter sido objeto de discussão em nenhum momento dentro da grande área,¹⁰ tinha um caráter perverso, punindo os programas que, mesmo apresentando produção internacional, apresentassem também significativa produção nacional. Não obstante, o indicador foi mantido e em suas bases foram rebaixados 43% dos conceitos 6 e 7 da GACH, aí incluídos todos os das áreas de educação e geografia.

Foram interpostos pelos programas 344 recursos. As comissões de área deram parecer favorável a 78 deles; destes, 46 foram acatados pelo CTC, oito deles na faixa de "excelência". Na área de educação foram apresentados 11 recursos, seis referentes aos programas que tiveram seus conceitos 6 rebaixados pelo CTC, três contra os conceitos atribuídos pela comissão da área, um solicitando esclarecimentos à comissão e um apresentando novas informações. No primeiro grupo, quatro programas solicitavam o restabelecimento do conceito 6 que lhes fora atribuído pela comissão, e dois pleiteavam conceito 7. A comissão de avaliação dos recursos da área de educação recomendou a (re)atribuição do conceito 6 aos seis programas que tiveram seus conceitos rebaixados.¹¹ A subcomissão do CTC que se ocupou da análise dos pareceres relacionados aos conceitos 6 e 7 rejeitou novamente o parecer da comissão da área, recomendando a atribuição do conceito 6 a apenas um dos programas.¹² Em plenário, depois de longo debate, foi possível estender o conceito 6 a dois outros programas. A proposta de manutenção do conceito 6 para os seis programas, defendida pelo representante da área, foi derrotada, com apenas um voto a favor e algumas abstenções.

Resultados finais da avaliação do triênio 1998-2000

As Tabelas 1 a 3, anexas, apresentam os resultados finais da avaliação do triênio - conceitos por grande área, conceitos por região, médias por grande área, em comparação com as médias da avaliação do biênio 1996-1997 - e permitem algumas constatações:

a) repetindo tendência já manifestada na avaliação do biênio 1996-1997, há uma forte concentração dos programas com conceito 7 em apenas duas grandes áreas: ciências exatas e da terra, e ciências biológicas. Elas totalizam 61,2% dos programas com conceito 7, embora aglutinem apenas 21,6% dos programas avaliados;

b) quando se considera a área de excelência - conceitos 6 e 7 -, essa concentração se mantém, embora um pouco atenuada. As grandes áreas de ciências exatas e da terra contribuem com 40% dos programas situados nessa faixa. A elas juntam-se as grandes áreas de engenharia e de ciências humanas, que aglutinam, respectivamente, 19,3% e 16,6% dos programas com conceito 6 e 7;

c) os programas situados na faixa do descredenciamento - conceitos 1 e 2 - estão fortemente concentrados na grande área de ciências da saúde (66,7%). Essa tendência já se havia manifestado na avaliação do biênio anterior, embora, nesse caso, aos 23 programas dessa grande área (50%) se somassem nove programas da GACH (oito na área de educação);

d) na região Sudeste, onde se situam 60% dos programas, concentram-se 82% dos programas 6 e 7 (45% em São Paulo e 26% na Universidade de São Paulo - USP, onde se situam, respectivamente, 34% e 13,7% do total de programas).

As Tabelas 4 a 7 apresentam alguns indicadores por conceito: tempo médio de titulação para o mestrado e para o doutorado, matrículas por docente do NRD6, titulados por docente do NRD6, percentagem de titulados por total de saídas e perdas por total de matrículas.

Esses indicadores permitem concluir que os programas que obtiveram conceitos mais altos na avaliação do triênio 1998-2000 são exatamente aqueles que, de um modo geral, alcançaram, nos últimos anos, índices abaixo da média no que refere-se aos indicadores destinados a medir o resultado final das atividades mais diretamente ligadas ao ensino. Eles apresentam quase sempre tempo médio de titulação mais alto, um baixo índice de matrículas por docente do NRD6, índices de evasão mais altos e número de titulados por docente do NRD6 abaixo da média. O mesmo fenômeno repete-se quando se consideram esses indicadores nos programas das áreas e nas grandes áreas que obtiveram maior número de conceitos 6 e 7, e naqueles das instituições universitárias de maior prestígio.¹³ Ou, em outras palavras: o quesito que realmente discrimina, no atual processo de avaliação da pós-graduação, é a produção bibliográfica, e nessa, a qualidade dos veículos de divulgação.¹⁴ Os argumentos utilizados pelo presidente da CAPES, Abílio Afonso Baeta Neves, citados na nota 2, bem como a argumentação utilizada pela subcomissão de homologação dos resultados dos recursos, citada na nota 9, reforçam essa constatação. Ao contrário do senso comum, um elevado tempo médio de titulação e um baixo número de titulados por docente, bem como um alto índice de evasão, pouco repercutem na avaliação do programa, embora sejam fatais na hora da distribuição de bolsas da CAPES, fundamentais para programas que não têm acesso a outras formas de financiamento. Em contrapartida, a maioria dos órgãos financiadores de pesquisa, em âmbito federal ou estadual, toma como principal indicador o conceito do curso no momento de definir seus programas de financiamento. Em outras palavras, esse parece ser o perverso círculo vicioso em que está entrando a pós-graduação brasileira: docentes de programas com alto conceito dedicam mais tempo à produção científica, garantindo assim a manutenção desses conceitos e o financiamento por parte dos órgãos que consideram fundamental o conceito no momento da distribuição das verbas. Entretanto, formam menos alunos, demoram mais para titulá-los e perdem mais alunos por abandono ou desligamento (Horta, 2002). Entretanto, docentes de programas com baixo conceito buscam desesperadamente que todos os seus orientandos se titulem o mais rapidamente possível, para que seus programas não percam bolsas da CAPES; conseguem isso, mas publicam menos, seus programas mantêm baixos conceitos e, conseqüentemente, tornam-se menos competitivos no momento de disputar financiamento.¹⁵

O rompimento desse círculo vicioso poderá, em tese, dar-se tanto pela mudança do modelo de avaliação quanto pela redefinição das prioridades da política de financiamento. Contudo, a primeira opção apresenta-se de difícil concretização, tanto pela aceitação cada vez mais crescente do atual modelo no meio acadêmico quanto pelo insucesso das tentativas feitas até agora para a elaboração de um modelo alternativo. Quanto à redefinição das prioridades do financiamento, trata-se de uma decisão política, que pode apontar tanto na direção da manutenção do círculo vicioso, pela concentração cada vez maior de recursos na área de excelência, quanto na direção do seu rompimento, pela abertura de espaços para a implantação de ações afirmativas que evitem a exclusão.

Resultados da avaliação da área de educação e reações dos programas

A representação da área de educação havia trabalhado, durante todo o triênio, no sentido de possibilitar a recuperação dos programas que haviam sido descredenciados na avaliação anterior. Tal meta foi atingida. Todos os programas com conceito 1 e 2 receberam conceito 3 ou 4, recuperando, assim, o seu credenciamento. Além disso, consciente dos danos que o descredenciamento havia causado nesses programas e apostando que o rigor na análise das propostas de cursos novos reduziria em muito o risco de descredenciamento no momento da avaliação, a área foi altamente exigente na recomendação de cursos, durante o triênio.¹⁶ Tal determinação teve continuidade no triênio subseqüente.

Após a homologação dos resultados dos recursos pelo CTC, os conceitos da área de educação ficaram assim distribuídos: um programa recebeu conceito 2¹⁷ (1,8%); 17 programas, conceito 3 (30,9%); 17 programas, conceito 4 (30,9%); 17 programas, conceito 5 (30,9%); e três programas, conceito 6 (5,5%). A média da área, que havia sido 3,48 em 1998, subiu para 4,07 em 2001, ficando um pouco acima da média nacional.

De modo geral, os resultados do trabalho realizado pela comissão de avaliação da área de educação foram bem recebidos pelos programas da área. O Fórum de Coordenadores encaminhou ao representante da área documento¹⁸ no qual afirma:

Os coordenadores reconhecem o trabalho de alta competência técnica e de sabedoria política que a Representação da Área junto à CAPES e sua Comissão de Avaliação realizaram, recuperando os laços de integração e interação com a comunidade acadêmica da pós-graduação em educação. Foram reconhecidas, especialmente, a dedicação, o esforço e o senso de eqüidade com os quais a Representação e a Comissão se portaram com relação à totalidade dos Programas, demonstrando interesse pelo desenvolvimento de todos, de modo especial nas visitas que foram promovidas, o que repercutiu na evolução do perfil da área, tão bem demonstrado nos novos conceitos atingidos, com a precisa aplicação dos critérios avaliativos.

Houve também algumas reações contrárias, especialmente dos Programas da Universidade Federal do Rio de Janeiro (UFRJ), da Universidade Federal de Minas Gerais (UFMG) e da USP.

A diretora da Faculdade de Educação da UFRJ solicitou à Diretoria de Avaliação da CAPES, em setembro de 2001, a anulação do processo de avaliação do Programa de Pós-Graduação em Educação da instituição e a instauração de processo disciplinar contra o representante da área, acusado por ela de "ignorar o impedimento pessoal, como reza a lei e a ética", "violar os deveres da imparcialidade", "violar os deveres da honestidade", "conceber a realização de um plano eticamente reprovável" e "conduta inescrupulosa".¹⁹ Ao mesmo tempo, o coordenador do programa da UFRJ apresentou à CAPES recurso contra a "avaliação tendenciosa" do programa. O Programa de Pós-Graduação em Educação da UFMG, por sua vez, considerou que "todas as decisões tomadas no Fórum de Coordenadores foram desrespeitadas" na avaliação, afirmando:

[...] a avaliação feita pelo comitê deixou a área de Educação muito igual, muito homogênea. Não produziu diferenciações internas. Isto nos parece péssimo para a área. De certa forma o comitê viabilizou o modelo homogeneizador da CAPES que não distingue cursos novos de cursos consolidados.²⁰

Quanto ao Programa de Pós-Graduação em Educação da USP, pleiteou em seu recurso não o retorno ao conceito 6 que lhe fora atribuído pela comissão de avaliação da área, mas a elevação de seu conceito para 7. A comissão de avaliação dos recursos não atendeu a essa solicitação, mantendo o conceito 6 que lhe fora atribuído, conceito este mantido pelo CTC na ocasião de homologação dos recursos. Ante o fato, o presidente da Comissão de Pós-Graduação da Faculdade de Educação da USP encaminhou, em 7 de novembro de 2001, documento ao já então ex-representante da área, com cópia para a presidência da CAPES, no qual imputa a não-recomendação do conceito 7 para o Programa de Pós-Graduação em Educação da USP a uma suposta decisão da comissão "de não atribuir 7,0 a nenhum programa, para evitar 'problemas políticos internos à área'", e solicita esclarecimentos "quanto às razões apresentadas na reunião do CTC, de 25 de outubro, quanto à: a) atribuição do conceito 6,0, inicialmente, a apenas um Programa; b) decisão de não acatar nossa solicitação da nota 7,0 para nosso Curso particularmente".

O documento, portanto, acusava a comissão de educação de ter avaliado o programa por critérios políticos, e não acadêmicos. Na medida em que uma cópia fora encaminhada pelo presidente da Comissão de Pós-Graduação da Faculdade de Educação da USP ao presidente da CAPES, o ex-representante da área, por respeito à comissão que ele havia coordenado, sentiu-se na obrigação moral de respondê-lo. Nesta resposta, contida em documento encaminhado ao presidente da Comissão de Pós-Graduação da Faculdade de Educação da USP em 22 de novembro de 2001, reafirma-se o verdadeiro motivo da não-atribuição do conceito 7 ao programa por ele coordenado:

Em primeiro lugar, quero enfatizar que, ao afirmar que a manutenção do conceito 6 ao Programa de Pós-graduação em Educação da USP, por ocasião da análise dos recursos pela Comissão de área, estava relacionada a uma possível "decisão da Comissão de não atribuir o conceito 7,0 a nenhum Programa, para evitar problemas políticos internos à área", V.S. está ignorando tudo que foi reafirmado, diversas vezes, na Reunião de Coordenadores, em Caxambu. Embora tenha sido dito que a Comissão havia considerado o possível risco de atribuir o conceito 7,0 a apenas um Programa, foi enfaticamente afirmado, inclusive em resposta a uma questão colocada por V.S., que a Comissão teria assumido correr este risco se tivesse considerado, no momento da avaliação, que algum Programa inequivocamente merecia este conceito. Tal não foi o caso em relação a qualquer Programa da área, inclusive ao Programa da USP. Assim, a atribuição do conceito 6,0 ao Programa coordenado por V.S., decidida na primeira etapa da avaliação e mantida por ocasião da análise dos recursos, não se deveu a qualquer decisão prévia da Comissão, por razões externas ao Programa, e sim à avaliação do próprio Programa, com base nas informações por ele apresentadas. (Arquivo pessoal do autor)

O processo que acabamos de analisar conduz a duas conclusões preliminares:

a) A posição de vários membros do CTC, com relação aos programas de pós-graduação da área de educação, aparecia, naquele momento, condicionada por duas constatações: a presença pouco expressiva das faculdades de educação nas suas universidades, especialmente no que se referia às licenciaturas, e a situação lamentável em que se encontrava a educação brasileira. Se a primeira constatação coloca reais questionamentos para a área, a relação entre a segunda e a qualidade dos programas de pós-graduação em educação deve ser radicalmente rejeitada. Em vários momentos do debate sobre os conceitos atribuídos pela comissão aos programas da área, membros do CTC colocaram a questão: com tantos programas "bons" na área de educação, porque a educação brasileira vai tão mal?²¹ Esse questionamento, baseado no senso comum, ignorando (ou fingindo ignorar) todos os condicionantes políticos, econômicos e sociais, definitivos na discussão da qualidade de atendimento na área das políticas sociais, baseava-se no falso argumento: se os programas fossem bons, a educação brasileira iria bem. Ora, a educação brasileira vai mal; logo, os programas da área são ruins. Foi com base nessa convicção errônea, verbalizada em alguns momentos do debate relativo aos conceitos dos programas da área de educação, que alguns membros do CTC se posicionaram com relação à área. Em nenhum momento do debate se fez a relação - aliás, inexistente - entre qualidade dos programas da área da saúde e baixa qualidade do sistema de saúde no Brasil, ou qualidade dos programas da área de odontologia e saúde bucal da população brasileira, bem como qualidade dos programas da área de engenharia e péssimas condições de transporte, moradia e energia existentes no país (mesmo tendo a avaliação ocorrido em plena época do "apagão"). Aliás, mesmo que houvesse uma relação direta entre qualidade dos programas de pós-graduação da área de educação e qualidade da educação brasileira (o que não é, evidentemente, o caso), os programas da área deveriam ser avaliados com base em um indicador - alcance social dos programas - que não foi contemplado, em nenhum momento, no modelo de avaliação utilizado pela CAPES.

b) Mesmo que as diferentes comissões de área, ao avaliarem os seus programas, levem em consideração as especificidades da área (como é de se esperar), o CTC, ao analisar o trabalho das comissões, desconhecendo tais especificidades, homogeneizou sua análise, com base nos critérios das áreas hegemônicas.²² Trata-se de um problema de difícil solução, mas que deve ser enfrentado pela CAPES, com urgência, pois a utilização de critérios que descaracterizam as áreas em suas especificidades pode colocar em risco - o que certamente aconteceu em 2001 - as conquistas de representatividade por área e de avaliação pelos pares, que representam um patrimônio, não do CTC ou da CAPES, mas da comunidade acadêmica brasileira.

Segundo triênio de avaliação continuada: grande área de ciências humanas

As experiências do triênio anterior, principalmente no que se refere à atribuição dos conceitos 6 e 7, foram definitivas para orientar o comportamento dos representantes da GACH. Na primeira reunião, no próprio dia da efetivação dos novos representantes pela CAPES, em Brasília,²³ em 2 de novembro de 2001, mesmo com pouco ou nenhum conhecimento anterior entre eles, evidenciou-se a clara percepção de todos quanto à necessidade de uma articulação como grupo e de uma conseqüente ação como grupo. Indicaram-se, por consenso, os representantes da grande área no CTC, e os nomes de Miriam Pillar Grossi (antropologia/Universidade Federal de Santa Catarina - UFSC) e Maurício de Almeida Abreu (geografia/UFRJ) foram escolhidos como titulares, e o de Paulo Rogério Meira Menandro (psicologia/Universidade Federal do Espírito Santo - UFES) como suplente.²⁴ Em vista dos acontecimentos precedentes, a escolha do representante da geografia, área bastante atingida na avaliação anterior, foi imperativa.

Ao longo do triênio essa percepção consolidou-se na GACH e, pode-se afirmar, permitiu um pacto de confiança entre os representantes que trouxe desdobramentos altamente positivos. Os representantes da GACH junto ao CTC foram incansáveis no cumprimento desse propósito e adotaram a sistemática de manter informados todos os representantes das áreas acerca dos resultados das reuniões no CTC em seus interesses específicos. Foram incansáveis, também, na organização das reuniões gerais do grupo e na articulação com os representantes de ciências sociais aplicadas, letras e lingüística e música e artes, visando à construção de critérios comuns.

Em 20 de dezembro de 2001 iniciou-se o calendário de reuniões dos representantes da GACH, a maior parte delas realizadas em Brasília, com a finalidade de estabelecer os critérios para avaliar os cursos 6 e 7, vilões de parte da grande área na avaliação anterior. Além dos novos, foram convidados os dois ex-representantes da GACH no CTC, José Silvério Baía Horta (educação) e Maria Arminda do Nascimento Arruda (sociologia),²⁵ que não pôde comparecer naquele momento. Após o relato de Baía Horta dos acontecimentos no CTC, examinaram-se prioritariamente três aspectos: a reafirmação da importância de estabelecer alianças com outras áreas para a defesa de critérios comuns, a manutenção da centralidade do NRD6 na avaliação continuada, e os parâmetros da GACH para a classificação dos periódicos Qualis, particularmente os periódicos internacionais.²⁶

Discutiu-se, ademais, uma particularidade da avaliação que, dada sua relevância e repercussão na definição dos cursos de excelência, deveria ser cuidadosamente informada às áreas: o fato de que na avaliação CAPES a escala de 1 a 7 não é ordinal. Melhor dizendo, ela é ordinal de 1 a 5, quando a avaliação recorre a uma multiplicidade de critérios para a atribuição dos conceitos. No caso do 6 e do 7, porém, ocorre uma significativa mudança. Não apenas os critérios se reduzem drasticamente em número - o que não deve ocorrer em avaliações institucionais, sob pena de enviesar o processo -, mas também redirecionam seu foco: não mais avaliam os indicadores do programa como um todo (teses e dissertações; atividades de pesquisa; formação; grade curricular; atividades docentes; publicações nacionais etc.), mas os dos grupos de pesquisa que atuam em seu interior. Dito de outro modo, foram as participações - individual ou em grupo - dos docentes em publicações, eventos e outras atividades internacionais que contaram para a atribuição desses dois conceitos, ou seja, a inserção internacional dos docentes. Percebia-se, então, a necessidade de alertar as áreas do alcance desse fato: o de que subsumir o contínuo no descontínuo, como havia feito a CAPES, mudava a natureza da avaliação da qualidade dos programas. Assim, os programas avaliados com 6 e 7 eram apenas diferentes, e não necessariamente melhores que os demais. Esse quadro inspirou todas as discussões subseqüentes da GACH até a avaliação final do triênio 2001-2004.

A reunião seguinte ocorreu em 21 de março de 2002. Os representantes no CTC, Miriam Pillar Grossi e Maurício de Almeida Abreu, relataram o início de seus contatos com os representantes das áreas de ciências sociais aplicadas, letras e lingüística e música e artes - a chamada "super área" - e as discussões acerca dos critérios de excelência a serem elaborados. Percebia-se, desde então, que não seria tarefa fácil, dada a grande diversidade entre as grandes áreas e entre as áreas particulares em seu interior.

A outra reunião realizou-se também em Brasília, em 26 de junho de 2002. Nela, avançou-se a discussão iniciada em março e a GACH estabeleceu alguns diferenciais importantes em relação às áreas hegemônicas no CTC. Em primeiro lugar, reafirmou posições anteriores de seus representantes de que os índices de impacto e/ou de citação não seriam critérios determinantes para sua avaliação de programas de excelência. Em segundo, indicou como referência maior de seus critérios o padrão internacional de programas de pós-graduação, e não apenas sua inserção internacional. Era preciso, então, delinear urgentemente o que se compreendia por padrão internacional para posteriores discussões no CTC, o que não ocorreria sem contradições. Foram idas e vindas que marcaram todo o processo, e a primeira tentativa, como se poderá ver a seguir, não se afastou muito da perspectiva de inserção internacional.

Naquele momento, a GACH assentou o perfil de excelência de seus programas em um tripé constituído pela formação, corpo docente e pesquisa e produção científica com inserção internacional. Para cada uma dessas bases, definiram-se critérios, ainda provisórios, que seriam amadurecidos com o decorrer do tempo, mas que serviram de orientação no acompanhamento dos programas da GACH no seguimento avaliativo.

Compreendeu-se por formação de excelência a desenvolvida em pós-graduação com qualidade compatível com as dos melhores programas internacionais de cada área, isto é, a que apresentasse bibliografias expressando o estado atual da arte, um corpo discente com participação em congressos e seminários no exterior e, finalmente, um fluxo expressivo e constante de estágios-sanduíche no exterior.

O corpo docente, por sua vez, deveria arrolar orientadores com expressiva produção intelectual de nível internacional; apresentar fluxo constante de estágios de formação pós-doutoral; incluir presença regular de professores visitantes estrangeiros; participar em cursos e colaborações em atividades de ensino em instituições de reconhecido nível de excelência no exterior; participar em comitês editoriais e como parecerista de periódicos internacionais; e assumir posições de destaque em instituições e associações científicas de prestígio na área.

A pesquisa e produção científica com inserção internacional, por seu lado, previa a publicação de resultados de pesquisa original, na forma de livros, capítulos de livros e/ou coletâneas; a publicação de artigos em periódicos internacionais de reconhecida importância; intercâmbios de pesquisa e convênios ativos firmados com instituições estrangeiras de reconhecido prestígio científico, em regime de reciprocidade e com divulgação no exterior; programas institucionais de cooperação internacional exigindo missões bilaterais de trabalho; participação qualificada (conferências, mesas-redondas, organização de grupos de trabalho) em eventos científicos internacionais de grande relevância para a área; promoção de eventos científicos internacionais; a obtenção de prêmios internacionais; e a prática de consultorias a organismos internacionais.

Interessante notar que a diretoria da CAPES e o próprio CTC não estiveram indiferentes a esse processo. Bons exemplos foram a presença do então presidente da CAPES, Abílio Afonso Baeta Neves, em reunião da GACH de 21 de março de 2002, para discutir com os representantes a especificidade das humanidades, e o ofício da Diretoria de Acompanhamento e Avaliação - DAV/CAPES nº 67/2002, de 6 de agosto de 2002, do diretor de avaliação, Adalberto Vasquez, aos representantes de áreas, propondo a explicitação e discussão de critérios para atribuição de notas 6 e 7, entre eles, e em clara alusão ao padrão internacional, a escolha de "um programa como exemplo de situação onde os critérios conduziriam aos graus 6 ou 7".

Logo a seguir, em 22 de agosto do mesmo ano, realizou-se novo encontro da GACH em Brasília, dessa vez com a presença da ex-representante no CTC, Maria Arminda do Nascimento Arruda, e também de Maria Hermínia Tavares, membro do Conselho Superior da CAPES.²⁷ A presença de ambas objetivou informar os representantes de área sobre a situação da GACH nesses dois colegiados em momentos diversos. No caso da primeira, seu relato sobre os acontecimentos da reunião do CTC que definiu os conceitos do triênio anterior contradisse, em parte, o apresentado por Baía Horta na reunião de 20 de dezembro de 2001, o que, em certa medida, tencionou o clima entre os presentes. Superado o mal-estar, foi possível prosseguir a reunião com troca de idéias acerca de critérios adotados pelo CTC, sobretudo os referentes às dificuldades para a homologação dos conceitos 6 e 7. Após se retirarem as duas professoras, os representantes da GACH retomaram aspectos discutidos antes e acordaram acerca dos contatos com outras áreas, especialmente as de ciências sociais aplicadas, letras e lingüística e música e artes, uma iniciativa que continuaria com a responsabilidade dos representantes no CTC.

No ano seguinte, já na gestão presidencial de Luiz Inácio Lula da Silva e no processo de transição das diretorias da CAPES,²⁸ dois acontecimentos interagiram e influenciaram o delineamento dos critérios para cursos de excelência da GACH. O primeiro - desdobramento dos debates que se vinham sucedendo - foi uma reunião, em Florianópolis, em abril de 2003, do grupo que se autodenominou grande área de humanidades, abrangendo as grandes áreas anteriormente referidas.²⁹ Procurou-se, naquele momento, mesmo reconhecendo a profunda complexidade da tarefa, definir o perfil de critérios apropriados a essas áreas, particularmente no que dizia respeito ao padrão internacional. O segundo foi a 75ª Reunião do CTC, em 29 e 30 de julho de 2003, na qual se discutiram e aprovaram algumas conceituações gerais e indicadores de inserção internacional e de padrão internacional. Ambas as reuniões produziram documentos altamente relevantes para a avaliação da CAPES.

No primeiro caso, o Relatório da Reunião da Grande Área de Humanidades (áreas de humanas, ciências sociais aplicadas, letras e lingüística, e música e artes) salienta o padrão internacional para o estabelecimento de critérios de comparação entre o programa em avaliação e os melhores programas estrangeiros das mesmas áreas. Esse padrão traria a vantagem dupla de, por um lado, acolher e respeitar a diversidade entre as disciplinas científicas e, por outro de eliminar a possibilidade de qualquer mecanismo de autocondescendência ou espírito de corpo, ameaças internas constantes a qualquer área de conhecimento. No documento defende-se a idéia de que o nível de excelência dos programas das humanidades é o patamar do melhor desempenho no conjunto dos programas congêneres em qualquer parte do mundo, e não o patamar estabelecido pelas disciplinas laboratoriais. Embora no relatório reconheça-se que o nível de inserção internacional de um programa de pós-graduação stricto sensu é critério indispensável para o julgamento de sua consolidação de excelência, afirma-se que

[...] o montante de artigos publicados em periódicos estrangeiros, considerado o impacto de tais veículos de publicação em termos do volume de citações que conseguem estimular, é, isoladamente, insuficiente como evidência de que um Programa de Pós-Graduação funcione com nível de qualidade compatível com aquela observada nos melhores Programas da área em questão, em qualquer instituição, e em qualquer país que se considere. (Brasil, 2003a)

No relatório assinala-se, ainda, o lugar central que os livros devem ocupar na avaliação, inclusive aqueles publicados em língua portuguesa. Com isso em vista, no que nos parece ser um dos mais inovadores, interessantes e desafiadores momentos desse processo, define-se no documento o que é a "publicação de nível A": além de artigos originais publicados em periódicos classificados como Internacional A e Nacional A no Qualis/CAPES, os livros ou coletâneas que sejam resultados de "pesquisa original, contribuição teórica original, inovação tecnológica, ou proposição metodológica original, de autoria individual ou em co-autoria, que seja qualificado pela Comissão, ou por consultores ad hoc convidados, como referência fundamental para a área" (idem, 2003a).

Pela primeira vez, as humanidades estabeleciam publicamente que livros e capítulos de livros constituíam a forma mais apropriada de expressão e divulgação de seus produtos científicos. Inaugurava-se, ali, um campo novo de possibilidades na avaliação, que contemplava antiga reivindicação dessas áreas, sempre desqualificadas pelas áreas hegemônicas no CTC. Em 11 de maio de 2004, as humanidades reúnem-se pela última vez na CAPES, e reafirmam os critérios estabelecidos em Florianópolis. Naquela ocasião, não resistindo às pressões da Diretoria de Avaliação da CAPES e do próprio CTC, as humanidades se desmembram como grupo, retornando ao seu estatuto anterior de grandes áreas particulares. A GACH, por decisão do conjunto de seus representantes, optou por manter os principais indicadores das propostas do relatório, ajustando-as às imposições da avaliação continuada.

O segundo documento de 2003, do próprio CTC, Inserção internacional e padrão internacional, elaborado pelo relator Celso Giannetti Loureiro Chaves, representante de música e artes, também pontuou aspectos inovadores, como se verá a seguir. Em relação às conceituações gerais, salientou os seguintes aspectos:

I - os temas inserção internacional e padrão internacional pertencem ao contexto da avaliação e são elementos indicativos de um perfil de excelência que poderá qualificar um Programa ao conceito 6 ou 7;

II - a inserção internacional é entendida tanto nos seus aspectos de inserção stricto sensu quanto nos seus aspectos de comparabilidade, ao estabelecer indicadores de comparação dos Programas, dentro de cada área, com os Programas estrangeiros de excelência da área de avaliação específica (padrão internacional);

III - a inserção internacional apresenta: (a) aspectos que são compartilhados por todas as áreas de avaliação e (b) aspectos que estabelecem indicadores de comparabilidade entre cada área e seus respectivos Programas e sua área congênere no exterior e seus respectivos Programas;

IV - a inserção internacional e o padrão internacional não estão desligados das evidências de impacto nacional das várias atividades do Programa. (Brasil, 2003b)

Definiram-se também, nesse documento, quatro tipos de indicadores de inserção e de padrão internacionais:

a) Indicadores relativos à produção de circulação internacional (publicações e produção artística de circulação internacional; distribuição da produção intelectual/científica de forma equilibrada entre os docentes, com qualidade equivalente à de programas de destaque internacional sediados no exterior; publicação qualificada de livros e capítulos de livros; evidência de impacto da produção científica, cultural, artística e tecnológica na área de conhecimento do programa, como número de citações, impacto nacional, impacto em políticas públicas e outros indicadores específicos da área);

b) Indicadores relativos a participações internacionais (participações internacionais - comitês e diretorias de associações, sociedades científicas e programas internacionais; participação qualificada em evento científico internacional; colaborações internacionais importantes, tais como docência, consultoria internacional e editoria de periódicos qualificados de circulação internacional; participação como convidado em eventos internacionais; participação em intercâmbios e convênios de cooperação internacional ativos e que se caracterizem por reciprocidade entre as instituições brasileiras e instituições estrangeiras de reconhecimento internacional da área; captação de recursos nacionais e internacionais em situação de competitividade em projetos de pesquisa);

c) Indicadores discentes (participação de alunos estrangeiros no programa; inserção acadêmica e profissional dos egressos do programa e participação discente nas publicações do programa; e,

d) Indicadores diversos (número expressivo de pesquisadores CNPq - nível 1, premiações nacionais e internacionais qualificadas e realização de eventos acadêmico-científicos internacionais).

Note-se que no documento aprovado pelo CTC se reconhecia a antiga reivindicação da GACH de que a "inserção internacional e o padrão internacional não estão desligados das evidências de impacto nacional das várias atividades do Programa", inclusive o impacto em políticas públicas e outros indicadores específicos da área. Se no relatório, entre outros aspectos, demarcam-se livros e capítulos de livro como veículos prioritários da produção acadêmica das humanidades, no documento do CTC propõem-se critérios de excelência que, entre outros, incluem evidências de impacto nacional. Foi o que a GACH procurou fazer nas reuniões subseqüentes, restritas agora aos seus representantes de área.

Em 2004 a CAPES vive o clima nervoso da avaliação trienal. Havia pressões de todos os lados, sobretudo da diretoria de Avaliação. Renato Janine Ribeiro, originário da área de filosofia e recém-empossado nessa diretoria, trazia para a agência o reconhecimento da importância dos livros e capítulos de livros como veículos prioritários da produção das áreas humanas e sociais.³⁰ O novo diretor demandava, também, que se elaborasse um Qualis/livros a ser enviado ao CTC, demanda que acabou por não ser atendida, dada a enorme dificuldade de sua realização. Por seu lado, as várias grandes áreas trabalhavam em ritmo intenso na definição de seus critérios básicos, que deveriam ser especificados e parametrizados de acordo com o perfil de cada área particular. Essas informações seriam de extrema importância para a fase de homologação dos resultados pelo CTC.

Nesse contexto, a GACH reúne-se em Brasília em 11 de maio de 2004, quando especifica os critérios para a Qualificação de produção bibliográfica e artística de excelência, com padrão internacional, justificadora da indicação dos conceitos 6 e 7. Em 22 e 23 de junho, a grande área define os índices para a avaliação trienal, propondo que os programas recomendados aos conceitos 6 e 7 fossem avaliados segundo um grupo de três indicadores: publicações, inserção internacional coletiva do programa e inserção internacional individual dos docentes do corpo permanente (Brasil, 2003b; 2004c; 2004d). Os três indicadores deveriam ser combinados de tal modo que um programa só pudesse ser recomendado aos conceitos 6 e 7 pela sua combinação segundo procedimentos de operacionalização que cada área deveria especificar no relatório de avaliação. Ademais, o peso do item "publicações" deveria ser, obrigatoriamente, pelo menos duas vezes maior que o peso dos demais itens.

A representante da área de educação convocou uma comissão especialmente indicada para efetivar as recomendações do documento da GACH de acordo com o perfil da área, a qual se reuniu em Brasília nos dias 1 e 2 de julho de 2004. Os resultados foram entregues à ANPEd e ao Fórum de Coordenadores no dia 3 do mesmo mês, como, aliás, em seu tempo, todos os documentos mencionados anteriormente.

Além de o grupo de indicadores - a serem combinados de tal modo que um programa só pudesse ser considerado de inserção e padrão internacionais se alcançasse pontuação no conjunto dos três - ter ampliado o escopo da avaliação dos cursos de excelência, a maior inovação e conquista da GACH refere-se às publicações, que passaram a incluir: artigo em periódico internacional (Qualis CAPES), capítulo de livro estrangeiro, livros integrais de nível A - a serem classificados segundo os critérios de avaliação estabelecidos por cada área³¹ -, livros integrais publicados no estrangeiro, trabalhos completos em anais de evento internacional e organização de coletânea no exterior. Assegurou-se, por conseguinte, que entre os critérios para programas 6 e 7, livros e capítulos de livro fossem computados como livros integrais de nível A, publicados em português e por editoras brasileiras.

Pode-se afirmar que os esforços da GACH, e especificamente da área de educação, foram bem-sucedidos. Com poucas exceções, suas áreas não encontraram obstáculos em ter seus cursos de excelência recomendados pelo CTC, como foi o caso da educação, que teve seus quatro programas com conceito 6 aprovados sem qualquer reparo. Diga-se, de passagem, que os resultados da avaliação da área pela comissão de educação, bem como os critérios por ela utilizados, também não encontraram empecilhos para sua aprovação, na primeira instância ou na ocasião dos recursos.

Palavras finais

Objetivou-se, neste artigo, relatar os principais acontecimentos que marcaram a avaliação da CAPES dos programas da área de educação nos triênios 1998-2000 e 2001-2003. Temos a esperança de que este relato esclareça os programas de pós-graduação da área acerca do processo avaliativo e lhes permita um posicionamento mais crítico e consciente em relação a ele.

Apenas para concluir, vale lembrar que um critério tão caro à área de educação, o do impacto social dos programas, não foi contemplado nos critérios de avaliação da CAPES. Talvez o seja de ora em diante, perante o que se apresenta no V Plano Nacional de Pós-Graduação (Brasil, 2004a).

Mas há de se convir, no entanto, que a correlação de forças no CTC não é favorável a esse direcionamento. Não obstante os esforços desenvolvidos no último triênio, e algumas importantes vitórias, ali ainda impera a compreensão de ciência que, nos últimos anos, tem determinado as regras do jogo, as peças com que se deve jogar e o paradigma de ciência a ser alcançado. Um modelo que até admite a "diversidade, mas, em sua monopólica apreensão, homogeneíza o desigual" (Moraes, 2002, p. 209).

KUENZER, A. Z., MORAES, M. C. M., (2005). Temas e tramas da pós-graduação em educação. Curitiba: PPGE/UFPR; Florianópolis: PPGE/UFSC (no prelo).

Recebido em maio de 2005

Aprovado em junho de 2005

JOSÉ SILVÉRIO BAÍA HORTA, doutor em educação pela Université Paris V e professor titular aposentado da Universidade Federal do Rio de Janeiro (UFRJ), é atualmente professor visitante do Programa de Pós-graduação em Educação da Universidade Federal do Amazonas (UFAM). Publicou: Liberalismo, tecnocracia e planejamento educacional no Brasil (São Paulo: Cortez/Autores Associados, 1982); O hino, o sermão e a ordem do dia: regime autoritário e a educação no Brasil - 1930/1945 (Rio de Janeiro: Editora da UFRJ, 1994); Direito à educação e obrigatoriedade escolar (Cadernos de Pesquisa, nº 104, jul. 1998, p. 5-34). Área de atuação: história da educação e política educacional. E-mail: [e-mail]

MARIA CÉLIA MARCONDES DE MORAES, doutora em ciências humanas (educação) pela Pontifícia Universidade Católica do Rio de Janeiro (PUC-Rio), é professora da Universidade Federal de Santa Catarina (UFSC), atuando no Programa de Pós-Graduação em Educação. Publicou: Reformas de ensino, modernização administrada: a experiência de Francisco Campos, anos vinte e trinta (Florianópolis: NUP/Editora da UFSC, 2000); com EVANGELISTA, O., SHIROMA, E. O. Política educacional (Rio de Janeiro: DP&A, 2004, 3ª ed.); e organizou Iluminismo às avessas: produção de conhecimento e políticas de formação docente (Rio de Janeiro: DP&A, 2003). Área de atuação: fundamentos da educação; produção de conhecimento e pesquisa na pós-graduação. E-mail: [e-mail]

Referências bibliográficas

• ANDRÉ, M., Gatti, A. B., Fávero, O., CAndau, V. M. F., (1999). A avaliação da pós-graduação em debate São Paulo: ANPEd.
• ANPEd Associação Nacional de Pesquisa e Pós-Graduação em Educação, (2004). Documento da área de educação. Disponível em: <http://www.anped.org.br/grandearea/doc_1triênio2001_2003.doc>. Acesso em: 10 de maio de 2005.
• BRASIL, (2001). Reunião do Conselho Técnico-Científico, 61., ago. 2001, Brasília, Ata Brasília: CAPES.
• ______, (2002). Ofício nş 067/2002/DAV/CAPES Brasília: Ministério da Educação/CAPES.
• ______, (2003a). Relatório da reunião da grande área de humanidades (áreas de humanas, ciências sociais aplicadas, letras e lingüística, e música/artes). Florianópolis / Brasília: CAPES, abr.
• ______, (2003b). Inserção internacional e padrão internacional Brasília: CAPES.
• ______, (2004a). V Plano Nacional de Pós-Graduação Disponível em: <http://www.capes.gov.br/capes/portal/conteudo/PNPG_2005_2010.doc>. Acesso em: 3 de maio de 2005.
• ______, (2004b). Portaria nş 068, de 03 de agosto. Brasília: CAPES.
• ______, (2004c). Documento da área de educação. Disponível em: <http://www.capes.gov.br/capes/portal/conteudo/2003_038_Doc_Area.pdf>. Acesso em: 8 de maio de 2005.
• ______, (2004d). Documento da área de geografia. Disponível em: <http://www.capes.gov.br/capes/portal/conteudo/2003_036_Doc_Area.pdf>. Acesso em: 8 de maio de 2005.
• ______, (2004e). Documento da área de história. Disponível em: <http://www.capes.gov.br/capes/portal/conteudo/2003_040_Doc_Area.pdf>. Acesso em: 8 de maio de 2005.
• ______, (2004f). Ofício nş 024/2004/DAV/CAPES Brasília: CAPES.
• ______, (s.d.). Conselhos Disponível em: <http://www.capes.gov.br/capes/portal/conteudo/10/Conselhos.htm>. Acesso em: 8 de maio de 2005.
• HORTA, J. S. B., (2002). Prefácio. In: BIANCHETTI, L., MACHADO, A. M. N. M., (orgs.). A bússola do escrever: desafios e estratégias na orientação de teses e dissertações. São Paulo: Cortez; Florianópolis: Editora da UFSC.
• MORAES, M. C. M., (1999). Paradigmas e adesões: temas para pensar a teoria e a prática em educação. Revista Perspectiva, Florianópolis, NUP/CED/UFSC, ano 17, nş 32, p.51-68.
• MORAES, M. C. M., (2002). Avaliação na pós-graduação brasileira: novos paradigmas, antigas controvérsias. In: BIANCHETTI, L., MACHADO, A. M. N. M., (orgs.). A bússola do escrever: desafios e estratégias na orientação de teses e dissertações. São Paulo: Cortez; Florianópolis: Editora da UFSC, p. 187-214.
• MOREIRA, C. O. F., HORTALE, V. A., HARTZ, Z. A., (2004). Avaliação da pós-Graduação: buscando consenso. Revista Brasileira de Pós-graduação, v. 1, nş 1, p. 26-40.

1

O descredenciamento de vários cursos de mestrado da área de educação mobilizou os programas da área, bem como a diretoria, o Fórum de Coordenadores dos Programas de Pós-Graduação em Educação e os participantes da 21ª Reunião Anual da ANPEd, em 1998. O processo culminou com o pedido de demissão da então representante de área, Mirian Jorge Warde. Por sua vez, a ANPEd elaborou um documento discutindo o modelo de avaliação e propondo alternativas (André

et al., 1999). Ver também Moraes (1999, 2002).

2

O CTC da CAPES é formado por dois representantes de cada uma das grandes áreas, indicados pelos representantes de área, além do presidente e dos três diretores da CAPES, de um representante do Fórum Nacional dos Pró-Reitores e de um representante da Associação Nacional dos Pós-Graduandos, com competência para: assistir à diretoria na elaboração das políticas e diretrizes específicas de atuação da CAPES; colaborar na elaboração da proposta do Plano Nacional de Pós-Graduação; opinar sobre a programação anual da CAPES; opinar sobre os critérios e procedimentos para a distribuição de bolsas e auxílios institucionais e individuais; opinar sobre acordos de cooperação entre a CAPES e instituições nacionais, estrangeiras ou internacionais; propor critérios e procedimentos para o acompanhamento e a avaliação de pós-graduação e dos programas executados pela CAPES; propor estudos e programas para o aprimoramento das atividades da CAPES; opinar sobre assuntos que lhe sejam submetidos pelo presidente da CAPES; e eleger seu representante no Conselho Superior (Brasil, s.d.).

3

No modelo de avaliação introduzido em 1998, a CAPES indica que todos os programas devem ser avaliados em uma escala de 1 a 7. Em um primeiro momento, todos os programas deveriam ser incluídos em um dos cinco primeiros níveis da escala. O nível 5 seria a qualificação de excelência nacional e nível máximo a ser alcançado por um programa que possuísse apenas curso de mestrado. Uma análise posterior dos programas 5 - portanto, somente aqueles organizados em cursos de mestrado e doutorado - a partir de critérios referenciados em padrões internacionais de excelência indicaria aqueles com condições de serem alçados aos níveis 6 ou 7.

4

A subcomissão foi composta por Jorge Almeida Guimarães (ciências biológicas II), Irineu Tadeu Velasco (medicina I) e Maria Arminda do Nascimento Arruda (sociologia).

5

Na semana que se seguiu à reunião que havia homologado os conceitos, os membros do CTC receberam o seguinte

e-mail: "Aos Senhores membros do Conselho Técnico Científico da CAPES, Tendo em vista o espírito que presidiu todo o trabalho de homologação, por este Conselho, e em nome da coerência que todos buscamos para a divulgação desses resultados, chamo a atenção dos Membros do CTC para a alteração da nota do Programa de Pós-graduação em Economia da Fundação Getúlio Vargas/RJ. A alteração de 6 para 5 nos parece descabida, segundo todos os critérios utilizados. O Programa apresenta inserção internacional da produção científica excelente e, na oportunidade, insistiu-se no número pequeno de alunos e de titulados/ano/professores orientadores do Programa, como justificativa para tal alteração. Ocorre que a situação dos cursos da mesma área, com avaliação semelhante, reproduz basicamente o mesmo quadro, exceto, talvez, o Programa da UFRJ. [...] Sugiro, assim, voltar-se ao grau proposto pelas áreas, e gostaria de receber sua manifestação a este respeito, até o final da tarde. Atenciosamente, Abílio Afonso Baeta Neves, Presidente da CAPES". Note-se que a proposta de rebaixamento do conceito do programa em questão havia sido demoradamente discutida na reunião do CTC, antes de ser votada e aprovada. Esse programa havia iniciado o ano de 1998 com 42 alunos no mestrado e 18 no doutorado. No triênio, os dados indicam 29 titulações e 20 abandonos ou desligamentos no mestrado e 4 titulações e 14 abandonos ou desligamentos no doutorado. Os tempos médios de titulação haviam sido, respectivamente, de 43,3 meses no mestrado e 87,7 meses no doutorado. Ignoramos os motivos que teriam levado o presidente da CAPES a vir tão rapidamente em defesa do programa em questão, interferindo, a nosso ver, de forma indevida, na autonomia do CTC. Se havia algum erro de avaliação a corrigir, o caminho normal seria aguardar o momento de apresentação de recursos e sua análise pelas comissões de área e pelo CTC.

6

A argumentação para um possível rebaixamento geral dos conceitos da área de educação era que a comissão de avaliação da área havia "pisado muito forte no acelerador". Essa afirmação estava calcada na comparação dos conceitos atribuídos com os resultados da avaliação do biênio anterior. Continuavam, assim, a repercutir sobre a área os resultados restritivos da avaliação de 1998. Entretanto, as atenções do CTC voltaram-se para o debate em torno do rebaixamento dos conceitos 6 da área, o que ocupou mais tempo desse colegiado do que se esperava, em função da resistência do representante de área, respaldado pela comissão. Os conceitos 2 a 5 ficaram, assim, em segundo plano, sendo finalmente mantidos como originados da comissão de avaliação da área.

7

A recente criação do Programa de Excelência (PROEX), reservado aos programas com conceito 6 e 7, veio, mais uma vez, confirmar isso.

8

Em documento divulgado na ocasião, a Associação Nacional de Pós-Graduação e Pesquisa em Geografia (ANPEGE) afirma: "A ira e a pouca educação de alguns membros do CTC redundou numa prática pouco acadêmica e nada política, com que a nossa Representante de Área foi tratada em sabatina realizada por alguns membros do CTC" (ANPEGE, documento encaminhado ao presidente da CAPES em 10 de outubro de 2001).

9

A Assembléia Geral da ANPEd aprovou, em 7 de outubro de 2001, por ocasião da 24ª Reunião Anual, moção na qual manifesta solidariedade ao representante da área e aos demais membros da comissão de avaliação, atingidos pela decisão do CTC da CAPES.

10

"O Professor José Silvério Baía Horta, Representante da Área de Educação, registrou que o indicador para avaliação da inserção internacional de Programas da grande área de ciências humanas adotado pelo CTC - relação entre produção internacional e produção total do programa - não havia sido definido pela Grande Área" (Brasil, 2001).

11

No momento da análise dos recursos, a comissão de educação contrapôs ao indicador de inserção internacional criado pelo CTC um outro indicador, assim justificado no parecer da comissão de avaliação dos recursos, transcrito na ficha de avaliação do programa: "O Conselho Técnico Científico da CAPES utilizou como indicador de inserção internacional para os Programas da Grande Área de Ciências Humanas o percentual da produção internacional do Programa em relação à produção total, fixando o percentual entre 15% e 18% para o conceito 6 e 25% para o conceito 7. A Área de Educação considera que este indicador, estabelecido de forma absoluta, penaliza injustamente os Programas que apresentaram alta produção nacional, excedendo às exigências da área para a atribuição do conceito Muito Bom para o item 3 do quesito produção intelectual. Assim, a Comissão de Avaliação de Recursos decidiu utilizar como indicador o percentual entre a produção internacional do Programa em relação a uma produção total considerada, pela Área de Educação, suficiente para a atribuição do conceito Muito Bom ao item 3 do quesito produção intelectual, ou seja, duas produções/ano por docente do NRD6 [Núcleo de Referência Docente, nível 6]. Essa fórmula de cálculo foi adotada para tornar equivalentes os Programas na avaliação deste quesito, de modo a não penalizar aqueles que excedem as exigências da área quanto à produção nacional. A ausência de equalização, mediante a aplicação pura e simples de um percentual sobre a produção total, levaria os Programas a produzir no limite de dois produtos/ano por docente do NRD6 como estratégia para atender, ao mesmo tempo, às exigências de produção da Área e ao critério utilizado pelo CTC para avaliação da produção internacional. Desta forma, o resultado seria a retração da área naquilo que é um dos seus pontos fortes: a ampla e significativa produção nacional para atender às demandas por conhecimento teórico-prático em face da especificidade da problemática da educação no Brasil".

12

A comissão de área justificou a sua decisão, exarando um parecer, também transcrito na ficha de avaliação do programa, no qual se explicita, mais uma vez, que "a divulgação internacional da produção intelectual" foi o único indicador de inserção internacional considerado na avaliação do triênio 1998-2000 para atribuição dos conceitos 6 e 7: "O atual processo de avaliação, conforme decisão da CAPES (

Infocapes, vol. 6, nº 2, 1998) consta de duas etapas. Na primeira etapa, os cursos são classificados entre os conceitos 1 e 5. Corresponde este último ao nível de excelência, ou seja: um curso que atinge conceito 'muito bom' em todos os quesitos (corpo docente; atividades de pesquisa; atividades de formação; teses e dissertações e produção intelectual) deve receber, nesta primeira fase, o conceito 5. Na segunda etapa, os cursos que atingiram o nível de excelência passam a ser distinguidos em função da sua inserção internacional. Entre os indicadores de inserção internacional estão incluídos, pelas diversas áreas, convênios, convites para cursos/palestras no exterior, participação em corpo editorial de periódicos e/ou comissões científicas de congressos, recepção de estudantes estrangeiros e trabalhos publicados para circulação internacional. A maioria dos indicadores é comum a todos os programas, em todas as áreas. O indicador que mais se mostra capaz de distinguir os programas é a divulgação internacional da produção intelectual. O CTC decidiu que os programas com conceitos 6 e 7 devem comprovar inserção internacional através da sua produção intelectual em nível internacional. O grau de inserção internacional deve ter alguma homogeneidade entre áreas que utilizam formas semelhantes de divulgação da produção intelectual. Além de se estabelecer um patamar mínimo para a quantidade e qualidade da produção intelectual internacional, considera-se também que esta produção deve estar bem distribuída entre os docentes. Os recursos apresentados à CAPES, após a homologação dos resultados das avaliações 1998-2000, foram analisados com base nestes princípios".

13

Apenas três exemplos: os programas da USP que obtiveram conceito 7 no triênio 1998-2000 apresentaram, para o doutorado, tempo médio de titulação de 62 meses em 1998, 59 meses em 1999 e 59 meses em 2000; e, para o mestrado, 42 meses em 1998, 43 meses em 1999 e 39 meses em 2000, índices muito acima do tempo médio nacional. As grandes áreas de ciências biológicas e de ciências exatas e da terra, que, juntas, somaram 61,2% dos programas com conceito 7 na avaliação de 2001, apresentaram tempo médio de titulação acima do tempo médio nacional em todos os anos, no período 1998-2003. Das 27 áreas que apresentaram média final acima da média nacional na avaliação de 2001, 14 apresentaram tempo médio de titulação de mestrado e 20 apresentaram tempo médio de titulação do doutorado acima do tempo médio nacional, em 2000.

14

Tal tendência parece ter-se acentuado na recente avaliação do triênio 2001-2003. Assim, os programas que obtiveram conceito 7 na atual avaliação apresentaram, em 2003, tempo médio de titulação de 54 meses para o doutorado, índice de evasão de 18% no mestrado e 17% no doutorado - índices bem acima das médias nacionais - e 1,2 titulados por docente do NRD6, índice que fica abaixo da média nacional. Os resultados da avaliação do triênio 2001-2003, bem como os respectivos indicadores, são apresentados nas

Tabelas 8 a 14, anexas.

15

Esse raciocínio é apresentado, na direção contrária, mas com o mesmo efeito argumentativo, por Moreira, Hortale e Hartz (2004, p. 32): "Um cientista, concentrando suas energias basicamente em escrever e publicar textos em revistas indexadas, de que espaço e tempo dispõe para refletir e aprimorar a transmissão do conhecimento pela interação com seus alunos? Que efeito, em longo prazo, tem para a vida universitária considerar o ensino como uma atividade secundária? Como garantir que novos e bons cientistas serão formados, se o núcleo da socialização científica pode estar sendo comprometido?". Deve-se, porém, acrescentar que essa "concentração de energias" na produção de textos não é uma livre opção do cientista, mas é fortemente condicionada pelo modelo de avaliação e pela política de financiamento, voltada cada vez mais para a priorização da "excelência".

16

No triênio 1999-2001 foram analisadas 96 propostas de cursos novos pela área de educação, entre novas propostas, reapresentações e recursos. Dessas, apenas 12 propostas foram recomendadas (12,5%). Os resultados da última avaliação - triênio 2001-2003 - reforçam essa suposição: dos 36 cursos descredenciados na totalidade das áreas, 18 haviam sido recomendados nos últimos cinco anos, aí incluídos todos os das instituições privadas.

17

Medidas tomadas pela própria instituição inviabilizaram o funcionamento do programa, que havia sido recomendado no início do triênio.

18

Carta de Marcos Corrêa da Silva Loureiro, coordenador em exercício do Fórum de Coordenadores de Programas de Pós-Graduação em Educação, datada de 9 de outubro de 2001.

19

Apesar de reiteradas solicitações, o interessado não foi informado, até hoje, a respeito do encaminhamento dado pela CAPES à denúncia formulada pela direção da Faculdade de Educação da UFRJ.

20

A posição do programa da UFMG foi apresentada por ocasião do preenchimento do ColetaCAPES/2001 e pode ser consultada no site da CAPES/Cadernos de Avaliação/2001/UFMG/Educação/Caderno Programa (disponível em <

http://www1.capes.gov.br/estudos/dados/2001/32001010/038

/2001_038_32001010001P7_Programa.pdf

21

Esse questionamento foi retomado recentemente pelos responsáveis pela avaliação na CAPES, por ocasião da avaliação do triênio 2001-2003. Parece-nos sintomático que ele reapareça, mais uma vez, no momento da avaliação.

22

Um exemplo da dificuldade de se buscar critérios aplicáveis a todas as áreas: em certo momento, o representante da área de física, depois de questionar fortemente a grande área de ciências humanas pela não utilização de índices de impacto, citou o caso do pesquisador de um dos programas de sua área que no triênio teve acesso, durante meia hora, ao telescópio Hubble, para mostrar o alto grau de inserção internacional da área. Certamente, para a maioria dos representantes de outras áreas que ali estavam esse fato passaria desapercebido, ou teria recebido pouca valorização, caso tivessem se debruçado na análise dos relatórios do referido programa.

23

Apenas Renato de Andrade Lessa (UFF), representante de ciência política, não esteve presente neste dia.

24

Os representantes das áreas de ciências humanas no período 2001-2003 eram: José Reginaldo Prandi (sociologia/USP), Maria Célia Marcondes de Moraes (educação/UFSC), Maurício de Almeida Abreu (geografia/UFRJ), Maria Stella Martins Bresciani (história/Universidade Estadual de Campinas - UNICAMP), Miriam Pillar Grossi (antropologia/UFSC), Oswaldo Giacóia Jr. (filosofia/UNICAMP), Paulo Rogério Meira Menandro (psicologia/UFES) e Renato de Andrade Lessa (ciência política/Universidade Federal Fluminense - UFF). Esses novos representantes optaram pelo princípio da rotatividade da GACH junto ao CTC, o que afastou - com sua plena concordância - os das áreas de sociologia e educação, que haviam assumido a representação no triênio anterior.

25

Esteve presente também o ex-representante da psicologia, Jairo Eduardo Borges Andrade (Universidade de Brasília - UnB).

26

O

Qualis da área de educação foi elaborado ao longo dos três anos da avaliação e, no caso dos periódicos da área, tomou por base a classificação realizada pela ANPEd. Para mais detalhes acerca dos critérios utilizados (ver Brasil, 2004c).

27

O Conselho Superior da CAPES é composto por quinze membros, entre os quais os presidentes da CAPES, do Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq) e da Financiadora de Estudos e Projetos (FINEP), o secretário de Educação Superior do Ministério da Educação (MEC), o diretor do Departamento de Cooperação Científica, Técnica e Tecnológica (DCT-MRE), membros da comunidade acadêmica. Tem como finalidade: estabelecer prioridades e linhas gerais orientadoras das atividades da entidade, a partir de proposta apresentada pelo presidente da CAPES; apreciar a proposta do Plano Nacional de Pós-Graduação, para em seguida ser encaminhada ao ministro da Educação; apreciar critérios, prioridades e procedimentos para a concessão de bolsas de estudos e auxílios; aprovar o relatório anual das atividades da CAPES e a respectiva execução orçamentária; definir o processo de indicação dos coordenadores das comissões de consultores científicos; apreciar propostas referentes a alterações do estatuto e do regimento interno da CAPES (Brasil, s.d.).

28

Registre-se que foi na reunião do CTC que aprovou o documento

Inserção Internacional e

Padrão Internacional que o primeiro presidente da CAPES do governo Luiz Inácio Lula da Silva, Carlos Roberto Jamil Cury, encaminhou oficialmente seu pedido de demissão do cargo. Logo após, o então ministro da Educação, Cristóvam Buarque, nomeou para o cargo Marcel Bursztyn. No ano seguinte, o ministro da Educação, Tarso Genro, nomeou Jorge Almeida Guimarães para a presidência da agência. Assim, a agência teve três presidentes em um ano, o que não deixou de ter conseqüências para o andamento de suas várias instâncias burocráticas.

29

A reunião foi realizada nos dias 3 e 4 de abril de 2003 no Hotel Quinta da Bica d'Água, em Florianópolis (SC), estando presentes os representantes Antonio Dimas (letras e lingüística), José Reginaldo Prandi (sociologia), Maria Célia Marcondes de Moraes (educação), Maurício de Almeida Abreu (geografia), Maria Stella Martins Bresciani (história), Miriam Pillar Grossi (antropologia), Oswaldo Giacóia Jr. (filosofia), Paulo Rogério Meira Menandro (psicologia), Reynaldo Cavalheiro Marcondes (administração), Renato de Andrade Lessa (ciência política), Vera Bins Eli (arquitetura) Wilson da Silva Gomes (comunicação).

30

Em ofício-circular de nº 24/2004/DAV (Brasil, 2004f), enviado aos representantes de área das humanidades, o recém-empossado diretor de avaliação, Renato Janine Ribeiro, solicita sugestões para a elaboração do

Qualis/livros. Ao longo da semana da avaliação trienal (em agosto de 2004), a área de educação foi instada pelo referido diretor a elaborar uma lista com os cinco livros mais importantes dos vários programas em avaliação. Tal solicitação não pôde ser atendida, não só pela impossibilidade de acesso aos livros naquele momento, mas também porque isso implicaria nomear autores nas fichas, o que viria a contrariar a posição ética importante de não indicar nomes nas fichas de avaliação.

31

No caso da área de educação, seguiu-se a definição estabelecida na reunião de Florianópolis, a de livros que apresentem resultados de "pesquisa original, contribuição teórica original, inovação tecnológica, ou proposição metodológica original, de autoria individual ou em co-autoria, que seja qualificado pela Comissão [...] como referência fundamental para a área". Registre-se que nem todas as áreas de humanas consideraram livros brasileiros.

Datas de Publicação

• Publicação nesta coleção
  01 Fev 2006
• Data do Fascículo
  Dez 2005

Histórico

• Aceito
  Jun 2005
• Recebido
  Maio 2005