Accessibility / Report Error

A autoavaliação na Pós-Graduação (PG) como componente do processo avaliativo CAPES

Self -evaluation of graduate programs as a component of the CAPES1 1 CAPES. The Brazilian Agency for the improvement of higher education personnel. evaluation process

Denise Leite Robert Verhine Lys Maria Vinhaes Dantas Julio Cesar Godoy Bertolin Sobre os autores

Resumos

A sociedade brasileira ainda não possui cultura favorável ao desenvolvimento de autoavaliação. Para superarmos a ideia de avaliação somativa e geradora de rankings com base em indicadores essencialmente quantitativos, faz-se necessário ousar e experimentar processos autônomos, formativos e com ampla participação da comunidade acadêmica em todos os níveis educacionais. Assim, diante do desafio de aperfeiçoamento da Avaliação Capes, especialmente em relação às limitações do emprego de métodos qualitativos em avaliações externas de larga escala em um sistema que adquiriu grande dimensão, a valorização das propostas e práticas de Autoavaliação dos Programas na Ficha de Avaliação da Capes, em todas as áreas do conhecimento, se constitui numa importante oportunidade para uma mudança cultural. O desenvolvimento da autoavaliação nos PGs induzirá um processo de amadurecimento de pesquisadores e discentes no sentido de corresponsabilização, colaboração e engajamento na melhoria do stricto sensu, da qualidade da formação de pesquisadores brasileiros e, principalmente, da prática democrática na pós-graduação brasileira.

Palavras-chave:
Avaliação Capes; Autoavaliação; Programas de Pós-Graduação


Brazilian Society still does not possess a culture that is favorable for the development of self-evaluation. To overcome the idea of somative evaluation and the creation of rankings based on indicators that are essentially quantitative, it is necessary to experiment with processes that are autonomous, formative, and participatory, involving the academic community on all educational levels. Thus, in light of the challenge of improving the Capes evaluation system, especially in relation to the limitations regarding the use of qualitative methods in the context of large-scale, external assessments conducted nationally, the value now given to the proposals and practices of the self-evaluation of graduate programs as a component of Capes’ evaluation model represents an important opportunity to promote cultural change. The development of the self-evaluation of graduate programs will induce greater maturity on the part of researchers and students with respect to co-responsibility, collaboration, and engagement in efforts to improve graduate study, thereby contributing not only to the quality of researcher preparation, but also to the practice of democracy within graduate-level programs.

Keywords:
Capes evaluation; Self-evaluation; Graduate programs


Introdução

No Brasil, a avaliação da graduação tem uma trajetória ainda curta de sucessos, marcada por muitas críticas. Na pós-graduação, mesmo considerando que o percurso avaliativo seja mais longo e esteja consolidado, é constante o questionamento. Afinal, tal como a educação, a avaliação é um ato político que interfere na vida/implementação dos avaliados, sejam eles pessoas, processos, cursos, instituições, programas ou políticas públicas. Busca-se, com isto, afetar - esperançosamente, de maneira positiva - a produção de conhecimento, a divulgação de resultados de pesquisa, a formação dos estudantes, a carreira dos egressos, dentre outros.

A avaliação, de forma ampla, vem sendo criticada por induzir comportamentos e valorizações, positivos e negativos, a partir de indicadores nem sempre aceitos ou vistos como os mais adequados. Certos indicadores, inclusive, favorecem classificações e elaboração de rankings e estimulam um produtivismo por vezes dissociado da qualidade acadêmica. A competividade resultante pode levar a comportamentos individualistas, que afetam negativamente outros tantos indicadores, a exemplo daqueles que lidam com as contribuições sociais de um programa.

Conquanto as críticas necessitem ser sopesadas, a avaliação tem um lugar especial no mundo contemporâneo. No caso brasileiro, o panorama da educação superior e da pós-graduação, nos últimos vinte anos, precisa ser monitorado/avaliado para dar respostas às demandas sociais crescentes, em termos de número e de exigências. São novos e emergentes contornos universitários dos quais se tem de dar conta, pois diferentes públicos estão em busca de formação. São os sujeitos oriundos de contextos emergentes, que estão pressionando as instituições para ampliar vagas e garantir permanência. Com a pressão sobre a instituição de educação superior, há que melhorar a docência, a pesquisa, a extensão; revitalizar a graduação, a pós-graduação e a EaD e manter a gestão em constante desenvolvimento.

Sendo educação um dever do Estado Brasileiro, cabe a ele assegurar sua qualidade. Assim é que avaliação e regulação por vezes se misturam e têm resultado em processos avaliativos em larga escala que, na busca por objetivação, perdem, por outro lado, no levantamento das especificidades de cada caso e na participação dos atores locais. Mais recentemente, foi observado pela Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES), no nível da pós-graduação, que era necessário considerar a participação do avaliado no processo avaliativo. Isto porque a avaliação, ao ser compartilhada, começa a fazer sentido para as pessoas. Quando elas podem fazer a escolha dos modelos e práticas de avaliação, quando podem ser donas, titulares dos processos e de sua aplicação, as críticas esmorecem frente à grandiosidade dos significados produzidos pelo processo avaliativo.

Neste artigo, é apresentado o tema da autoavaliação (AA) dos programas de pós-graduação como componente da Avaliação CAPES. Muitas dentre as críticas sobre a avaliação foram motores para repensar modelos e práticas e colocá-las ao dispor das comunidades acadêmicas. No texto são mostradas parte das reflexões que deram origem à introdução desta inovação pela Agência.

Velhos e novos modelos de avaliação da pós-graduação

Em 3 de dezembro de 1965, Newton Sucupira estabelecia a linha de desenvolvimento da pós-graduação (PG) brasileira. No parecer 977/1965 constava que a instauração do sistema de cursos de pós-graduação teria o objetivo de formar professorado competente, preparar pesquisadores e treinar técnicos e trabalhadores intelectuais, tendo em vista: (i) atender a expansão do ensino superior e elevar seus níveis de qualidade, (ii) desenvolver a pesquisa científica e (iii) atender ao desenvolvimento nacional em todos setores da economia e da sociedade. Estabelecia que o controle do sistema poderia ser feito por reconhecimento (accreditation) com o objetivo de disciplinar o processo de implantação dos cursos tanto em nível de mestrado quando de Doutorado (BRASIL, 1965BRASIL Ministério da Educação. Câmara de Ensino Superior-CESU. . Parecer nº 977/1965, aprovado em 3 dez. 1965. Disponível em: Disponível em: http://www.scielo.br/pdf/rbedu/n30/a14n30.pdf . Acesso em: 20 set. 2019.
http://www.scielo.br/pdf/rbedu/n30/a14n3...
). Em 1981, ao se tornar uma agência executiva do Ministério da Educação junto ao Sistema Nacional de Ciência e Tecnologia, coube à CAPES (BRASIL, 2008BRASIL. Fundação Coordenação de Aperfeiçoamento de Pessoal de Nível Superior - CAPES. CAPES História e missão. 2008. Disponível em: Disponível em: https://www.capes.gov.br/historia-e-missao . Acesso em: 20 set. 2019.
https://www.capes.gov.br/historia-e-miss...
) “elaborar, avaliar, acompanhar e coordenar as atividades relativas ao ensino superior”. É partir daí que surge o Programa de Acompanhamento e Avaliação - a chamada Avaliação CAPES.

Ao longo do tempo, o Programa privilegiou a avaliação post-facto, incluiu a avaliação por pares, vinculou avaliação com classificação e recursos, e favoreceu os rankings. O padrão CAPES foi estabelecido em comum acordo com a comunidade acadêmica das diferentes áreas de conhecimento e foi sofrendo modificações ao longo dos tempos por sugestão das áreas, hoje colégios.

Decorridos mais de 50 anos, a PG avançou, cresceu e desenvolveu. Entre 1998 e 2017, o número de cursos de PG stricto sensu cresceu mais de 200% e o número de mestres e doutores no país aumentou significativamente (quase 23 mil doutores e mais de 64 mil mestres titulados apenas em 2018) (BRASIL, 2018aBRASIL. Fundação Coordenação de Aperfeiçoamento de Pessoal de Nível Superior - CAPES. GEOCAPES - Sistema de Informações Georreferenciadas. 2018a. Disponível em: Disponível em: https://geocapes.capes.gov.br/geocapes/ . Acesso em: 20 set. 2019.
https://geocapes.capes.gov.br/geocapes/...
). No momento, a avaliação procedida pela CAPES aponta a consecução de alguns dos objetivos previstos por Sucupira, no que diz respeito à formação de pesquisadores e incremento da produção científica brasileira (por exemplo, as metas de titulados no mestrado, de acordo com o PNE 2014-2024, já foram atingidas e as de doutorado estão próximas a serem cumpridas). Porém, se reconhece o gap na formação de professores para o sistema de educação brasileiro e no treinamento de técnicos e trabalhadores.

Em tal conjuntura, promove o aperfeiçoamento do modelo, no qual a autoavaliação (AA) torna-se elemento fundamental. A CAPES institui então um grupo de trabalho (GT) com a missão de “Implantar uma sistemática de autoavaliação no âmbito dos programas de pós-graduação, que possa também ser componente relevante para a avaliação realizada pela CAPES” (BRASIL, 2018bBRASIL. Fundação Coordenação de Aperfeiçoamento de Pessoal de Nível Superior - CAPES. Portaria 149. 04 de julho de 2018. Institui o GT de autoavaliação de Programas de pósgraduação. Diário Oficial da União, Brasília 06 jul. 2018b.). O GT passa a trabalhar com dois focos - propor uma orientação para a AA, a ser realizada em âmbito dos programas, e ainda como a AA realizada por cada programa será introduzida como componente da avaliação CAPES.

O que é autoavaliação (AA)?

Em termos amplos, a avaliação é um "organizador qualificado". Organiza e coloca em escaninhos as informações coletadas sobre uma instituição, sobre as pessoas que transitam nela, sobre o conhecimento que produz e os efeitos (impactos) que este conhecimento traz para a sociedade. O processo de avaliação com informações organizadas favorece o entendimento de situações e relações, construção de sentidos e conhecimentos sobre sujeitos, estruturas e atividades que ocorrem em uma instituição educativa em um determinado tempo (LEITE, 2005LEITE, Denise. Reformas universitárias. Avaliação institucional participativa. Petrópolis, Vozes, 2005.; 2008LEITE, Denise. Ameaças pós-rankings sobrevivência das CPAS e da auto-avaliação. Avaliação, Campinas; Sorocaba, v. 13, n. 3, nov. 2008. Disponível em: Disponível em: https://www.scielo.br/pdf/aval/v13n3/13.pdf . Acesso em: Acesso em: 20 set. 2019.
https://www.scielo.br/pdf/aval/v13n3/13....
).

A AA, em verbete da Enciclopédia de Pedagogia Universitária, se entende como “um processo de autoanálise realizado pela comunidade envolvida, destacando pontos fortes e pontos fracos de suas realizações com vistas à melhoria da qualidade do seu fazer institucional, com vistas à superação de fragilidades e dificuldades diagnosticadas” (LEITE, 2006LEITE, Denise. Auto-Avaliação Institucional. Verbete. In: MOROSINI, Marilia (ed.). Enciclopédia de Pedagogia Universitária. Glossário. Brasilia, INEP, 2006. p.461-506. v .2., p. 466). Na educação superior, o processo autoavaliativo é definido e autogerido pela comunidade acadêmica, que tem a titularidade da avaliação. O foco e os objetivos da AA são decididos pelos protagonistas. A reflexão sobre os resultados obtidos é central ao processo e leva em conta a correção de trajetórias e de futuros projetados. É uma forma de avaliação que exige tempo, recursos e dedicação.

São atores protagônicos da AA os docentes, discentes, egressos, técnicos, dentre outros. Também pode haver atores externos e coadjuvantes, a exemplo dos empregadores, especialistas, empreendedores, ou parceiros da comunidade como professores da Rede Básica e trabalhadores. O protagonismo dos atores na autoavaliação contribui para relativizar posições e para assumir um espaço próprio de articulações com vistas ao bem comum.

A autoanálise feita pela comunidade a partir da organização dos dados que lhe interessam, colocados em compartimentos por ela definidos, se sustenta em princípios éticos permeados pela negociação que pode ser oriunda de uma etapa de sensibilização na qual são estudados os valores e entraves de um processo avaliativo autogerido. Certamente terá mais sucesso quando for regida pela colaboração entre os atores respeitando sua individualidade e direitos à privacidade, prevenindo punições morais ou ameaças à integridade dos sujeitos participantes dos processos.

Tradicionalmente, as instituições e os indivíduos foram objetos da avaliação; mas se adotamos uma perspectiva de avaliação participativa no novo contexto de produção de conhecimento, a avaliação chama os avaliados para um novo papel: participantes ativos, atores das redes. Isso significa que eles participam de todas as fases da avaliação e assumem papéis diferentes na avaliação. Existe uma evolução, as pessoas começam como objetos de avaliação para passarem a ser protagonistas ativos da avaliação (componente emancipatório). Assim, elas se apropriam dos códigos de avaliação, o que é um empoderamento, e se envolvem na ação de fazer sua própria avaliação para melhorar os processos colaborativos de produção de conhecimento (LEITE; PINHO, 2017LEITE, Denise; PINHO, Isabel. Evaluating collaboration networks in higher education research. Drivers of excellence. Cham, Switzerland: Palgrave MacMillan/Springer International, 2017., p. 107).

De uma autoavaliação bem executada resultam conhecimentos sobre uma dada realidade, vista pelo olhar daqueles sujeitos que estão em relação e a constituem, naquele lugar, contexto e tempo histórico. A produção deste conhecimento, o ato de conhecer é, em si, uma responsabilidade social, profissional e pública do programa ou instituição. A veracidade, a honestidade e a transparência completam o rol de princípios éticos que permitirão dar relevo à AA, como bem ensinou Angulo Rasco (1998RASCO, Félix J. Angulo. La autoevaluación institucional como proceso de formación del profesorado. Avaliação, Campinas, v. 3, n. 2, 1998. Disponível em: Disponível em: http://periodicos.uniso.br/ojs/index.php/avaliacao/article/view/994/990 . Acesso em: 20 set. 2019.
http://periodicos.uniso.br/ojs/index.php...
, p. 86): Autoevaluar es pues, conocer desde dentro una institución, para que sea re-conocida desde afuera.

Na PG, a autoavaliação, na prática, implica colocar em ação o elementar processo de detectar pontos fortes e potencialidades, tanto quanto discriminar pontos fracos dos programas e prever oportunidades e metas de futuro. Trata-se de estabelecer estas metas com clareza e de forma tanto quanto possível participada para que todos ou a maior parte da comunidade acadêmica se perceba representada. Na perspectiva de uma produção própria, espera-se que o processo seja cooperativo e colaborativo, mesmo que em doses homeopáticas. A colaboração e a participação se desenvolvem através de um contágio que se acelera ao passar do tempo. Reconhecendo a demarcação de tribos e seus territórios e os ghetos, passíveis de serem encontrados nas comunidades acadêmicas, ainda assim considera-se ser possível sensibilizar para articulações que visem ao coletivo das decisões acadêmicas, como prevê o processo autoavaliativo.

Diferentes orientações para a (auto)avaliação

Teoricamente podem ser apontadas diferentes orientações para a avaliação. Dentre os autores que tratam do tema têm destaque os reconhecidos estudos e orientações de Ernest House, Worthen, Sanders e Fitzpatrick, Guy Neave, José Dias Sobrinho. Em termos de autoavaliação, no entanto, o campo de estudos e pesquisas se estreita: são citados autores como H. R. Kells, Anthony Vroeijenstjin, dentre outros.

Uma possibilidade simples de mostrar diferentes orientações para avaliação foi mostrada por Jani Goman (2016GOMAN, Jani. Evaluation and quality assurance system in Finland. Material apresentado em função do Finnish Education Evaluation Center (FINEEC), 2016. slides.), no FINEEC - Sistema de Qualidade e Avaliação da Finlândia. Abaixo replica-se o gráfico sobre as diferentes orientações da avaliação. Na figura 1, se visualiza um continuum que vai da avaliação passiva à função participativa da avaliação. O eixo das ordenadas representa a confiança e o eixo das abscissas representa o controle e o autocontrole exercido pela avaliação. Na posição junto ao eixo das ordenadas e abscissas, o controle é externo e a confiança nos sujeitos é baixa. Na posição próxima ao nível superior, o controle é interno, é autocontrole, e a confiança depositada nos sujeitos é alta.

Observa-se na figura que, quando a avaliação está voltada meramente para a realização de tarefas, como sugeria a avaliação CAPES do passado, ela é passiva. Produzindo passividade e críticas, a avaliação tem baixa capacidade de contribuição na formação e desenvolvimento dos sujeitos. Para o desenvolvimento educativo e formativo, o desenho representa o grau do sujeito participante, protagonista, visto como ativo, cooperativo e com altas capacidades.

Figura 01
Diferentes orientações da avaliação, segundo Jani Goman

Com base na figura, é interessante uma análise das orientações das avaliações de Brasil e Finlândia, seguramente sistemas avaliativos de dois países que estariam situados nos dois extremos do gráfico. Caberia refletir: primeiro sobre quem mais precisa vivenciar a participação e o confronto de ideias; segundo sobre modelos de avaliação CAPES e SINAES (Sistema nacional de Avaliação da Educação Superior) quanto às orientações de participação e quanto à autoavaliação (VERHINE, 2019VERHINE, Robert. O Sistema Nacional de Avaliação da Educação Superior após 14 anos: avanços e desafios. In: FRANCO, Sérgio Roberto Kieling; FRANCO, Maria Estela Dal Pai; LEITE, Denise Balarine Cavalheiro (Org). Educação superior e conhecimento no centenário da Reforma de córdoba: novos olhares em contextos emergentes. Porto Alegre, EdiPUCRS. 2019 (Capítulo pp.79-94).); terceiro sobre princípios orientadores da avaliação em termos de confiabilidade/confiança e verdade, em termos de compromisso social e democrático ou da reconhecida ‘relevância social’; quarto, sobre os modelos de avaliação - haveria espaço para autoavaliações concomitantes com modelos de orientação para o controle, com abordagem parametrizada?

Vale lembrar que a autoavaliação, sendo realizada pelos sujeitos que fazem a instituição ser o que é e o que almeja ser em busca da melhoria da sua qualidade pública, ao estabelecer-se como um processo de debate de ideias, autonômico e participativo, com sujeitos donos da sua titularidade, carrega consigo a vivência de uma prática democrática.

Realizar o jogo de aprendizagem democrática junto ao procedimento avaliativo pode parecer excessivo. Contudo, a autoavaliação é um processo formativo por excelência. Em contextos de países, como o nosso, de restritas vivências democráticas, toda aprendizagem de cidadania será benvinda. Na prática, esta é a essência do processo. Não se trata de avaliar para apenas melhorar formalmente no quesito A ou B, se trata de praticar democracia avaliando; se trata de assegurar a qualidade do que nos diferencia e a diferença desta qualidade - a inserção social, a internacionalização, a produção científica, o respeito ao estudante em sua diversidade e à sua formação, face a um futuro incerto.

A nova agenda para resgatar e ampliar a formação docente pós-graduada

A possibilidade de realizar uma nova agenda para a Avaliação CAPES resultou de uma referencialização cuidadosa dos quesitos de avaliação, que foi sendo sugerida pelos usuários do sistema CAPES, os interessados na autoavaliação. Esta agenda significa a continuidade e o aprimoramento de procedimentos avaliativos utilizados por CAPES. Continuidade, pois, os procedimentos estão incluídos nos atuais. Aprimoramento porque, em resposta à comunidade acadêmica, a CAPES reconheceu a necessidade e o papel da autoavaliação, a ser planejada e implementada pelos programas.

Nessa nova agenda CAPES, a ‘avaliação da autoavaliação’ é um item da nova Ficha de Avaliação, um componente do Quesito “Programa”, dando peso ao referido Quesito, mas com o foco mudado, como pode ser visto no trecho abaixo do Relatório do GT AA:

O ponto crucial da sistemática da avaliação aqui proposta é a mudança do foco do processo avaliativo: ao invés da CAPES receber os resultados da autoavaliação realizada pelos programas, a Agência deverá acompanhar como os programas de pós-graduação estão conduzindo suas autoavaliações. Desta maneira, cada programa poderá propor um delineamento de autoavaliação apto a captar aspectos pertinentes a sua missão e seus objetivos, incluindo aqueles relativos à sua inserção no contexto social/internacional e a suas escolhas científicas específicas. Trata-se, na prática, de colocar em ação o elementar processo de detectar pontos fortes e potencialidades, tanto quanto discriminar pontos fracos dos programas e prever oportunidades e metas.

Deve-se estabelecer estas metas com clareza e de forma tanto quanto possível participada, para que todos ou a maior parte da comunidade acadêmica se perceba representada (BRASIL, 2018c, p. 4BRASIL. Fundação Coordenação de Aperfeiçoamento de Pessoal de Nível Superior - CAPES. GT sobre a autoavaliação de programas de pós-graduação. 2018c. Disponível em: Disponível em: https://www.capes.gov.br/images/novo_portal/documentos/DAV/avaliacao/06032019_Relat%C3%B3rio_Final_Autoavalia%C3%A7%C3%A3o.pdf . Acesso em: 20 set. 2019.
https://www.capes.gov.br/images/novo_por...
).

Em princípio, a avaliação induz à mudança em determinadas direções - seguir o PNE, o Plano de Desenvolvimento Institucional, o PPP da unidade; seguir orientações da Agência avaliadora com vistas ao plano nacional de CT&I, ao plano de formação de pesquisadores para o desenvolvimento de áreas estratégicas; à ocupação pelo País de posição demarcada no contexto da ciência global; visibilizar a produção científica brasileira. Contudo, desde Newton Sucupira, a formação docente está em vista no horizonte da Pós-Graduação. É ela o foco na nova agenda CAPES, o que inclui alterações na sua avaliação.

Na jovem CAPES a expectativa era uma formação pós-graduada para os docentes universitários. Atualmente a abrangência se estende desde a educação básica à superior, se amplia ao sistema educativo nacional de acordo com a meta 16 do PNE 2014-2024 (Lei 13.005/2014):

Meta 16: formar, em nível de pós-graduação, 50% (cinquenta por cento) dos professores da educação básica, até o último ano de vigência deste PNE, e garantir a todos (as) os (as) profissionais da educação básica formação continuada em sua área de atuação, considerando as necessidades, demandas e contextualizações dos sistemas de ensino (BRASIL, 2014BRASIL. Lei 13.005 de 25 de junho de 2014. Institui o Plano Nacional de Educação - PNE e dá outras providências. 2014. Disponível em: Disponível em: http://www.planalto.gov.br/ccivil_03/_ato2011-2014/2014/lei/l13005.htm . Acesso em: 20 set. 2019.
http://www.planalto.gov.br/ccivil_03/_at...
).

Seria ingênuo introduzir um tema tão amplo em texto sem esta intenção, porém, vale lembrar que “todo avaliador é um educador, seu êxito será julgado pelo que os outros aprenderem!” (Cronbach apudRASCO, 1998RASCO, Félix J. Angulo. La autoevaluación institucional como proceso de formación del profesorado. Avaliação, Campinas, v. 3, n. 2, 1998. Disponível em: Disponível em: http://periodicos.uniso.br/ojs/index.php/avaliacao/article/view/994/990 . Acesso em: 20 set. 2019.
http://periodicos.uniso.br/ojs/index.php...
, p. 87). E, se há uma aprendizagem advinda do trabalho com avaliação, é aquela de pensar e refletir sobre a prática, de encontrar lições na prática e derivar dela ações concretas, iluminadas pela teoria, seja esta teoria de um ou outro paradigma, como convém à pluriuniversidade dos contextos emergentes. Ou seja, resgatando Paulo Freire, não é o discurso que diz se a prática é válida. É a prática que diz se o discurso é válido ou não é (FREIRE, 1982FREIRE, Paulo. Como trabalhar com o povo? Transcrição de Paulo Meksenas e Nilda Lopes Penteado da Pastoral de Juventude. Setor Pastoral Vila Prudente. São Paulo, maio de 1982., p. 20).

O que se enfatiza desta forma? Aceitando como verdadeiro que a avaliação induz ações, valores e comportamentos, a autoavaliação, com mais força, poderá ser indutora de ações reflexivas. Para Schon, Zeichner e outros, é a ação reflexiva que faz sentido quando se pensa a prática e os problemas enfrentados pelos docentes; quando se pensa o professor de múltiplas jornadas, aquele da educação do campo, da escolinha periférica da pequena cidade e da grande metrópole, o que sofre violência de toda ordem, o professor da aldeia indígena e aquele da escola do ribeirinho até a sofisticada docência com TICs na EAD.

A autoavaliação poderá apontar realidades distintas como componentes de um sistema organizado e indutor. Por si só, a AA não faz milagres e, tal como a avaliação em geral, poderá ser apenas aquele organizador qualificado. Ela não vai mostrar toda a ecologia de saberes e problemas docentes, no entanto, a AA vai ajudar a enxergar os nós que impedem a valorização da formação docente como atribuição da pós-graduação brasileira. Se, até o momento, a educação superior do país esteve pautada por estratégias de avaliação influenciadas por políticas de ressonância internacional que repercutiram nas decisões sobre investimentos e organização institucional, neste momento a CAPES abre uma janela para que a diversidade de culturas e a riqueza dos contextos emergentes reflua para dentro da pós-graduação.

Ainda não será aquela AA praticada nos procedimentos de acreditação internacionais, mais abrangente e exigente. Mas, será aquela que visa ao aprimoramento da qualidade, será aquela AA que funciona como ferramenta para o desenvolvimento, mesmo que pensada por uma agência externa. A autoavaliação CAPES poderá fomentar a identificação dos pontos fortes e debilidades em cada programa; poderá determinar os pontos do currículo, as práticas e estágios de docência do PIBID, as práticas de ensino e de orientação, o Residência Pedagogica, Parfor, Prodocência, STEm e outros e as linhas de pesquisa que precisam de maior incentivo, e, até mesmo, reorientação com vistas à ampliar a cultura da diversidade, da inclusão e dos contextos emergentes na formação pós-graduada.

Porém, imperioso se faz considerar que a AA sozinha não muda nada. É o coletivo que fará a AA ser a ferramenta da mudança e da inovação. A AA refletirá as escolhas de cada programa.

A nova agenda como melhoria

Adquirir a titularidade da avaliação outorgada pela legislação tem sido a norma a qual se aceita com facilidade, porém, obter a titularidade da avaliação se conquista. É preciso o domínio sobre a avaliação, saber o que o programa ‘é’ e o que ‘quer ser’. Inclui refletir sobre a ciência que é produzida no programa de pós-graduação e o sentido e finalidades desta ciência para o hoje e o futuro. A autoavaliação parte do pressuposto que se sabe, reconhece e avalia a pesquisa e o conhecimento produzido em contexto. Busca a melhoria, a apreciação do trabalho multidimensional 2 2 Para CAPES, a avaliação multidimensional levará em conta cinco dimensões: ensino e aprendizagem; internacionalização; produção de conhecimento; inovação e transferência de conhecimento; e impacto e relevância econômica e para a sociedade (CAPES%20AA/18072019_Infografico_Aprimoramento-dos-instrumentos-da-avaliacao.pdf). Recentemente, na 3ª Reunião Extraordinária de 2019 do CTC da Capes, realizada em 01 de outubro de 2019, o presidente da Capes disse que a “Chamada de Avaliação Multidimensional, a nova avaliação da CAPES, além dos critérios de pesquisa, leva em conta, critérios de inovação, internacionalização, impacto econômico, formação de egressos para o setor produtivo de todo o País” (http://capes.gov.br/36-noticias/9872-conselho-superior-da-capes-realiza-terceira-reuniao-do-ano). que vem sendo feito em cada PG.

As instituições e os financiadores estão sendo encorajadas a aperfeiçoar as avaliações, apontaram, na Nature, Jean Lebel e Robert MacLean (2018LEBEL, Jean; MACLEAN, Robert. A better measure of research from the global south. Comment. Nature, USA, v. 559, n. 4, jul. 2018. Disponível em: Disponível em: https://www.nature.com/magazine-assets/d41586-018-05581-4/d41586-018-05581-4.pdf . Acesso em: 20 set. 2019.
https://www.nature.com/magazine-assets/d...
, p 23-26). Para melhorar os procedimentos de avaliação da ciência no Sul-global sugerem “considerar a pesquisa em contexto; aceitar visão multidimensional da qualidade; e ser sistemático e empírico sobre a coleta de evidências e sua apreciação”. Para os autores, a avaliação tem a responsabilidade de ajudar “a ciência a encontrar maiores forças em si própria” seguindo, igualmente, a sequência produtiva do experimentar, avaliar, debater para só então, depois, melhorar. Tal sequenciamento científico bem pode servir ao momento de implantar a AA na pós-graduação. Os programas passaram pelas avaliações trienais, agora quadrienais; experienciam a Plataforma Sucupira ser burocraticamente preenchida por especialistas e, antes dela, os longos questionários avaliados pelos pares. A inovação agora, o novo em ação, é a AA como componente do processo avaliativo CAPES. O novo em ação é cada programa fazer a autoanálise do que faz e propor o que deseja fazer. A inovação, o ato de autoavaliar, tendo a titularidade, será seguido pelo ato de debater a partir de evidências e análise de experiências. A autoavaliação torna-se um ato empreendedor quando, após debates e análises, for sucedida por ações de melhoria.

A nova agenda como sistemática e como componente da avaliação CAPES

O GTAA-CAPES trabalhou para propor uma sistemática autoavaliativa. Considerou a importância do envolvimento dos que tomam as decisões de melhoria no processo avaliativo e a necessidade de contextualizar a avaliação reconhecendo diferenças de localização e tipo de instituição (BRASIL, 2018cBRASIL. Fundação Coordenação de Aperfeiçoamento de Pessoal de Nível Superior - CAPES. GT sobre a autoavaliação de programas de pós-graduação. 2018c. Disponível em: Disponível em: https://www.capes.gov.br/images/novo_portal/documentos/DAV/avaliacao/06032019_Relat%C3%B3rio_Final_Autoavalia%C3%A7%C3%A3o.pdf . Acesso em: 20 set. 2019.
https://www.capes.gov.br/images/novo_por...
). Foram preparados materiais que podem favorecer a caminhada metodológica dos programas. Os materiais incluem considerar a avaliação externa e a autoavaliação como processos que se complementam, devendo ser articulados de forma a reconhecer que cada qual tem uma contribuição específica a fazer. Considerou as possibilidades de avaliar de forma externa o próprio processo do autoavaliação adotado pelo Programa, focalizando a política, estrutura, procedimentos e instrumentos de avaliação. Sugeriu incluir na plataforma Sucupira uma janela para o relato detalhado por parte do Programa sobre seus procedimentos e instrumentos de autoavaliação. Produziu um documento de orientação que aborda o conceito da autoavaliação e apresenta questões, procedimentos e instrumentos que o programa pode, se quiser, adotar ou modificar. Enfatizou o planejamento estratégico na PG.

O GT sugeriu que a instituição, e especialmente o Pró-Reitor ou Vice-Reitor de Pós-Graduação, bem como as Comissões Próprias de Avaliação, sejam parte fundamental da promoção e desenvolvimento dos processos de autoavaliação da PG em cada universidade. Enfatizou a importância de sensibilizar entidades acadêmicas sobre o valor da autoavaliação e a importância do apoio e ajuda na divulgação e incentivo dos processos. Também sugeriu a possibilidade de realização de visitas aos programas, tanto para orientar o processo avaliativo quanto para realizar a avaliação externa dos procedimentos desenvolvidos.

A autoavaliação foi incluída como item da Ficha de Avaliação da CAPES, como componente do Quesito “Programa”, dando-se peso ao referido Quesito. Com isto, observa-se que os processos têm a ver com a qualidade da formação oferecida pelos programas de PG e as avaliações CAPES têm a ver com resultados obtidos. Quem trabalha com processos de formação discente é o programa - processos para chegar a resultados. Entende- que a mudança e melhoria da avaliação CAPES passa pelo protagonismo das áreas, na formulação/definição dos indicadores. A nova Ficha é para todos os programas e objetiva uma comparação mínima entre as áreas.

A Ficha de Avaliação apresenta 3 quesitos e não mais os 5 quesitos originais. Os 21 itens, cada item com seus indicadores, reduziram-se para 12 itens. O objetivo será focalizar melhor - e para isto as áreas definirão critérios adequados dentre aqueles que existem e vêm utilizando - articulação, aderência e outros - e acrescentarão aqueles que acharem convenientes e adequados, ajustados aos propósitos. A nova Ficha inclui no Quesito 1 - Programa - perfil docente, planejamento estratégico, procedimentos e resultados da AA. Importante salientar que não se trata de descrever resultados. A expectativa é identificar se o programa tem uma estratégia de AA, se criou procedimentos para monitorar a qualidade do programa, do seu processo de formação com os resultados que vem obtendo.

Conclusão

O panorama recente da educação superior brasileira - na graduação e na pós - é marcado por pressões por vagas desconcentradas, respeito às diversidades e qualidade, tanto na produção de conhecimento, quanto no diálogo sociedade - universidade e formação. Esta formação, precisa considerar cenários mutantes, futuros incertos para um público da educação superior cada vez mais diversificado.

Neste cenário, a agência brasileira responsável pela avaliação da pós-graduação, uma política pública instituída nos anos 1980, entende a necessidade da introdução da autoavaliação como componente do processo padronizado nacional. É um caminho para que o local, a diferença, e o social transpareçam. Essa inovação, no entanto, por mais que conste de uma Ficha instituída, não se dará de um dia para o outro.

Ao tratar de melhorar a formação oferecida e buscar novas alternativas, importa procurar experiências sucedidas (UFRGS, 1994UFRGS. Programa de avaliação institucional da Ufrgs. Paiufrgs. Fascículos Prograd, 3. Porto Alegre, Cepav Prograd, Ufrgs, jul. 1994.; DIAS SOBRINHO, 2000DIAS SOBRINHO, José. Avaliação da educação superior. Petrópolis: Vozes, 2000.; LEITE, 2005LEITE, Denise. Reformas universitárias. Avaliação institucional participativa. Petrópolis, Vozes, 2005.; LEHFELD et al., 2010LEHFELDNeide Aparecida de Souza et al. Reflexões sobre o processo de autoavaliação institucional: o olhar de uma comissão própria de avaliação. Avaliação, Campinas; Sorocaba, SP, v. 15, n. 1, p. 177-194, mar. 2010. Disponível em: Disponível em: https://www.scielo.br/scielo.php?pid=S1414-40772010000100010&script=sci_abstract&tlng=pt . Acesso em: 20 set. 2019.
https://www.scielo.br/scielo.php?pid=S14...
). Em termos de futuro, para evitar sobrecarregar, tornar custoso e burocrático o processo avaliativo, valeria pensar no benchlearning, aprender por comparação, adotado na Finlândia e que, de modo semelhante vem sendo praticado no Brasil em programas CAPES como DINTER, MINTER e PROCAD. O Benchlearning é uma forma cooperativa e comunal de trabalho, onde aprender de outra comunidade, por interação ativa e compromisso com o desenvolvimento mútuo, são essenciais. Uma parte central do benchlearning é estabelecer negociação e visitas ao parceiro de referência. O propósito é aprender com as boas práticas de outra organização. O programa seleciona um alvo, um parceiro para o treinamento de base. O parceiro pode ser uma IES ou qualquer outro tipo de organização de cooperação, inclusive empresas. O programa pode selecionar livremente os participantes no processo de treinamento de base de sua própria instituição. Um programa "de excelência", por exemplo, poderia fazer isso com um programa emergente (no país ou no exterior) e com outro "de excelência" preferencialmente estrangeiro (FINEEC (2015FINEEC. Audit Manual for the Quality Systems of Higher education institutions. 2015-2018. Finnish Education Evaluation Centre. Publications, 2, 2015. Disponível em: Disponível em: https://karvi.fi/en/publication/korkeakoulujen-laatujarjestelmien-auditointikasikirja-vuosiksi-2015-2018-2/ . Acesso em: 20 set. 2019.
https://karvi.fi/en/publication/korkeako...
; 2017FINEEC. Audit Manual for Higher education institutions 2018-2024.. Finnish Education Evaluation Centre. Publications, 21. 2017. Disponível em: Disponível em: https://karvi.fi/app/uploads/2015/02/KARVI_0215.pdf . Acesso em: 20 set. 2019.
https://karvi.fi/app/uploads/2015/02/KAR...
).

Existe também a possibilidade de transformar as visitas complementares à autoavaliação em um apoio dos programas mais experientes aos programas iniciantes, mediante acordo formal. No futuro, o benchlearning poderia estabelecer-se através das operações em rede, como sugeriu em sua visão antecipatória Robert Verhine. Haveria um projeto solidário “do tipo PROFMAT, PROFLETRAS e PROFARTES, que atendam necessidades da Educação Básica, utilizem tecnologias de EAD e atuem em contextos nos quais a oferta de pós-graduação é insuficiente” (VERHINE, 2018VERHINE, Robert. Entrevista. Boletim ANPED. http://www.anped.org.br/news/entrevista-com-robert-verhine-ufba-novo-coordenador-da-area-de-educacao-na-CAPES-2018-2022. Em: 21 de maio de 2018.
http://www.anped.org.br/news/entrevista-...
).

Por outro lado, tal programa solidário comprovaria sua inserção social sendo avaliado pelos indicadores do antigo quesito Solidariedade, no qual os programas devem demonstrar sua cooperação com outros, ou com grupos que ainda não têm curso de pós-graduação stricto sensu; associação com IES para promover a criação e/ou consolidação de cursos de pós-graduação acadêmicos ou profissionalizantes ou EAD; assessorias para formulação de propostas de cursos novos; participação em projetos conjuntos com grupos de pesquisa não consolidados; participação em disciplinas, seminários, oficinas em cursos nota 3 e 4 (sem doutorado); parcerias em docência, pesquisa e orientação com instituições de países de menor grau de desenvolvimento na pós-graduação. Acrescentam-se incentivo à startups e formação de parcerias com novas empresas em formação; parcerias ou dupla formação em docência, pesquisa e orientação com instituições, empresas, entidades em nosso país e em outros países com desenvolvimento e experiências consolidadas na pós-graduação acadêmica e profissionalizante.

Enfim, a autoavaliação pode ser um momento de parada para refletir, analisar e avançar em direção a inovadores projetos futuros.

Agradecimento

Os autores agradecem aos membros do GT AA CAPES sua contribuição às discussões sobre autoavaliação que influíram na organização deste artigo e contribuíram para formatar o Relatório de autoavaliação aprovado pelo CTC CAPES.

Referências

  • BRASIL Ministério da Educação. Câmara de Ensino Superior-CESU. . Parecer nº 977/1965, aprovado em 3 dez. 1965. Disponível em: Disponível em: http://www.scielo.br/pdf/rbedu/n30/a14n30.pdf Acesso em: 20 set. 2019.
    » http://www.scielo.br/pdf/rbedu/n30/a14n30.pdf
  • BRASIL. Fundação Coordenação de Aperfeiçoamento de Pessoal de Nível Superior - CAPES. CAPES História e missão. 2008. Disponível em: Disponível em: https://www.capes.gov.br/historia-e-missao Acesso em: 20 set. 2019.
    » https://www.capes.gov.br/historia-e-missao
  • BRASIL. Fundação Coordenação de Aperfeiçoamento de Pessoal de Nível Superior - CAPES. GEOCAPES - Sistema de Informações Georreferenciadas. 2018a. Disponível em: Disponível em: https://geocapes.capes.gov.br/geocapes/ Acesso em: 20 set. 2019.
    » https://geocapes.capes.gov.br/geocapes/
  • BRASIL. Fundação Coordenação de Aperfeiçoamento de Pessoal de Nível Superior - CAPES. Portaria 149. 04 de julho de 2018. Institui o GT de autoavaliação de Programas de pósgraduação. Diário Oficial da União, Brasília 06 jul. 2018b.
  • BRASIL. Fundação Coordenação de Aperfeiçoamento de Pessoal de Nível Superior - CAPES. GT sobre a autoavaliação de programas de pós-graduação. 2018c. Disponível em: Disponível em: https://www.capes.gov.br/images/novo_portal/documentos/DAV/avaliacao/06032019_Relat%C3%B3rio_Final_Autoavalia%C3%A7%C3%A3o.pdf Acesso em: 20 set. 2019.
    » https://www.capes.gov.br/images/novo_portal/documentos/DAV/avaliacao/06032019_Relat%C3%B3rio_Final_Autoavalia%C3%A7%C3%A3o.pdf
  • BRASIL. Lei 13.005 de 25 de junho de 2014. Institui o Plano Nacional de Educação - PNE e dá outras providências. 2014. Disponível em: Disponível em: http://www.planalto.gov.br/ccivil_03/_ato2011-2014/2014/lei/l13005.htm Acesso em: 20 set. 2019.
    » http://www.planalto.gov.br/ccivil_03/_ato2011-2014/2014/lei/l13005.htm
  • DIAS SOBRINHO, José. Avaliação da educação superior. Petrópolis: Vozes, 2000.
  • FINEEC. Audit Manual for the Quality Systems of Higher education institutions. 2015-2018. Finnish Education Evaluation Centre. Publications, 2, 2015. Disponível em: Disponível em: https://karvi.fi/en/publication/korkeakoulujen-laatujarjestelmien-auditointikasikirja-vuosiksi-2015-2018-2/ Acesso em: 20 set. 2019.
    » https://karvi.fi/en/publication/korkeakoulujen-laatujarjestelmien-auditointikasikirja-vuosiksi-2015-2018-2/
  • FINEEC. Audit Manual for Higher education institutions 2018-2024.. Finnish Education Evaluation Centre. Publications, 21. 2017. Disponível em: Disponível em: https://karvi.fi/app/uploads/2015/02/KARVI_0215.pdf Acesso em: 20 set. 2019.
    » https://karvi.fi/app/uploads/2015/02/KARVI_0215.pdf
  • FREIRE, Paulo. Como trabalhar com o povo? Transcrição de Paulo Meksenas e Nilda Lopes Penteado da Pastoral de Juventude. Setor Pastoral Vila Prudente. São Paulo, maio de 1982.
  • GOMAN, Jani. Evaluation and quality assurance system in Finland. Material apresentado em função do Finnish Education Evaluation Center (FINEEC), 2016. slides.
  • LEBEL, Jean; MACLEAN, Robert. A better measure of research from the global south. Comment. Nature, USA, v. 559, n. 4, jul. 2018. Disponível em: Disponível em: https://www.nature.com/magazine-assets/d41586-018-05581-4/d41586-018-05581-4.pdf Acesso em: 20 set. 2019.
    » https://www.nature.com/magazine-assets/d41586-018-05581-4/d41586-018-05581-4.pdf
  • LEHFELDNeide Aparecida de Souza et al. Reflexões sobre o processo de autoavaliação institucional: o olhar de uma comissão própria de avaliação. Avaliação, Campinas; Sorocaba, SP, v. 15, n. 1, p. 177-194, mar. 2010. Disponível em: Disponível em: https://www.scielo.br/scielo.php?pid=S1414-40772010000100010&script=sci_abstract&tlng=pt Acesso em: 20 set. 2019.
    » https://www.scielo.br/scielo.php?pid=S1414-40772010000100010&script=sci_abstract&tlng=pt
  • LEITE, Denise. Reformas universitárias. Avaliação institucional participativa. Petrópolis, Vozes, 2005.
  • LEITE, Denise. Auto-Avaliação Institucional. Verbete. In: MOROSINI, Marilia (ed.). Enciclopédia de Pedagogia Universitária. Glossário. Brasilia, INEP, 2006. p.461-506. v .2.
  • LEITE, Denise. Ameaças pós-rankings sobrevivência das CPAS e da auto-avaliação. Avaliação, Campinas; Sorocaba, v. 13, n. 3, nov. 2008. Disponível em: Disponível em: https://www.scielo.br/pdf/aval/v13n3/13.pdf Acesso em: Acesso em: 20 set. 2019.
    » https://www.scielo.br/pdf/aval/v13n3/13.pdf
  • LEITE, Denise; PINHO, Isabel. Evaluating collaboration networks in higher education research. Drivers of excellence. Cham, Switzerland: Palgrave MacMillan/Springer International, 2017.
  • RASCO, Félix J. Angulo. La autoevaluación institucional como proceso de formación del profesorado. Avaliação, Campinas, v. 3, n. 2, 1998. Disponível em: Disponível em: http://periodicos.uniso.br/ojs/index.php/avaliacao/article/view/994/990 Acesso em: 20 set. 2019.
    » http://periodicos.uniso.br/ojs/index.php/avaliacao/article/view/994/990
  • UFRGS. Programa de avaliação institucional da Ufrgs. Paiufrgs. Fascículos Prograd, 3. Porto Alegre, Cepav Prograd, Ufrgs, jul. 1994.
  • VERHINE, Robert. Entrevista. Boletim ANPED. http://www.anped.org.br/news/entrevista-com-robert-verhine-ufba-novo-coordenador-da-area-de-educacao-na-CAPES-2018-2022 Em: 21 de maio de 2018.
    » http://www.anped.org.br/news/entrevista-com-robert-verhine-ufba-novo-coordenador-da-area-de-educacao-na-CAPES-2018-2022
  • VERHINE, Robert. O Sistema Nacional de Avaliação da Educação Superior após 14 anos: avanços e desafios. In: FRANCO, Sérgio Roberto Kieling; FRANCO, Maria Estela Dal Pai; LEITE, Denise Balarine Cavalheiro (Org). Educação superior e conhecimento no centenário da Reforma de córdoba: novos olhares em contextos emergentes. Porto Alegre, EdiPUCRS. 2019 (Capítulo pp.79-94).

  • 1
    CAPES. The Brazilian Agency for the improvement of higher education personnel.

  • 2
    Para CAPES, a avaliação multidimensional levará em conta cinco dimensões: ensino e aprendizagem; internacionalização; produção de conhecimento; inovação e transferência de conhecimento; e impacto e relevância econômica e para a sociedade (CAPES%20AA/18072019_Infografico_Aprimoramento-dos-instrumentos-da-avaliacao.pdf). Recentemente, na 3ª Reunião Extraordinária de 2019 do CTC da Capes, realizada em 01 de outubro de 2019, o presidente da Capes disse que a “Chamada de Avaliação Multidimensional, a nova avaliação da CAPES, além dos critérios de pesquisa, leva em conta, critérios de inovação, internacionalização, impacto econômico, formação de egressos para o setor produtivo de todo o País” (http://capes.gov.br/36-noticias/9872-conselho-superior-da-capes-realiza-terceira-reuniao-do-ano).

Nota:

Uma versão anterior deste artigo foi apresentada no 3º. Seminário Capes Repensando a Avaliação https://www.capes.gov.br/avaliacao-comparada-da-pos-graduacao/apresentacoes/2018-10-03_Avaliacao-Comparada-PG_DeniseLeite_UFRGS.pdf

Datas de Publicação

  • Publicação nesta coleção
    07 Set 2020
  • Data do Fascículo
    May-Aug 2020

Histórico

  • Recebido
    21 Out 2019
  • Aceito
    22 Abr 2020
Publicação da Rede de Avaliação Institucional da Educação Superior (RAIES), da Universidade Estadual de Campinas (UNICAMP) e da Universidade de Sorocaba (UNISO). Rodovia Raposo Tavares, km. 92,5, CEP 18023-000 Sorocaba - São Paulo, Fone: (55 15) 2101-7016 , Fax : (55 15) 2101-7112 - Sorocaba - SP - Brazil
E-mail: revistaavaliacao@uniso.br