Avaliação institucional no contexto do sinaes: a cpa em questão

Institutional evaluation in the context of sinaes: the cpa in question

Avaliação institucional no contexto do sinaes: a cpa em questão

Institutional evaluation in the context of sinaes: the cpa in question

Assis Leão da Silva^I; Alfredo Macedo Gomes^II

^IDoutorando do Programa de Pós-Graduação em Educação da Universidade Federal de Pernambuco e professor do Instituto Federal de Educação, Ciência e Tecnologia de Pernambuco (IFPE). Recife, Brasil. E-mail: [e-mail]

^IIDoutor em Educação pela University of Bristol, Professor do Departamento de Fundamentos da Educação e do Programa de Pós-Graduação em Educação da UFPE. Bolsista PQ CNPq, Recife, Brasil. E-mail: [e-mail]

RESUMO

O estudo trata da política de avaliação da educação superior, o SINAES, com ênfase especial sobre a atuação das Comissões Próprias de Avaliação (CPA) no processo de implementação de avaliação institucional nas universidades federais. Parte-se do pressuposto de que as indefinições acerca da dinâmica de implementação do SINAES têm dificultado a adoção de uma concepção de avaliação mais próxima de seus princípios e pressupostos teórico-metodológicos. Analisa-se as atividades desenvolvidas pela CPA com o objetivo de problematizar a dinâmica de implementação do SINAES no que se refere ao processo de avaliação interna. Os dados foram levantados por meio de entrevistas com os membros da CPA em duas Universidades Federais situadas na região Nordeste do Brasil. Foram também levantados a legislação pertinente e documentos junto as IFES. A análise dos dados revela, entre outras coisas, que o SINAES, por meio da auto-avaliação, não tem conseguido instituir a prática da avaliação sistêmica baseada no paradigma subjetivista.

Palarvas-chave: Educação superior. Auto-avaliação. SINAES. CPA. Universidades Federais.

ABSTRACT

This paper analyses the higher education evaluation policy, the SINAES, with special emphasis on the action and role of the Evaluation Commissions (CPA) in relation to the implementation process of institutional evaluation in the federal universities. The CPA's activities are analysed in order to problematise the SINAES' dynamic of implementation of institutional evaluation. The assumption is that the lack of familiarity by the academic community with theories, methodologies and practices of assessment has been detrimental to the adoption of a concept of evaluation closer to the principles and theoretical and methodological assumptions of Sinaes. Data collection was carried out through interview with CPA's components in two federal universities situated in the Northeast of Brazil. Policy documents and higher education legislation were also examined. The conclusion reveals that the SINAES has not succeeded to institute the practice of system evaluation based on the subjectivist paradigm.

Key words: Higher education. Self-evaluation. SINAES. CPA. Federal universities.

INTRODUÇÃO

Nas duas últimas décadas a avaliação da educação superior adquiriu enorme relevância acadêmica e social, particularmente porque as políticas públicas de educação têm lhe conferido grande visibilidade, criando sistemas avaliativos compreensivos e pungentes e investindo somas consideráveis de recursos. A avaliação, ou a prática discursiva da avaliação, passou a compor a agenda pública da educação brasileira, como tem feito em outras formações sociais. Como conseqüência o número de estudos e pesquisas sobre o tema, centrado nos pressupostos teórico-metodológicos, nos modelos de avaliação e nas políticas públicas de avaliação da educação superior, aumentou significativamente. (DIAS; HORIGUELA; MARCHELLI, 2006; CATANI; OLIVEIRA; DOURADO, 2004; SGUISSARDI, 1997, DIAS SOBRINHO, 1996, PEIXOTO, 2004, 2009; LEITE, 2008).

A partir deste cenário, a avaliação consolida-se na agenda das políticas de educação superior, por um lado, devido à importância que alcançou na comunidade acadêmica como fator de legitimação das práticas das instituições de educação superior e, por outro, pela reestruturação do Estado brasileiro a partir de meados de 1995. (RISTOFF, 2000; MENEGHEL; ROLB; SILVA, 2006). Essa tendência de consolidação tende a permanecer uma vez que a criação do Sistema Nacional de Avaliação da Educação Superior (SINAES) (BRASIL.MEC, 2003) fortaleceu o vetor de institucionalidade do projeto estatal de avaliação introduzido desde o Exame Nacional de Cursos (ENC) (BRASIL, 1995) e da Lei de Diretrizes e Bases (BRASIL, 1996).

Esse cenário, debatido amplamente pela literatura (GREGO, 1997; SILVA JR, SGUISSARDI, 1997; GOMES, 2002, 2003a; DIAS SOBRINHO, 2000, 2004; VERHINE; DANTAS; SOARES, 2006; GIOLO, RISTOFF, 2006; dentre outros), revela o crescente interesse pelo estudo da avaliação da educação superior e, também, pela avaliação institucional, entendidos como processos condicionantes da gestão sistêmica e da gestão das instituições da educação superior (IES) tanto em relação aos aspectos macro-políticos, quanto aos pressupostos teórico-metodológicos, curriculares, pedagógicos, administrativo e materiais. Nesta perspectiva, ressaltamos que, no contexto dos estudos sobre o processo de implementação da avaliação institucional, maior ênfase tem sido dada a analise das políticas e programas em seus aspectos mais gerais, o que indica a relevância de estudos sobre a micro política da avaliação. Isso constitui uma das lacunas na produção acadêmica sobre o tema, o que demanda a realização de pesquisas empíricas que contribuam para o melhor entendimento da temática.

Tomando como referência o cenário apresentado, o presente estudo trata da política de avaliação da educação superior, o SINAES, com ênfase especial sobre a atuação das Comissões Próprias de Avaliação (CPA) no processo de avaliação institucional de duas universidades federais, a saber, as Universidades Federais do Rio Grande do Norte e de Pernambuco. A relevância de estudos com este recorte consiste na interlocução com o debate sobre o processo de avaliação da educação superior, no que se refere à reflexão sobre as possibilidades, problemas e dificuldades de atuação da CPA no interior das universidades federais, no sentido de criar e consolidar um processo de avaliação na perspectiva do paradigma da avaliação sistêmica. (DIAS SOBRINHO, 2000; RISTOFF, 2000; PEIXOTO, 2004).

No presente trabalho são analisadas as atividades desenvolvidas por duas CPA com o objetivo de problematizar a dinâmica de implementação do SINAES no tocante ao processo de avaliação interna. Partimos da hipótese de que a ausência de familiaridade da comunidade acadêmica com teorias, metodológicas e práticas de avaliação favorece o desencontro entre objetivos propostos, estratégias metodológicas empregadas e resultados alcançados pela CPA. Argumentamos que as indefinições acerca da dinâmica de implementação do SINAES têm também dificultado a adoção de uma concepção de avaliação mais próxima dos princípios e pressupostos teórico-metodológicos descritos no marco legal, nas diretrizes e nos documentos do SINAES. A questão que nos motiva nesse estudo é examinar como as políticas de avaliação institucionais coordenadas pelas CPA vêm sendo desenvolvidas nas Universidades Federais do Rio Grande do Norte e de Pernambuco. Os dados analisados neste trabalho foram levantados através do acompanhamento dos trabalhos das duas CPA e da realização de entrevistas semi-estruturadas, assim como também por meio da análise dos documentos relevantes e do levantamento de dados nos sites das respectivas instituições, do Ministério da Educação (MEC) e da Comissão Nacional de Avaliação da Educação Superior (CONAES). O trabalho está estruturado em quatro partes. Na primeira, apresentamos o debate teórico que explicita o contexto de formulação e implementação do SINAES. No segundo momento, analisamos aspectos referentes à avaliação interna nas universidades federais pesquisadas, a dinâmica de implementação do SINAES, buscando, por meio dos documentos oficiais e da literatura acadêmica, desvelar e problematizar o papel atribuído a CPA. Na terceira parte, são analisados documentos e extratos das entrevistas dos atores sociais envolvidos no processo de auto-avaliação (CPA), com a intenção de caracterizar o processo de constituição destas Comissões em duas Universidades Federais, de analisar comparativamente dimensões e processos de avaliação, assim como os procedimentos e as formas de operacionalização da avaliação institucional. Por último, apresentamos as considerações finais, destacando que o SINAES, particularmente por meio das IFES estudadas, não tem conseguido instituir a prática da avaliação sistêmica baseada no paradigma emancipatório e subjetivista, e que vem se distanciando de seus princípios e proposições.

1 SINAES: CONTEXTO DE FORMULAÇÃO E MARCO LEGAL

Nesta parte trataremos do contexto de formulação e implementação do SINAES. O objetivo é descrever e caracterizar a atual política de avaliação da educação superior no Brasil. Entendemos que a sua implantação desvela o pano de fundo da modernização da educação superior face aos desafios postos pelos governos e pela sociedade, no sentido de elucidar questões-chave, tais como a "modernização do sistema", o "aprimoramento da qualidade" e a "democratização do ensino" (MACEDO et al, 2005).

O cenário histórico delineado, na década de 1990, através da formulação e implementação mais ou menos visível e impactante de duas propostas de políticas de avaliação, o Programa de Avaliação Institucional das Universidades Brasileiras (PAIUB) e o Exame Nacional de Cursos (ENC) (GOMES, 2003b) e a necessidade de respostas concretas a questões concernentes a capacidade de financiamento do processo de crescimento e de ampliação do acesso (AMARAL, 2003), assim como do incremento da pesquisa nas várias áreas de conhecimento, gerou na comunidade acadêmica, nas instituições e nos diversos atores vinculadas à educação superior uma expectativa de mudanças na orientação das políticas públicas a partir do início do governo do presidente Luis Inácio Lula da Silva (doravante Governo Lula).

Com o objetivo de debater e propor respostas às demandas da educação superior, o governo Lula instalou, em outubro de 2003, o Grupo de Trabalho Interministerial (GTI) visando "reestruturar", "desenvolver" e "democratizar" as IFES. (OTRANTO, 2006). O GTI elaborou documento (BRASIL, 2003) reconhecendo a crise na educação superior brasileira, em particular, no setor federal, atribuindo o problema à crise fiscal do Estado, como havia feito o governo Fernando Henrique Cardoso. (GOMES, 2003b; DOURADO, 2002). Neste caso, para o GTI, "a reforma mais profunda passa(va) pela reposição do quadro docente, ampliação de vagas para estudantes, educação à distância, autonomia universitária e financiamento" (OTRANTO, 2006, p. 44), diagnóstico que pode ser considerado como importante passo para encaminhar as principais demandas do setor federal da educação superior brasileira. O documento elaborado pelo GTI tornou-se referência importante para outros documentos gerados pelo governo, orientando as ações do Estado na educação superior. A avaliação da educação superior teria papel de destaque nesse processo, uma vez que o governo realiza mudanças consideráveis na política de avaliação implementada a partir de 1995, particularmente porque o SINAES fundamenta-se, segundo Polidori, Marinho-Araujo e Barreyro (2006), no imperativo de melhoria da qualidade da educação superior.

Como política de avaliação da educação superior no governo Lula, o SINAES foi formulado pela Comissão Especial de Avaliação da Educação Superior¹ (CEA), no ano de 2003. A proposta apresentada pela CEA, resultado de consultas e audiências públicas, evidenciou tensões e disputas entre os defensores de paradigmas avaliativos não necessariamente antagônicos, mas conflitantes: de um lado, a avaliação emancipatória e formativa, e de outro, a avaliação de resultados e de controle externo às IES. Tais tensões refletem o embate histórico no campo da educação superior, herdeiro das disputas entre projetos e modelos de avaliação (PAIUB e ENC/Provão) implementados na década de 1990.

O documento produzido pela CEA (BRASIL.MEC, 2003) assinala que são princípios do SINAES: "integração", "participação", "promoção de valores democráticos", "respeito à diversidade", "busca da autonomia", "afirmação da identidade" e "dimensão formativa". Tais princípios são encontrados na Lei nº 10.861 (BRASIL, 2004), como se verifica no artigo 1º (§ 1º). Segundo Rothen (2006), no documento produzido pela CEA, avaliação e regulação aparecem dissociadas, enquanto na Lei nº 10.861/04 elas estão articuladas. De fato, parece pertinente a primeira parte do argumento do autor, entendendo a avaliação como distinta da regulação, como destaca o relatório da CEA. (BRASIL.MEC, 2003, p. 123). No entanto, o argumento da associação entre avaliação e regulação não nos parece provável, uma vez que na Lei nº 10.861/04 encontra-se (artigos 1º, 2º, 3º e 10º) a ênfase na autonomia para que cada IES realize sua avaliação respeitando as diretrizes (e princípios) estabelecidas pelo SINAES. Destacamos também que os artigos 3º, 4º e 6º ressaltam a colaboração entre as IES e os órgãos responsáveis pelo SINAES, e em nenhum momento salienta a associação entre regulação e avaliação, pois o papel de cada agente envolvido está bem definido e as ações de regulação são a posteriori. Portanto, parece não encontrar base de sustentação a hipótese de que a auto-avaliação não está presente na Lei nº 10.861/04.

Também parece não encontrar sustentação empírica o argumento de que as tensões paradigmáticas - emancipatória/formativa versus regulação/controle - materializem-se em dois documentos da CONAES: Diretrizes para a Avaliação das Instituições de Educação Superior (BRASIL.MEC, 2004a) e o Roteiro para a Avaliação Interna (BRASIL.MEC, 2004b). É preciso entender que esses documentos buscam resgatar para o contexto da prática institucional os princípios que estão contidos tanto no documento produzido pela CEA quanto na Lei nº 10.861/04, dando ênfase ao processo da auto-avaliação, determinando que cada IES crie sua CPA, orientada pelas dez dimensões avaliativas do SINAES.

Portanto, não nos parece provável, a partir destas leituras, que a hipótese formulada sobre a formação de um sistema "híbrido" (ROTHEN, 2006) de avaliação da educação superior, por meio da análise do documento produzido pela CEA e da Lei nº 10.861/04, revele-se coerente. Na realidade, o provável "hibridismo", referente à cisão que separa a auto-avaliação e a avaliação externa, implicando em distintos conceitos de regulação ou de controle, não ocorre entre o documento produzido pela CEA e a Lei nº 10.861/04, mas entre estes e a realidade das IES. Como veremos adiante, na análise dos dados, talvez nos pareça ser mais provável atribuir a visibilidade deste "hibridismo" não aos aspectos postos nos documentos, mas na própria prática, na dinâmica de implementação do SINAES, no interior das IES, e no caso aqui estudado, nas duas IFES. Por essa razão, a "indefinição" paradigmática destacada por Rothen (2006), "nos bastidores do governo Lula", talvez possa apresentar outro sentido no processo de implementação desta política pública.

Diante destes impasses, o governo Lula baixou, em fevereiro de 2006, o Decreto nº 5.773 (BRASIL, 2006), que trata das funções de regulação, supervisão e avaliação de instituições de educação superior e cursos superiores de graduação e seqüenciais no sistema federal de ensino. O aspecto mais importante deste decreto é a orientação de que a avaliação e a regulação ocorrem em três etapas, a saber: a) avaliação pelo poder público nas etapas iniciais da autorização e credenciamento, b) avaliação das instituições de educação superior, dos cursos e do desempenho dos estudantes realizada no âmbito do SINAES; c) aplicação pelo poder público dos efeitos regulatórios da avaliação. Desse modo, o Decreto sinaliza, de uma vez, a distinção entre avaliação e a regulação, evidenciando, por um lado, a auto-avaliação como processo articulado à avaliação externa e a re-avaliação e, por outro, o propósito de disseminar uma cultura da avaliação nas IES, a partir da institucionalização das CPA, na tentativa de promover um paradigma avaliativo na perspectiva da emancipação.

O SINAES é formado por três grupos de ações avaliativas: Avaliação dos Cursos de Graduação (ACG), Exame Nacional do Desempenho dos Estudantes (ENADE) e a Avaliação das Instituições de Educação Superior (AVALIES). O Exame Nacional de Desempenho dos Estudantes (ENADE), as Condições de Ensino dos Cursos de Graduação (ACG) e os instrumentos de informação (censo e cadastro) são coordenados pelo Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira, conforme estabelece o art. 8º da Lei nº 10.861/04. O órgão responsável pela formulação e coordenação de todo o SINAES, e também da parte referente ao AVALIES, é a CONAES, que formula diretrizes, critérios e estratégias de ação. Formalmente, a CONAES coordena três processos avaliativos: Auto-avaliação, Avaliação Externa e Reavaliação (Meta-avaliação). Desses três processos avaliativos, destacaremos a auto-avaliação por ser o foco de análise do presente texto.

Segundo o MEC (BRASIL.MEC, 2004b, p. 9), os principais objetivos da auto-avaliação são:

produzir conhecimentos, pôr em questão os sentidos do conjunto de atividades e finalidades cumpridas pela instituição, identificar as causas dos problemas e deficiências, aumentar a consciência pedagógica e capacidade profissional do corpo docente e técnico-administrativo, fortalecer as relações de cooperação entre os diversos atores institucionais, tornar mais efetiva a vinculação da instituição com a comunidade, julgar acerca da relevância científica e social de suas atividades e produtos, além de prestar contas à sociedade.

A auto-avaliação e a avaliação externa são articuladas pelo AVALIES em duas etapas: a auto-avaliação coordenada pelas CPA e a avaliação externa pelas comissões de especialistas designados pelo INEP. Em relação às CPA, a Lei nº 10.861/04, no seu Art. 11, registra a obrigatoriedade de instituí-las nas IES, com prazo determinado para o início dos trabalhos, e o respectivo cadastramento destas junto ao INEP. Após as IES realizarem a auto-avaliação, inicia-se o ciclo de avaliação externa. O relatório da auto-avaliação deve ser enviado à CONAES, que o encaminha à Comissão Externa, tendo-o como 'guia' da visita in loco à IES, conforme os procedimentos destacados no artigo 3º, da Lei nº 10.861/04. O processo de avaliação externa é decomposto em duas fases: a pesquisa exploratória - análise do relatório da CPA, documentos da IES, informações, entrevistas - e o relatório da avaliação institucional. Na avaliação externa, além da análise do relatório produzido pela CPA, leva-se em consideração a avaliação de desempenho dos estudantes através dos resultados do ENADE, conforme os artigos 4º e 5º da Lei nº 10.861/04, conduzidos em dois períodos do curso do estudante, no primeiro e no último semestre. Os cursos são avaliados também através da Avaliação das Condições de Ensino (ACE). Este processo é desenvolvido por meio das visitas das comissões de especialistas das respectivas áreas de conhecimento, considerando as dimensões: instalações, corpo docente e organização didático-pedagógica. Ao término do processo, as conclusões dos relatórios produzidos pela CONAES subsidiarão os processos de regulação: credenciamento e renovação de credenciamento das IES e autorização e reconhecimento de cursos. Caso os resultados não sejam satisfatórios, firma-se um compromisso entre a IES e o MEC estabelecendo ações no sentido de corrigir as 'distorções' em prazos determinados e por métodos pré-estabelecidos.

2 AUTO-AVALIAÇÃO: CPA NO PROCESSO DE IMPLEMENTAÇÃO DO SINAES

Trataremos a seguir, de forma mais específica, da auto-avaliação institucional. O objetivo é caracterizar a auto-avaliação com o intuito de construir uma base coerente para analisarmos a implementação das CPA em relação à sua lógica de trabalho, resultados e ações institucionais. Para desenvolvermos tal tarefa, delineamos os princípios e os pressupostos teórico-metodológicos que nortearam a formação da CPA. Cabe esclarecer que o debate proposto aqui se deu por meio dos documentos das comissões, que formularam as propostas de avaliação interna do SINAES e da literatura acadêmica que trata diretamente da temática. Entendemos que mesmo com a adoção do SINAES e as expectativas da comunidade acadêmica em torno do processo avaliativo, o SINAES não implicou, como se argumenta em relação ao PAIUB, na centralidade da auto-avaliação. Este é um dos instrumentos articuladores da avaliação institucional, constituindo-se em base de informações e de disseminação da cultura da avaliação nas IES, mas que visa também subsidiar os trabalhos de avaliação externa.

De acordo com Augusto e Balzan (2007, p. 608), a CONAES concebe a auto-avaliação como

um processo contínuo em que a instituição busca se autoconhecer com vistas ao aperfeiçoamento de suas atividades acadêmicas, objetivando melhorar a qualidade educativa e alcançar relevância social [...] [a] instituição faz uma análise interna sobre o que deseja ser, o que de fato realiza, como se organiza, administra e age [...] procura identificar práticas exitosas, bem como a percepção de omissões e equívocos [...]

O objetivo da auto-avaliação é avaliar a IES de maneira global, buscando identificar a coerência entre a missão e as políticas institucionais realizadas, visando à melhoria da qualidade institucional. Objetiva também promover a auto-avaliação como prática institucional e a participação da comunidade acadêmica. Observando as "orientações" da CONAES e os documentos do SINAES, as IES estão livres para elaborar a metodologia de trabalho, os procedimentos e os objetivos de seu processo de auto-avaliação. Claro que devem seguir as diretrizes e princípios estabelecidos pela CONAES nos documentos "Diretrizes para a Avaliação das Instituições de Educação Superior" (BRASIL.MEC, 2004a) e o "Roteiro de Auto-avaliação institucional" (BRASIL.MEC, 2004b). Os trabalhos desenvolvidos pela CPA deverão ser efetuados em três etapas. A primeira etapa, denominada de "preparação", consiste no processo de constituição da CPA, planejamento dos trabalhos e sensibilização interna. No tocante ao processo de planejamento, coordena a elaboração do projeto de auto-avaliação, define objetivos, metodologias, estratégias, recursos necessários e o cronograma de ações. No que se refere à sensibilização, busca-se o envolvimento da comunidade acadêmica, através de seminários, reuniões e outras formas de participação para elaboração da proposta de auto-avaliação institucional.

A segunda etapa desenvolve as seguintes tarefas (BRASIL.MEC, 2004b, p. 26):

• [Implementação] dos procedimentos de coleta e análise das informações, conforme definidos no Projeto de Avaliação, em consonância com as propostas (dimensões?) contidas no documento Orientações Gerais;

• [Elaboração dos] relatórios parciais relativos às diferentes etapas de auto-avaliação e avaliação externa, definidas no projeto de avaliação do SINAES da IES;

• [Integração] com os demais instrumentos de avaliação do SINAES;

• [Detalhamento] da avaliação externa, em sintonia com as orientações da CONAES;

• [Elaboração dos] relatórios parciais ou finais da avaliação interna e externa²;

• [Revisão do] Projeto de Avaliação SINAES da IES e [re-planejamento] das atividades para a continuidade do processo de avaliação SINAES.

A terceira etapa dedica-se ao processo de "consolidação" da avaliação interna, na qual os resultados das atividades realizadas devem ganhar solidez com a preparação de relatório e divulgação, criando um espaço para o processo crítico da auto-avaliação. É uma fase de grande importância, pois é nesta que acontecem as articulações com os outros instrumentos avaliativos do SINAES, bem como se promove o debate com a comunidade acadêmica (docentes, estudantes e pessoal técnico-administrativo) e a sociedade em torno dos resultados, propondo ações que visem à melhoria institucional e, também, criando as condições para o processo de avaliação externa.

A CPA deve ser formada por representantes dos diversos segmentos da comunidade acadêmica e da sociedade civil organizada. Suas atribuições estão estabelecidas na Lei nº 10.861/04 e a sua constituição e composição, estão estabelecidas na Portaria nº 2051/04, no artigo 7º e § 2º, segundo o qual:

A forma de composição, a duração do mandato de seus membros, a dinâmica de funcionamento e a especificação de atribuições da CPA deverá ser objeto de regulamentação própria, a ser aprovada pelo órgão colegiado máximo de cada instituição de educação superior, observando-se as seguintes diretrizes: I - necessária participação de todos os segmentos da comunidade acadêmica (docente, discente e técnico administrativo) e de representantes da sociedade civil organizada, ficando vedada à existência de maioria absoluta por parte de qualquer um dos segmentos representados; II - ampla divulgação de sua composição e de todas as suas atividades.

O delineamento apresentado, a partir da legislação citada, suscita uma série de questões acerca do papel desempenhado pela CPA no processo de auto-avaliação nas duas universidades pesquisadas. Este aspecto possibilitou-nos indagar quais seriam os principais problemas destacados pela literatura acadêmica sobre a prática e dinâmica da auto-avaliação no interior das IFES, no contexto do SINAES. Dentre estes, Dias, Horiguela e Marchelli (2006) sinalizam para a "impotência" do SINAES de gerar e instituir uma cultura da auto-avaliação, tendo em vista que, entre outras razões, o INEP tem privilegiado o treinamento das comissões externas de avaliação e não vem promovendo a formação dos externa e meta-avaliação. Assim, a CPA é também responsável por discutir a avaliação externa com a própria comunidade acadêmica, processo denominado de meta-avaliação.integrantes da CPA de forma a garantir maior eficácia sócio-institucional da auto-avaliação. Os autores acrescentam que o SINAES tem assumido um caráter regulatório em detrimento do formativo, em conseqüência de uma série de fragilidades do "roteiro" de auto-avaliação.

Zainko (2008) aponta uma série de "vícios" do SINAES - "a insuficiência de pessoal capacitado", "problemas políticos na composição e desenvolvimento dos trabalhos da CPA", "escassez de pessoal familiarizado com a auto-avaliação", "insuficiência de discussões internas (comunidade acadêmica)" - e sinaliza para a fragmentação da cultura de avaliação, no interior das IFES.

Além desses pontos críticos, há autores (POLIDORO; MARINHO-ARAUJO; BARREYRO, 2006) que entendem que o SINAES constitui-se em avanço importante por causa do paradigma emancipatório/formativo que o orienta, em detrimento do paradigma regulatório, promotor de rankings e da competitividade entre as IES. Meneghel, Rolb e Silva (2006) consideram o SINAES como iniciativa relevante por promover a avaliação compreensiva, pedagógica e horizontal.

Essas considerações corroboram com o nosso entendimento de que há uma série de indefinições sobre o processo de implementação do SINAES, que têm dificultado a adoção de uma concepção de avaliação próxima de seus princípios e pressupostos teórico-metodológicos, sobretudo, no que toca ao processo de auto-avaliação. Nesta perspectiva, iremos analisar o papel desempenhado pela CPA em relação ao processo de formação, à sua lógica de trabalho, resultados e ações. Tais aspectos são pertinentes uma vez que sinalizam, no atual contexto de implementação da avaliação institucional, como as indefinições relativas ao corte político-paradigmático da avaliação predominante no SINAES vem levando o mesmo a se posicionar mais no eixo regulação-controle, o que põe em risco, a dimensão formativa, o processo de auto-avaliação no âmbito das IES e compromete a instalação de uma cultura institucional de avaliação que de fato contribua para a melhoria da qualidade.

3 AVALIAÇÃO INTERNA: O CASO DAS CPA NAS UNIVERSIDADES FEDERAIS

A seguir são analisados os dados obtidos junto aos sujeitos que compõem as CPA das Universidades Federal de Pernambuco (CPA/UFPE) e do Rio Grande do Norte (CPA/UFRN) através da realização de entrevistas semi-estruturadas e da análise dos documentos oficiais, referentes ao processo de auto-avaliação formulado por cada uma destas IFES. A escolha das IFES citadas se deveu, entre outras razões, por percursos distintos em relação à construção histórica do processo de auto-avaliação desde a década de 1990. Parte dos resultados da pesquisa são apresentados a seguir, com o objetivo de desvelar a dinâmica do processo de implementação do SINAES, nestas duas IFES no tocante ao processo de avaliação interna desenvolvido pela CPA.

3.1 A constituição das CPA: o processo de preparação

O atual processo de auto-avaliação institucional é baseado em três peças da legislação que o organiza e o orienta no âmbito do SINAES: Lei nº 10.861/04, a Portaria nº 2.051/04 e a Lei nº 5.773/06. Dentre estes, o que trata especificamente da auto-avaliação é a Portaria nº 2.051/04: versa sobre a composição, natureza e função da CPA. A referida Portaria define que a CPA é autônoma, estando a cargo das próprias IES o estabelecimento do estatuto que regulamenta as "formas de composição", a "dinâmica de funcionamento" e a "especificação das atribuições", assegurando a participação da comunidade acadêmica e a divulgação dos resultados. Analisamos a seguir o processo de auto-avaliação nas referidas universidades federais, no tocante à fase de preparação da CPA, tratando dos seguintes aspectos: formação, vínculo e apoio institucional à CPA, processo de escolha dos membros da CPA e apropriação, pelos membros da CPA, dos princípios, diretrizes e pressupostos teórico-metodológicos do SINAES.

O aspecto a ser considerado ao analisarmos comparativamente a formação das duas CPA é que não se verifica, a partir das falas dos entrevistados, coerência entre o realizado no processo de composição das CPA com a legislação e os documentos formulados pelo SINAES. Uma das evidências que comprovam esta observação é que as IFES estudadas não asseguram a participação de todos os segmentos da comunidade acadêmica no processo de auto-avaliação, inclusive conforme determina a regulamentação própria de cada IFES. Este ponto revela-se 'problemático'. O princípio da "adesão voluntária" (RISTOFF, 2000): faz-se necessário para a realização do processo de avaliação institucional a "intensa participação" dos agentes envolvidos, seja no que diz respeito à formulação dos procedimentos ou à implementação e utilização dos resultados.

Quanto à formação da CPA na UFPE e na UFRN, verificamos que estas comissões possuem formalmente distintas composições, mas que delineiam o mesmo padrão de representatividade. Neste caso, não tem sido assegurado a representação discente e da sociedade civil. Além disso, verificou-se que a representação é realizada a partir de indicação, ao sabor das alianças político-institucionais. Não há registro de formas ou critérios transparentes que seriam importantes para promover a "institucionalidade" e "legitimidade" à auto-avaliação. Nesta perspectiva, o processo de implementação da auto-avaliação não constitui somente desafio às IES privadas (POLIDORI; MARINHO-ARAUJO; BARREYRO, 2006), mas também para as IFES, como evidenciamos a seguir:

Acho que todos foram indicados pelos diretores de centro, pelo menos aqui no [Centro] foi assim, por uma indicação do próprio diretor. Agora nos outros centros eu não sei, deve ter feito convite, porque para participar de comissão em universidade é sempre complicado, muitas atividades, aí manda as comissões [...] (Entrevista realizada em 07/10/2008, com componente (C) da CPA/UFPE, representante dos docentes)

A gente faz, não é processo eleitoral, não é processo assim com escolha dos pares, a gente faz, a gente solicita que a direção de centro, a gente tem até algumas visões, de algumas pessoas que normalmente no sistema, a gente percebe pessoas preocupadas, como avaliar, como contribuir para melhora. (Entrevista realizada em 10/10/2008, com componente (H) da CPA/UFRN, representante dos docentes).

Nos depoimentos acima, este aspecto provavelmente parece impactar negativamente na participação e no envolvimento da comunidade acadêmica na auto-avaliação. E este ponto é fator proeminente na implementação de uma prática avaliativa baseada no paradigma emancipatório e sistêmico, como ressalta um conjunto de autores (SGUISSARDI, 1997; GREGO, 1997; RISTOFF, 1999, 2000; DIAS SOBRINHO; BALZAN, 2000; DIAS SOBRINHO, 2000, 2004; PEIXOTO, 2004).

Os dados referentes tanto ao vínculo quanto ao apoio institucional às CPA nas IFES estudadas corroboram com a hipótese levantada por Zainko (2008) de que o processo de formação da CPA esbarra em "problemas políticos" e na "insuficiência de discussões internas" mais intensas e constantes na construção de regulamentação própria³.

Eu entendo que ela está vinculada diretamente ao reitor, porque ela começou vinculada à Pró-reitoria de graduação, mas a gente identificou no início isso como uma coisa já um pouco equivocada. Ela tem que ser independente, acima de qualquer coisa, mas ela deve ficar no [...] geral, porque ela vai avaliar a "administração", vai avaliar tudo... Fisicamente, ela está muito ligada a PROPLAN. (Entrevista realizada em 18/09/2008, com o componente (B), representante docente da CPA/UFPE) Eu vejo mais como uma vinculação com a pró-reitoria do que com o Conselho Universitário (Entrevista realizada em 07/10/2008, com o componente (I), representante docente da CPA/UFRN).

Acho que existe um apoio... eu acho que não existe ainda muito, quando a gente pensa na parte dos resultados da avaliação, uma cultura de trabalhar esses resultados. (Entrevista realizada em 14/10/2008, com componente (H), representante docente da CPA/UFRN).

Nestes fragmentos percebe-se que não ocorreu, nos espaços institucionais pesquisados, um processo político mais aberto e consistente que propiciasse aos segmentos da comunidade acadêmica definir procedimentos para assegurar a autonomia da CPA em relação às reitorias e as pró-reitorias e também no trabalhar os dados obtidos com a auto-avaliação em relação à própria gestão da universidade, ou seja, pouco tem sido feito com os resultados da avaliação. É possível inferir, a partir dos dados, que a auto-avaliação não vem sendo implementada em perspectiva horizontal. Ao contrário, predominou uma prática de verticalização, e isso tem contribuído para que membros da comunidade acadêmica visualizem a avaliação pela dimensão punitiva, constituindo-se umas das maiores fragilidades da CPA no âmbito do SINAES.

Aprofundando a análise dos aspectos relacionados à escolha dos membros da CPA, observamos, em um primeiro momento, que a forma de composição da CPA é de regulamentação própria das IFES. Esta composição tem que ser conforme a legislação específica, marcada pela participação equilibrada dos segmentos da comunidade acadêmica. Partindo do pressuposto de que o processo de escolha marca profundamente a composição da CPA e a sua forma de funcionamento (DIAS SOBRINHO, 2000), a avaliação é constituída por um procedimento intencional de permanente "negociação consensual", constituindo-se como um "processo pedagógico" (RISTOFF, 2000).

Como salientado anteriormente, o processo de escolha dos membros das CPA tem se dado predominantemente por indicação, seja da reitoria ou dos diretores dos centros acadêmicos, o que pode contribuir para a falta de participação e envolvimento da comunidade acadêmica no processo, assim como pode colaborar para a ausência de um debate mais profundo e articulado sobre as principais questões e problemas que marcam a vida (missão, princípios e organização) das universidades estudadas. Os dados analisados não confirmam o pressuposto levantado por Meneghel, Rolb e Silva (2006) de que a avaliação desenvolvida pelo SINAES seja compreensiva e pedagógica. Ela o é como intenção, mas a prática nas instituições não tem se relevado assim. Além disso, os dados oferecem evidencias para fundamentar a hipótese sobre a impotência e fragilização da capacidade das CPA para instituir e promover a cultura da auto-avaliação, conforme o paradigma emancipatório e sistêmico de avaliação. (SGUISSARDI, 1997; GREGO, 1997; DIAS SOBRINHO, 2000, 2004; RISTOFF, 2000; PEIXOTO, 2004).

A apropriação dos princípios, diretrizes e pressupostos metodológicos do SINAES, por parte da CPA, é fundamental para a implementação e consolidação do SINAES e da cultura de avaliação no interior das IFES. A questão inicial reside no fato do MEC focalizar o processo de formação nas comissões externas (BRASIL.MEC, 2004, art. 6º) deixando em segundo plano o processo de formação dos membros das CPA, uma vez que, apesar de se ter definido vários encontros de capacitação com os membros das CPA em formato semelhante às comissões externas, a maioria dos entrevistados registravam que isso não vem acontecendo de maneira sistemática, como aconteceu nos primeiros dois anos do SINAES.

Nós fizemos várias reuniões direcionadas em cima do documento, como é que eles estavam trabalhando o SINAES e a CPA dentro da instituição, convidamos algumas pessoas para dar palestras aqui, por exemplo, no nosso primeiro relatório, nós convidamos as pessoas que tinham as dimensões, e convidávamos uma pessoa que tinha participado do processo do SINAES e que era importante nesse processo naquela dimensão específica, para vir trazer os elementos para discussão, que aí poderiam ser contestadas em cima do relatório que a gente estava apresentando. [O processo de apropriação] não tem sido suficiente porque o SINAES não tá terminado, ele vive com novidade, ele vive com novidade. [...] Só que o SINAES tá sendo atropelado pelo Conceito Preliminar do Curso, agora pelo conceito das instituições. (Entrevista realizada em 17/09/2008, com o componente (A), representante docente da CPA/UFPE).

Nós fizemos um encontro, saímos da universidade e fomos ficar num lugar imerso, aonde a gente foi estudar as leis dos SINAES, aonde a gente foi olhar a bibliografia que a gente já tinha desde o PAIUB, do que é avaliação institucional... a gente tentou fazer uma capacitação da equipe para saber qual era o nosso papel, o que a gente deveria fazer... [...] Quando foi no PAIUB a gente tinha toda uma capacitação [...] agora teve um tempo, quando começou o SINAES que foi muito bom, tinha encontro e discussão, mas agora tá parado, tem mais de dois anos, a gente já mandou e-mail reclamando, sugerindo encontro, porque o encontro que a gente está sugerindo era o que foi feito dos resultados... (Entrevista realizada em 29/09/2008, com o componente (D), representante docente da CPA/UFRN)

Observa-se, conforme os depoimentos, que a CONAES não tem demonstrado capacidade nem formas de acompanhamento da auto-avaliação institucional. Isso não pode ser confundido com o envio puro e simples de documentos e relatórios às CPA e das CPA à CONAES. É justamente sobre este aspecto que iremos direcionar nossa análise: como as CPA, das IFES estudadas, se apropriaram dos princípios, diretrizes e pressupostos metodológicos do SINAES? A formação dos membros das CPA pesquisadas adotou o mesmo percurso quanto ao processo de apropriação dos princípios, diretrizes e pressupostos metodológicos do SINAES. Este processo ocorreu de maneira muito autônoma em relação ao próprio Sistema. Ao lado disso, não foram criados mecanismos sistemáticos de apropriação ao longo do desenvolvimento dos trabalhos da CPA, fragilizando a formação continuada em face de um Sistema que sofreu ao longo do período uma série de modificações, o que veio a contribuir para a ocorrência de certa ausência de familiaridade dos agentes envolvidos na avaliação interna com os princípios, diretrizes e pressupostos teórico-metodológicos. Esses fatores levantados corroboram a hipótese levantada sobre os "desvios" do INEP e da CONAES no processo de formação e apropriação por parte das CPA dos princípios e pressupostos teórico-metodológicos do SINAES (DIAS; HORIGUELA; MARCHELLI, 2006). Finalmente, também existe a ocorrência de déficit de pessoal técnico habilitado (ZAINKO, 2008) para análise dos relatórios da auto-avaliação, no caso da avaliação externa, e o desconhecimento por parte dos membros das CPA sobre princípios e metodologias de auto-avaliação.

3.2 A lógica de trabalho da CPA: o processo de desenvolvimento

Em relação à etapa de desenvolvimento da CPA, é relevante observar a articulação entre o proposto/planejado, as metodologias utilizadas e o desenvolvimento do processo de auto-avaliação dentro dos prazos estabelecidos. Cabe as IFES estabelecerem as formas de trabalho da CPA, desde que observadas às orientações da CONAES e do MEC para garantir a coerência entre os instrumentos de avaliação do SINAES. A Portaria nº 2.051/04 assinala, no Art. 7º, § 2º, a "forma de composição", a "dinâmica de funcionamento" e a "especificação das atribuições". Todas estas questões são da responsabilidade das IFES mediante a aprovação de seu órgão colegiado máximo, desde que asseguradas a participação da comunidade acadêmica e a ampla divulgação do processo avaliativo. A mesma Portaria (BRASIL.MEC, 2004) também regula que a auto-avaliação constitui uma das etapas do processo avaliativo e será coordenada pela CPA (Art. 10).

Por essas razões, no regimento interno da UFPE (2004) e no projeto de auto-avaliação da UFRN (2006), foram definidas várias atividades que podem ser desempenhadas pela CPA durante o desenvolvimento da auto-avaliação: promoção de reuniões ou debates de sensibilização, seminários internos, definição da composição dos grupos de trabalho, construção de instrumentos para coleta de dados (entrevistas, questionários, grupos focais), definição de metodologias e interpretação dos dados, definição do formato do relatório da auto-avaliação e elaboração de relatórios.

É importante esclarecer que os instrumentos e critérios utilizados podem variar conforme a IFES estudada, uma vez que as CPA têm autonomia para criar e propor meios e processos específicos de avaliação em consonância com o princípio mais amplo de respeito à identidade institucional (BRASIL, 2004). Portanto, nesta sessão, propomo-nos analisar o desenvolvimento da CPA em três dimensões com o intuito de compreender as formas de operacionalização da auto-avaliação, a saber: funcionamento e organização dos trabalhos; articulação entre a avaliação interna e a avaliação externa; e as dificuldades para realização do trabalho.

Quanto à rotina de funcionamento e organização dos trabalhos da CPA nas IFES pesquisadas, tornou-se evidente que a maneira como ocorreu à regulamentação própria de funcionamento da CPA foi decisiva para a rotina de funcionamento e organização dos trabalhos. A maneira como as CPA conduziram seus trabalhos teve implicação distinta nas formas de participação da comunidade acadêmica, assim como no conhecimento e apropriação das dimensões da auto-avaliação, mesmo considerando o fato de que as duas universidades pesquisadas tenham dado ênfase à avaliação dos cursos de graduação, abordando questões tais como processos pedagógicos, curriculares e estrutura, em detrimento de uma avaliação mais ampla.

Quando analisado o aspecto referente à CPA e a articulação entre a avaliação interna e a avaliação externa, percebeu-se que, no modelo avaliativo adotado, a articulação entre os instrumentos é muito importante para o sucesso do processo de avaliação institucional. É imprescindível a interdependência entre a avaliação interna e a externa, pois a primeira representa a base, enquanto a segunda a culminância para o início do processo de meta-avaliação. Na construção do SINAES, a legislação (Lei nº 10.861/04, art. 3º, § 2º, e a Portaria nº 2.051/04) aponta para a questão da articulação, constituindo-se um dos pilares para o processo avaliativo que se orienta pelo paradigma emancipatório e formativo. É nítida, na legislação citada, a preocupação em definir instrumentos, sistematizar etapas, direcionar os relatórios produzidos, na perspectiva de produzir diagnósticos para subsidiar o processo de avaliação institucional das IES e estabelecer o equilíbrio entre os instrumentos avaliativos, como demonstra a Portaria Ministerial nº 2.051/04, nos artigos 11 e 12.

Os dados levantados nas IFES estudadas apontam respostas semelhantes, bastante distintos da intenção contida na legislação.

No início havia uma falta de informação mesmo, quer dizer, a informação que a gente tinha era diferente do pessoal que chegava aqui. Eles vinham pedindo coisas que a gente não tinha sido prevenido [...] No início havia um pouco de distanciamento, até que as primeiras avaliações começaram a chegar e naturalmente a CPA ficou sendo exigida, porque sempre que vinha alguém da avaliação externa, [...] do MEC.... mas era curioso que não havia um fluxo de informações diretamente para CPA na universidade, que poderia acho que haver. Então as pessoas na universidade eram chamadas independentes para participar de capacitações, depois elas eram enviadas para participar de avaliações, isso não era informado para própria instituição, porque se a CPA fosse informada podia se beneficiar disso... (Entrevista realizada em 18/09/2008, com componente B, representante docente da CPA/UFPE).

Não, o que eu reclamei foi que no processo de avaliação da instituição a gente teve encontros em Recife, encontros em Brasília, para a gente discutir e eles orientarem como a gente deveria fazer a avaliação e apresentar resultados [...] o que aconteceu é que nunca mais a gente teve esses encontros pelo INEP ou MEC, mesmo a CONAES, nunca mais. Porque a gente esperava que ao terminar, que nós terminamos em 2006, tivesse um encontro para dizer os resultados, se serviu para instituição, se ela tomou medida, isso a gente não tá tendo não. (Entrevista realizada em 14/10/2008, com componente F, representante docente da CPA/UFRN).

Na perspectiva de análise adotada, constatou-se que ocorreu uma desarticulação entre as agencias de coordenação do processo de avaliação: IFES, CONAES e MEC/INEP. Desta maneira, as próprias ações da CONAES e do INEP vêm descaracterizando a articulação entre a avaliação interna e a avaliação externa. Por essa razão, a avaliação externa atualmente vem sendo realizada de maneira pontual, no sentido de apenas realizar reconhecimento de cursos de graduação, e a CONAES não vem promovendo o retorno das discussões levantadas pelas CPA. Esses aspectos comprometem seriamente a concepção de avaliação institucional do SINAES, defendida pela CONAES. Também prejudica o objetivo da avaliação interna no sentido da institucionalização de uma cultura de avaliação participativa e legitimada, além de não atender aos requisitos de transparência, ao caráter público da universidade e da avaliação. Destaca-se ainda a questão da 'impossibilidade' da realização de uma síntese articulando a auto-avaliação, avaliação externa e a meta-avaliação. (DIAS SOBRINHO, 2000). Para autores como Grego (1997), Ristoff (2000) e Dias Sobrinho (2000), é na articulação entre estas etapas que reside a força da avaliação sistêmica. Os dados analisados indicam a fragilidade desse aspecto na implementação do SINAES, assim como as dissonâncias e distorções na realização da auto-avaliação nas IFES no tocante a "sensibilização da comunidade", a "adesão voluntária e ampla" e a "constituição dos agentes dotados de função pública".

Os dados analisados relativos à articulação entre os instrumentos de avaliação em implementação vai de encontro a concepção de que o SINAES compreende diferentes procedimentos integrados em um "único sistema" (avaliação interna, externa, discente e de cursos de graduação) e orientado por uma concepção metodológica única.

Quanto às dificuldades para a realização das atividades, os membros das CPA estudadas apontaram os seguintes problemas/dificuldades:

a) de diálogo das CPA com as estruturas centrais do SINAES, materializado na CONAES e INEP, no que se refere à obtenção de informações, divulgação e análise dos resultados, como fica claro numa fala-síntese das entrevistas realizadas:

Falta diálogo entre a CPA e o INEP. Se você faz só isso ótimo. Se você faz milhões de outras coisas, você não visita a página todo dia. Eu achei essa portaria que eu estou falando, por acaso, porque eu estava atrás, meu Deus do céu... o que é que tá acontecendo, eu tenho que saber sobre as avaliações externas, a nossa instituição vai ser avaliada, e a gente não sabe de nada. Percebemos que não existe engajamento para uma avaliação geral da instituição das pessoas, você não pode esperar isso numa instituição como a UFPE. (Entrevista realizada em 17/09/2008, com o componente (A), representante dos docentes da CPA/UFPE).

b) de acompanhar as "novidades" do SINAES;

c) de falta de assistência técnica para trabalhar com os dados levantados, tendo em vista a ausência de qualificação de pessoal e infra-estrutura nas etapas de coleta e interpretação dos dados, dentro dos prazos estabelecidos;

d) de persistência de dúvidas e questionamentos sobre o papel efetivo da CPA;

e) de incapacidade acentuada de mobilização da universidade, de promoção da participação e envolvimento dos professores, estudantes e funcionários no processo de auto-avaliação;

f) de trabalhar e se apropriar da totalidade da documentação exigida pelo SINAES. A época do levantamento dos dados, UFPE ainda não tinha PDI nem PPI;

g) de engajamento dos próprios membros da CPA nas diversas etapas da avaliação, mas em especial no processo de análise dos dados, a qual foi reportada por muitos dos entrevistados das duas IFES como a parte mais problemática do trabalho das CPA.

h) de falta de espaço físico, estrutura e material de expediente adequados, bem como melhores condições para o trabalho das CPA, já que foi comumente indicado o excesso de atividades por parte dos membros das CPA.

Observamos também problemas relacionados à resistência dos docentes e ao entendimento da comunidade acadêmica sobre o paradigma de avaliação adotado no processo. Em destaque neste caso, o que se evidenciou foi o receio, principalmente dos professores, da punição como conseqüência do processo avaliativo.

Contudo, diante dos problemas/dificuldades apresentadas no desenvolvimento do processo de auto-avaliação, é possível indicar, no conjunto dos elementos levantados tanto a partir do campo empírico quanto teórico-conceitual (SGUISSARDI, 1997; CUNHA, 1999; DOURADO, 2002; GOMES, 2003; DIAS; HORIGUELA; MARCHELLI, 2006; MENEGHEL; ROLB; SILVA, 2006) a persistência da lógica de centralidade da avaliação no sentido do governo tender a ampliar o controle sobre as IFES, em face das lacunas da avaliação sistêmica como "fator organizacional das IFES" (DIAS SOBRINHO, 2000; MOROSINI, 1997).

3.3 Os resultados e ações da CPA: o processo de consolidação

A etapa de consolidação refere-se à fase-término dos trabalhos da CPA, na qual se elabora o relatório final, tendo em vista o início de um novo ciclo. Objetivamos fazer um balanço da avaliação realizada nas IFES e discutirmos os resultados e suas contribuições para a melhoria da qualidade institucional. Para tanto elegemos duas dimensões: as contribuições da CPA ao processo de avaliação institucional e o impacto do trabalho da CPA em relação à mobilização da comunidade e à gestão universitária. Optamos por estas duas dimensões por serem fundamentais ao processo de consolidação da auto-avaliação realizada pela CPA. Para trabalharmos sobre as contribuições da CPA ao processo de avaliação institucional, focalizamos a questão em dois aspectos: as contribuições e a capacidade de produção de indicadores utilizados no processo.

Na UFPE, verificamos que as maiores contribuições da CPA residiram na questão da sensibilização dos coordenadores dos cursos de graduação e na tentativa de organização sistemática dos dados, coletados junto à instituição:

Olha, ela tentou organizar os dados. Acho que para mim seria, acho que a maior contribuição dela seria essa. Eu sou muito pragmático, entendeu? Então, organização dos dados, ter dados é uma coisa muito boa para você tratar. Você ter os dados organizados é fundamental para tirar conclusão em cima disso. (Entrevista realizada em 07/10/2008, com o componente (C), representante docente da CPA/UFPE).

É possível inferir, acerca das contribuições da CPA/UFPE, que os resultados ficam muito aquém das expectativas e objetivos previamente estabelecidos, não sendo suficientemente promissor na implantação de processos, práticas e rotinas de avaliação interna que permita o reconhecimento institucionalmente amplo e legitimado da prática de auto-avaliação da UFPE. Quando analisado o potencial de criação ou produção de indicadores institucionais, a contribuição foi ainda mais inconsistente, uma vez que a CPA apresentou o que podemos denominar de 'baixa operacionalidade político-técnica'. Tal entendimento torna evidente que a CPA/UFPE tem se restringido apenas a preencher os indicadores e requerimentos estabelecidos pelo SINAES, de forma que não criou processos e instrumentos específicos tendo em vista as especificidades da UFPE. Esses aspectos levantados não combinam com a perspectiva da avaliação sistêmica/subjetivista. Por outro lado, desvela também a tensão paradigmática da avaliação no contexto das relações sociais no interior das IFES.

As maiores contribuições da CPA/UFRN materializam-se tanto no processo de sensibilização dos professores em torno da busca de resultados, como na organização sistemática dos dados coletados junto aos diferentes centros da Instituição, no diagnóstico dos problemas estruturais dos cursos, relacionados aos currículos, aos docentes e ao Projeto Político Pedagógico. Concentrou-se também no desenvolvimento da capacidade de realização de estudos sobre a Instituição como um todo.

Aqui eu acho que a contribuição foi, primeiro, a capacidade da comissão de fazer estudos macro, porque a gente conhece muito a instituição pontualmente, mas nós avaliamos as 10 (dez) dimensões, ter idéia de como está a universidade, a grande contribuição foi que a gente localizou os pontos fracos dela, localizamos pontos fortes. (Entrevista realizada em 29/09/2008, com o componente (D), representante docente da CPA/UFRN).

Os dados nos possibilitam afirmar que o potencial de criação ou produção de indicadores institucionais, por parte da CPA/UFRN, é uma contribuição que aconteceu de maneira consistente, apresentando 'operacionalidade político-técnica' nos trabalhos desenvolvidos, inclusive criando instrumentos de coleta de dados, estabelecendo rotinas e as institucionalizando. Essa rotina aparentemente tende a ir ao encontro da perspectiva de avaliação construída a partir de um processo social que visa constituir uma qualidade baseada no caráter formativo, desenvolvendo a princípio um conceito de avaliação institucional mais amplo.

Contudo, destaca-se que na CPA/UFRN o equilíbrio da representação dos segmentos da comunidade acadêmica não foi assegurado como demanda a legislação do SINAES. Talvez seja por essa razão que os critérios orientadores da criação de indicadores na UFRN tenham sido debatidos mais ao nível da CPA e das instâncias de gestão da instituição (Pró-reitorias, Centros acadêmicos, Coordenações de cursos) sem a incorporação da comunidade acadêmica (segmentos discente, docente e técnico administrativo, assim como representação da sociedade civil organizada).

Isso pode sugerir, por outro lado, que o SINAES e particularmente seus formuladores, não levaram em consideração as dificuldades de operacionalização cotidiana das CPA tendo em vista o grande número de participantes, os aspectos políticos e técnicos e a diversidade (quando não a falta) de interesse dos diversos segmentos no processo de avaliação. Essa dimensão merece ser estudada profundamente. Por exemplo, ao analisar as CPA UFPE e UFRN percebemos níveis e perspectivas distintas na capacidade de articulação política, de mobilização e sensibilização da comunidade acadêmica. Contudo, essa mobilização, em ambas as CPA, confronta-se com limitações concretas, tanto em relação aos segmentos docentes e discentes, mas, sobretudo, em relação à participação da sociedade civil.

Quando verificado possíveis impactos do trabalho da CPA, observamos posições contraditórias. É possível afirmar que a CPA/UFPE não foi incorporada à lógica da gestão institucional, enquanto a CPA/UFRN foi incorporada e incorporou-se fortemente à lógica da gestão institucional. Neste caso, é possível afirmar que a possibilidade de impacto do trabalho da CPA materializa-se muito mais na UFRN do que na UFPE.

Esses aspectos acenam para certas limitações do trabalho desempenhado pela CPA na auto-avaliação e questiona fortemente a premissa da promoção e instalação da cultura da auto-avaliação. Além disso, questiona o propalado conflito entre avaliação e regulação.

CONSIDERAÇÕES FINAIS

Analisamos as Comissões Próprias de Avaliação no contexto de implementação do SINAES em duas universidades federais, através do processo de constituição das CPA, analisando comparativamente dimensões e processos, identificando procedimentos, instrumentos e as formas de operacionalização da avaliação institucional. As IFES estudadas criaram suas CPA no sentido de responder ao processo de implementação da avaliação institucional proposta pelo SINAES. Esta realidade promoveu uma série de possibilidades e desafios para a avaliação institucional, em especial para o processo de auto-avaliação.

A análise realizada aponta para ocorrência de certos obstáculos que fragilizam a perspectiva sistêmica da avaliação no processo da auto-avaliação realizado pela CPA, no que diz respeito às dez (10) dimensões e à participação dos atores da comunidade acadêmica. De maneira geral, os dados analisados corroboram com a hipótese de que a ausência de familiaridade com a teoria e a prática da avaliação favorece o desencontro entre os objetivos propostos e os resultados alcançados.

Ao analisarmos o processo de preparação - a formação da CPA -, constatou-se que estas Comissões exercem uma tarefa complexa, pois têm de desenvolver um ambiente propício a implantação da cultura da auto-avaliação enquanto deve "respeitar a identidade institucional". Dessa forma, mesmo possuindo formalmente distintas composições, as CPA estudadas delinearam a mesma lógica de formação e de representação formal. Entendemos que essa lógica contribuiu para fragilização da participação da comunidade acadêmica no processo de auto-avaliação. Por outro lado, gostaríamos de sugerir que é preciso estudar e problematizar o "principio" do "respeito à identidade institucional"; a legislação e os documentos, assim como vários autores-defensores do SINAES, herdeiros do PAIUB, falam de uma identidade institucional que não sabemos realmente o que é. Se a avaliação é um processo de autoconhecimento, ela é necessariamente transformadora. Portanto, sob o manto e mito da identidade institucional pode ser que se deixe de realizar transformações relevantes e necessárias às universidades.

Entendemos que os processos de auto-avaliação desenvolvidos pelas CPA estudadas foram limitados pela dinâmica de implementação do SINAES, já que a CONAES e o INEP não tem estimulado no nível desejado o trabalho das CPA, impactando negativamente na instalação de um processo de avaliação sistêmico e sistemático. Por outro lado, a posição da CONAES e INEP pode ser indicativa de uma mudança de rota e prioridade na política de avaliação por parte do MEC, questão não explorada no presente texto, mas que é percebida pela importância que o ENADE vem ganhando no SINAES, com a criação, em 2008, do Conceito Preliminar de Cursos (CPC) e do Índice Geral de Cursos (IGC).

No seio das CPA, não existe reflexão aprofundada sobre o processo da produção dos dados, sobre os resultados alcançados e seus impactos. Consideramos também que o processo de escolha dos membros destas Comissões e a proposta de participação equilibrada dos segmentos da comunidade acadêmica, precisam ser estudados. Na prática, em função das condições estruturais, há uma evidente predominância dos docentes na composição das CPAs das IFES pesquisadas, não havendo uma participação sistemática nem dos estudantes, nem dos técnico-adminstrativos e muito menos da sociedade civil. Do nosso ponto de vista, é preciso questionar se este seria o modelo mais recomendável de gestão da auto-avaliação institucional.

Tudo isso nos leva destacar os aspectos relacionados ao processo de apropriação dos princípios, diretrizes e pressupostos metodológicos do SINAES. Nesta perspectiva, o MEC, a CONAES e o INEP têm focalizado o processo de formação dos membros das comissões externas. Por essa razão, evidenciamos a precariedade na formação continuada e no acompanhamento das CPA.

Observamos também que o SINAES, em sua legislação, vela pelo equilíbrio entre os processos avaliativos da avaliação institucional. Contudo, esse equilíbrio não existe na prática, face ao distanciamento entre a CPA e as Comissões Externas. Essa constatação desvela uma série de dificuldades e entraves para a realização das atividades da CPA no processo de auto-avaliação, base da avaliação institucional. É importante finalizar destacando que a CPA/SINAES não tem conseguido instituir a prática da avaliação sistêmica baseada no paradigma subjetivista e emancipátorio, além de crescentemente distanciar-se de seus princípios e proposições.

Recebido: 23 dez. 2010

Aprovado: 04 abr. 2011

• AMARAL, N. C. Financiamento da educação superior: estado x mercado. São Paulo e Piracicaba: Cortez e Editora UNIMEP, 2003.
• AUGUSTO, Rosana; BALZAN, Newton Cezar. A vez e a voz dos coordenadores das CPAs das IES de Campinas que integram o SINAES. Avaliação, Campinas; Sorocaba, SP, v. 12, n. 4, p. 597-622, dez. 2007.
• BRASIL. Decreto nº 5.773, de 09 de maio de 2006 Dispõe sobre o exercício das funções de regulação, supervisão e avaliação de instituições de educação superior e cursos superiores de graduação e seqüenciais no sistema federal de ensino. Brasília, 2006.
• BRASIL. Lei nº 10.861, de 14 de abril de 2004 Institui o Sistema Nacional de Avaliação da Educação Superior - SINAES e dá outras proficiências. Brasília, 2004.
• BRASIL. Lei nº 9.131, de 24 de novembro de 1995 Altera dispositivos da Lei nº 4.042, de 20 de dezembro de 1961, e dá outras providências. Brasília, 1995.
• BRASIL. Lei nº 9.394, de 20 de dezembro de 1996 Estabelece as Diretrizes e Bases da Educação Nacional. Brasília, 1996.
• BRASIL. Presidência da República - Grupo de Trabalho Interministerial. Bases para o enfrentamento da crise emergencial das universidades brasileiras e roteiro para a reforma da universidade brasileira Brasília, 2003.
• BRASIL.MEC. Portaria nº 2.051, de 9 de julho de 2004. (Publicada no DOU nº 132, de 17.07.2004, Seção 1, página 12). Regulamenta os procedimentos de avaliação do Sistema Nacional de Avaliação da Educação Superior (SINAES), instituído na Lei nº 10.861, de 14 de abril. Brasília, 2004.
• BRASIL.MEC. Portaria Normativa de nº 12, 05 de setembro de 2008. Institui o Índice Geral de Cursos da Instituição de Educação Superior, tendo em vista o disposto no art. 209 da Constituição Federal, na Lei no 9.394, de 20 de dezembro de 1996, na Lei no 10.861, de 14 de abril de 2004, e no Decreto nº 5.773 de 09 de maio de 2006.
• BRASIL.MEC. Portaria Normativa de nº 4, 05 de agosto de 2008. Regulamenta a aplicação do conceito preliminar de cursos superiores, para fins dos processos de renovação de reconhecimento respectivos, no âmbito do ciclo avaliativo do SINAES instaurado pela Portaria Normativa nº 1, de 2007.
• BRASIL.MEC. Diretrizes para avaliação das instituições de educação superior. Comissão Nacional de Avaliação da Educação Superior. CONAES. Brasília, 2004a.
• BRASIL.MEC. Sistema Nacional de Avaliação da Educação Superior (SINAES). Bases para uma nova proposta de Avaliação da Educação Superior Brasileira Comissão Especial de Avaliação (CEA). Brasília, 2003.
• BRASIL.MEC. Sistema Nacional de Avaliação da Educação Superior (SINAES). Roteiro de Auto-avaliação Institucional: orientações geais. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira - INEP. Comissão Nacional de Avaliação da Educação Superior - CONAES. Brasília, 2004b.
• CATANI, Afrânio Mendes; OLIVEIRA, João Ferreira; DOURADO, Luiz Fernandes. As políticas de gestão e de avaliação acadêmica no contexto da reforma da educação superior. In: MANCEBO, Deise; FÁVERO, Maria de Lourdes de Albuquerque. (Orgs.). Universidade: políticas, avaliação e trabalho docente. São Paulo: Cortez, 2004.
• CUNHA, Luiz Antonio. Reforma universitária em crise: gestão, estrutura e território. In: TRINDADE, Hélgio. (Org.). Universidade em ruínas: na república dos professores. Petrópolis: Vozes, Rio Grande do Sul: CIDEPES, 1999.
• DIAS SOBRINHO, José. Avaliação ética e política em função da educação como direito público ou como mercadoria? Educação & Sociedade, Campinas, v. 25, n. 88, p. 703-725, Especial - Out. 2004. Disponível em <http://www.cedes.unicamp.br>. Acesso em: 5 jun. 2010.
• DIAS SOBRINHO, José. Avaliação institucional: das perspectivas tecnológicas às políticas e sociais. In: DIAS SOBRINHO, José. Avaliação da educação superior Petrópolis, RJ: Vozes, 2000.
• DIAS SOBRINHO, José. Avaliação institucional: marcos teóricos e políticos. Avaliação, Campinas, v. 1, n. 1, p. 15-24, jul. 1996.
• DIAS SOBRINHO, José; BALZAN, Newton César. (Orgs.). Avaliação institucional: teoria e experiências. 2. ed. São Paulo: Cortez, 2000.
• DIAS, Carmem Lúcia; HORIGUELA, Maria de Lourdes Morales; MARCHELLI, Paulo Sérgio. Políticas para avaliação da qualidade do ensino superior no Brasil: um balanço crítico. Educação & Pesquisa, São Paulo, v. 32, n. 3, p. 435-464, set./dez. 2006.
• DOURADO, Luiz Fernandes. Reforma do Estado e as políticas para a educação superior no Brasil nos anos 90. Educação & Sociedade, Campinas, v. 23, n. 80, p. 234-252, set. 2002. Disponível em <http://www.cedes.unicamp.br>. Acesso em: 1 jun. 2010.
• GIOLO, Jaime; RISTOFF, Dilvo. O SINAES como sistema. Revista Brasileira de Pós-graduação, CAPES, Brasília, v. 3 n. 6, dez. 2006.
• GOMES, Alfredo Macedo. Estado, mercado e educação superior no Brasil: um modelo analítico. Educação & Sociedade, Campinas, v. 24, n. 84, set.(2003a). Disponível em: <http://www.cedes.unicamp.br>. Acesso em: 29 maio 2010.
• GOMES, Alfredo Macedo. Política de avaliação da educação superior: controle e massificação. Educação & Sociedade, Campinas, v. 23, n. 80, p. 275-298, set. 2002, Disponível em <http//:www.cedes.unicamp.br>. Acesso em: 12 jun. 2010.
• GOMES, Alfredo Macedo. Exame Nacional de Cursos e Política de Regulação Estatal do Ensino Superior. Cadernos de Pesquisa, São Paulo, n. 120, p. 129-149, nov. (2003b).
• GREGO, Sônia Maria Duarte. A meta-avaliação como referencial de análise e de reflexão. In: SGUISSARDI, Valdemar. (Org.). Avaliação universitária em questão: reformas do estado e da educação superior. Campinas, SP: Autores Associados, 1997. Coleção educação contemporânea.
• LEITE, Denise. Ameaças pós-rankings sobrevivência das CPAS e da auto-avaliação. Avaliação, Campinas; Sorocaba, v. 13, n. 3, p. 833-840, nov. 2008.
• MACEDO, Arthur Roquete de; TREVISAN, Ligia Maria Vettorato; TREVISAN, Péricles; MACEDO, Caio Sperandeo de. Educação superior no século XXI e a reforma universitária brasileira. Ensaio: Avaliação. Política Pública. Educação, Rio de Janeiro, v. 13, n. 47, p. 127-148, abr./jun. 2005
• MENEGHEL, Stela M.; ROLB, Fabiene; SILVA, Tattiana T. Freitas da. A relação entre avaliação e regulação na Educação Superior: elementos para o debate. Educar, Curitiba, n. 28, p. 89 - 106, 2006.
• MOROSINI, Marília Costa. Avaliação institucional como um organizador qualificado: na prática, é possível repensar a universidade? In: SGUISSARDI, Valdemar. (Org.) Avaliação universitária em questão: reformas do estado e da educação superior. Campinas: Autores Associados, 1997. (Coleção educação contemporânea).
• OTRANTO, Celia Regina. A reforma da educação superior do Governo Lula: da inspiração à implantação. In: SILVA JR, João dos Reis; OLIVEIRA, João Ferreia; MANCEBO, Deise. (Orgs.). Reforma universitária: dimensões e perspectivas. Campinas: Alínea, 2006. (Coleção políticas universitárias)
• PEIXOTO, Maria do Carmo de Lacerda. O debate sobre avaliação da educação superior: regulação ou democratização? In: MANCEBO, Daise; FÁVERO, Maria de Lourdes de Albuquerque. (Org.). Universidade: políticas, avaliação e trabalho docente. São Paulo: Cortez, 2004.
• PEIXOTO, Maria do Carmo de Lacerda. Avaliação institucional nas universidades federais e as comissões próprias de avaliação. Avaliação Campinas; Sorocaba, SP, v. 14, n.1, p. 9-28, mar. 2009.
• POLIDORI, Marlis Morossini, MARINHO-ARAUJO, Claisy M., BARREYRO, Gladys Beatriz. SINAES: Perspectivas e desafios na avaliação da educação superior brasileira. Ensaio: Avaliação. Política Pública. Educação, Rio de Janeiro, v. 14, n. 53, p. 425-436. Out.\dez., 2006.
• RISTOFF, Dilvo. A tríplice crise da universidade brasileira. In: TRINDADE, Hélgio. (Org.). Universidade em ruínas: na república dos professores. Petrópolis, RJ: Vozes, Rio Grande do Sul: CIDEPES, 1999.
• RISTOFF, Dilvo. Avaliação institucional: pensando princípios. In: DIAS SOBRINHO, José; BALZAN, Newton César. (Org.). Avaliação Institucional: teoria e experiências. 2. ed. São Paulo: Cortez, 2000.
• ROTHEN, José Carlos. Ponto e Contra ponto na Avaliação Institucional: análise dos documentos de implementação do SINAES. In: SILVA JR, João dos Reis; OLIVEIRA, João Ferreira de; MANCEBO, Daise (Org.). Reforma Universitária: dimensões e perspectivas. Campinas, São Paulo: Editora Alínea, 2006. (Coleção políticas universitárias).
• SGUISSARDI, Valdemar. (Org.). Avaliação universitária em questão: reformas do Estado e da Educação Superior. Campinas: Autores Associados, 1997.
• SILVA JR, João dos Reis; SGUISSARDI, Valdemar. A reforma da educação superior diante da reforma do estado reformas educacionais, mudança social e epistemologia. In: SGUISSARDI, Valdemar (Org.). Avaliação universitária em questão: reformas do estado e da educação superior. Campinas: Autores Associados, 1997.
• VERHINE, Robert Evan; DANTAS, Lys Maria Vinhaes; SOARES, José Francisco. Do Provão ao ENADE: uma análise comparativa dos exames nacionais utilizados no Ensino Superior Brasileiro. Ensaio: Avaliação. Política Pública. Educação, Rio de Janeiro, v. 14, n. 52, p. 291-310, jul./set. 2006.
• ZAINKO, Maria Amélia Sabbag. Avaliação da educação superior no Brasil: processo de construção história. Avaliação, Campinas; Sorocaba, v. 13, p. 827-831, nov. 2008.

1

Comissão composta por membros da Secretaria da Educação Superior (SESu), do Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP) e onze (11) especialistas ligados às universidades públicas e privadas.

2

A CPA é responsável por realizar relatórios parciais e finais da avaliação interna, submetê-los às comissões externas de avaliação no sentido de completar o ciclo avaliativo sistêmico - avaliação interna, avaliação

3

No caso da UFRN, a CPA foi organizada por meio de subcomissões em torno de cada dimensão do processo de auto-avaliação; enquanto que na UFPE, a CPA foi organizada a partir de uma comissão geral formada por representantes de cada centro acadêmico da universidade.

Datas de Publicação

• Publicação nesta coleção
  30 Nov 2011
• Data do Fascículo
  Nov 2011

Histórico

• Recebido
  23 Dez 2010
• Aceito
  04 Abr 2011