Ameaças pós-rankings sobrevivência das CPAS e da auto-avaliação
Post-ranking menaces: self-evaluation commisions and self-evaluation survival
Denise Leite
Pesquisadora CNPq, Docente Permanente PPGEDU, FACED, UFRGS. E-mail: dleite@potoweb.com.br
RESUMO
Em tempos de "reformas por dentro" das políticas de educação superior a comunidade acadêmica brasileira foi surpreendida com a publicação de um ranking nacional produzido a partir de indicadores provenientes do programa SINAES. A reforma "por dentro" da lei, que não prevê a classificação das IES, contraria seu caráter formador, de valorização da avaliação interna e da auto-análise das IES. A classificação nacional das IES tornando-se o lado mais visível da avaliação poderia ser uma sutil ameaça à sobrevivência das CPAs e da auto-avaliação das IES.
Palavras-chave: Educação superior. Avaliação. Auto-avaliação. SINAES. Rankings.
ABSTRACT
In times of internal reforms of higher education policies, the Brazilian academic community was surprised by the publication of a national ranking of institutions derived from data by SINAES. The legal internal reform, that does not assume an institutional performance classification, goes against its formative character of self evaluation and self analyzis. If the national ranking of higher education institutions is to become the most visible side of national higher education evaluation, it can also be a subtle menace to the survival of self-evaluation commisions and of institutional self-evaluation.
Key words: Higher education. Evaluation. Self-evaluation. SINAES. Rankings.
Desde os anos 1993 o Brasil vem tratando de implantar sistemas nacionais de avaliação. A cada novo governo um amplo programa se instala ou se rejuvenesce e renova. Novas ênfases são feitas sobre programas anteriores. A legislação que acompanha estas mudanças é copiosa, abundante. De tal sorte que parece confirmar e reconfirmar a conhecida Lei de Jadot pela qual se estabelece que quanto mais legislação centralizada menor a autonomia das IES. De tal sorte que ao instaurar o SINAES, foi necessário fazer uma "faxina legislativa" para revogar decretos e portarias que contradiziam ou entravam em choque com os princípios e procedimentos de legislação anterior.
A Revista de Avaliação tem sido testemunha dos esforços para implantar uma avaliação interna forte nas IES com "voz e voto" dos distintos segmentos da comunidade acadêmica. Seus editores e colaboradores, ao longo dos anos, lideraram a publicação que mantém a defesa de um modelo emancipatório de avaliação, não atrelado às visões de liberalismo extremo da economia. Através da Revista, desde o PAIUB, e com criação do SINAES, especialistas, docentes e discentes, alertaram sobre a importância da participação das comunidades no reforço e apropriação de metodologias de avaliação para a continuidade dos processos avaliativos no Brasil. A ANDES desde 1982 lutou por uma avaliação democrática.
Em tempos de reformas "por dentro" das políticas de educação superior a comunidade acadêmica, em 2008, foi surpreendida com a publicação de um ranking nacional produzido a partir de indicadores provenientes do programa SINAES. Tal "reforma" foi precedida pela renovação dos quadros técnicos do INEP/MEC, do fortalecimento do ENADE e da seleção de novos índices precariamente discutidos. A reforma "por dentro" atingiu o SINAES, cuja lei não prevê a classificação das IES; contraria seu caráter formador, de valorização da avaliação interna e da auto-análise das IES. Com esta medida o SINAES estaria afetado em sua concepção. Em conseqüência, as CPAs perderiam sua importância na condução dos processos internos de avaliação. Enfraquecimento e indefinição estariam a produzir uma "viagem por fora." Por outro lado, os mais críticos afirmariam que as CPAs estão "por fora" desde que foram criadas. Elas estariam a jogar um jogo sem altura como decorrência da própria imposição da política de avaliação e da ausência de uma cultura de avaliação participativa nas instituições. A classificação nacional das IES tornando-se o lado mais visível da avaliação poderia ser uma sutil ameaça à sobrevivência das CPAs e da auto-avaliação das IES.
O que é Auto-avaliação e Avaliação Interna
Em termos amplos a avaliação é um "organizador qualificado", pois, organiza e coloca em seu lugar as informações que temos sobre uma IES. O processo de avaliação com informações organizadas favorece o entendimento de situações e relações, construção de sentidos e conhecimentos sobre sujeitos, estruturas e atividades que ocorrem em uma instituição educativa em um determinado período de tempo. Em verdade, uma avaliação indica qual o conhecimento que vale - o que se deve saber a respeito do quê, o que se valoriza em detrimento do quê.
Quando se tratar de auto-avaliação institucional, responsabilidade primeira das CPAs, há que entendê-la como um processo interno de avaliação autoreferencializado, levado a cabo por sujeitos interessados e integrantes da própria instituição em que ela acontece. Desta forma, estes sujeitos tornam-se participantes como avaliadores e como avaliados. São sujeitos, mas também parte do objeto de avaliação. Nesta perspectiva a avaliação interna de uma IES pode ter uma diretriz externa, legal, como a proposta pelo SINAES e utilizada pelo INEP/SESU/MEC com vistas aos processos de controle do sistema. O processo de auto-análise em termos de coerência se faz com uma comunidade movida por seus próprios interesses que cria as regras de referencialização para sua avaliação, as executa e analisa de forma crítica. Os processos de auto e de avaliação interna são duas faces da mesma moeda. Eles se afinam com a descoberta elementar dos pontos fortes e das potencialidades da IES e com a coragem de discriminar pontos fracos nas realizações em um determinado território e tempo, vistos por aquelas pessoas, naquela circunstância. Na perspectiva de uma produção própria, o processo tende a ser cooperativo. Realizado pelos próprios sujeitos buscando melhoria da qualidade da IES, torna-se uma prática de autonomia, um jogo de aprendizagem democrática.
Estudiosos e praticantes reconhecem que deixar de realizar uma avaliação interna seria um indicador de "miopia institucional". Apenas atender aos apelos externos de avaliação concorrencial, não contribui para a melhoria da IES. À CPA cabe a fundamental tarefa de coordenar e articular o processo interno de avaliação da instituição; sistematizar e disponibilizar informações bem como sensibilizar a comunidade para a sua participação. A participação é autopoiética, é auto-organização de seres sujeitos em relação. Ocorre de dentro para fora da IES, não aceita ser imposta, do que decorre uma das dificuldades de funcionamento de uma CPA.
O que é e o que faz uma Cpa
A CPA é um órgão criado pela Lei SINAES (Lei 10.861 de 2004, Art. 11) que tem como função coordenar e articular o processo interno de avaliação das instituições, sua auto-avaliação; sistematizar e disponibilizar informações solicitadas pelo INEP/ MEC, responsabilizar-se pela avaliação SINAES e pela manutenção do cadastro das IES brasileiras. O sistema de avaliação das instituições de educação superior do país instituiu a participação de docentes, discentes e técnicos, como atores internos e egressos e representantes da comunidade como atores externos. Uma CPA tem regulação própria dentro da IES, é fruto de sua autonomia. A auto-avaliação que realiza, de acordo com a lei, tem como objetivos: (...) "produzir conhecimentos, por em questão os sentidos do conjunto de atividades e finalidades cumpridas pela instituição, identificar as causas dos seus problemas e deficiências, aumentar a consciência pedagógica e capacidade profissional do corpo docente e técnico-administrativo, fortalecer relações de cooperação entre os diversos atores institucionais, tornar mais efetiva a vinculação da instituição com a comunidade. Julgar acerca da relevância científica e social de suas atividades e produtos, além de prestar contas à sociedade".
O que Fazem as CPAS das Pequenas IES:
Há cerca de um ano pesquisei "O Desempenho das CPAs das IES com até 500 alunos" (INEP: 2007). Elas constituem 50,62% do total de instituições do sistema de educação superior brasileiro e respondiam à época, pela matrícula de 206.852 alunos. Estas IES apresentam as mais variadas denominações: faculdade integrada, faculdade isolada, escola e/ou instituto, centro de educação tecnológica, centro federal de educação tecnológica, faculdade de tecnologia, centro universitário. Na primeira parte do estudo examinei, com colegas, 256 relatórios de avaliação interna. Na segunda parte, com questionário eletrônico, foram ouvidas 899 CPAs, do total de 1019 IES. Foram obtidas respostas de 46% das IES com endereços eletrônicos válidos.
Considerando comparativamente o conteúdo dos relatórios analisados de forma qualitativa com os dados quantitativos dos questionários, se observa que as pequenas IES produziram relatórios para cumprir a obrigação de informar ao INEP e atender a Lei SINAES. Nestes relatórios descreveram documentos e informações institucionais, mas, não conseguiram produzir análises críticas ou conhecimentos que pusessem "em questão os sentidos do conjunto de atividades e finalidades cumpridas pela instituição", conforme com as diretrizes para auto-avaliação e avaliação interna. Em geral, encontra-se nos relatórios a prática tradicional da avaliação que obtém seus dados a partir do "famoso" questionário de informação sobre o docente, preenchido pelo discente.
A leitura dos relatórios das CPAs não é conclusiva, por exemplo, sobre a produção de conhecimentos que a "boa" técnica de auto-avaliação produziria. Os relatórios analisados foram mais descritivos do que críticos ou analíticos. Por exemplo, uma CPA informou que "existe incubadora empresarial" outra, nomeou cursos de extensão oferecidos à comunidade, como parte da dimensão responsabilidade social. Deixou de avaliar o que existe, porque existe, para que existe.
Apenas 8,2% das IES disseram que atingiram todos os objetivos previstos no SINAES. Por outro lado, há críticas dentro da IES ao processo de avaliação interna desenvolvida e tanto valorização quanto desvalorização do SINAES. As CPAs parecem ter uma escala em que pontuam mais alto a sua liberdade de atuação dentro da IEs - que não é completa - do que o processo de avaliação interna e este mais do que o processo de avaliação do SINAES. Na meta-avaliação as críticas são apontadas tanto ao processo interno quanto ao programa SINAES e quanto à liberdade da CPA.
As informações dos relatórios e dos questionários poderiam ser entendidas como descritivo-quantitativas, quase lineares, do tipo vamos dizer o que eles querem ouvir. O uso de avaliação docente pelo discente como prática regular poderia ter grande valor quando bem conduzida e na existência de uma cultura de avaliação na instituição. Em circunstâncias normais e de forma isolada ela tende a afastar sujeito e objeto, pouco acrescenta.
A Vez e a Voz dos Coordenadores de CPAS de Campinas
Em artigo publicado na Revista Avaliação, Augusto e Balzan (2007) descrevem estudo qualitativo intitulado "A vez e a voz dos coordenadores das CPAs das IES de Campinas que integram o SINAES". As informações coletadas, após análise de conteúdo das entrevistas, parecem alinhar esta investigação com a anterior. Os resultados são confirmatórios. Entre as observações dos autores destaco a questão da "certa dificuldade dos coordenadores para conduzir o processo de auto-avaliação" o que na pesquisa anterior aparece como sugestão de treinamento, capacitação, informações. Em dez dos casos analisados os instrumentos de avaliação foram os questionários. Idem na pesquisa das pequenas IES. Os coordenadores dizem ter autonomia e os pesquisadores pensam que ela não ficou assim tão evidente. Os coordenadores dizem que a avaliação não causou surpresas porque espelhava uma realidade e os pesquisadores dizem que a avaliação tem que causar conseqüências. Da mesma forma na pesquisa das pequenas IES não se observaram impactos ou mudanças relatadas pelos coordenadores como decorrências da avaliação.
E, por importante, os pesquisadores escrevem que "nas entrelinhas, a leitura que se pode fazer é que se, o SINAES, for extinto, as IEs voltam a se comportarem da mesma maneira que faziam antes dele existir, pois parecem avaliar para o sistema verificar e não para beneficiar a comunidade com a melhora da educação superior." Ou seja, uma e outra pesquisa, trazem respostas que parecem se assemelhar, confirmando que - "não é suficiente a existência de um coordenador que tenha feito curso ou que a instituição tenha uma CPA constituída, o que de fato importa e faz toda diferença é como os envolvidos no processo o concebem, ou seja, qual o significado da auto-avaliação para eles."
O que Pensam os Coordenadores de Cpas de 3 Grandes Ies
Em 2008 realizei uma consulta informal aos coordenadores de três IEs de grande porte, uma pública federal, uma comunitária e um centro universitário. Na consulta se evidenciou que as CPAs trabalham em referência a um coletivo pensante e atuante. As três instituições possuem uma história de avaliação institucional com quase 15 anos e parte dos membros das CPAs têm experiência e foco de estudo na avaliação. Na opinião de um coordenador
pelo histórico de gestão colegiada da IES, a comunidade vem requerendo ampliação dos processos coletivos de discussão. Talvez por isso e pelas dificuldades com a TI (sistema de informática) a maior dificuldade reside na participação dos discentes (e em menor grau dos docentes e técnicos) na avaliação online. As coordenações de curso têm sido parceiras nesta sensibilização, no entanto, não temos ultrapassado os 15% de participação. Uma estratégia que foi muito bem recebida pela comunidade acadêmica foi o Fórum de Avaliação Institucional, de realização anual, que analisa todos os dados internos e externos da IES, com representação dos colegiados (discentes, docentes) dos setores administrativos e das Instituições Parceiras, encaminhando planejamento de superação para o ano seguinte. Considero esta uma excelente estratégia para que o jogo em bando se torne atraente e com significado para a IES como um todo. (Coord. CPA 2008)
Que Leitura para que Jogo?
'Leio' as pesquisas com a luneta do ceticismo otimista. As CPAs das pequenas IES parecem escrever o que se queria ouvir delas, ou seja, do tipo "estamos fazendo o que vocês propuseram." No entanto, acrescentam no questionário eletrônico, preciosas e, como dizem, humildes sugestões. Dentre elas, destaco a qualificação para coordenadores, um orientador pelo qual pagariam o mesmo que pagam ao MEC para avaliação externa, mais apoio por parte do MEC/INEp/CONAES, cursos a distância para formação e produção de documentação técnica, mais momentos de integração, "respeitosamente, informações e orientações de forma a subsidiar nossas atividades". Entre outras, oportunas, objetivas e formativas sugestões, as CPAs pedem uma avaliação mais "sintética", objetiva, específica para a própria IES, de acordo com sua realidade e um retorno por parte do INEP em relação ao relatório enviado.
Na pesquisa Vez e Voz vê-se que as CPAs cumprem seu papel, nem sempre com a liberdade que gostariam de ter para desempenhá-lo. Na consulta aos coordenadores das três IES experientes, as CPAs cumprem suas metas. Elas assumem um programa de avaliação que vem se desenvolvendo há muitos anos. As IEs possuem uma cultura de avaliação. Elas têm autonomia de jogo e jogam com um time, um coletivo de colegiados e parceiros. Lutam para sensibilizar discentes e docentes a atuarem de forma tanto quanto possível, participada. Nelas, a CPA resulta de um acordo político e técnico. Nas IES grandes os representantes têm credibilidade e estudam e pesquisam avaliação institucional. Têm apoio das respectivas Reitorias e autonomia para um jogo pleno. Seus membros cumprem seu papel com credibilidade e liberdade. Há um histórico de participação e de gestão colegiada. As CPAs não declaram necessitar apoios especiais.
Nas pequenas IES há o desejo, que se projeta para o futuro, de mais apoio MEC, INEP, instruções mais claras e objetivas e mais qualificação dos coordenadores. Uma experiente coordenadora de um consórcio de instituições explica que este pode ser um trabalho árduo. Observa que em muitas instituições a CPA conduz sozinha todo o processo avaliativo, isto é, planeja, discute e elabora as diretrizes e operacionaliza os processos e as práticas. Nas IES de Campinas os coordenadores se adaptam ao que sugere o SINAES e ressalta-se a importância de seu papel - ele é o disseminador do SINAES. Para os coordenadores de todas as CPAs auscultadas o quesito mais importante da avaliação em uma instituição diz respeito à cultura da avaliação, ao lugar que os atores atribuem ao processo de avaliação.
Sobrevivência Ameaçada
Considerando estas investigações e as reformas por dentro do SINAES, sem reconsulta explícita a uma comunidade que o recebeu como projeto de estado, me atrevo a oferecer duas respostas à questão título. A primeira enfatiza o lado otimista - as CPAs estão formadas, estão atuando fortemente, querem aprender mais, realizar melhor avaliação. É o caso das CPAs das pequenas, médias e grandes IES. Quando a cultura da avaliação já está instituída sua missão resulta mais fácil, caso das grandes IES. Elas não irão se intimidar com os rankings e possível enfraquecimento do SINAES como programa idealizado. A segunda enfatiza o lado pessimista - algumas IES possuem uma estrutura de avaliação ainda em fase de amadurecimento, frágil. Para elas, a tarefa é árdua e os coordenadores de CPAs se percebem despreparados para a envergadura da missão. Esta estrutura merece cuidados. Pode fracassar. Os rankings irão desestimulá-las para continuar a liderar processos de auto-análise que resultam difíceis. O vero cuore do SINAES, o processo de avaliação feito dentro da IES, liderado pela CPA, está ameaçado em sua sobrevivência.
Desde o Provão sabe-se que é mais fácil deixar a solução da avaliação para os alunos... afinal, são os estudantes que individualmente respondem ao exame nacional!...E um ranking dinamiza a visibilidade do MEC e das IES que atingem as pontuações mais altas. Desloca-se a posição do ENADE para o centro do processo. Tem-se agora o ENADÃO. Desloca-se o vero cuore, a avaliação interna da IES e o sentido formativo e democrático da avaliação SINAES. Ativam-se as subjetividades capitalísticas. São sufocadas as subjetividades coletivistas e participativas exigidas por uma auto-avaliação institucional.
Datas de Publicação
-
Publicação nesta coleção
14 Nov 2008 -
Data do Fascículo
Nov 2008
