SciELO - Scientific Electronic Library Online

 
vol.13 issue3Higher education - between personal development and performanceEvaluation of higher education in Brazil: historical building process author indexsubject indexarticles search
Home Pagealphabetic serial listing  

Services on Demand

Journal

Article

Indicators

Related links

Share


Avaliação: Revista da Avaliação da Educação Superior (Campinas)

Print version ISSN 1414-4077On-line version ISSN 1982-5765

Avaliação (Campinas) vol.13 no.3 Sorocaba Nov. 2008

http://dx.doi.org/10.1590/S1414-40772008000300011 

Qualidade, avaliação: do SINAES a índices1

 

Quality, evaluation: from SINAES to indexes

 

 

José Dias Sobrinho

Professor do Programa de Pós-graduação em Educação, UNISO. E-mail: jose.sobrinho@uniso.br

 

 


RESUMO

O texto discute conceitos de qualidade, avaliação e acreditação e critica as recentes práticas de avaliação adotadas pelo INEP no Brasil.

Palavras-chave: Qualidade. Avaliação da Educação Superior. SINAES.


ABSTRACT

This paper discusses concepts of quality, evaluation and accreditation and criticizes the recent evaluation practices adopted by INEP in Brazil.

Key words: Quality. Higher education evaluation. SINAES.


 

 

Qualidade e Garantia da Qualidade

A qualidade se tornou um tema central na agenda da educação superior. Em que pese ser amplamente utilizado, esse termo não consegue reunir consensos no campo educacional. Porém, para todos os efeitos práticos, a falta de entendimentos quanto ao conceito não chega a ser problema. Mais ainda, o conceito de qualidade nem mesmo é posto em foco de discussão.

Juntamente com o tema da qualidade surgem as questões da garantia da qualidade e da acreditação. Esse fenômeno ganha importância com a emergência e o desenvolvimento das estratégias neoliberais das concepções de mercado, de massificação, diversificação, privatização e transnacionalização nos sistemas de educação superior. Dizendo isso com outras palavras: em um contexto de explosão quantitativa dos sistemas superiores e das múltiplas demandas sociais, os diferentes atores disputam os papéis que caberiam à educação superior frente ao Estado, à sociedade, ao mercado, à comunidade educativa, aos "clientes", ao setor produtivo bem como os diversos tipos de serviço que as instituições devem oferecer. Nessa disputa, está claro que, atualmente, têm primazia as noções de qualidade e os modelos de avaliação e garantia de qualidade ancorados nas doutrinas e práticas neoliberais.

Acreditação é um conceito e uma prática relativos à garantia de qualidade. Acreditar é praticar um ato legal certificando que uma instituição, um curso, um programa tem qualidade; portanto, seus efeitos são legítimos e publicamente assegurados e validados pelo Estado. Seu principal objetivo consiste em um controle legal-burocrático-formal da qualidade. Esse processo de garantia de qualidade culmina em um ato formal de testemunho de fé pública a respeito dos resultados alcançados por uma instituição, curso ou programa, com base em critérios e padrões externa e previamente estabelecidos.

Dentre os objetivos da acreditação mais comumente mencionados se incluem: certificar que uma instituição/curso/programa cumpriu as exigências predeterminadas por alguma agência externa; identificar as "boas práticas" e os cursos/instituições de boa reputação (útil para potenciais estudantes e empregadores); ajudar a criar normas e critérios para os processos de aceitação e transferência de créditos; facilitar a mobilidade estudantil e os intercâmbios de pesquisadores; oferecer informações para orientar a distribuição de fundos públicos e o investimento de fundos privados; contribuir para o autoconhecimento e melhora institucionais.

Acreditar é certificar a qualidade. Mas, que é, mesmo, qualidade? Qual qualidade, quem a define e para quem?

Os circuitos internacionais que definem os papéis da educação e as prioridades da formação e da pesquisa, contando inclusive com atores nacionais devidamente ajustados a seus propósitos, também exercem em nível mundial o poder burocrático-legal da avaliação e do controle; em outras palavras, detêm a titularidade da acreditação e, então, podem impor os conceitos, os padrões e os critérios de qualidade, bem como os procedimentos para determiná-la e os efeitos desejados. Gozam de prestígio, dado que exercem uma função de responsabilidade pública que cabe aos Estados, e não enfrentam muitos antagonismos, em razão de que a diversidade de interesses e a baixa capacidade de acordos existentes nas comunidades acadêmicas dificultariam a eficácia dos processos de garantia de qualidade. Devido ao predomínio da economia global, esses círculos hegemônicos, a partir dos países centrais, consideram necessário que em toda parte a qualidade seja concebida e avaliada em termos objetivos e homologáveis. Nessa perspectiva, a qualidade passa a ser algo livre de contextos e interpretações subjetivas, identificável objetivamente, mensurável, enquadrável em escalas comparativas, possibilitando que se lhe aplique um selo, à semelhança do que se faz na indústria.

A qualidade é, então, conformidade a padrões previamente estabelecidos por especialistas e pelos membros de órgãos que definem os critérios e padrões através dos quais são controlados os setores acadêmicos e efetuadas as medidas. Como tendência geral, se observa que, quando a avaliação e o conceito de qualidade estão determinados pelos especialistas externos e as autoridades governamentais, em geral, se limitam a controlar, medir certificar e regular, em detrimento dos processos participativos e formativos de reflexão e debates da comunidade acadêmica e científica, com prejuízo, portanto, ao exercício da autonomia universitária.

 

O SINAES se Reduziu a Índices?

Dentre os 23 objetivos e metas definidos pelo Plano Nacional de Educação (2001) se destaca o seguinte: institucionalizar um amplo e diversificado sistema de avaliação interna e externa que englobe os setores público e privado, e promova a melhoria da qualidade do ensino, da pesquisa, da extensão e da gestão acadêmica. A idéia forte dessa determinação consiste no conceito de sistema e, portanto de integração, articulação e participação.

O SINAES respeita essa determinação do PNE. A lei nº 10.861, de 14 de abril de 2004, que institui o SINAES, determina que a avaliação da educação superior brasileira deve cumprir-se como sistema. Eis alguns pontos selecionados e aqui esquematicamente apresentados: avaliação institucional interna e externa, contemplando a análise global e integrada das dimensões, estruturas, relações, compromisso social, atividades, finalidades e responsabilidades sociais das instituições de educação superior e de seus cursos; caráter público...; respeito à identidade e à diversidade de instituições e cursos; participação do corpo discente, docente e técnico-administrativo e da sociedade civil... Seguem as dez dimensões, também resumidamente: missão e PDI; política para ensino, pesquisa, pós-graduação e extensão; responsabilidade social; comunicação com a sociedade; políticas de pessoal; organização e gestão; infra-estrutura física; planejamento e avaliação; políticas de atendimento aos estudantes; sustentabilidade financeira. A avaliação das instituições e dos cursos se fará mediante vários procedimentos, dentre os quais a auto-avaliação e a avaliação externa.

A avaliação institucional, interna e externa, é o processo central do SINAES. Consiste em um amplo balanço que cada instituição deve fazer para conhecer-se mais profundamente, refletir sobre suas responsabilidades, seus problemas e potencialidades, enfim, planejar e estabelecer metas para melhorar a qualidade em todas as dimensões institucionais e educativas. Nesse amplo e participativo processo de reflexão e debate público, os atores da comunidade educativa devem pôr em foco de questionamento os significados e os valores científicos, sociais, éticos, estéticos, etc. dos conteúdos, produtos, atividades, meios, fins e resultados que constituem o cotidiano da realidade concreta de uma instituição. Além de aspectos técnicos, esses processos têm uma dimensão profundamente ética e educativa, pois, contribuem para a melhora institucional e social. Por isso, a avaliação deve ser um processo global e contar com a participação comprometida de professores, estudantes e técnicos, além de representantes da comunidade externa.

Para realizar-se efetivamente como sistema coerente e coeso, o SINAES estabelece a necessidade de articulação entre as diversas dimensões educativas e institucionais, diferentes metodologias, procedimentos, objetos e objetivos, instâncias da comunidade acadêmico-científica e do Estado, auto-avaliação e avaliação externa, auto-regulação e regulação, etc. Desde sua raiz e seu cerne, valorizou alguns princípios e compromissos amplamente afirmados pela comunidade acadêmica nas audiências públicas promovidas pela Comissão Especial de Avaliação, autora da proposta, e confirmados na Lei 10.861, de 14 de abril de 2004, decretada pelo Congresso Nacional e sancionada pelo Presidente da República. Dentre eles: sistema (não fragmentação de instrumentos e procedimentos), globalidade (todas as dimensões institucionais e educativas vistas integradamente), respeito à identidade e à diversidade institucional, centralidade da avaliação institucional interna e externa, participação (responsabilidade compartilhada), interatuação da avaliação institucional interna e externa, articulação entre auto-regulação e regulação, comunicação (entre comunidade acadêmico-científica e órgãos de regulação do Estado). Durante sua vigência nos últimos 4 anos de difícil implantação, o SINAES estava consolidando um paradigma de avaliação que vai muito além de mera conformação a normas burocrático-legais e aos famigerados (pois geram fama) rankings.

As recentes ações do INEP interrompem a construção desse processo participativo e promovem o retorno a posturas, axiomas e enfoques próprios do paradigma técnico-burocrático. A primeira iniciativa consistiu no desmonte da equipe que, com a experiência já demonstrada em mais de 15 anos de estudos e práticas no campo da avaliação da educação superior e com permanente apoio da comunidade universitária, vinha implantando o sistema de avaliação. Desmontada essa equipe, o SINAES, ainda em processo de consolidar-se como cultura, pouco a pouco foi perdendo sua riqueza teórica e sua potencialidade ético-política e foi se reduzindo a ÍNDICES (não se trata de sigla para Índices Nacionais do Desempenho de Instituições e Cursos de Educação Superior).

A avaliação da educação superior brasileira, em razão das recentes medidas do INEP, está deixando de ser uma produção de significados, questionamento sobre a pertinência e a relevância científica e social da formação e dos conhecimentos, e passando a reduzir-se à medida e ao controle. Assim sendo, a educação (em sentido pleno) se reduz a ensino, os processos formativos se anulam ante os resultados quantificáveis, a valoração dá lugar a exames que medem desempenhos estudantis, estes servem deinformação básica aos índices, que se transformam em classificações e rankings e representam numericamente a "qualidade" dos cursos e das instituições.

Desse modo, a avaliação institucional, que era central no SINAES, se torna periférica. As CPAs perdem sua função, pois, as instituições são desestimuladas a levar adiante os processos de avaliação. O ENADE e o estudante passam a ser as principais fontes de informação para a formulação dos índices de qualidade. Os "proprietários" e destinatários principais são os órgãos do governo. Os principais conceitos são eficiência, competitividade, performatividade. Os objetivos mais importantes são controlar, hierarquizar, comparar, ranquear. Tudo isso com pretensa neutralidade e objetividade, como se a avaliação fosse isenta de valores e interesses, como se os números, as notas, os índices fossem a própria avaliação e pudessem dar conta da complexidade do fenômeno educativo.

O INEP destituiu a avaliação institucional e erigiu o ENADE - agora um exame estático e somativo, não mais dinâmico e formativo - como centro de sua avaliação, atribuindo-lhe um peso muito maior do que ele tinha antes. Isso não é uma simples mudança de metodologia. É, sim, uma mudança radical do paradigma de avaliação: da produção de significados e reflexão sobre os valores do conhecimento e da formação, para o controle, a seleção, a classificação em escalas numéricas.

A nova fórmula de qualidade resulta da combinação de 3 indicadores: o desempenho do estudante no exame nacional, mais o IDD (Índice de Diferença de Desempenho) e o índice de insumos. Assim, a qualidade medida objetivamente é o produto estatístico dessas informações do estudante: seu desempenho numa prova, a diferença entre o primeiro e o último exame e a sua opinião sobre plano de curso e condições de infra-estrutura. Toda a responsabilidade cabe ao estudante; a qualidade final depende do seu desempenho em exame e de sua opinião, independente da área profissional e de estudos, dos compromissos e idiossincrasias, da capacidade de discernimento e de tantas outras variáveis que dificilmente podem avalizar essa metodologia como adequada e suficiente para determinar com precisão, rigor e justiça as escalas de qualidade de uma instituição ou de um curso.

Não há teoria educacional que sustente que o desempenho de um estudante numa prova seja plena garantia de aprendizagem, nem de que o resultado de um conjunto de estudantes num exame seja igual à qualidade de um curso. Ademais, há outros problemas. Por exemplo, não se pode misturar em fórmula única resultados de provas diferentes, com graus diversos de dificuldade (por exemplo, odontologia e turismo).

Tampouco os estudantes têm o mesmo ponto de partida; sabe-se que os cursos de instituições fortes recebem alunos mais bem preparados e é admissível que tenham um desempenho relativo menor que os demais (efeito Harvard). Isso significa que a fórmula de qualidade adotada não respeita as especificidades institucionais e faz abstração das realidades concretas dos cursos e dos estudantes.

A avaliação de corte instrumental não permite uma crítica das atividades de docência e pesquisa. O INEP pergunta, por exemplo, se há plano de curso, mas não põe em discussão os significados desse plano de curso, se está adequado à missão institucional, se é bem desenvolvido, se corresponde às necessidades da sociedade e em que concepção ético-política se inscreve, que tipo de formação propicia, etc. Pergunta se há laboratórios, mas sem distinguir a importância relativa e a pertinência de um laboratório para cada curso em particular (por exemplo, engenharia e filosofia, requerem insumos diferentes).

Tudo isso culmina na questão dos rankings. Essa prática teve início no mundo empresarial norte-americano e tem muito mais interesse aos administradores e formuladores de políticas que propriamente aos educadores. Estes mais e mais vão perdendo sua autoridade científica, pedagógica e política, se deterioram as condições e o valor da profissão docente universitária, uma vez que já não são os professores e pesquisadores quem define os currículos, as metodologias, os objetivos educacionais, as prioridades de investigação, pois o conceito e o controle de qualidade vêm impostos e promovidos por atores exteriores ao cotidiano das instituições educativas. Assim, a autonomia universitária tende a se deslocar das instituições para os órgãos de controle e gestão dos sistemas educacionais.

Os processos de avaliação e acreditação são importantíssimos, sobretudo em face dos crescentes fenômenos de mercantilização, diversificação, fragmentação, internacionalização e transnacionalização. Aos Estados cabe a irrecusável responsabilidade de assegurar que um bem público tenha qualidade para todos. Por isso, as instituições educativas têm responsabilidades e funções sociais que precisam ser avaliadas com base em critérios e procedimentos públicos. O controle e as medidas são também importantes para regular e organizar os sistemas educativos. Fazem parte das funções dos Estados. Porém, quando exageradamente controladoras e tecnicistas, como é a moda atual, e quando rompem a comunicação com a comunidade educativa, muito raramente atingem o conceito de pertinência e relevância social, isto é, a qualidade social.

As avaliações externas fazem parte da arquitetura global da avaliação. Contudo, não podem sufocar as práticas de diálogo e questionamentos próprios da avaliação institucional participativa que fazem das instituições espaços públicos de debates e reflexões. A obsessão pela objetividade não deve apagar as questões que restam irrespondidas depois que os índices classificaram os níveis de qualidade e fecharam qualquer possibilidade de questionamento e reflexão. Que tipo de qualidade? Que significam os padrões de qualidade estabelecidos pelas agências para a comunidade acadêmico-científica, para cada uma das instituições em particular, para cada um dos Estados?; quais os princípios e as bases de caráter técnico-científico e ético-político desses padrões genéricos e abstratos?; a quê e a quem servem?; são universalizáveis e igualmente aplicáveis a todas as áreas de conhecimento e setores de atividades profissionais?; são adequados a todas as realidades nacionais e regionais?; não debilitam os objetivos institucionais, a autonomia, a busca de autoconhecimento e as iniciativas de inovação?; guardam relação com as realidades sociais onde se insere cada instituição em particular?; é adequado aplicar às humanidades e às ciências experimentais a mesma métrica de êxito?; às instituições e cursos de diferentes tamanhos e perfis se podem atribuir as mesmas exigências? a formação e os conhecimentos têm pertinência, relevância social, contribuem para o fortalecimento da cidadania, do desenvolvimento humano sustentável, da eqüidade, da cultura de paz, consolidação da democracia, maior inclusão?; quais as contribuições da instituição educativa para a ampliação do acesso e permanência de estudantes procedentes de setores sociais tradicionalmente postergados?; como os graduados se integram à sociedade e ao mundo do trabalho?; a instituição se insere na comunidade científica internacional e contribui para facilitar os intercâmbios de estudantes e pesquisadores?; quais são os graus de liberdade acadêmica e autonomia da instituição frente aos processos de avaliação externa?; a avaliação de corte técnico-burocrático-formal, comumente praticada, está induzindo processos de meta-avaliação? as avaliações praticadas por instâncias do governo contribuem para o fortalecimento das políticas de democratização da educação superior com mais justiça social e valorização da educação como bem público e direito social?

É responsabilidade do Estado assegurar educação de qualidade a todos e em todos os níveis. A avaliação é um instrumento poderoso não só para valorar o desenvolvimento do sistema educativo, como também para induzir práticas e fortalecer estratégias e políticas coerentes com os grandes objetivos sociais. Por isso, para além de constatar o quê e o quanto o estudante tem sido capaz de demonstrar em uma prova e o que ele acha de algumas condições de ensino, é essencial pôr em questão e produzir significados sobre a pertinência e a relevância social dos conhecimentos e da formação com referência aos valores primordiais e às prioridades da sociedade na qual e para a qual são produzidos.

A avaliação não se completa em índices e escalas comparativos. Ela se torna plenamente significativa quando interroga a respeito dos significados e valores, pergunta pelas causas e pelas possibilidades de superação dos problemas, investe em programas e projeta futuros a serem construídos. Como controle e hierarquização, a avaliação prioriza as fórmulas estatísticas e tende a encerrar os questionamentos e reflexões. Como processo participativo e social de reflexão e comunicação, a avaliação não fecha as interpretações e a construção de novas significações. Mais implica, isto é, abre renovados sentidos, que explica em termos indiscutíveis.

A profissão docente não se reduz a treinamento de estudantes para bons desempenhos em provas e exames. A docência tem a ver com profissionalização e cidadania, isto é, produção e socialização de conhecimentos e formação de sujeitos que possam contribuir para a elevação material e cultural da sociedade. Quando os exames nacionais têm excessivo peso na elaboração de rankings, eles acabam modelando de cima para baixo currículos e métodos de ensino, sem a participação daqueles que são os principais responsáveis, no dia-a-dia, pela construção da qualidade educativa. Sem autonomia pedagógica, o magistério se desprofissionaliza. Sem a participação efetiva dos professores na construção e desenvolvimento dos currículos, nenhuma melhoria em educação será sustentável.

Não há teoria que possa sustentar uma correlação mecânica entre desempenho em prova e aprendizagem, entre insumos e resultados. A qualidade de um fenômeno educativo extravasa os exames e as fórmulas e medidas que dão lugar aos rankings. Sem pertinência e relevância social não há qualidade em educação. A avaliação da educação deve ir além das medidas de conformação: deve ser uma política pública que contribua para o aprofundamento dos valores democráticos; portanto, deve valorizar as políticas de democratização do acesso e condições de permanência, a eqüidade, a construção e socialização dos conhecimentos como bem público, a associação da função cognitiva com a função formativa integral do profissional social.

Na qualidade de instrumento de aprofundamento da educação como bem público e social, a avaliação deve estar a serviço da consolidação dos valores democráticos. Deveria valorizar, então, não apenas os aspectos técnicos, mas, também, as políticas institucionais que apresentem pertinência e relevância social, isto é, os esforços institucionais no sentido do cumprimento científica e socialmente relevante dos processos de construção de conhecimentos e de formação de sujeitos com autonomia epistêmica, ética, social e política.

Nesses princípios e valores de educação superior como bem público se fundamenta o SINAES original, agora em processo de erosão.

 

 

1 Este pequeno texto apresenta algumas das principais idéias que apresentei na mesa redonda "Qualidade, pertinência e responsabilidade social da Educação Superior", no Seminário Internacional "Educação Superior: Avaliação e Tendências na América Latina e no Caribe", realizado na Universidade de Sorocaba, nos dias 15 e 16 de setembro.

Creative Commons License All the contents of this journal, except where otherwise noted, is licensed under a Creative Commons Attribution License