Avaliação e transformações da educação superior brasileira (1995-2009): do provão ao Sinaes

Evaluation and transformations in brazilian higher education (1995-2009): from provão to Sinaes

Avaliação e transformações da educação superior brasileira (1995-2009): do provão ao Sinaes

Evaluation and transformations in brazilian higher education (1995-2009): from provão to Sinaes

José Dias Sobrinho

Doutor em Educação, aposentado da UNICAMP, atualmente é professor do Programa de Pós-graduação em Educação da Universidade de Sorocaba (UNISO). E-mail: [e-mail]

RESUMO

O texto estabelece um eixo entre as principais políticas de avaliação e as transformações da educação superior brasileira, concebidas e praticadas a partir de 1995, destacando alguns dos efeitos sobre o ensino de graduação. Esse período coincide com os governos dos presidentes Fernando Henrique Cardoso (1995-2002) e Lula (2003-...) e a vigência da LDBEN (1996). Após um breve panorama da educação superior brasileira nesse período, serão analisados os principais instrumentos de avaliação praticados no Brasil, com ênfase no Provão e no ENADE, e alguns de seus efeitos no ensino superior. No final, são apresentadas algumas considerações sobre os exames gerais ou de larga escala, com intuito também de apontar suas interferências no ensino.

Palavras-chave: Educação superior. Avaliação. Provão. SINAES. ENADE. Exames gerais.

ABSTRACT

This text establishes a basic connection between the main evaluation policies and the transformations in Brazilian higher education, conceived and practiced since 1995, pointing out some of the effects on undergraduate teaching. This period coincides with the government of presidents Fernando Henrique Cardoso (1995-2002) and Lula (2003 - ...) and the time period of the current LDBEN law (1996). After a brief panorama of Brazilian higher education during this period, the main evaluation instruments used in Brazil are analyzed, emphasizing Provão and ENADE, and some of their effects on higher education. At the end, a few considerations on general or large-scale exams are presented with the purpose of also pointing out their interference in education.

Key words: Higher education. Evaluation. Provão. SINAES. ENADE. General exams.

INTRODUÇÃO

A avaliação é a ferramenta principal da organização e implementação das reformas educacionais. Produz mudanças nos currículos, nas metodologias de ensino, nos conceitos e práticas de formação, na gestão, nas estruturas de poder, nos modelos institucionais, nas configurações do sistema educativo, nas políticas e prioridades da pesquisa, nas noções de pertinência e responsabilidade social. Enfim, tem a ver com as transformações desejadas não somente para a educação superior propriamente dita, mas para a sociedade, em geral, do presente e do futuro.

Desde logo, estou assumindo duas ideias centrais:

1) avaliação e transformações educacionais se interatuam, ou seja, a avaliação é um dos motores importantes de qualquer reforma ou modelação e, reciprocamente, toda mudança contextual produz alterações nos processos avaliativos; e

2) todas as transformações que ocorrem na educação superior e em sua avaliação fazem parte, de modo particular, porém, com enorme relevância, das complexas e profundas mudanças na sociedade, na economia e no mundo do conhecimento em âmbito global.

Em virtude da velocidade e da complexidade das mudanças em todos os setores da vida humana e a grande centralidade da formação e do conhecimento para a economia global, é inevitável que neste texto se apresente explícita ou difusamente a ideia de uma crise que penetra todos os domínios desse período histórico.

DEMANDAS CONTRADITÓRIAS, FRAGMENTAÇÃO DO SISTEMA E DIVERSIDADE INSTITUCIONAL

Nesta década e meia, a sociedade brasileira vem experimentando significativas e rápidas transformações, as quais impõem à Educação Superior um leque amplo e contraditório de demandas que dificilmente podem ser adequadamente atendidas. Por ser um fenômeno humano e social, a educação é atravessada por contradições e conflitos relacionados com as diversas concepções de mundo e interesses dos indivíduos e dos diferentes grupos sociais. Essas contradições tendem a se acirrar crescentemente, em razão da importância que o conhecimento adquiriu na sociedade da informação, como principal motor da economia global, e do auge do individualismo e da competitividade.

Num cenário de rápidas e profundas mudanças, depressão orçamentária e perda do quase monopólio da produção e da socialização do conhecimento, a Educação Superior enfrenta grandes e múltiplas contradições. Atualmente,

a Educação Superior deve responder a desafios ou ao menos ajudar a solucionar problemas tão díspares e importantes, muitas vezes contraditórios, como os da produção da alta tecnologia, formação de mão-de-obra de alto nível, treinamento para atendimento de demandas imediatas do mundo do trabalho, formação qualificada para ocupações de tipo novo, formação para a inovação, preservação e desenvolvimento da alta cultura, recuperação da cultura popular, educação continuada, formação para o empreendedorismo, promoção da cidadania e da consciência de nacionalidade, inserção no mundo globalizado e compreensão das transformações transnacionais, capacitação de professores de todos os níveis, formação de novos pesquisadores, ascensão social de grupos desfavorecidos, impulso à grande indústria, apoio a pequenos produtores, pesquisa de ponta, tecnologia de baixo custo e de aplicação direta na agricultura e nos serviços, desenvolvimento local, nacional e regional, atendimento às carências de saúde da população, sucesso individual e tantas outras exigências carregadas de urgências e, em todo caso, de difíceis respostas. (DIAS SOBRINHO, 2002, p. 13-14)

A pluralidade e a diferenciação das demandas e expectativas têm como consequência a emergência de uma enorme diversificação de instituições de educação superior (IES) e de acirramento de competição e de conflitos no sistema. Diferenças e contradições se produzem nos modelos organizacionais e díspares formatos institucionais, nas concepções de formação, nas vinculações ideológicas dos atores, nas relações com a ciência e a tecnologia, na gama diversificada de valores e interesses acordes ou conflituosos, nos projetos distintos de sociedade. Um cenário de dispersão se foi constituindo e se alargando, concorrendo instituições públicas e privadas, de diferentes tamanhos e modalidades de financiamento, mantidas pela União, pelos estados, por municípios, por grupos religiosos ou empresários privados, de elites ou de massas, vinculadas aos projetos nacionais, regionais ou transnacionais, oferecendo serviços educativos presenciais ou a distância, de larga ou curta duração, em muitas ou em poucas áreas de conhecimento, valorizando a pesquisa ou, mais comumente, a capacitação para os empregos, sem fim de lucro ou com o objetivo do lucro sem fim.

AUMENTO QUANTITATIVO DE IES E DE ESTUDANTES

Foi notável a recente expansão do sistema de educação superior brasileiro. Alguns poucos números o demonstram. Em 1996, havia 922 IES; em 2004, eram 2013 e, em 2007, somavam 2.281. De modo proporcional, cresceu o número de matrículas: 1.868.529, em 1996; 4.163.733, em 2004, e 4.880.381, em 2007. Muitos fatores explicam essa expansão, dentre os quais, de modo interconectado, se incluem o forte movimento de modernização e globalização, o notável aumento do contingente de jovens formados nas etapas escolares anteriores, os fenômenos de urbanização e de globalização, a ascensão das mulheres na sociedade, as crescentes exigências de maior escolaridade e qualificação profissional por parte do mundo do trabalho e as mudanças culturais em grande parte impulsionadas pelos sistemas de informação. Todos esses fatores e a enorme ampliação dos tipos de demandas e demandantes justificam não só a multiplicação, notadamente do setor privado, como também a ocorrência da diversificação e segmentação do sistema de Educação Superior. Além dos cursos tradicionais, se criaram outros de variada tipologia e duração, em geral de baixos níveis de exigência acadêmica e voltados ao atendimento de demandas de qualificação profissional.

Com efeito, no Brasil, essa grande e contínua expansão se deu notadamente por via da privatização, tendo como polo privilegiado o ensino de graduação. Em 1996, havia 211 IES públicas e 711 privadas. Em 2004, eram 224 as públicas e 1.789 as privadas. Segundo o Censo divulgado pelo INEP, em 2007

o Brasil contabilizava 2.281 IES, sendo privadas 89% do total; dos 4.880.381 estudantes, 73% estavam matriculados em IES privadas, sendo 2.644.187 em Universidades (54%), 680.930 nos Centros Universitários (14%) e 1.555.256 em Faculdades isoladas (32%), geralmente de pequeno porte. Para o crescimento do sistema nos anos mais recentes, colabora a ênfase que vêm recebendo por parte do MEC o ensino tecnológico e a educação a distância. É interessante destacar que apenas 52,5% das vagas oferecidas foram efetivamente ocupadas em 2007, restando ociosas 1.341.987 vagas. Por outro lado, a taxa de evasão continua alta: quase 42%.

Altas taxas de evasão e de ociosidade, deficiências de formação nos níveis escolares anteriores, ocorrência em muitos casos de baixa qualidade de ensino, pesquisas limitadas a poucas instituições, precárias instalações físicas, grande contingente de professores improvisados e sem formação adequada ao magistério superior, elevados índices de pobreza, desigualdades regionais etc., tudo isso constitui um quadro de enormes desafios e problemas que devem ser enfrentados vigorosamente.

MUDANÇAS QUALITATIVAS, PRIVATIZAÇÃO, CENÁRIO EM TRANSFORMAÇÃO

Agrande e acelerada expansão do sistema de educação superior brasileiro se fez acompanhar de uma importante mudança qualitativa, especialmente no que concerne à enorme diferenciação de finalidades. O conceito mesmo de sistema se torna complicado, se se considera que ocorreu, no período destacado, a fragmentação dos antigos objetivos comuns que a Educação Superior tradicionalmente prezava e preservava. Muitas das múltiplas finalidades se vinculam agora aos objetivos dos grupos implicados e aos interesses particularistas dos diversos segmentos sociais. De modo destacado, têm grande força de determinação as questões relacionadas com o mundo do trabalho, as profissões e os empregos. Em outras palavras, a Educação Superior é levada a assumir uma função mais orientada ao individualismo possessivo e ao pragmatismo econômico que aos ideais do conhecimento universal, da pertinência e da justiça social. Isto equivale a dizer que o conhecimento e a formação estão crescentemente perdendo seus sentidos de bens públicos e direitos de todos e adquirindo mais e mais o significado de bens privados para benefício individual. Importantes mudanças também ocorrem no perfil da população estudantil.

Desde logo, de positivo, cabe destacar a tendência de impulsionar a democratização do acesso, seja por meio de políticas públicas setoriais, seja por força das novas configurações da sociedade.As mudanças são quantitativas e qualitativas. Juntamente com a expansão das matrículas na educação superior, verifica-se a diversificação do alunado. Nas últimas décadas, especialmente a partir da segunda metade dos anos de 1990, no Brasil, a exemplo do que ocorre em todo mundo, jovens de diferentes extrações sociais chegam em maior número à educação superior. Boa parte desse novo contingente de estudantes provém de circuitos sociais tradicionalmente relegados.

Não há dúvida de que isso contribui para a superação, ainda que parcial e insuficiente, de um longo histórico de elitismo da educação superior. Por outro lado, isso traz às instituições superiores uma gama de graves problemas no atendimento, com qualidade e quantidade, dessa nova população cuja maioria apresenta importantes déficits de formação acadêmica anterior, dificuldades econômicas e expectativas profissionais bastante limitadas. Os sistemas não estavam, e não estão, preparados para a eclosão de demandas desagregadas em termos de infra-estrutura física, financiamentos, qualificação docente, domínio de conteúdos disciplinares que se multiplicam e se superam com enorme rapidez, transformações no mundo do trabalho e na sociedade.

Para atender essa plural tipologia estudantil e as variadas possibilidades de consumo, de acordo com os interesses do mercado, o setor empresarial privado criou um leque de instituições também muito diferenciado quanto à imagem social, duração de cursos, qualidade de serviços educativos, preços e estilos administrativos e organizacionais. De um lado, os empresários tomaram a educação superior como um campo rico em possibilidades de negócios e expansão capitalista. O governo nacional estimulou a expansão privada, como modelo eficiente de atendimento à crescente demanda, descomprometendo-se, em parte, de sua responsabilidade de aumentar o provimento das condições estruturais e financiamento público.

O segmento mercantil da educação superior passou a tratar o estudante como cliente e a intensificar no sistema as lógicas de mercado: competitividade, custo-benefício, lucro, venda de serviços, oferta transnacional e virtual etc. Por sua vez, o estudante dessas instituições, agora transformado em consumidor, passou a ter ampla gama de opções de ofertas de serviços educativos e a poder escolher o curso que se coaduna com seus interesses e recursos, objetivando obter o título ou o diploma que lhe dê melhores condições para competir na faixa do mercado que corresponde às suas expectativas e possibilidades.

A expansão do mercado de educação superior brasileiro, a partir de 1996, produziu importantes transformações no cenário anteriormente dominado pela universidade pública:

· diversificação de modelos organizacionais (diversos tipos de provedores, estilos administrativos, tamanhos, finalidades, compromissos etc.);

· diferenciação dos perfis estudantis (democratização do acesso, aumento de matrículas e titulação de mulheres, ampliação das faixas etárias dos estudantes;

· incremento da formação profissionalizante (ênfase no setor de serviços, em detrimento da formação para a cidadania crítica e participativa);

· aumento do prestígio das ciências aplicadas e tecnologias, que produzem o chamado "conhecimento útil", de interesse mercadológico, e crescente desvalorização das humanidades;

· improvisação do corpo docente e desprofissionalização do magistério superior;

· deslocamento da autonomia dos fins para os meios e da universidade para as agências de controle ministeriais;

· crescente controle dos fins e flexibilização dos meios;

· diversificação das fontes de financiamento;

· aumento dos mecanismos de prestação e vendas de serviços e "quasemercado".

Esse fenômeno não é exclusivo do Brasil. Com semelhanças e diferenças de grau e intensidade, ocorre nos demais países latino-americanos e em outras partes do mundo, sob impulso em muitos aspectos dos organismos multilaterais, sobretudo do Banco Mundial (BIRD), do Fundo Monetário Internacional (FMI), da Organização para a Cooperação e o Desenvolvimento Econômico (OCDE) e do Banco Interamericano de Desenvolvimento (BID), e sob o impacto da globalização econômica, que conferiu ampla hegemonia ao neoliberalismo. No plano internacional, além desses e outros fatores, cabe citar:

· hegemonia dos grandes centros na determinação dos critérios de qualidade e de políticas acadêmico-científicas, com forte impacto nos mecanismos de avaliação, acreditação, financiamento, modelos institucionais, prioridades de investigação e prestígio no sistema de educação, ciência e tecnologia;

· mercado transnacional de serviços educativos a ser, tendencialmente, regulado pela Organização Mundial do Comércio;

· criação de agências e organismos nacionais e multilaterais de avaliação e acreditação;

· mobilidade desigual de estudantes, pesquisadores e profissionais, predominantemente na direção sul-norte;

· deslocamento da pertinência social para o controle e medição da qualidade, acreditação e justificação da contração de gastos públicos.

AVALIAÇÃO: INSTRUMENTO DE REFORMAS

Esse cenário de rápidas e importantes transformações na Educação Superior não poderia ter ocorrido sem a participação central da avaliação. Por outro lado, as concepções e práticas de avaliação também se alteram em conformidade com as mudanças de contexto, posto haver relação de mútua implicação entre avaliação e reformas da educação superior. Nesse contexto de expansão do setor empresarial, as IES e os serviços que prestam são induzidos a se tornarem úteis e aderentes aos interesses e necessidades da produção privada. A avaliação, de modo consequente, é levada a cumprir papel central na funcionalização econômica da Educação Superior, nos conceitos e metodologias mais apropriados ao mercado, especialmente nas funções operacionais e pragmáticas de capacitação técnica para os empregos que aos propósitos amplamente educativos de formação humana integral.

O significativo e rápido crescimento do número de instituições e cursos de natureza privada, de diversas configurações e distintos níveis de qualidade, foi a resposta à forte pressão social por mais oportunidades de matrículas e pela abertura de cursos ajustados às novas demandas da economia. Em sentido oposto, entre 1995 e 2002, as IFES (Instituições Federais de Ensino Superior) receberam escasso apoio oficial e praticamente não experimentaram expansão quantitativa. Esse fenômeno de constrangimento do setor público e de franco estímulo ao privado encontrou respaldo da administração central, mais precisamente do Ministério da Educação, tornando-se interessante para a expansão do segmento empresarial.

O conjunto de políticas setoriais de Educação Superior implementadas a partir de 1995, no Brasil, passou a necessitar de um aparato legal a lhe dar sustentação e de avaliação eficaz ao incremento e ao acompanhamento da expansão quantitativa e diversificação do sistema. A avaliação se tornou um instrumento importante para informar o mercado de trabalho a respeito da qualidade e do tipo de capacitação profissional que os cursos estavam oferecendo, bem como para indicar as IES que estariam mais ajustadas às exigências da economia.

A racionalidade economicista e tecnocrática que se imprimiu à avaliação da Educação Superior brasileira também se coaduna com as determinações de organismos e agências multilaterais. A avaliação deveria ser isenta de valores e exercer, sobretudo, função controladora. Daí o privilégio quase exclusivo de sua dimensão técnica e objetiva, com a finalidade de informar e orientar tanto a administração central como os usuários e consumidores do sistema educacional superior. Informações objetivas e supostamente não contaminadas por subjetivismos e interesses seriam fundamentais para a livre escolha dos clientes.

HEGEMONIA DOS EXAMES NACIONAIS

Com o advento da supremacia do neoliberalismo e as consequentes políticas de diminuição da presença do Estado nos financiamentos públicos, os exames gerais ganharam importância como instrumento de controle e de reforma. Sua dimensão política de controle passou a prevalecer sobre a pedagógica. Os exames nacionais atendem bem as finalidades de medir a eficiência e a eficácia da educação segundo os critérios e as necessidades dos Estados neoliberais, em suas reformas de modernização, e do mercado, em seu apetite por lucros e diplomas.

Um modelo de avaliação como controle de resultados e informação aos clientes é o contraponto que corresponde à flexibilização dos meios, no desenho do sistema que deve ser expandido. De um lado, a flexibilização dos meios expande a autonomia para a livre criação e eficiente gestão de instituições e cursos de diversos objetivos e diferentes formatos. Isto satisfaz o mercado: mais facilidades e oportunidades de lucro aos empresários e um amplo leque de alternativas ideológicas, metodológicas, econômicas e facilitadoras e mais possibilidades de escolha aos clientes.

Para os defensores da privatização, a avaliação deve ser um mecanismo que dê transparência para a relação entre ofertadores e consumidores da educação e regule o livre mercado da educação. Por outro lado, o Estado, além de se desobrigar de ampliar o orçamento público para efeitos de ampliação do sistema, assegura, através da avaliação, o controle sobre os resultados e sobre as finalidades e fornece à sociedade, especialmente ao mercado, as informações em forma de escalas de qualidade dos serviços educacionais que estão sendo oferecidos.

Essa prática é largamente utilizada em alguns países para efeito de legitimação de saberes, validação de instituições e reconhecimento oficial para o exercício de atividades profissionais. A avaliação por meio de exames, testes, provas, instrumentos antes aplicados a alunos quase somente no cotidiano escolar, passou a ser utilizada como um panorama da gestão de conjunto da educação, na esperança de que essas ferramentas ofereçam elementos para decisões políticas e burocráticas e tragam informações úteis aos professores e estudantes.

EXAME NACIONAL DE CURSOS - PROVÃO (1996-2003): PODER E LIMITES

O Exame Nacional de Cursos, que se popularizou como Provão, foi criado em 1995 (lei 9.131/95) e gradualmente efetivado como o instrumento central da avaliação da Educação Superior brasileira a partir de 1996, vigorando até 2003. O Censo de Educação Superior e a Avaliação das Condições de Ensino (ACE), esta realizada por meio de visitas de comissões externas aos cursos, eram os outros instrumentos, embora de menor importância e com escassa relação entre si. Dadas a visibilidade do Provão e a relevância que para a regulação lhe foi conferida pelos operadores do Estado, a ele será dedicada parte das considerações deste texto.

Tratava-se de um exame escrito, de amplitude nacional, aplicado a estudantes concluintes das áreas pré-selecionadas anualmente pelo MEC. A cada ano se ampliava a cobertura do exame, tendo atingido 26 áreas em 2003, quando da última aplicação. As IES a que correspondiam os estudantes testados recebiam os relatórios com os resultados agregados. Apenas os estudantes recebiam informações de seu desempenho, inclusive a posição na escala de notas na respectiva área de conhecimento.

A esses resultados, sempre de longe os mais importantes, se juntavam os relatórios produzidos por especialistas, após visitas in loco, sobre as condições de ensino, com ênfase na análise do currículo, da qualificação docente e da infra-estrutura física. A organização, gestão, informação e documentação desse conjunto de instrumentos avaliativos passaram a ser de responsabilidade do INEP, que adquiriu estatuto de autarquia federal em 1997, assumindo atribuições mais amplas que aquelas que tradicionalmente lhe concerniam.

O Decreto 2.026/96, sob inspiração do modelo proposto pela OCDE, de caráter economicista, privilegiava os seguintes indicadores: taxas brutas e líquidas de matrícula, disponibilidade de vagas para novos alunos, taxa de evasão e de aprovação, tempo médio de conclusão do curso, níveis de qualificação docente, razão aluno/professor, tamanho médio das classes, custo por aluno, percentual dos custos da educação superior no total gasto com educação pública, percentual do PIB (produto interno bruto) gasto com Educação Superior.

Os resultados desse conjunto de instrumentos, especialmente do Provão, serviam de base para os atos regulatórios de credenciamento e recredenciamento de instituições e reconhecimento de cursos. Porém, os efeitos punitivos, apesar de algumas ações do MEC relativamente a poucas instituições privadas que reiteradamente acumularam resultados bastante negativos, jamais se concretizaram, em razão de determinações superiores do judiciário ou por força de pressões políticas.

A implantação do Provão se fez repleta de contradições. Modelo imposto pelo Ministério de Educação, sem consulta e sem discussão pública, recebeu pesadas críticas de boa parte da comunidade de estudantes e professores, sobretudo de especialistas em avaliação. Pouco a pouco as críticas e resistências foram se amainando, não obstante sempre tenham ocorrido boicotes por uma parcela de estudantes. Os estudantes eram obrigados sob pena de lei a comparecerem ao exame, caso contrário não obtinham o diploma do curso. Porém, para o cumprimento da lei, bastava que assinassem a prova, podendo deixá-la em branco, pois, para efeito legal não importavam os resultados.

Amplamente repercutido pela mídia, o Provão gradualmente se consolidou como sinônimo de avaliação e instrumento de informação dos grupos interessados na Educação Superior, de modo especial, o setor privado. A adesão de boa parte da sociedade - acrítica, mas efetiva - e a adequação do mercado à lógica do desempenho dos estudantes nos testes, com ajustes no currículo, redefinição do perfil dos professores a contratar e modificações nas práticas de sala de aula, deram força ao Ministério para consolidar e legitimar os efeitos do Provão como instrumento de regulação e de informação do setor educativo de nível superior. Ainda que contestado e boicotado em vários círculos acadêmicos, o Provão foi paulatinamente assegurando sua hegemonia. Com isso, a complexidade essencial da avaliação da Educação Superior ficou amplamente identificada com um único instrumento: o exame nacional.

Pela lógica do Provão, o resultado do desempenho dos estudantes no exame servia de medida da qualidade dos respectivos cursos. Assim, a qualidade de um curso e sua posição relativa numa escala de A a E corresponderiam ao resultado do desempenho de seus alunos no Provão. De 1996 a 2001, os cursos foram distribuídos, conforme as notas recebidas, em cinco categorias: A=12%, B=18%, C= 40%, D=18% e E=12%. Apartir de 2001, foi adotada a distribuição baseada no desvio padrão e, em 2003, o resultado de cada curso correspondeu à média das notas dos seus estudantes.

O Provão foi apresentado como um instrumento objetivo e, portanto, seus resultados podiam ser divulgados como indubitáveis e de efeitos inquestionáveis. Os responsáveis pelo sistema estavam seguros de que, se tecnicamente bem concebido e executado, esse instrumento produziria a melhoria na qualidade e o aumento de eficiência do sistema, fundamentando os atos decisórios de uma rigorosa regulação, reconhecendo as boas práticas e informando à sociedade os cursos que mereceriam reconhecimento e respeito e os que não alcançariam padrões mínimos de qualidade.

No entanto, as provas aplicadas nesses oito anos (1996-2003) não indicavam um padrão e um escore mínimos para cada curso. Portanto, não é possível aceitar a tese da relação direta entre o desempenho agregado dos estudantes e a qualidade do curso. Somente seria possível comparar o desempenho demonstrado pelos estudantes de determinada sala de aula com os demais de outras instituições dentro da mesma área de conhecimento e no mesmo ano. Porém, não se criaram condições objetivas de comparação de um curso com outro.

Como exame de larga escala, diferentemente do que se divulgava, o Provão não fazia avaliação da aprendizagem, mas media desempenhos. Os resultados dos desempenhos dos estudantes sofriam grandes alterações de um curso a outro e de um ano a outro, variando de acordo com a intensidade de aceitação ou recusa dos estudantes, a quantidade de boicotes, os graus de dificuldade de cada prova etc. Assim, a nota "A" poderia sugerir que um curso era de excelência atingindo algo superior a 65% de acerto (Odontologia, por exemplo), enquanto, em outra área, a nota máxima estava abaixo dos 30% (caso da Matemática). Porém, a opinião pública não tinha elementos para discernir sobre essas discrepâncias, por entender que um "A" haveria de corresponder ao nível de excelência.

Dada a falta de padrões básicos de referência e tendo em vista que os testes sucessivamente aplicados não eram equivalentes, o Provão tampouco possibilitava comparações longitudinais do mesmo curso. O exame era aplicado a alunos concluintes. Isso não apenas impossibilitou qualquer conclusão sobre os efeitos do curso na formação dos seus graduandos como inviabilizou ações de correções de rumo e melhoramentos no percurso formativo dos estudantes. Assim, o Provão confirmou um efeito bastante conhecido na literatura da área: cursos cujos concluintes apresentam os melhores desempenhos em exames são aqueles que receberam ingressantes com altos níveis econômicos, culturais e intelectuais.

Não há dúvida de que os exames em larga escala são úteis para subsidiar as ações dos operadores do estado concernentes à educação, mas é duvidoso que produzam efeitos pedagógicos significativos se não contam com a adesão de professores e alunos. É comum que assumam caráter tecnocrático e induzam na comunidade educativa o cumprimento burocrático e formal das exigências e padrões.

A implementação desse modelo de avaliação nacional centrada nos resultados dos estudantes numa prova interliga três diretrizes: um amplo quadro legalburocrático institui o enquadramento normativo e punitivo; a hierarquização dos cursos com base nos desempenhos estudantis produz efeitos econômicos, pois estabelece critérios de distribuição de recursos e prestígios, orienta o mercado e instiga a lógica da competição no interior do sistema; no plano ideológico, a necessidade de alcançar uma boa posição relativa reforça o conceito de educação como mercadoria e induz práticas pedagógicas cujos alvos passam a ser o bom desempenho dos estudantes nos testes.

O Provão teve o mérito de colocar a avaliação na agenda da educação superior e da própria sociedade brasileira. Mas podem-se identificar importantes equívocos conceituais, técnicos e políticos e deficiências de vários tipos: restringir o fenômeno da avaliação a alguns instrumentos de medição; reduzir a aprendizagem a desempenho e educação a ensino; restringir os fins de formação integral, crítica e reflexiva à capacitação técnico-profissional; confundir desempenho de estudante com qualidade de curso; não construir um sistema integrado nem estabelecer os critérios de qualidade; não respeitar a autonomia didático-pedagógica; desconsiderar elementos importantes de valor e de mérito das instituições, para além do desempenho estudantil em uma prova; não oferecer elementos seguros para os atos decisórios das instâncias administrativas centrais e tampouco oferecer informações confiáveis à sociedade; abafar a autoavaliação nas instituições; favorecer a expansão privada e o enfraquecimento dos sentidos públicos e sociais da educação; ser um instrumento autoritário, imposto de cima para baixo sem discussão na sociedade e participação da comunidade acadêmico-científica.

Pelo exposto, conclui-se que o Provão não foi um instrumento eficaz e rigoroso para a tomada de decisões relativas à regulação do sistema, especialmente no que se refere às IES privadas que têm explícitos objetivos de lucro e que, portanto, exigiriam vigilância maior quanto à qualidade científica e pedagógica e relevância social de suas atividades educativas. Ademais, o Provão tendia a se tornar inviável a curto prazo, devido ao seu custo crescente à medida que o sistema se expandia.

Por outro lado, o Provão produziu efeitos importantes na modelagem do sistema de Educação Superior. Como a literatura da área de avaliação aponta, um exame nacional repetido durante alguns anos, especialmente quando proposto a produzir fortes efeitos regulatórios, tem impacto na organização acadêmica dos cursos, tendendo a unificar o currículo e a induzir ações administrativas e práticas pedagógicas nas IES favoráveis ao bom desempenho nos testes e bom posicionamento no ranking. Em lugar da formação integral do cidadãoprofissional, por comodidade e com intuito de obterem vantagens comparativas, muitas IES se dedicaram a ensinar para o exame. Este fenômeno interessa ao setor privado. Afinal, uma boa situação no ranking produz uma imagem favorável no mercado, aumenta a atratividade e os benefícios econômicos. Como o Provão não se preocupou em avaliar a complexidade do fenômeno educativo, nem mesmo a complexidade da aprendizagem, para as IES privadas tornou-se cômodo e conveniente moldar um currículo e um estilo de ensino que produzissem melhores resultados estudantis no exame nacional.

SISTEMA NACIONAL DE AVALIAÇÃO DA EDUCAÇÃO SUPERIOR - SINAES (2003...): ASPECTOS CONCEITUAIS

Ao iniciar-se o governo de Luiz Inácio Lula da Silva, em 2003, as críticas ao Provão se intensificaram, estabelecendo-se as condições de mudanças, levando em conta principalmente duas aspirações centrais da comunidade de educação superior: participação democrática e construção de um sistema de avaliação.

Discutido ao longo de 2003, a partir de proposta elaborada pela Comissão Especial de Avaliação, criada pela Secretaria de Educação Superior, o SINAES foi implantado em 2004 (Lei 10.861, de 14 de abril, 2004). Ainda em 2003, considerando que a lei do Provão permanecia em vigor, o novo governo realizou o exame nacional, porém apontando no Relatório de divulgação algumas de suas deficiências. Um dos principais motivos de críticas era o fato de o Provão se prestar a rankings de cursos e instituições, sem oferecer bases técnicas que garantissem credibilidade a essas classificações.

Segundo a perspectiva adotada no SINAES, uma das principais fragilidades do Provão era seu caráter estático e fragmentário, pois se tratava de um instrumento aplicado num único momento e se limitava a estabelecer a qualidade dos cursos tomando como matéria os desempenhos estudantis em uma prova. Segundo a percepção dos proponentes do SINAES, esse procedimento, além de contestável do ponto de vista técnico, não dava conta da complexidade da educação superior, tampouco de suas finalidades, sequer de um curso.

Em sua formulação inicial, o SINAES se baseia numa concepção de avaliação e de educação global e integradora. Mais que um simples instrumento isolado, busca construir um sistema nacional de avaliação da Educação Superior. Um sistema se realiza como uma idéia básica e integradora que se materializa em determinadas práticas articuladas entre si, com a finalidade de produzir efeitos e alcançar objetivos coerentes e consistentes. Para ser realmente um sistema de avaliação, o SINAES propôs a integração entre diversos instrumentos e momentos de aplicação, tendo como base e eixo estruturante uma concepção global de avaliação e de Educação Superior.

Um objetivo importante na concepção original do SINAES, coerente com a idéia de sistema, é a articulação entre a avaliação e a regulação. Com base nos resultados globais da avaliação, e não em um único instrumento, a regulação seria mais confiável, fundamentada e eficaz do ponto de vista da relevância social e da pertinência essenciais à construção da qualidade do sistema de educação superior. Realizando-se como um sistema coerente, a avaliação poderia efetivamente contribuir para o alcance dos objetivos da política de Educação Superior. Por isso, o SINAES propôs-se como política de Estado, e não simplesmente de um governo, na perspectiva da construção de um sistema.

Como política de Estado, o SINAES deveria ter âmbito nacional e envolver todas as IES, públicas ou privadas, grandes ou pequenas, respeitando o pacto federativo (o regime de colaboração entre o sistema federal e os estaduais), bem como a identidade e as especificidades de cada Instituição. O fato de que parte das IES estaduais e municipais não se submeterem ao regime do SINAES não anula seu caráter nacional. Com efeito, o SINAES é praticado em todos os Estados da Federação, estende-se a todo o território brasileiro, operando no sentido de consolidar a Educação Superior nacional. O respeito à identidade institucional, correlativo do respeito à diversidade existente no sistema, requer instrumentos flexíveis e adaptáveis às peculiaridades de cada IES, sem romper os princípios e objetivos gerais e comuns do SINAES.

Outro aspecto fundamental da visão sistêmica do SINAES era a articulação entre avaliação e regulação. Nessa lógica, o conjunto articulado de instrumentos de avaliação (institucional interna e externa, as condições de ensino e os indicadores referentes ao desempenho dos estudantes, além dos dados cadastrais e do Censo) deve produzir informações e pareceres para constituírem as bases dos atos regulatórios a serem praticados pelo Conselho Nacional de Educação e pelas instâncias respectivas do MEC. A aliança orgânica entre a regulação - prerrogativa do Estado, praticada no Brasil nas modalidades de credenciamento e recredenciamento periódico das IES e autorização, reconhecimento e renovação de reconhecimento dos cursos - e a avaliação, integrada por múltiplos instrumentos, organizada pelo INEP e contando com a participação da comunidade acadêmico-científica, das autoridades das IES e de membros da comunidade civil, constitui o eixo estruturante da construção de um Sistema Nacional de Educação Superior.

Mais que a simples mudança de instrumentos, o SINAES pretendeu operar com outro paradigma de avaliação. Seu foco central era a instituição como um todo. O curso e o aluno seriam avaliados não mais isoladamente, mas em função da totalidade institucional. Dessa forma, não seria suficiente avaliar somente o ensino, tampouco averiguar o desempenho dos estudantes em um exame. O SINAES recuperava o conceito mais complexo de educação superior, cuja finalidade essencial é a formação integral de cidadãos-profissionais e cuja referência central é a sociedade, prevalecendo o princípio de educação como bem e direito humano e social, dever do Estado, independente de que seja oferecida e mantida pelo Estado ou pela iniciativa privada.

Na perspectiva indicada, a educação não é concebida como mercadoria, pois a referência é a sociedade, e o objeto de sua avaliação vai muito além da capacitação para o mercado. O objeto principal passa a ser o cumprimento do mandato social, no que se refere à formação de cidadãos dotados das qualidades ético-políticas e das competências profissionais demandadas pela sociedade democrática. Em outras palavras, o foco central da avaliação da Educação Superior deveria jogar luz sobre o trabalho de formação de sujeitos e a produção e a socialização de conhecimentos de cada IES, tendo em vista o avanço da ciência, o aprofundamento da democracia e o desenvolvimento sustentável da sociedade.

Dada a complexidade da educação superior, é preciso que a avaliação seja complexa, embora não complicada. Não deve limitar-se a um único instrumento, compreendendo o conjunto integrado de dimensões, funções e finalidades de ensino, pesquisa e vinculação com a sociedade. A análise de cada parte deve levar à compreensão do todo e, reciprocamente, a compreensão da totalidade institucional é referência para o conhecimento das partes. A compreensão do todo e das partes deve se realizar em função dos fins da educação.

Na concepção original do SINAES, a educação transcende o desempenho estudantil em provas estáticas, como era o caso do Provão, buscando significados amplos da formação humana integral e pondo em questão a responsabilidade social das IES. Dito de outra maneira, o sistema de avaliação deve produzir sentidos a respeito do cumprimento das funções sociais de formação humana e construção de conhecimentos de cada instituição, no âmbito regional, nacional ou internacional.

ASPECTOS METODOLÓGICOS E ESTRUTURAIS DO SINAES

O SINAES propunha a avaliação institucional interna e externa como o eixo central do sistema avaliativo. Esse processo deveria ser contínuo e envolver os diferentes atores - professores, estudantes, funcionários - não só como avaliados, mas também como sujeitos da avaliação e corresponsáveis pela construção da qualidade da educação superior. A todos os atores, guardadas as respectivas especificidades, seriam dadas oportunidades de participação ativa nos processos, o que os tornaria corresponsáveis pela construção da qualidade da educação superior. As avaliações internas e externas forneceriam análises abrangentes das dimensões, estruturas, objetivos, relações, atividades, compromissos e responsabilidade sociais, das IES e de seus cursos, nas diversas áreas de conhecimento.

Um guia geral estabeleceu as dimensões a serem consideradas na avaliação:

1) missão e plano de desenvolvimento institucional;

2) políticas relacionadas ao ensino, pesquisa, cursos de graduação, pósgraduação e extensão;

3) responsabilidade social da instituição;

4) comunicação com a sociedade;

5) políticas de pessoal;

6) administração e organização institucional;

7) infra-estrutura física; 8) planejamento e avaliação;

9) políticas de atendimento aos estudantes; e

10) sustentabilidade financeira.

Segundo os documentos básicos do SINAES, os processos de avaliação institucional internos e externos deveriam produzir um conjunto de pareceres e informações quantitativos e qualitativos a respeito de cada instituição ou curso, a ser submetido a parecer conclusivo da Comissão Nacional de Avaliação da Educação Superior - CONAES, e posteriormente às instâncias de regulação.

A CONAES foi instituída pelo MEC para coordenar e supervisionar o sistema de avaliação, propiciando-lhe unidade e qualidade. Nos termos da lei que a criou, essa Comissão tem as atribuições de propor e avaliar as dinâmicas, procedimentos e mecanismos utilizados pelo SINAES; estabelecer diretrizes para a organização e designação das comissões de avaliação; analisar relatórios, elaborar pareceres e encaminhar recomendações às instâncias competentes; formular propostas para o desenvolvimento de instituições de educação superior, baseadas nas análises e recomendações produzidas no processo de avaliação; articular-se com os sistemas estaduais de educação, de modo a estabelecer ações e critérios comuns de avaliação e supervisão da Educação Superior.

As discussões e estudos dos atores institucionais se alimentam dos seguintes instrumentos e procedimentos:Avaliação dos Cursos de Graduação, com visitas de comissões externas para análise in loco das condições de ensino; o Cadastro e o Censo; e o Exame Nacional do Desempenho dos Estudantes - ENADE, acompanhado do questionário aplicado aos estudantes.

Aavaliação dos cursos de graduação considera principalmente a organização didático-pedagógica, corpo docente e infra-estrutura física, a articulação entre o Projeto de Desenvolvimento Institucional e o Projeto Pedagógico do Curso, inserção social e correspondência com as Diretrizes Curriculares Nacionais.

Por meio de todos esses instrumentos, havia a intenção de avaliar os compromissos sociais assumidos pelas IES, especialmente as ações que contribuem para a realização dos projetos nacionais. Nessa perspectiva, o SINAES valoriza os temas da pertinência, relevância social, democratização do acesso e da permanência dos estudantes provenientes de setores sociais tradicionalmente excluídos.

Apenas como registro histórico, vale observar que o documento original do SINAES propunha a aplicação de um instrumento amplo e integrador, no lugar de um exame ou prova: o processo de Avaliação Integrada do Desenvolvimento Educacional e da Inovação da Área - PAIDEIA. Esse instrumento buscaria consolidar a idéia de processo, de integração, de movimento, evolução e inovação, contrapondo-se à avaliação produtivista, estática e de meros resultados. Não se tratava simplesmente de constatar desempenhos de estudantes, mas de avaliar as grandes tendências curriculares, as dinâmicas formativas e as relações interdisciplinares de conjuntos de cursos que constituem as grandes áreas do conhecimento, como ciências humanas, exatas, tecnológicas e da saúde. A proposta do PAIDEIA não foi bem entendida e acabou recusada pelo MEC, pela mídia e pelo Congresso Nacional. Em seu lugar, vingou o Exame Nacional do Desempenho dos Estudantes - ENADE. Como esse instrumento adquiriu grande destaque no MEC e na mídia, diferentemente do que propunham os formuladores do SINAES em sua origem, recebe neste texto atenção especial.

ENADE: Concepção original

Inicialmente, será esboçada a concepção primeira do ENADE. Em seguida, será brevemente apresentado o estado atual desse exame, enfatizando algumas alterações paradigmáticas realizadas recentemente.

O ENADE é um exame de amplitude nacional, mas com diferenças fundamentais em relação ao Provão. Como seu nome anuncia, opera com a noção de desempenho e não vincula mecanicamente resultados na prova a qualidade do curso. O ENADE, tal como concebido, consiste num instrumento de avaliação a diagnosticar, geralmente a cada três anos, as habilidades acadêmicas e as competências profissionais que os estudantes são capazes de demonstrar, em conexão com suas percepções sobre sua instituição e com conhecimentos gerais não necessariamente relacionados com os conteúdos disciplinares. Como tal, deveria ser considerado como um dos componentes do sistema de avaliação, não devendo ser tomado isoladamente.

O ENADE é um exame nacional aplicado pelo menos a cada três anos para uma amostra significativa de ingressantes, que até a data de inscrição tenham concluído entre 7% a 22% da carga horária curricular mínima e concluintes que, até a data de inscrição, tenham concluído pelo menos 80% da carga horária curricular mínima. É referenciado a critério, com base nos padrões mínimos estabelecidos por especialistas de cada área de conhecimento a partir das diretrizes curriculares nacionais e dos perfis profissionais de cada área. Pela análise dos itens, propõe-se a dar uma noção aproximada do valor agregado pelo curso na formação do aluno. Como aplica a mesma prova para ingressantes e para concluintes, com pesos diferenciados, é possível comparar as respostas dos dois grupos de estudantes, tanto em relação aos conteúdos disciplinares, como sobre temas transversais, percepção sobre a prova e posicionamentos ético-políticos.

Assim, no ENADE tal como proposto importa, principalmente, avaliar como o estudante é capaz de utilizar as competências e habilidades e como foi sua evolução entre as duas aplicações feitas, no primeiro e no último ano de sua graduação. Não tem pretensão de avaliar a aprendizagem, e sim de ser um instrumento que contribua para o processo de aprendizagem. Além das competências profissionais, adquirem relevância a formação geral e a abordagem dos temas transversais. Isso enriquece o sistema de avaliação, agregando-lhe elementos de reflexão, ainda que, ao mesmo tempo, ampliando a subjetividade do processo, acrescente dificuldades de análise.

Algumas semelhanças com o Provão são verificáveis, ainda que também se registrem especificidades: o registro no histórico do aluno, independentemente de o estudante ter sido selecionado ou não na amostragem; no caso de não ter sido selecionado, o aluno terá em seu histórico o registro de dispensa pelo MEC; como no Provão, somente o aluno recebe as informações sobre os resultados que obteve, havendo prêmio para os que alcançam os melhores escores em sua área de conhecimentos; juntamente com o exame, são colhidas informações sobre o alunado, o curso e a instituição, bem como opiniões dos estudantes e dos coordenadores de curso sobre a prova.

Mas há diferenças essenciais. É um grande equívoco, considerar o ENADE o substituto do Provão, como muitas vezes se divulga. Apesar de guardarem semelhanças operacionais, os dois exames pertencem a paradigmas diferentes. Portanto, se fundam em conceitos distintos, têm objetivos diferentes, requerem atos distintos de avaliação e produzem diferentes efeitos.

A diferença fundamental consiste nas distintas concepções de avaliação estática, do Provão, e dinâmica, do ENADE. O Provão era uma avaliação estática: uma prova aplicada aos alunos no final do curso colhia respostas pontuais, cuja soma de acertos e descontos dos erros resultava em pontuações e classificações, sem oferecer feedback. Era essencialmente uma avaliação de produto, somativa. Já o ENADE se propõe como avaliação dinâmica, incorporando a noção de mudança e desenvolvimento do aluno em seu percurso formativo. Nessa perspectiva, o processo ganha proeminência sobre o resultado final isolado. Entre uma e outra aplicação do exame, o aluno tem oportunidade de superar suas deficiências, desenvolver suas habilidades cognitivas e aplicá-las em novas situações. Em outras palavras, o ENADE tem como foco principal a trajetória do estudante, visando avaliar mudanças verificáveis entre o potencial de aprendizagem demonstrado no ingresso e as habilidades acadêmicas para o domínio da área, em termos de conhecimentos e atitudes, bem como as competências profissionais, isto é, os conhecimentos básicos e as capacidades de utilizá-los em distintas situações, a serem demonstrados no último ano do curso. (LIMANA; BRITO, 2005; BRITO, 2009)

A avaliação dinâmica se ajusta à concepção da avaliação formativa. É mais uma relação de ensino e aprendizagem, que de mero controle e verificação de conteúdos disciplinares. Muito mais que a constatação de um estado, é uma interrogação sobre o processo de aprendizagem e de formação, com o objetivo de conhecer os avanços, superar as dificuldades e atribuir um sentido ao processo educativo.

Nessa concepção, a avaliação do curso deve levar em conta que a formação do profissional está inserida na concepção de formação integral, incorporandose à dimensão humana de cidadania plena. Os textos informativos do ENADE explicitam que a formação esperada e a consequente avaliação devem ir além das habilidades e competências profissionais dos conteúdos disciplinares e incorporar as perspectivas críticas, integradoras e constitutivas da formação de cidadãos aptos a participarem criativamente do desenvolvimento da sociedade. Daí que, além das capacidades de ler, interpretar, analisar informações, estabelecer conclusões e relações, o exame busca averiguar as capacidades de o estudante fazer escolhas valorativas, posicionar-se na vida social, propor soluções para situações-problema e questionar consistentemente a realidade.

O Provão era o principal e quase único instrumento de classificação e regulação. Por sua vez, o ENADE, em sua concepção original, tem papel subsidiário no sistema de avaliação. Por isso, não poderia dar margem a rankings e nem ser a ferramenta mais importante para efeitos de regulação. Quando tecnicamente mal sustentados e politicamente equivocados, os rankings produzem injustiça e injetam rivalidades entre IES de diversas naturezas e distintos grupos profissionais, competitividade e práticas típicas de mercado e desvios das finalidades essenciais da formação em educação superior.

A prática de elaboração de rankings foi criticada no documento que apresenta a proposta do SINAES, pois não contribuiria para a promoção da qualidade científica e social da educação superior. Coerente com a concepção geral do SINAES, não deveria o ENADE servir à elaboração de rankings, e sim fornecer elementos de compreensão a respeito da formação ética e técnica dos estudantes e de sua visão sobre a instituição e a vida social. Entretanto, a mídia acabou elaborando equivocadamente rankings, tomando como base apenas o ENADE e em uma de suas aplicações, isoladamente, o que já é uma deturpação desse instrumento. Muitas IES se acostumaram a promover ampla propaganda dos itens positivamente avaliados, ainda que parciais e destacados do contexto, para melhorarem sua imagem pública, e, com isso, obterem vantagens competitivas no mercado educacional. Contudo, o ENADE não pode ser destacado do conjunto dos instrumentos do SINAES nem ser considerada uma única nota, separadamente. Exceto no que se refere à formação geral e no mesmo ano, os resultados de diferentes cursos não são homologáveis, pois as provas são distintas e as matrizes elaboradas por diferentes comissões de especialistas.

Entretanto, embora o Documento base houvesse rejeitado a prática de classificações das instituições, a própria Lei do SINAES (nº 10.861, de 14 de abril de 2004) acabou fornecendo um argumento para a elaboração de rankings, ao prever a escala de cinco níveis para os cursos e para o desempenho dos estudantes no ENADE. Além da nota, o ENADE foi incorporando indicadores que vieram a facilitar a elaboração de rankings. Dentre eles, o Indicador de Diferença de Desempenho observado e esperado (IDD, 2006), o Conceito Preliminar de Curso (CPC, 2007), obtido a partir de duas questões do questionário de avaliação discente, e o Índice Geral de Curso (IGC, 2007), que corresponde à média dos conceitos da IES em graduação e pós-graduação.

ENADE: Mudança de paradigma, problemas e limites

Desde sua proposta inicial, o SINAES prezou princípios e compromissos caros à comunidade acadêmica, colhidos em várias audiências públicas. Eles determinam que a avaliação da Educação Superior não seja fragmentada, respeite a identidade institucional e a diversidade do sistema, confira centralidade à avaliação institucional em suas etapas interna e externa, que todo ato regulatório tenha como base os resultados dos processos articulados de avaliação etc.

O período inicial de implantação desse sistema foi difícil, mas vinha assegurando a consolidação de um paradigma de avaliação que não se limitava à conformação a normas burocrático-legais. Entretanto, as recentes iniciativas do INEP, com aval da CONAES, tendem a interromper esse processo participativo e a retomar o paradigma técnico-burocrático.

No Relatório de 2008, o próprio MEC começou a adotar a prática de rankings, tendo como justificativa a indicação de níveis, prevista na Lei 10.861/2004, e como principal base os resultados dos indicadores do ENADE do ano anterior. Muitos dos aspectos do SINAES foram considerados pelo INEP de difícil operacionalização e demasiadamente subjetivos para caber em escalas objetivas. Outras dificuldades ocorreram em razão de falta de estrutura adequada do INEP ou por carência de pessoal acadêmico com boa formação em avaliação, tanto na administração central como nas IES.

Mas há que se considerar a frágil tradição da Educação Superior brasileira em avaliação e as dificuldades normais de avaliações em larga escala, especialmente em um país grande e diverso como o Brasil. De modo particular, inclusive no próprio INEP há pouca compreensão da avaliação dinâmica do ENADE, em contraposição à concepção estática e convencional do Provão. A diferença fundamental entre a avaliação estática e a dinâmica nada tem a ver com eventuais mecanismos operacionais e mudanças na gestão dos processos, referindo-se a distintos paradigmas de avaliação. A avaliação estática intervém sobre os produtos ou resultados finais, é preponderantemente somativa, objetiva, controladora e tendente a representar uma ordem legal-burocrática. A avaliação dinâmica prioriza o processo, as mudanças que ocorrem em determinados intervalos, as causalidades que levam à compreensão dos resultados e tende a valorizar a dimensão formativa.

Em que pese a proposta original do SINAES insistir nas ideias de sistema, de focar centralmente a instituição e de repudiar as práticas de rankings, isso não ocorreu, plenamente, na prática. Na implementação do SINAES, alguns de seus princípios e propósitos foram sendo descartados ou descumpridos. Paulatinamente, a instituição foi cedendo lugar aos cursos, a avaliação institucional, especialmente em sua dimensão interna não se consolidou em todas as IES e o ENADE foi ganhando crescente destaque e autonomia. Na mídia e na sociedade em geral, tornou-se sinônimo de avaliação, em sentido pleno, como ocorrera nos tempos do Provão, como se todo o SINAES se resumisse a esse exame.

Dificuldades operacionais e escassa compreensão de alguns aspectos do paradigma do SINAES estão levando a avaliação institucional a se burocratizar, tornando pouco relevante o papel das CPAs (Comissões Próprias de Avaliação) e praticamente abafando as reflexões dos professores, estudantes e funcionários. O estudante voltou a ser a principal fonte de informação para a formulação dos índices de qualidade e das políticas que daí derivam. A avaliação da Educação Superior brasileira tende a ser crescentemente um instrumento de classificação de cursos e instituições. A qualidade de um curso e, por extensão, de uma instituição está dependendo, em grande parte, do desempenho do estudante em uma prova e de sua opinião a respeito de alguns poucos itens, não consideradas as especificidades de cada área, diferenças relativas ao capital intelectual prévio e compromissos e interesses individuais.

A proeminência dada ao ENADE - agora como instrumento estático e somativo, menos dinâmico e formativo - muda o paradigma da avaliação e traz consequências importantes. Em decorrência, o SINAES perde muito de seu sentido de sistema; a avaliação institucional se enfraquece e se burocratiza; a autonomia institucional e docente tende a desaparecer diante da necessidade de obtenção de boa posição na escala de classificação, a qual é alcançável por meio do mecanismo de ensinar para o exame, segundo o modelo da prova; o ENADE abandona a concepção dinâmica e esvazia seu sentido de feedback e a possibilidade de acompanhamento da aprendizagem do aluno.

Assim, avaliação da Educação Superior no Brasil não vai se realizando como construção de significados a partir de questionamentos sobre a pertinência e a relevância científica e social da formação e dos conhecimentos, como esperado no paradigma do SINAES, tendendo a reduzir-se à medida, classificação e controle legal-burocrático. Como tendência, a concepção mais ampla e profunda de educação se limita a ensino, a complexidade ético-política e científica da formação se empobrece nos enquadramentos das quantificações e classificações, os questionamentos e atribuições de juízos de valor sobre as finalidades essenciais da educação dão lugar a testes que medem desempenhos estudantis, os quais servem de informação básica aos índices, que se transformam em classificações e rankings e representam numericamente a "qualidade" dos cursos e das instituições.

CONSIDERAÇÕES GERAIS SOBRE OS EXAMES DE LARGA ESCALA COM FUNÇÃO DE CONTROLE LEGAL-BUROCRÁTICO

Exames em larga escala e com importantes funções regulatórias, sempre que repetidos por vários anos, consolidam um padrão curricular e acabam sendo tomados como modelos . As instituições são desestimuladas a levar adiante os processos de avaliação institucional. A autonomia pedagógica tende a deslocarse das IES para os órgãos operadores do Estado, que passam a ser os titulares e os destinatários principais e quase exclusivos da avaliação.

Os fenômenos crescentes de mercantilização, fragmentação, transnacionalização da educação superior tornam ainda mais importantes os processos de avaliação e impõem aos Estados a crescente responsabilidade de assegurar que a educação de qualidade, como bem público, seja acessível a todos. As funções de controle e regulação são prerrogativas dos Estados. Nos últimos anos, a avaliação vem tendendo a perder seu caráter educativo de diagnóstico e melhora, relacionando-se mais com as metas políticas e econômicas dos governos e adquirindo a função de controlar a eficiência e produtividade das instituições educacionais. Instalou-se como tecnologia de vigilância e controle sobre rendimentos de estudantes e professores, portanto, sobre os produtos das instituições. Vale lembrar a crítica de Basil Bernstein (1990, p. 142) à avaliação produtivista e eficientista: "O prestar conta, a eficiência e a avaliação farão muito pouco para promover uma educação democrática, porém farão muito para colocar as escolas dentro da economia de mercado e de sua base tecnológica". A avaliação a que ele se refere é essa que se faz como tecnologia do poder.

Até mesmo a OCDE, partidária de avaliações em larga escala e com efeitos comparativos, alertava, em 1989, quanto aos riscos e insuficiências das avaliações somativas aplicadas em instrumentos únicos, o que vale também para os exames gerais com finalidades classificatórias:

Admite-se cada vez mais hoje que o costume que consiste em reportar a uma só nota a apreciação do trabalho de um aluno ao longo de todo um ano, senão mais, é não só insatisfatório do ponto de vista da avaliação como também inútil do ponto de vista pedagógico. É por isso que se tende para completar, e até para substituir, os exames escritos de fim de ano por dossiês mais completos constituídos a partir de um controle contínuo dos conhecimentos, que revelam um perfil das aptidões e do trabalho dos alunos mais fiável do que uma simples nota ou certificado de sucesso ou de insucesso. Esta interpretação da avaliação não é só um meio mais eficaz de registrar os progressos do aluno; ela corresponde também a uma diferente forma de considerar os resultados escolares. (OCDE apud MACHADO, 1994, p. 62)

As práticas exclusivamente controladoras e tecnicistas de fontes governamentais não contribuem para construir nas instituições os espaços de questionamento e reflexão sobre suas atividades e seus compromissos sociais. As avaliações praticadas por instâncias do governo somente como políticas de controle e vigilância quase nada contribuem para o fortalecimento das políticas de democratização da educação superior com mais justiça social e valorização da educação como bem público e direito humano. Por outro lado, são pouco eficientes para evitar a expansão de instituições de baixa qualidade e, assim, atendem muito bem a interesses do mercado da educação.

A avaliação se completa quando vai além dos índices e escalas comparativas e engendra questionamentos a respeito das significações e valores, interroga sobre as causas e investe em programas e ações para superar os problemas e deficiências. Por isso, não está somente voltada ao já realizado; precisa estar aberta à construção do futuro, a novas interpretações e possibilidades.

Há a tendência, nos exames gerais, de identificar pura e simplesmente avaliação com medição, supondo que a parte é o todo. Os instrumentos técnicos dos exames nacionais efetuam a elementarização dos fenômenos complexos das aprendizagens e da própria educação, pois precisam fazer a homogeneização tanto da diversidade do estudantado como dos conteúdos mínimos a serem cobrados e analisados o quanto possível objetivamente, fazendo abstração das dimensões emocionais, éticas, políticas, sociais que também constituem a subjetividade da vida humana. Elliot afirma que os exames de caráter somativo deformam a compreensão daquilo que buscam avaliar.

Nos exames, situações nas quais são necessários indicadores normalizados de aprendizagem, existem fortes pressões para trabalhar em plano reducionista, razão pela qual se aceita a capacidade para recordar definições formais como indicador de que o examinando compreende seu significado. Ao reduzir a compreensão dos conceitos à dos termos, e esta à de recordação das definições formais, os examinadores podem "superar" as dificuldades que a pontuação dos resultados normalizados da aprendizagem coloca. (ELLIOT, 1990, p. 219)

Nos exames em larga escala com objetivos de elaboração de amplos balanços e em que predomina a lógica de classificação e controle, a avaliação é um fim em si mesmo. O exame é tomado como a finalidade da aprendizagem, reforçando a idéia de que é para a prova que o professor deve ensinar e o aluno estudar. Dúvidas quanto à capacidade de os testes em larga escala produzirem consequências pedagógicas significativas se apresentam em estudos e documentos importantes. Por exemplo,

em relação com os programas estatais dos Estados Unidos, o

Educational Testing Service

(1973) diz que é improvável que os programas com base em provas de rendimento, mesmo os de nível local, possam revelar nada importante a respeito do que possam os professores fazer para melhorar seu trabalho. (MC CORMICK; JAMES, 1997, p. 93)

Os principais responsáveis pela construção da qualidade da educação precisam de um espaço de autonomia para o exercício da produção e socialização de conhecimentos e formação de sujeitos conscientes. Por isso, precisam ser reconhecidos como atores importantes nos processos de avaliação. Os exames nacionais, quando organizados exclusivamente em função de classificações, rankings e controle legal-burocrático, colaboram para a desprofissionalização do docente, em razão da modelação dos currículos e métodos impostos de cima para baixo e que geram a necessidade de transformar a relação didáticopedagógica em mero treinamento de estudantes para os exames.

A literatura da área dá conta de uma espécie de usurpação dos currículos, isto é, da concepção pedagógica, da programação de conteúdos e das formas e estilos de ensino, provocada pelos exames nacionais de fortes efeitos regulatórios. Madaus, a propósito dos exames gerais nos Estados Unidos, afirma:

A história mostra com toda a clareza que onde esteve em vigor um importante exame externo, aí se desenvolveu rapidamente uma tradição de exames externos. Esta tradição de exames passados acaba por definir o currículo de facto. Os professores consideram os tipos de actividade intelectual requeridos pelas perguntas dos testes de anos anteriores e preparam seus alunos para enfrentar essas exigências [...] A entidade que controla o conteúdo dos testes mediante a tradição de exames passados controla o que é ensinado, como é ensinado, o que é aprendido e como é aprendido. (MADAUS apud CARDOSO, 1993, p. 82)

Os currículos seriam, portanto, induzidos pelos organismos externos de avaliação. Aos professores caberia ensinar aquilo que pode cair no exame nacional. Essa estratégia é utilizada em muitas instituições com o objetivo de aumentar sua competitividade no mercado e o número de clientes. Os exames gerais, quando apresentam altas consequências para a sobrevivência das instituições mais frágeis e constituem os elementos mais fortes para os processos regulatórios, podem produzir o risco de reduzir o complexo conceito de formação universitária ao atendimento dos interesses imediatos do mercado, sobretudo em termos da aquisição de habilidades e competências tendo em vista a solução de problemas na esfera da produção privada.

Importante que essas observações não sejam tomadas como recusa pura e simples dos exames nacionais. Prover e assegurar a qualidade da educação é dever do Estado. Para tanto, ele precisa fazer uso, em colaboração com as instituições educativas, de múltiplos instrumentos de avaliação que possam apresentar uma visão razoável da complexidade da Educação Superior nacional. Um deles, sem dúvida é o exame de âmbito nacional. Por meio dele, o Estado pode induzir algumas práticas, exigir padrões mínimos de qualidade e ter uma visão geral do ensino, dos graus de desempenho dos estudantes e, por mecanismos paralelos e complementares, obter informações sobre percepções dos estudantes acerca das práticas administrativas e das condições e situações de infra-estrutura. É perfeitamente aceitável que esses instrumentos sejam objetivos e, o quanto possível, justos, o que não significa que sejam neutros, desinteressados e destituídos de subjetividade.

Neste texto, a crítica se ateve à supervalorização desse instrumento, quando transformado no determinante central no sistema de controle legal-burocrático. A ênfase na medição e na classificação produz, correlativamente, entre outros efeitos, a perda da função diagnóstica de fornecer elementos de reflexão aos professores e estudantes, o engessamento curricular, a desvalorização da autoavaliação, a burocratização dos processos avaliativos, a desprofissionalização do magistério, a redução da educação ao ensino e a redução da formação à capacitação profissional.

As legítimas funções estatais de supervisão e regulação não devem inibir o diálogo e os questionamentos próprios da avaliação participativa e democrática, nas quais têm papel importante os atores educacionais da comunidade acadêmica. A avaliação participativa e democrática apresenta vários méritos. Dentre eles, destacam-se: a pluralidade de perspectivas e concepções dos participantes internos e externos lhe confere mais validade e riqueza; o comprometimento dos participantes com a avaliação e sua responsabilidade pelas ações de melhoramento que ela sugere. Neste sentido, ela é superior às outras modalidades do ponto de vista ético, porque se baseia na aceitação do direito da expressão, aumentando a legitimidade da ação pública e propicia a ampla aceitação social .

A avaliação deve ter também o papel de fortalecer estratégias e políticas coerentes com os grandes objetivos nacionais. Por isso, é importante que o sistema de avaliação ponha em foco de reflexão e análise os temas da pertinência e da relevância social dos conhecimentos e da formação, da democratização da educação e, portanto, da equidade, do acesso e da permanência, tendo como referência os valores primordiais e as prioridades da sociedade e das comunidades regionais. É Importante que o sistema de avaliação incentive as IES a promover ações que aprofundem o exercício da democracia no âmbito interno e desenvolver programas que ampliem as possibilidades de acesso e permanência a indivíduos e grupos sociais historicamente postergados. Ao que parece, a centralidade do exame nacional com alto impacto na modelação e na regulação do sistema, como praticado no Provão e nas últimas aplicações do ENADE, pode estar contribuindo para produzir, no Brasil, uma banalização da Educação Superior, facilitando a expansão privada com fins quase exclusivamente mercantis, de baixa qualidade pedagógico-científica e de escassos compromissos com a pertinência e a relevância social. Afinal, não se pode esquecer que a Educação Superior não tem apenas a função de desenvolver habilidades e competências para os postos de trabalho, senão, sobretudo, de construir conhecimentos, formar para a vida em sociedade e consolidar valores socialmente relevantes.

Essa mudança de paradigma que vem sendo feita encontra justificativas, nem todas aceitáveis, porém, de certa forma, compreensíveis. Segundo argumentos apresentados pelo INEP, o SINAES apresentaria alto grau de complexidade para ser aplicado em um sistema de Educação Superior tão grande, diversificado, heterogêneo, mercantilizado e em expansão como o brasileiro. Seria difícil e oneroso avaliar in loco mais de vinte mil cursos. Mas seria mesmo necessário visitar todos os cursos? Ademais, tanto na comunidade acadêmica, como entre os operadores de Estado, faltam profissionais com a necessária experiência em avaliação em larga escala. A proposta original do SINAES já se preocupava com essa escassa cultura em avaliação e sugeria a formação sistemática de avaliadores para profissionalizar e consolidar essa área no campo da educação.

De modo especial, constituem problemas as dimensões mais subjetivas e qualitativas que, sem dúvida, requerem metodologia mais refinada. Um exemplo dessa dificuldade está em trabalhar com precisão as relações entre as habilidades elencadas no ENADE e a ética e os compromissos profissionais e sociais, os temas transversais, a formação geral. Não menor dificuldade apresenta a análise de mudança, metodologia pouco trabalhada e compreendida em educação. Como é comum nos exames, há os problemas que dizem respeito à qualidade técnica dos itens das provas, à complexidade de elaboração dos padrões mínimos desejados para cada área e à interpretação dos resultados. Além disso, não se pode omitir a enorme gama de contradições de interesses e valores que atravessam os diferentes grupos sociais.

CONSIDERAÇÕES FINAIS

O campo da avaliação vem se tornando muito rico do ponto de vista técnico, com as contribuições e os avanços da psicometria, da estatística, das ciências sociais, da educação e dos recursos computacionais. Esses avanços técnicos e científicos são de suma importância, pois conferem efetividade, confiabilidade e justiça aos processos de avaliação, evitando instabilidades e distorções. Entretanto, o necessário domínio técnico não pode sobrepor-se às questões de fundo filosófico e ético-político da educação superior e, em consequência, de sua avaliação.

Por certo, todas essas questões estão relacionadas com o tema mais amplo da complexidade e das contradições que envolvem o conceito de qualidade em Educação Superior. Antes das dificuldades técnicas e operacionais, a questão de fundo, filosófica e política, muito pouco debatida, é a da qualidade. Por sua vez, o conceito de qualidade se liga à questão filosófica e política dos fins da Educação Superior e não se separa das questões fundamentais da sociedade. Nesse sentido, a avaliação deveria se preocupar em trazer informações significativas para a compreensão da complexidade do sistema, em vez de esboçar uma imagem simplificada e redutora do sistema.

Obviamente, sempre haverá contradições e imperfeições num sistema de avaliação, pois se trata de um fenômeno social e de uma construção histórica. Nisso consiste a riqueza da avaliação: nunca está acabada, nem fechada às diferentes interpretações e aos distintos interesses de grupos, não é neutra e nem detentora da verdade absoluta, mas precisa se esforçar para ser justa e socialmente eficaz.

A admissão dos problemas e limites, bem como da diversidade de concepções e expectativas, leva à compreensão de que a avaliação, por mais técnica e objetiva que se pretenda ser, carrega uma gama de dificuldades insolúveis, incompletudes e interpretações diferentes. Mas o propósito de obter rigor técnico e facilidades operacionais não deve justificar as soluções simplistas, que reduz todo o sistema de avaliação a uma ferramenta de medição do rendimento acadêmico para efeito de regulação, pela qual os órgãos governamentais disciplinam, controlam e modelam unidirecionalmente a Educação Superior e, segundo sua ótica, sinalizam as boas práticas ao mercado.

Ao poder técnico e burocrático das instâncias administrativas centrais correspondem respostas burocráticas das instituições e de seus atores. O grande desafio é encontrar o ponto de equilíbrio entre a avaliação formativa e a regulação controladora. Isso só pode ser construído por meio do diálogo e do sentido público da responsabilidade social.

• BERSNTEIN, Basil. Poder, educación y conciencia Sociología de la transmisión cultural. Barcelona: El Rource, 1990.
• BRITO, Márcia Regina F. de. O SINAES e o ENADE: da concepção à implantação. Avaliação: Revista da Avaliação da Educação Superior, Campinas;Sorocaba, SP, v. 13, n. 03, p. 841-850, nov. de 2008.
• DIAS SOBRINHO, José. Universidade e avaliação Entre a ética e o mercado. Florianópolis: Insular, 2002.
• DIAS SOBRINHO, José. Qualidade, Avaliação: do SINAES a Índices. Avaliação: Revista da Avaliação da Educação Superior, Campinas; Sorocaba, SP, v. 13, n. 03, p. 817-825, nov. de 2008.
• ELLIOT, John. La investigación-acción en educación Madrid: Morata, 1990.
• LIMANA, Amir; BRITO, Márcia Regina F. de. O modelo de avaliação dinâmica e o desenvolvimento de competências: algumas considerações a respeito do ENADE. Avaliação: Revista da Avaliação da Educação Superior, Campinas; Sorocaba, SP, v. 10, n. 02, p. 09-32, jun. 2005.
• MACHADO, Fernando Augusto. Avaliação em tempo de mudança Projectos e práticas nos ensinos básico e secundário. Lisboa: Edições Asa, 1994.
• MC CORMICK, James; JAMES, Mary. Evaluación del curriculum en los centros escolares 2. ed. Madrid: Morata, 1997.

Datas de Publicação

• Publicação nesta coleção
  09 Abr 2010
• Data do Fascículo
  2010