Avaliação da educação superior no segundo governo Lula: "provão II" ou a reedição de velhas práticas?

Évaluation de l'éducation supérieure sous le second gouvernement Lula: provão II ou réédition de vieilles pratiques?

Higher education evaluation in Lula's second administration: "provão II" or the return of old practices?

ARTIGOS

Avaliação da educação superior no segundo governo Lula: "provão II" ou a reedição de velhas práticas?^*

Higher education evaluation in Lula's second administration: "provão II" or the return of old practices?

Évaluation de l'éducation supérieure sous le second gouvernement Lula: provão II ou réédition de vieilles pratiques?

José Carlos Rothen^I; Gladys Beatriz Barreyro^II

^IDoutor em Educação e professor adjunto do Departamento de Educação e do Programa de Pós-Graduação em Educação da Universidade Federal de São Carlos (ufscar), E-mail: [e-mail]

^IIDoutora em Educação e professora da Escola de Artes, Ciências e Humanidades e do Programa de Pós-Graduação em Educação da Universidade de São Paulo (usp), E-mail: [e-mail]

RESUMO

A elaboração e a implantação do Sistema Nacional de Avaliação da Educação Superior (SINAES) foram marcadas por percalços e embates nos bastidores do governo Lula. Verifica-se que atos normativos e diretrizes mostravam contradições entre si. Em 2008, contrariando a expectativa de que o SINAES teria papel central na regulação, foram criados dois índices com esse fim: o Conceito Preliminar de Cursos (CPC) e o Índice Geral de Cursos (IGC). A criação de um instrumento simplificado de avaliação para a regulação, a utilização de ranques e o uso intensivo da mídia resgatam práticas centrais da política da educação superior do governo Fernando Henrique Cardoso (FHC). Tendo como objetivo a identificação das continuidades e rupturas entre os dois governos, discute-se aqui a hipótese de que a adoção dos índices responde à obrigação herdada de regular o sistema pela via da avaliação, pois – apesar da inclusão social proposta pelo governo - a lógica privatizante continua.

Palavras-chave: Avaliação da educação superior. Conceito Preliminar de Cursos. Índice Geral de Cursos. Regulação e avaliação da educação.

ABSTRACT

The development and deployment of SINAES were marked by setbacks and struggles behind the scenes of the Lula administration. In fact, some normative acts and guidelines seem to contradict one another. In 2008, belying the expectations that SINAES would play a central role in regulation, two indicators were created: the Conceito Preliminar de Cursos (CPC – Preliminary Concept of Courses) and the Índice Geral de Cursos (IGC – General Index of Courses). Adopting simplified regulation instruments, applying rankings, and intensively using the media revived the main Education policy features of the previous administration, by Fernando Henrique Cardoso. After identifying continuities and disruptions between both governments, this paper discusses the hypothesis that such indicators were a response to the requirement, inherited from the previous administration, to regulate the system through evaluation. Thus, despite the inclusion goal proposed by the current government, the logic of privatization still prevails.

Key words: Higher education evaluation. Preliminary Concept of Courses. General Index of Courses. Higher education regulation and evaluation.

RÉSUMÉ

l'élaboration et l'implantation du SINAES ont été marquées par des problèmes et des heurts dans les coulisses du gouvernement Lula car plusieurs actes normatifs et directives étaient en contradiction entre eux. En 2008, contrariant l'attente de ce que le SINAES jouerait un rôle central dans la régulation, deux indices ont été créés dans ce but: le Conceito Preliminar de Cursos (CPC – Évaluation Préliminaire de Cours) et l'Índice Geral de Cursos (IGC – Classement Général des Cours). La création d'un instrument d'évaluation simplifié pour la régulation, l'utilisation de classements et l'usage intensif de moyennes récupèrent des pratiques centrales de la politique de l'éducation supérieure du gouvernement Fernando Henrique Cardoso. Pour identifier des continuités et ruptures entre ces deux gouvernements, ce travail discute l'hypothèse de ce que l'adoption de ces indices répond à obligation héritée de réglementer le système via évaluation, car, malgré l'inclusion sociale proposée par le gouvernement Lula, la logique de privatisation continue à avoir le vent en poupe.

Mots-clefs: Évaluation de l'éducation supérieure. Concept Préliminaire de Cours. Indice Général de Cours. Régulation et évaluation de l'éducation.

A avaliação da educação superior no governo Lula teve como marco a promulgação da lei que instituiu o Sistema Nacional de Avaliação da Educação Superior (SINAES), em substituição a um conjunto não articulado de instrumentos de avaliação. A ideia subjacente ao novo sistema consistia em instalar um ciclo de avaliação que seria referencial para a regulação das instituições.

A elaboração e a implantação do SINAES foram marcadas por percalços e embates nos bastidores do governo. Diversas diretrizes oficiais, muitas vezes antagônicas, foram publicadas e atos normativos promulgados. No final de 2008, contrariando a expectativa de que o SINAES teria papel central na regulação, foram criados dois índices com esse fim: o Conceito Preliminar de Cursos (CPC) e o Índice Geral de Cursos (IGC).

A publicização de índices tem grande apelo popular na realidade brasileira. Os mais conhecidos são os que medem a variação de preços (inflação). O uso dos índices e a sua respeitabilidade fundamentam-se em dois aspectos: 1) eles simplificam realidades complexas – por exemplo, a variação de preços de uma grande gama de produtos –; 2) a sua legitimidade baseia-se no caráter técnico dos órgãos que fazem a medição – por exemplo, o Índice Nacional de Preços ao Consumidor (INPC) é legitimado pelo Instituto Brasileiro de Geografia e Estatística (IBGE). O caráter simplificador e técnico dos índices confere-lhes uma aura de inquestionáveis; socialmente, eles são tomados como efetivamente representando a realidade.

O uso intensivo da mídia e a criação de um instrumento simplificado de avaliação para a regulação resgatam prática central da política da educação superior do governo Fernando Henrique Cardoso (FHC). Tendo como norte a identificação das continuidades e rupturas entre os dois governos, será discutida, neste artigo, a hipótese de trabalho de que a adoção dos índices tem por objetivo o desempenho da obrigação herdada de regular o sistema, por meio da avaliação. Para tanto, utilizam-se os mesmos mecanismos do governo anterior: ranque e mídia.

A herança FHC

No governo FHC, a avaliação da educação superior teve papel central nas políticas educacionais. Essa centralidade não foi por acaso, mas sim motivada pela inserção destas na Reforma do Estado, promovida por esse governo. Segundo o ideário exposto no Plano Diretor da Reforma do Estado, seria necessário aumentar a governança do Estado brasileiro, isto é, a capacidade de implementar eficientemente políticas públicas (Brasil, 1995). Para tanto, o Estado deveria afastar-se de atividades que poderiam ser realizadas pela iniciativa privada e concentrar-se nas relacionadas exclusivamente ao exercício do poder. Destaca-se, como objetivo dessa reforma, o aumento da capacidade de regulação do Estado. Esta seria realizada, prioritariamente, por agências reguladoras que teriam como objetivo garantir a concorrência (Pires & Goldstein, 2001); além do mais, teriam papel relevante na defesa dos interesses dos consumidores, evitando possíveis abusos (Brasil, 1997).

Com a Reforma do Estado, intensificaram-se os processos de privatização de empresas estatais. As políticas sociais organizaram-se em torno de três eixos: privatização, descentralização e focalização. Nesse contexto, a educação superior foi considerada como sujeita à "privatização". Entendia-se que a iniciativa privada poderia realizar a educação neste nível com muito maior eficiência e eficácia. A educação – um direito social – passava a ser tratada como mercadoria, o que facilitou a criação de um quase-mercado.¹

(...) trata-se de introduzir na esfera social (...) a racionalidade gerencial capitalista e privada, que se traduz na redução da esfera pública ou na expansão da privada, mas, sobretudo, na acentuação da dimensão estatal/mercantil (e privado/mercantil) com a sua racionalidade organizativa. (Silva Jr., 2005, p. 115)

Efetivamente, nenhuma instituição federal de educação foi privatizada. O que se teve foi, por um lado, a incorporação de práticas da gestão empresarial no setor público e, por outro, uma forte expansão das matrículas nas instituições privadas e pequena nas instituições públicas federais (Barreyro, 2008).

O Ministério da Educação - alinhado com o ideário da Reforma do Estado - colocou a regulação do sistema de educação superior como o centro das políticas públicas para este nível de ensino. Como marco legal, já em 1988, a Constituição Federal previa a liberdade da iniciativa privada em oferecer ensino, desde que siga as normas da educação nacional, bem como receba autorização e tenha a sua qualidade avaliada pelo poder público (art. 29). Na Lei de Diretrizes e Bases (LDB) de 1996, no governo FHC, ao regulamentar a previsão constitucional, determinou-se a renovação periódica da "autorização e o reconhecimento de cursos, bem como o credenciamento de instituições de educação superior" (art. 46). Ressalta-se nesse artigo que os atos regulatórios são vinculados ao "processo regular de avaliação".

No ano anterior à sanção da LDB, foi editada medida provisória prevendo a realização de exames a serem aplicados aos alunos dos últimos anos de graduação: o Exame Nacional de Cursos - "Provão". Em resposta a manifestações de parte da sociedade, contrária à sistemática de avaliação proposta, o "Provão" deixou de ser considerado, legalmente, como o único instrumento de avaliação.

Apesar da previsão da avaliação in loco por especialistas,² o "Provão" foi o instrumento de avaliação por excelência, tanto pela ênfase que lhe foi dada pelo Ministério da Educação, como por sua repercussão na imprensa, bem como pelo uso mercadológico dos resultados por parte das instituições de educação superior privadas. No espírito da Reforma do Estado, a principal característica do "Provão" era a emissão de conceitos simplificados: uma escala de 5 níveis (de "E" a "A"), que permitia estimular a concorrência entre as instituições de educação superior.³ O "Provão" era concebido no sentido de dupla regulação do sistema: pelo Ministério e pelo mercado consumidor de educação. As instituições que não obtivessem bons resultados nos exames seriam fechadas pelo Ministério, ou pela "mão invisível do mercado".

A imprensa teve papel importante no sucesso dessa política pública. Com os resultados em mãos, ela elaborava o ranque das instituições e contribuía significativamente no sentido de criar um imaginário social acerca da importância do Exame.

No final do governo FHC, as instituições particulares questionaram juridicamente a legalidade da taxa cobrada pelo Ministério para a realização das visitas dos especialistas nos processos de avaliação, visando o reconhecimento/renovação de cursos e o (re)credenciamento de instituições. Este fato paralisou a realização de visitas. Diante do impasse, o Ministério editou a Portaria n. 1.037/2002, fazendo reconhecimento provisório de cursos, para o fim exclusivo de emissão de diploma para os alunos concluintes naquele ano.

Resumidamente, a herança que o governo FHC deixou para o governo Lula foi:

• A obrigatoriedade de renovação periódica do reconhecimento de cursos e do credenciamento de instituições.

• A regulação do sistema vinculada à avaliação.

• A consolidação da ideia de que um exame em larga escala é um indicador suficiente e confiável para a avaliação da educação superior.

• A forte expansão da educação superior pela via da iniciativa privada.

• O represamento de processos de reconhecimentos de cursos e credenciamentos de ies.

• A consolidação da visão mercantil da educação superior.

A herança FHC no primeiro governo Lula

Muitos dos acadêmicos que participaram da campanha eleitoral de Luiz Inácio Lula da Silva faziam severas críticas ao modelo de avaliação adotado no governo FHC. Em contraposição ao modelo vigente, no Plano de Governo do candidato Lula foi expressa a visão de que a avaliação é um "instrumento para o planejamento e a intervenção do Estado, visando à melhoria do desempenho dos alunos e à melhoria do sistema de ensino" (Coligação Lula Presidente, 2002, p. 4). Ainda no Plano, defendia-se a criação de uma nova proposta baseada nos princípios do Programa de Avaliação Institucional das Universidades Brasileiras (PAIUB), os quais tinham como fonte inspiradora a visão emancipatória da avaliação.

Nos primeiros meses do novo governo foram desenvolvidos, no âmbito do Ministério da Educação, os trabalhos da Comissão Especial da Avaliação (CEA) instituída com o objetivo de elaborar um sistema de avaliação. A CEA foi composta principalmente por acadêmicos vinculados às ideias norteadoras do PAIUB. Concomitantemente aos trabalhos da CEA, travou-se no Ministério um forte debate em relação à validade ou não do "Provão" (Barreyro & Rothen, 2006).

A herança FHC logo se fez presente. Como a lei que instituía a realização do "Provão" ainda não havia sido revogada, no primeiro ano do governo Lula teve-se uma reedição do Exame.

Ao final dos seus trabalhos, a CEA apresentou a proposta de criação do SINAES, tendo como centro a autoavaliação institucional (Brasil, 2004a). O ministro Buarque desconsiderou o trabalho realizado e lançou um pequeno documento propondo, pela primeira vez no governo Lula, a criação de um índice para "medir" a qualidade da educação superior: Índice de Desenvolvimento da Educação Superior (IDES). Este seria a síntese de quatro índices: 1) a avaliação do ensino (características e produtividade do corpo docente); 2) a avaliação da aprendizagem (um exame nacional); 3) a avaliação da capacidade institucional (infraestrutura); e 4) a avaliação da responsabilidade social (principalmente as atividades de extensão universitária) (Brasil, 2003).

Na sequência, foi editada a Medida Provisória n. 147/2003, que criava um sistema de avaliação. Contudo, após a queda do ministro Buarque do Ministério da Educação, foi votado no Congresso o Projeto de Lei de Conversão da Medida Provisória, resgatando muitas das propostas da CEA. Com a promulgação da Lei n. 10.861/2004, instituiu-se o SINAES. Com o objetivo de coordená-lo e supervisioná-lo, foi instalada a Comissão Nacional de Avaliação da Educação Superior (CONAEs).

Nos seus primeiros documentos, a CONAEs resgatou a conciliação proposta pela CEA entre a regulação e a avaliação emancipatória: a) autorização de funcionamento dos cursos e credenciamento das instituições por parte do poder público; b) avaliação das ies, tendo como referencial básico a autoavaliação; e c) aplicação dos efeitos regulatórios pelo poder público (Brasil, 2004a).

O processo de implantação do SINAES foi marcado por contradições, por exemplo: alguns documentos oficiais adotam explicitamente a visão emancipatória⁴ da avaliação e outros, a regulatória.⁵ No último ano de governo, com um tom conciliatório entre os diversos documentos, promulgou-se ato normativo denominado pelo Ministério como Decreto "Ponte",⁶ porque articulava os procedimentos de Supervisão, Regulação e Avaliação. Destaca-se, no Decreto, o resgate da ideia da CEA do ciclo avaliativo, a definição da função de regulação e, contrariando a visão da CEA, excluiu-se a centralidade da autoavaliação institucional (Rothen & Barreyro, 2009).

Com o novo sistema, a partir de 2004, foi implantado o Exame Nacional de Desempenho de Estudantes (ENADE). Explicitam-se aqui as seguintes diferenças entre as duas provas: o "Provão" era aplicado apenas aos alunos concluintes, o ENADE também avalia os ingressantes; o primeiro era uma avaliação censitária e o segundo é aplicado a uma amostra de estudantes; o número de questões no atual exame é igual para todas as áreas e foi inserido um conjunto de questões de formação geral para todas as áreas.

Até 2009, os resultados do ENADE tiveram dois tipos de conceitos distribuídos em uma escala de cinco níveis: o primeiro, utilizado desde a sua primeira edição em 2004, é o Conceito ENADE obtido a partir do resultado dos alunos. A partir de 2005, dando início à criação de índices pelo Ministério da Educação, passou-se a atribuir um segundo conceito: o Indicador de Diferença entre os Desempenhos Observado e Esperado (IDD). Para a obtenção do conceito do IDD, é primeiro calculado o índice IDD. Para tanto, separa os cursos nos quais os resultados dos ingressantes são semelhantes e calcula a evolução dos concluintes em relação aos seus ingressantes, isto é, os cursos nos quais os ingressantes têm bom desempenho são comparados entre si; os que têm desempenho médio são comparados entre si, e assim sucessivamente. Depois de calculado o índice, eles são agrupados em uma escala de cinco conceitos.⁷

O ENADE é uma evolução se comparado com o "Provão": avalia ingressantes e concluintes, formação geral e profissional. Contudo, desde a sua primeira edição, mantém a mesma lógica subjacente ao "Provão": compara o desempenho das instituições e emite resultados simplificados. Comparações e resultados simplificados não são um mal em si, mas, dentro de uma lógica mercadológica, funcionam apenas como um fator de concorrência mercantil, em oposição à possível colaboração e troca de experiências visando à melhoria de qualidade.

No primeiro governo Lula, o ENADE não teve a mesma repercussão que o "Provão". Duas possíveis razões: nesse período, o Exame não teve diretamente efeitos regulatórios, como se pretendia no governo FHC, e a agenda governamental para a educação superior não foi tão fortemente direcionada para a questão da avaliação. A agenda, nesse primeiro governo, teve os seguintes eixos (Sguissardi, 2006):

• proposta de uma reforma universitária;

• expansão do sistema federal de ensino, com a criação de novas universidades e de novos

  campi universitários;

• promulgação da lei de inovação tecnológica;

• implantação do polêmico Programa Universidade para Todos (PROUNI);

  ⁸

• promoção das ações afirmativas.

Um dos problemas herdados que se agravou foi o represamento de processos de avaliação, visando o reconhecimento de cursos e o credenciamento de instituições. Sucederam-se fatos que exigiram medidas legais: primeiro, foi o relativo à legalidade das taxas cobradas das ies; depois, o veto do Tribunal de Contas da União para o pagamento de professores com dedicação exclusiva para a realização das visitas; e, finalmente, a própria morosidade do ciclo do SINAES. Diversas portarias foram editadas, reconhecendo provisoriamente os cursos para emissão de diplomas aos formandos.⁹

Herança FHC no segundo governo

O início do segundo governo Lula foi marcado pela divulgação do "Programa de Aceleração do Crescimento" (PAC), que tem como objetivo articular os investimentos governamentais em infraestrutura, até o ano de 2010. Com o claro objetivo de vincular as ações do Ministério da Educação ao PAC, o ministro Fernando Haddad lançou o Plano de Desenvolvimento da Educação (PDE).

Em relação à educação básica, um dos principais ícones é o Índice de Desenvolvimento da Educação Básica (IDEB) que irá sintetizar as ações do Ministério da Educação. Ele é um índice que relaciona o desempenho dos estudantes em exames padronizados (Prova Brasil/SAEB) e a taxa média de aprovação. Dentro de uma concepção empresarial de metas a serem alcançadas, foi elaborada uma escala e estabeleceu-se como objetivo para o ano de 2002 atingir o IDEB 6, o qual, segundo o discurso governamental, seria comparável ao obtido pelos países desenvolvidos.¹⁰ A criação desse índice, no discurso oficial, tem como objetivo monitorar a evolução da educação brasileira (Fernandes, 2007).

Com os dois primeiros resultados do IDEB (o retroativo a 2005 e o de 2007), o Ministério da Educação fez campanha publicitária apontando que a evolução de 2005 a 2007 já seria maior do que a esperada. Verifica-se aqui a implantação, no Ministério, da tendência economicista¹¹ de utilização de índices para estabelecer contato com a sociedade, pela mídia.

Em relação à educação superior, o PDE prevê ações relacionadas à formação de professores, à lei de inovação, ao acesso e à avaliação da educação superior. Con­cretamente, as principais políticas para a educação superior durante o segundo governo Lula estão orientadas à ampliação e democratização do acesso, continuando a tendência já iniciada no primeiro governo com a implantação do PROUNI e a ampliação de vagas públicas. No segundo governo, essa expansão é concretizada pelo Programa de Apoio a Planos de Reestruturação e Expansão das Universidades Federas (REUNI) – com todas as suas ressalvas¹² –, pela criação dos Institutos de Tecnologia e pelo fomento à educação a distância. Destacam-se, ainda, gestões para a aprovação de lei sobre reserva de vagas em instituições públicas. Ressalte-se, aqui, que a proposta de Reforma Universitária deixou de ser prioridade da agenda governamental.

Até dezembro de 2009, o segundo governo apresenta algumas características que o diferenciam do primeiro quanto à política de avaliação/regulação, em uma progressiva mudança que contradiz a própria política aprovada pelo governo Lula: o SINAES. Iniciou-se, como visto anteriormente, com uma medida implantada, ainda em 2006: a promulgação do Decreto Ponte. Esse foi um marco para as ações posteriores. Foram explicitadas as funções de avaliação e regulação, já presentes na lei do SINAES; foi acrescentada a função de supervisão do sistema. Explicitou-se que a supervisão "será realizada a fim de zelar pela conformidade da oferta de educação no sistema federal com a legislação aplicável" (art. 1°, § 2°).

Uma sequência de fatos encaminhou para a nova configuração da avaliação/regulação. Logo no início de 2007, em fevereiro, foi reportada pelo site do Ministério uma visita do ministro à Ordem dos Advogados do Brasil (OAB), em que anunciou novos critérios para abertura de cursos de direito e medicina (Portal MEC, 2007). Em julho, a OAB contestou a aprovação de 20 cursos de Direito pelo Ministério, pelo fato da Ordem ter dado parecer favorável apenas a um. Na polêmica, o então secretário de Educação Superior Ronaldo Mota chegou a dizer que "o MEC não abre mão de seu protagonismo, nem tampouco de sua competência decisória nestes processos" (Portal G1, 2007). Durante esse ano, houve diversos contatos com a Ordem. O Ministério divulgou um estudo comparativo dos resultados do ENADE com os resultados do Exame da Ordem, disponibilizados pela OAB. Pela análise divulgada, dos cursos que obtiveram nota 1 ou 2 no ENADE, só 10% dos seus alunos que fizeram o Exame da Ordem foram aprovados.

Esse fato implica várias questões: a) a legitimação do ENADE pelos resultados do Exame da OAB e vice-versa; b) a comparabilidade duvidosa entre as duas provas; c) a ingerência de um conselho profissional na função regulatória do poder público; e d) o início da tergiversação do SINAES e da utilização do ENADE como instrumento de avaliação de cursos.

O passo seguinte foi a utilização dos resultados do ENADE para selecionar instituições que teriam cursos supervisionados: as que obtiveram conceito menor que 3 no ENADE. Esses cursos receberam visitas in loco de comissões de especialistas criadas para tal fim. 89 instituições tiveram que explicar os resultados dos cursos de Direito no ENADE perante o Ministério. Dessas, 23 assinaram um protocolo de compromisso para resolver problemas. Outras 60 passaram por visita de comissão de especialistas (Portal MEC, 2007).

Novamente, como tinha acontecido com o "Provão", o resultado do ENADE foi supervalorizado, sendo desconsiderada tanto a avaliação de cursos quanto a avaliação institucional. Um exame, com as próprias limitações que toda prova em larga escala tem, é erigido como medida de avaliação de cursos. Segundo o presidente da Comissão Especial, que propôs a criação do SINAES, José Dias Sobrinho (2008, p. 821):

O INEP destituiu a avaliação institucional e erigiu o ENADE – agora um exame estático e somativo, não mais dinâmico e formativo – como centro de sua avaliação, atribuindo-lhe um peso muito maior do que ele tinha antes. Isso não é uma simples mudança de metodologia. É, sim, uma mudança radical do paradigma de avaliação: da produção de significados e reflexão sobre os valores do conhecimento e da formação, para o controle, a seleção, a classificação em escalas numéricas.

Na dinâmica de resgate da herança FHC - no sentido de transformar o ENADE no elemento fundamental da avaliação de cursos - editou-se a Portaria Normativa 40, em dezembro de 2007, instituindo "e-MEC sistema eletrônico de fluxo de trabalho e gerenciamento de informações relativas aos processos de regulação da educação superior no sistema federal de educação". Na Portaria, além dos procedimentos operacionais de fluxo dos processos, estabeleceu-se que a renovação de reconhecimento de cursos iniciaria no INEP com a atribuição de um conceito preliminar, gerado a partir dos dados do Censo da Educação Superior, os resultados do ENADE e de cadastros do MEC. Caso esse conceito preliminar fosse satisfatório, poderia ser dispensada a realização da avaliação in loco (art. 35°, §1°). Dessa forma, a visita da comissão de especialistas, que é um procedimento obrigatório, segundo a Lei do SINAES, é dispensada pela Portaria Normativa. Na Lei n. 10.861/06, artigo 4°, § 1°, foi expresso que "a avaliação dos cursos de graduação utilizará procedimentos e instrumentos diversificados, dentre os quais obrigatoriamente as visitas por comissões de especialistas das respectivas áreas de conhecimento" (destaque nosso).

A Associação Nacional das Universidades Particulares (ANUP) pediu à Justiça Federal liminar contra a supervisão do MEC. Com o pedido indeferido, os cursos de Direito que tiveram conceito 1 e 2 passaram pelo processo de supervisão: receberam as visitas das comissões de especialistas e assinaram protocolo de compromisso para saneamento de deficiências e, ainda assim, não conseguiram satisfazer os requisitos do Ministério, tendo sofrido, em consequência, perda de vagas: 24.380 das 45.042 vagas oferecidas pelos cursos supervisionados (Portal MEC, 2008c). Dado que o setor privado possui 49,5% das suas vagas desocupadas ou "ociosas" (Barreyro, 2008), essa medida, na prática, poderia ser inócua em muitos cursos.

Entre outras consequências, foram criados novos requisitos para abertura de cursos de Direito e novo instrumento para tal fim,¹³ o que retirou a padronização dos Instrumentos de Avaliação Externa de Cursos para autorização de novos cursos, dando-se início a um processo de diversificação dos instrumentos.¹⁴

Os mesmos procedimentos de supervisão foram aplicados aos cursos de Medicina e de Pedagogia. Segundo o ministro, seria "um novo modelo (...) baseado numa interlocução com entidades de classe e comunidade científica" (Portal MEC, 2008a). Realizaram-se contatos com outros Conselhos, como o de Engenharia e de Odontologia, com os mesmos objetivos.

A aproximação com os Conselhos permitiu, em agosto de 2009, a assinatura de convênio de colaboração entre a Secretária da Educação Superior e diversos conselhos federais para que esses participem dos processos de autorização e reconhecimento de cursos (Portal MEC, 2009).

Continuando com a tendência quantitativista, O MEC criou, em agosto de 2008,¹⁵ o Conceito Preliminar de Cursos (CPC). Segundo a Nota Técnica elaborada pelo INEP (2009a), o novo indicador sintetiza a avaliação do produto (ENADE) e de insumos que têm influência na qualidade do curso. Em uma primeira vista, busca-se superar a visão de que apenas uma prova consegue avaliar os cursos de graduação e que seria necessário conciliá-la com a avaliação dos insumos institucionais.

Na Nota Técnica divulgada conjuntamente com os resultados do ENADE de 2007,¹⁶ apresenta-se a compreensão de que os insumos que teriam maior impacto sobre a qualidade dos cursos são aqueles que têm maior influência no resultado do ENADE. Relata-se que, a partir dessa tese, teriam sido feitas várias análises, chegando-se à conclusão de que os principais insumos são: equipamentos disponíveis para as aulas, organização dos planos de ensino, qualificação docente e dedicação ao curso. Definidos os insumos básicos, o INEP passou a analisar a influência de cada um nos resultados do ENADE. Segundo a Nota Técnica:

(...) a regressão linear cumpre dois objetivos: além de indicar os insumos escolares com impacto sobre o IDD também nos fornece uma medida deste impacto, isto é, uma medida do peso de cada um destes atributos sobre a qualidade oferecida pelos cursos de graduação aos seus estudantes. (INEP, 2009a, p. 4)

Estranhamente, o critério para escolha dos insumos mais importantes é a sua influência no desempenho na prova. Se o ENADE define os insumos a serem utilizados, por que não se utiliza apenas o resultado da prova? Seria constrangimento de assumir que o antigo ministro da Educação, Paulo Renato Souza, estava certo ao defender o "Provão"/ENADE como o instrumento por excelência para a regulação da educação superior?

Uma das limitações dessa sistemática é que a avaliação dos equipamentos e da organização dos planos de ensino é realizada pelos alunos. Ouvir a percepção do aluno é lúcido e desejável. Contudo, tomá-la como referência para a regulação do sistema parece absurdo. Sem maiores discussões, nessa Nota Técnica, assume-se que a avaliação discente é suficiente, contrariando a prática do Ministério de conduzir a avaliação dos insumos por especialistas das áreas ou de avaliação. Nos termos da Nota: "Essas informações do aluno em relação aos aspectos pedagógicos e físicos oferecidos pelo curso se apresentam como boas fontes de informação acerca da qualidade e do efeito do curso sobre o aprendizado e a formação dos estudantes" (idem, ibid., p. 2).

Em resumo, têm qualidade os cursos que: a) apresentam bom desempenho em uma prova limitada; b) recebem uma avaliação positiva do alunado nos insumos mais influentes no resultado da prova; e c) apresentam um corpo docente titulado.

A criação dos conceitos tem consequências tanto na implantação do SINAES, como na regulação. Os cursos que obtiverem conceito preliminar igual ou superior a 3 "não precisam cumprir com a avaliação in loco".¹⁷ Segundo informação do Portal MEC (2008b), com a utilização do CPC, de 3 mil visitas previstas por ano apenas seriam realizadas 1800. Com a medida, o Ministério parece visar diminuir o número de cursos a receberem avaliação externa in loco e, assim, aligeirar o processo de reconhecimento de cursos, perdendo espaço a avaliação formativa e o rigor regulatório. Assim, em vez da melhoria da qualidade, o foco passa a ser apenas, nas palavras do ex-presidente do INEP,¹⁸ "a identificação de cursos que não atendem a um nível mínimo de qualidade" (Fernandes et. al., 2009, p. 5). O que é necessário, mas não suficiente na concepção do SINAES.

Um mês depois, em setembro de 2008,¹⁹ foi criado o Índice Geral de Cursos (IGC). Para compor este índice são consideradas as médias ponderadas dos CPC e as médias ponderadas das notas emitidas pela capes ao avaliar os programas de pós-graduação das ies. Usar a média dos resultados das avaliações dos cursos comporta sérias dúvidas quanto a sua consistência técnica: comparabilidade das provas, avaliação de insumos, tendo como base a opinião do corpo discente e o fato de que cada CPC permite comparações entre os CPC do mesmo curso e do mesmo ano de aplicação do ENADE, mas não entre diferentes cursos de uma mesma instituição. Além do mais, aponta para uma concepção equivocada de que uma ies resume-se à soma dos seus cursos.

O IGC foi conhecido na ocasião da divulgação dos resultados do ENADE, que foram apresentados em forma de ranque de instituições. Destaca-se aqui que foi a primeira vez que o Ministério da Educação "ranqueou" as instituições, tendo por base os seus processos de avaliação. No governo anterior, quem elaborava o ranque era a imprensa. Em 2009, o governo divulgou os dados, mas não fez ranque. A imprensa o fez.

Após a volta à utilização de ranques e comparações entre instituições, baseados fundamentalmente no resultado da prova, é anunciado no site do INEP que o ENADE iria sofrer mais uma transformação: deixaria de ser amostral para ser universal, como ocorria com o "Provão" (Portal INEP, 2008). Com essa mudança, se atenderia à exigência da USP para participar do ENADE.²⁰ Devido à relevância social/acadêmica desta Universidade, sua participação daria maior legitimidade ao exame. Contudo, isso não chegou a acontecer e a USP decidiu novamente não participar do ENADE, em 2009.

Em agosto de 2009, um pouco antes de anunciar os resultados do ENADE de 2008, o Ministério da Educação, sem maiores divulgações, editou a Portaria n. 821 definindo, pela primeira vez em ato normativo, a composição do CPC e o peso de cada um, a saber: insumos (titulação de doutores 20%; titulação de mestres 5%, regime de trabalho 5%, infraestrutura 5%, e questão pedagógica 5%) e ENADE (desempenho dos concluintes 15%, desempenho dos ingressantes 15% e IDD 30%). Ainda na Portaria, estabeleceu que o Conceito ENADE apenas usaria o resultado dos concluintes para a sua elaboração, da mesma forma como ocorria com o "Provão". A pouca, ou nenhuma, divulgação da edição da Portaria é coerente com a aura de validade técnica que reveste a divulgação de índices e com a ideia de que não se pretende discutir a relevância do Conceito Preliminar de Cursos para a regulação da educação superior.

Considerações finais

A avaliação da educação superior, no país, tem uma história que apresenta idas, voltas e transformações. No primeiro governo Lula, criou-se um sistema que vinculava a regulação da educação superior a um sistema de avaliação, o SINAES. No segundo governo, adotandØo-se a visão economicista de criar índices, foi reeditada a prática do ranque, desenvolvida pela imprensa durante os governos FHC, estimulando o uso mercantil dos resultados e promovendo a concorrência entre instituições. Assume-se, assim, como herança, a concepção de que o papel do Estado é o de induzir e garantir a concorrência entre as instituições.

Diante da herança regulatória do governo FHC, que se faz presente como um eterno retorno, o SINAES perde sua face avaliadora. A autoavaliação, instrumento da avaliação institucional conduzido pelas Comissões Próprias de Avaliação das ies, constituídas pelo SINAES, perde peso nesta nova configuração. Quanto à avaliação de cursos: perdem-se as visitas in loco e a peer review, metodologia internacionalmente aceita nos sistemas de avaliação e acreditação, ao serem restritas aos cursos sob supervisão. Assim, a avaliação formativa é "des-induzida", ao privilegiar os resultados do ENADE sobre os outros. Tantas são as semelhanças entre as duas práticas que Leite (2008) ironiza: atualmente se tem o "enadão", uma mistura do ENADE com o "Provão".

No governo FHC, a avaliação e a regulação embasavam a política de educação superior que visava a expansão do sistema pela via da iniciativa privada, em detrimento do setor público. No governo Lula, a ampliação do acesso é um objetivo de política, mas não apenas pela via privada, mas também pelo setor público com a criação de novas ies federais. Um novo objetivo é acrescentado: a inclusão, com critérios sociais (desigualdades de raça/etnia, cor, escola pública ou privada do ensino médio e renda familiar), também chamada de democratização do acesso, que é fomentada pela adoção de cotas e pelo PROUNI. Contudo, esse objetivo de inclusão social não muda substancialmente a lógica privatizante.

A dificuldade de administrar a regulação dentro dos princípios do SINAES, tendo como base processos de avaliação e o represamento dos processos e criando a dificuldade da emissão de diplomas, pode explicar, mas não justificar a criação dos novos índices. A falta de capacidade para, efetivamente, implantar o ciclo do SINAES aponta para a revisão do processo de regulação e o regate da discussão sobre a reforma da educação superior. Com a opção de criar o Índice Geral de Cursos (somatória da avaliação de cursos), o Ministério da Educação mostra-se um bom herdeiro e, finalmente, implanta o projeto "Provão": regular todo o sistema a partir de resultados simplificados, tendo por base uma prova de larga escala.

Notas

Recebido em fevereiro de 2010.

Aprovado em outubro de 2010.

• ANDES. Dossiê REUNI 2007. Disponível em: <http://www.andes.org.br/dossie_reuni.htm>
• BARREYRO, G.B. Mapa da privatização do ensino superior Brasília, DF: MEC; INEP, 2008.
• BARREYRO, G.B.; ROTHEN, J.C. "SINAES" contraditórios: considerações sobre a elaboração e a implantação do Sistema Nacional de Avaliação da Educação Superior. Educação & Sociedade, Campinas, v. 27, n. 96, p. 955-977, out. 2006.
• BRASIL. Câmara da Reforma do Estado. Plano Diretor da Reforma do Aparelho do Estado Brasília, DF, 1995.
• BRASIL. Constituição (1988). Constituição da República Federativa do Brasil. Brasília, DF: Senado Federal, 1988.
• BRASIL. Decreto n. 5.773, de 9 de maio de 2006. Dispõe sobre o exercício das funções de regulação, supervisão e avaliação de instituições de educação superior e cursos... Diário Oficial da União, Brasília, DF, n. 88, p. 6, seção 1, 10 maio 2006.
• BRASIL. Lei n. 9.394, 20 de dezembro de 1996. Estabelece as diretrizes e bases da educação nacional. Diário Oficial da União, Brasília, DF, 23 dez. 1996.
• BRASIL. Lei n. 10.861, 14 de abril de 2004. Institui o Sistema Nacional de Avaliação da Educação Superior SINAES e dá outras providências. Diário Oficial da União, Brasília, DF, n. 72, p. 3-4, Seção 1, 14 abr. 2004.
• BRASIL. Medida Provisória n. 147. Diário Oficial da União, Brasília, DF, n. 244, p. 3-4, seção 1, 16 dez. 2003.
• BRASIL. Ministério da Administração Federal e Reforma do Estado. O Conselho de Reforma do Estado Brasília, DF: mare, 1997.
• BRASIL. Ministério da Educação. IDES: índice de desenvolvimento do ensino superior; a nova geração da avaliação do ensino superior brasileiro. Brasília, DF: MEC, 2003. (mimeo.
• BRASIL. Ministério da Educação. Comissão Especial de Avaliação da Educação Superior (CEA). Bases para uma nova proposta de avaliação da Educação Superior Brasília, DF: MEC; INEP; sesu, 2004a.
• BRASIL. Ministério da Educação. Comissão Nacional de Avaliação da Educação Superior. CONAEs: diretrizes para a avaliação das instituições de educação superior. Brasília, DF: MEC; CONAEs; sesu; INEP, 2004b.
• BRASIL. Ministério da Educação. Comissão Nacional de Avaliação da Educação Superior. Avaliação externa de instituições de educação superior: diretrizes e instrumentos. Brasília, DF: CONAEs; INEP, 2005. (Versão preliminar).
• BRASIL. Ministério da Educação. Instituto Nacional de Estudos e Pesquisas Educacionais (INEP). Cálculo do conceito preliminar de cursos de graduação Disponível em: <http://www.INEP.gov.br/download/ENADE/2007/Procedimentos_Metodologicos_Calculo.pdf>. Acesso em: 4 fev. 2009a.
• BRASIL. Ministério da Educação. Instituto Nacional de Estudos e Pesquisas Educacionais (INEP). Metodologia utilizada para o estabelecimento das metas intermediárias para a trajetória do IDEB no Brasil, estados, municípios e escolas. (Nota técnica). Disponível em: <http://www.INEP.gov.br/download/Ideb/Nota_Tecnica_n2_metas_intermediarias_IDEB.pdf>. Acesso em: 28 set. 2009b.
• BRASIL. Ministério da Educação. Instituto Nacional de Estudos e Pesquisas Educacionais (INEP). Resultado do Indicador de Diferença entre o Desempenho Observado e Esperado – IDD. (Nota técnica). Disponível em: <http://ENADE2005.INEP.gov.br/doc/nota_tecnica_IDD.pdf>. Acesso em: 23 jan. 2009c.
• BRASIL. Ministério da Educação. Portaria n. 1.037, de 9 de abril de 2002. Diário Oficial da União, Brasília, DF, n. 68, p. 25, seção 1, 10 abr. 2002.
• BRASIL. Ministério da Educação. Portaria n. 927, de 25 de setembro de 2007. Diário Oficial da União, Brasília, DF, n. 186, p. 9, seção 1, 26 set. 2007.
• BRASIL. Ministério da Educação. Portaria Normativa n. 40, de 12 de dezembro 2007. Diário Oficial da União, Brasília, DF, n. 239, p. 39-40, seção 1, 13 dez. 2007.
• BRASIL. Ministério da Educação. Portaria n. 821, de 24 de agosto de 2009. Diário Oficial da União, Brasília, DF, n. 162, p. 9, seção 1, 25 ago. 2009.
• BRASIL. Ministério da Educação. Portaria Normativa n. 4, de 5 de agosto de 2008. Diário Oficial da União, Brasília, DF, n. 151, p. 15, seção 1, 7 ago. 2008.
• BRASIL. Ministério da Educação. Portaria Normativa n. 12, de 5 de setembro de 2008. Diário Oficial da União, Brasília, DF, n. 173, p. 1, seção 1, 8 set. 2008.
• CATANI, A.M.; HEY, A.P.; GILIOLI, R.S.P. PROUNI: democratização do acesso às Instituições de Ensino Superior? Educar em Revista, Curitiba, n. 28, p. 125-140, jul./dez. 2006.
• COLIGAÇÃO LULA PRESIDENTE. Uma escola do tamanho do Brasil: caderno temático do programa de governo. São Paulo: Comitê Lula Presidente, 2002.
• CORAGGIO, J.L. Las propuestas del Banco Mundial para la educación: sentido oculto o problemas de concepción. In: Coraggio, J.L.; Torres, R.M. La educación según el Banco Mundial: un análisis de sus propuestas y métodos. Buenos Aires: Centro de Estudios Multidisciplinares; Miño y Dávila, [1997?]. p. 11-68.
• DIAS SOBRINHO, J. Qualidade, avaliação: do SINAES a índices. Avaliação, Campinas; Sorocaba, v. 13, n. 3, p. 817-825, nov. 2008.
• FERNANDES, R. Índice de Desenvolvimento da Educação Básica (IDEB). Brasília, DF: INEP, 2007. 26p. Disponível em: <http://www.publicacoes.INEP.gov.br/arquivos/{9C976990-7D8D-4610-AA7C-FF0B82DBAE97}_Texto_para_discussão26.pdf>. Acesso em: 21 jan. 2009.
• FERNANDES, R. et. al. Avaliação de cursos na educação superior: a função e a mecânica do conceito preliminar de curso. Serie Documental, Brasília, DF, n. 32, p. 5-18, 2009.
• LEITE, D. Ameaças pós-rankings: sobrevivência das cpa´s e da Autoavaliação. Avaliação, Campinas; Sorocaba, v. 13, n. 3, p. 833-840, nov. 2008.
• MENEGHEL, S.M.; BERTOLIN, J.C.G. Reflexão sobre objetivos e procedimentos adotados pelas Comissões de Avaliação das Condições de Ensino/ace do INEP. Educação Temática Digital, Campinas, v 5, n. 11, p. 115-145, 2003. Disponível em: <http://www.bibli.fae.unicamp.br/etd/doss01v5n1.pdf>
• No aniversário, USP se volta para o ensino básico. Entrevista com Suely Vilela, reitora. O Estado de S. Paulo, São Paulo, 23 jan. 2009. Disponível em: <http://www.estadao.com.br/vidae/not_vid311954,0.htm>
• PIRES, J.C.L; GOLDSTEIN, A. Agências reguladoras brasileiras: avaliação e desafios. Revista do bndes, Rio de Janeiro, n. 16, p. 3-42, dez. 2001.
• PORTAL G1. MEC mantém cursos de direito reprovados pela OAB Disponível em: <http://g1.globo.com/Noticias/Vestibular/0,,MUL64616-5604,00.html>. Publicado em: 5 jul. 2007.
• PORTAL INEP. ENADE será universal a partir de 2009. Disponível em: <http://www.INEP.gov.br/imprensa/noticias/edusuperior/ENADE/news08_20.htm>. Publicado em: 20 nov. 2008.
• PORTAL MEC. Autorização e reconhecimento terão participação de conselhos. Disponível em: <http://portal.mec.gov.br/index.php?option=com_content&view=article&id=14217:autorizacao-e-reconhecimento-terao-participacao-de-conselhos&catid=212&Itemid=86>. Publicado em: 28 ago. 2009.
• PORTAL MEC. Cursos de direito com baixo desempenho passarão por supervisão. Disponível em: <http://www.portalmec.gov.br/index.php?option=com_content&task=view&id=9118>. Publicado em: 26 set. 2007.
• PORTAL MEC. Portaria altera regras para cursos de direito e medicina Disponível em: <http://portal.mec.gov.br/index.php?option=com_content&task=view&id=7655>. Publicado em: 5 fev. 2007.
• PORTAL MEC. Especialistas opinarão sobre cursos Disponível em: <http://200.130.3.30/index2.php?option=com_content&do_pdf=1&id=9855>. Publicado em: 11 fev. 2008a.
• PORTAL MEC. Novo indicador para a educação superior. Disponível em: <http://portal.mec.gov.br/index.php?option=com_content&task=view&id=10974>. Publicado em: 1 ago. 2008b.
• PORTAL MEC. Com menos vagas, cursos de direito sob supervisão pretendem melhorar o ensino. Disponível em: <http://portal.mec.gov.br/index.php?option=com_content&task=view&id=11117>. Publicado em: 27 ago. 2008c.
• RIBEIRO, A.F. A confusão do reconhecimento, da renovação de reconhecimento, do reconhecimento provisório. 2008. Disponível em: <http://www.diplomas.ufscar.br/consae/rec-curso.doc>. Acesso em: 11 fev. 2009.
• ROTHEN, J.C.; BARREYRO, G.B. Avaliação Agências e Especialistas: padrões oficiais de qualidade da educação superior. Ensaio, Rio de Janeiro, v. 17, n. 65, p. 729-752, out./dez. 2009.
• SGUISSARDI, V. Reforma Universitária no Brasil 1995-2006: precária trajetória e incerto futuro. Educação & Sociedade, Campinas, v. 27, n. 96, p. 1021-1056, out. 2006.
• SILVA JUNIOR, J.R. Pragmatismo e populismo na educação superior: nos governos FHC e Lula. São Paulo: Xamã, 2005.
• SOUZA, S.Z.L.; OLIVEIRA, R.P. Políticas de avaliação da educação e quase-mercado no Brasil. Educação & Sociedade, Campinas, v. 24, n. 84, p. 873-895, set. 2003.
• VERHINE, R.E.; DANTAS, L.M.V.; SOARES, J.F. Do "provão" ao ENADE: uma análise comparativa dos exames nacionais utilizados no ensino superior brasileiro. Ensaio, Rio de Janeiro, v. 14, n. 52, p. 291-310, set. 2006.

*

O texto é uma versão revisada, ampliada e atualizada da comunicação com o mesmo título apresentada na 32ª Reunião Anual da anped. É um produto da pesquisa "Avaliação da educação superior: concepções e atores", desenvolvida com apoio da Fundação de Amparo à Pesquisa do Estado de São Paulo (FAPESP).

1

. Sobre o conceito de quase-mercado, ver Souza e Oliveira (2003).

2

. Sobre as avaliações

in loco no governo FHC, ver Meneghel e Bertolin (2003).

3

. Sobre as críticas aos exames de larga escala, ver Verhine, Dantas e Soares (2006).

4

. Ver o documento:

Diretrizes para a avaliação das Instituições de Educação Superior (Brasil, 2004b).

5

. Ver o documento:

Avaliação externa de instituições de educação superior: diretrizes e instrumento (Brasil, 2005).

6

. Decreto n. 5.773/2006.

7

. Sobre o cálculo do IDD, ver INEP (2009c).

8

. Acerca do PROUNI, consultar Catani, Hey e Gilioli (2006).

9

. Sobre as Portarias, ver Ribeiro (2008).

10

. Segundo Nota Técnica divulgada pelo INEP (2009b, p. 4), "Essa comparação internacional foi possível devido a uma técnica de compatibilização entre a distribuição das proficiências observadas no pisa (

Programme for Internacional Student Assessment) e no SAEB".

11

. Sobre o enfoque cientificista e o viés economicista de algumas políticas educacionais, ver Coraggio (1997).

12

. Sobre as críticas ao reuni, ver andes (2007).

13

. Portaria MEC n. 927/2007.

14

. Foram criados vários novos instrumentos para autorização ou renovação de reconhecimento, para cursos tecnológicos, licenciaturas, educação a distância, entre outros.

15

. Portaria Normativa n. 4/2008.

16

. A Nota Técnica divulgada conjuntamente com os resultados do ENADE de 2008 não apresenta o raciocínio utilizado para a definição dos insumos que seriam considerados no cálculo do CPC.

17

. Os processos de renovação de reconhecimento dos cursos que obtiverem Conceito 5 seriam atualizados por Portaria. Os que obtiverem 4 ou 3 podem pedir avaliação

in loco para mudar seu conceito (Portaria Normativa n. 4/2008; art. 2º,§ 3° e §4°).

18

. Em dezembro de 2009, Reynaldo Fernandes, que tinha elaborado os índices CPC e IGC, saiu da presidência do INEP.

19

. Portaria Normativa n. 12/2008.

20

. A USP, por pertencer ao sistema estadual paulista, não é obrigada a realizar o Exame. Sobre a participação da USP, ver entrevista da sua ex-reitora Suely Vilela ao jornal

O Estado de S. Paulo (2009).

Datas de Publicação

• Publicação nesta coleção
  12 Maio 2011
• Data do Fascículo
  Mar 2011

Histórico

• Recebido
  Fev 2010
• Aceito
  Out 2010