Políticas para avaliação da qualidade do Ensino Superior no Brasil: um balanço crítico

Resumos

This work wishes to contribute to the debate on the assessment of higher education in Brazil by describing a study about the systems used to measure quality and productivity. Through bibliographical review and documental analysis we seek to analyze the origins of the process of assessment, the historical sequence of the political debates that defined the work programs in this area, the methodological conceptions adopted by these programs, the measuring and follow-up instruments devised, and the systems of indicators created to evaluate the quality of the teaching of the higher education institutions, as well as the students' performance. The discussion includes all assessment systems used in Brazil up to 2005, and concludes that from the first procedures established there has been continuous evolution in the definition of more accurate and efficient indicators. The results yielded by the research that gives support to this work apply explicitly to the revision of the assessment instruments used in Brazil. The work suggests indicators hitherto not used in the historical assessment process, in the search to improve upon the current system.

Higher education; Assessment policies; Quality indicators

ARTIGOS

Políticas para avaliação da qualidade do Ensino Superior no Brasil: um balanço crítico

Carmen Lúcia Dias^I; Maria de Lourdes Morales Horiguela^I; Paulo Sergio Marchelli^II

^IUniversidade Estadual Paulista

^IIUniversidade São Marcos

^{Correspondência}

RESUMO

Este trabalho tem como objetivo contribuir para o debate sobre a avaliação do Ensino Superior no Brasil, apresentando um estudo a respeito dos sistemas utilizados para as medidas de qualidade e produtividade. Busca-se analisar, por meio da revisão bibliográfica e da análise documental, as origens do processo de avaliação, a seqüência histórica dos debates políticos que definiram os programas de trabalho na área, as concepções metodológicas adotadas por esses programas, os instrumentos de mensuração e acompanhamento que foram desenvolvidos e os sistemas de indicadores criados para aferir a qualidade de ensino nas instituições, bem como o desempenho dos estudantes. A discussão contempla todos os sistemas de avaliação praticados no Brasil até o ano de 2005 e conclui que, desde os primeiros procedimentos estabelecidos, houve uma evolução contínua na definição de indicadores mais precisos e eficientes. Os resultados alcançados pela pesquisa que fundamenta o trabalho aplicam-se explicitamente à revisão dos instrumentos de avaliação praticados no Brasil. O trabalho sugere indicadores ainda não utilizados no processo histórico de avaliação, buscando o aperfeiçoamento do sistema atual.

Palavras-chave: Ensino Superior – Políticas de avaliação – Indicadores de qualidade.

O presente trabalho discute a origem e a evolução no Brasil das práticas de avaliação das Instituições de Educação Superior – IES –, com o propósito de realizar uma análise crítica sobre os indicadores utilizados, compreendendo substancialmente o levantamento dos documentos legais produzidos desde o início daquelas práticas e apresentando, paralelamente, a revisão da literatura pertinente ao assunto. Os autores acreditam ter conseguido captar e descrever as principais correntes do pensamento nacional sobre as políticas geradas no país em relação à avaliação de um sistema de ensino cuja eminente e necessária expansão não poderá acontecer sem que padrões específicos de qualidade estejam presentes. Os avanços das políticas do setor, mormente no que se refere à definição dos indicadores de qualidade, são enfocados segundo a idéia de que suas eventuais lacunas poderão ser preenchidas pela eliminação das incongruências naturais que as agendas políticas têm imposto, substituindo-as por elementos mais consistentes. Dessa forma, destaca-se como objetivo específico, que também limita o aspecto da abrangência deste trabalho, a análise do conceito de avaliação presente nos documentos legais segundo as circunstâncias sociais e políticas que os produziram, vistas, sobretudo, pelos olhos dos autores revisados, bem como o cotejamento dos indicadores historicamente dados com outros ainda ausentes da prática avaliativa, que aqui são colocados como fundamentais para o avanço da apreensão sobre a realidade do sistema de Ensino Superior.

Cada país adotou ao longo das últimas décadas uma metodologia própria de avaliação do seu sistema de Ensino Superior, podendo ser destacados os recentes trabalhos que descrevem o caso da Inglaterra (Harvey, 2005), Malásia (Alfan; Othman, 2005), Japão (Nguyen; Yoshinari; Shigeji, 2005), Região Administrativa Especial da China de Hong Kong (Mok, 2005), Índia (Stella, 2004), Chile (Lemaitre, 2004), Hungria (Rozsnyai, 2004) e África do Sul (Strydom; Strydom, 2004). No Brasil, os debates políticos em torno do funcionamento da Educação Superior vêm ocorrendo desde o final dos anos 1950 e início dos anos 1960, época em que as características da prática democrático-populista do regime vigente abriram intensos questionamentos sobre o projeto da universidade (Sguissardi, 1997), surgindo propostas para que processos de melhoria do ensino fossem prioritariamente desencadeados (Grego; Souza, 2004).

Com a instalação do governo militar em 1964, as políticas para a Educação Superior visaram garantir a inserção do Brasil na funcionalidade múltipla do capitalismo dependente, de forma que o impacto de um panorama econômico internacional restritivo acirrou a crise educacional com greves de estudantes e serviu de justificativa para uma série de acordos do Brasil com a Agency for International Development – AID. Para Romanelli (1978), por meio desse acordo, denominado MEC/USAID, o país entregou a organização do sistema educacional superior aos técnicos estrangeiros. Em 1968, houve o acirramento do regime militar e foram produzidos dois documentos importantes como marcas da reforma do Ensino Superior: o Plano Atcon e o Relatório da Comissão Meira Mattos (Amorim, 1991). As questões de avaliação do Plano Atcon fundamentavam-se em duas dimensões: a primeira evocava os princípios idealizadores de um modelo empresarial para o sistema universitário; e a segunda projetava autonomia e independência para esse sistema. No entanto, para que essa autonomia viesse de fato a existir, as instituições teriam que ser transformadas em fundações privadas. O Relatório da Comissão Meira Mattos trazia uma ampla avaliação da situação política, social e econômica do país, apresentando medidas para atender aos reclamos sociais de acesso à universidade, reprimindo a insatisfação de intelectuais e estudantes. Com base no conceito de rentabilidade do sistema educacional, o Relatório propunha uma ampla reestruturação institucional, visando à obtenção de maior desempenho da rede escolar com menor aplicação de recursos. Ainda nessa época, o Departamento de Assuntos Universitários do Ministério da Educação – MEC –, hoje Secretaria da Educação Superior – SESu –, iniciou a publicação de relatórios anuais que forneciam dados relativos à situação do Ensino Superior e apresentavam instrumentos de análise que se esperava viessem a ser utilizados na avaliação de desempenho e desenvolvimento de cada instituição do sistema como um todo (Neiva, 1988).

Os primeiros textos especificamente elaborados sobre a temática da avaliação revelam uma preocupação exaustiva com o controle da qualidade das IES, tendo em vista a hipótese de que o seu crescimento exacerbado e o grande número de matrículas recebidas incorriam em perda de qualidade. Os problemas que surgiram com a expansão da Educação Básica nos anos 1960 foram prioritários para se pensar sobre a criação acelerada de IES que, nas décadas de 1980 e 1990, atingiria altos patamares quantitativos. Como o modelo privado de expansão do Ensino Superior custava caro ao cidadão, sua avaliação qualitativa mais do que nunca era importante como forma de prestação de contas pelo setor público à sociedade. Dessa forma, as assertivas sobre os benefícios políticos decorrentes da criação e do aperfeiçoamento dos instrumentos para aferição da qualidade de ensino constituíram-se como verdadeiros princípios institucionais da democracia brasileira pós-regime militar.

O primeiro programa submetido à discussão política e aprovado no país surgiu em 1983, com o nome de Programa de Avaliação da Reforma Universitária – PARU –, apresentado pelo MEC em decorrência das discussões havidas no âmbito do então Conselho Federal de Educação – CFE –, envolvendo as greves ocorridas nas universidades federais nos anos anteriores (Cunha, 1997). A formulação do PARU sofreu a influência do setor de pós-graduação, que no início da década de 1980 contava com um sistema de avaliação de amplo reconhecimento pela sua qualidade. A graduação não dispunha de nada comparável e

[...] necessitava de um mecanismo que pudesse apontar em que medida a Reforma Universitária realmente se efetivou, quais as vantagens alcançadas e os problemas enfrentados pelos diversos tipos de cursos e instituições. (Dias, 2001, p. 71)

A metodologia de avaliação consistiu na aplicação de questionários aos docentes, dirigentes universitários e estudantes, visando coletar dados sobre a estrutura didática e administrativa das IES, bem como sobre a forma de atendimento à expansão de matrículas e meios utilizados para avaliação das atividades de ensino, pesquisa e extensão. A análise de dados priorizou quantificar a qualidade do corpo docente, discente e técnico-administrativo, a produtividade científica e a vinculação da instituição com a comunidade.

Gonçalves Filho (2004) aponta que os enfoques avaliativos surgidos nos EUA com base no funcionalismo neoliberal influenciaram o Brasil na concepção do PARU. As premissas de tais enfoques estavam associadas às crenças advindas das novas concepções de democracia. As pesquisas sobre aprendizagem de programas ou de sistemas já ocorriam de forma pontuada no Brasil desde os anos 1970. Apesar de se intensificarem nos anos 1990, essas pesquisas caracterizaram-se, em geral, por serem ainda fragmentárias. Embora muitos esforços tenham sido feitos na direção do enfrentamento dessa situação, a experiência brasileira em avaliação nunca deixou de ser influenciada pela literatura norte-americana. Os autores norte-americanos inspiraram as pesquisas em quase todos os países do mundo ocidental e computam hoje mais de meio século de teorias e práticas nessa área. Nos EUA, a origem das avaliações em grande escala no âmbito do Estado deu-se no pós-II Guerra Mundial e foram concomitantes ao processo de construção do Estado de Bem-Estar. Leite (1997) destaca a pertinência das iniciativas de avaliação do Ensino Superior voltadas para o rendimento do aluno. Segundo esse autor, o ano de 1977 marcou o início das avaliações da pós-graduação brasileira pela Coordenação de Aperfeiçoamento de Pessoal de Nível Superior – CAPES –, que influenciou os sistemas de avaliação da graduação.

As estratégias de avaliação na Nova República

Um ano depois de iniciado, o PARU foi desativado sem que se tivesse chegado a um consenso sobre os dados recolhidos. O MEC, a quem competia fazer a Reforma Universitária, na ausência desse consenso, viu-se tomado por intensas disputas pelo poder interno, tendo-se abrigado no seu interior vários grupos políticos diferentes a reivindicar para si a competência de decidir o que o país deveria fazer com as suas universidades.

Em 1985, durante o governo José Sarney, Marco Maciel foi nomeado ministro da Educação, criando a Comissão Nacional para a Reformulação do Ensino Superior, com 24 membros. No Relatório produzido por essa Comissão (Ministério da Educação, 1985), a questão da avaliação da qualidade institucional extensível a toda a comunidade universitária aparece pela primeira vez, mostrando que o país ainda estava longe de formular um instrumento político que agradasse a todos os setores nacionais. A heterogeneidade dos membros da Comissão era marcante e nem todos tinham vivência universitária, propiciando grande confusão, de forma que o produto de seu trabalho foi um relatório difuso, constituído por um conjunto de textos desconexos a propósito de questões desencontradas. A comunidade acadêmica entrincheirou-se para evitar mudanças inapropriadas na universidade e o conceito de autonomia foi o tom normativo do próprio documento. A Comissão criada por Sarney não suscitou nenhuma ação política direta por parte do governo.

No final de 1985, poucos meses depois de concluir o relatório, a Comissão Nacional para a Reformulação do Ensino Superior foi destituída e, no início de 1986, Marco Maciel criou o Grupo Executivo para Reformulação da Educação Superior – GERES –, que contava com cinco membros: um professor, um representante do MEC, um ex-reitor, um pesquisador e o diretor da CAPES. Essa última havia desenvolvido diversos instrumentos específicos para avaliação dos cursos e programas de pós-graduação, de forma que o GERES planejava se valer dessa experiência.

O GERES elaborou um anteprojeto de lei que propunha uma reformulação no funcionamento do sistema constituído pelas IES federais. No entanto, diante do grande número de críticas recebidas, advindas principalmente pelo receio da desobrigação do governo para com o suprimento de recursos financeiros, o presidente da república, no contexto das dificuldades políticas existentes em pleno período constituinte, retirou o anteprojeto de lei do Congresso e reeditou-o como sendo apenas uma orientação para a formulação das políticas gerais do governo para o Ensino Superior.

Ainda assim, O GERES acirrou os debates, entre as universidades e o governo, ao estabelecer novos critérios de avaliação para fundamentar o credenciamento e o recredenciamento de IES. Nesses debates, a polêmica centrou-se principalmente nas articulações estabelecidas entre os conceitos de autonomia e de avaliação. Os critérios apresentados pretendiam avaliar a responsabilidade social das instituições e ao mesmo tempo dar a elas maior autonomia, inclusive financeira. O GERES reproduzia a palavra de ordem efetuada pelos organismos financeiros internacionais, porta-vozes da emergente economia neoliberal restritiva, sobretudo o Banco Mundial, propondo a redução dos investimentos públicos na Educação.

O tema e o interesse da avaliação adquiriu muito mais força a partir do momento em que se tornou, em todo o mundo, mais aguda a crise que tem levado os governos a investirem cada vez menos na área social, especialmente em educação. (Sobrinho, 1996, p. 20)

Depois das atribulações e dos desencontros iniciais, nos fins da década de 1980, a avaliação do Ensino Superior se insere finalmente como instrumento de ação política do Estado, refletindo o momento internacional em relação às instituições educacionais como um todo. Em 1987, isso começa a ficar mais evidente quando foi realizado em Brasília o Encontro Internacional de Avaliação do Ensino Superior (Encontro, 1988), promovido para discutir e analisar os modelos implantados em outros países, principalmente Canadá, França, Inglaterra e Japão. As conclusões desse importante evento internacional podem ser resumidas em oito pontos principais: 1) a avaliação do Ensino Superior brasileiro é considerada uma providência inadiável e procedimentos urgentes deveriam ser adotados para efetivá-la; 2) a avaliação deverá ter por objetivo inicial cada um dos cursos de graduação, cabendo às universidades a definição das áreas prioritárias e a fixação de critérios indicadores de qualidade; 3) o MEC deverá promover e estimular o processo de avaliação interna e de avaliação interpares externa; 4) a avaliação do ensino tem como conseqüência a busca da qualidade nas atividades acadêmicas afins, como a pesquisa e a extensão; 5) os indicadores de avaliação devem ser adequados às especificidades de cada instituição e às diferentes áreas de conhecimento; 6) os resultados devem ser divulgados e publicados para amplo conhecimento da sociedade; 7) a avaliação deverá revestir-se de elevado grau de seriedade e correção para corresponder a níveis desejáveis de eficácia; e 8) o governo deverá destinar recursos específicos por meio do MEC para apoiar os projetos de avaliação das universidades públicas.

Em 1988, quatro outros grandes encontros deram continuidade ao processo iniciado pelo GERES, realizados com apoio financeiro do MEC/SESu dentro do seguinte cronograma: em março, na Universidade Federal do Pará com participação de IES da Amazônia e do Pará; em maio, na Universidade Federal de Santa Catarina, reunindo instituições do Sul; ainda em maio, na Universidade Federal do Ceará, envolvendo as instituições isoladas do Nordeste; e em setembro, na Universidade Estadual Paulista, de caráter mais regional, mas contando com a presença de participantes de outros estados. Esses encontros versavam sobre a necessidade de implantação da avaliação, não aparecendo ainda preocupações com a elaboração de indicadores quantitativos ou de desempenho (Silva; Lourenço, 1998).

Ainda que tímidos, os passos até então ensaiados para a consolidação das políticas de avaliação das instituições de Ensino Superior tiraram o país do atraso internacional, pois isso já fazia parte das estratégias para o desenvolvimento econômico e social de grande parte das outras nações desde o final dos anos 1970. Os casos mais visíveis na década de 1980 eram o Chile na América Latina e o Reino Unido de Margareth Tatcher, então na liderança das políticas neoliberais (Sobrinho, 1998). Em 1987, a Universidade de Brasília – UnB – começou a organizar seu processo interno de auto-avaliação, seguida em 1988 pela Universidade Federal do Paraná – UFPR – e no mesmo ano pela Universidade de São Paulo – USP. Em 1991, foi a vez da Universidade Estadual de Campinas – UNICAMP – realizar sua auto-avaliação.

O modelo de avaliação desenvolvido nos anos 1990

A hegemonia das políticas neoliberais da década de 1990 provocou forte impacto sobre a Educação, conduzindo os agentes internacionais de suporte financeiro, notadamente o Banco Mundial, a elaborar propostas compreendendo a avaliação do ensino como parte das estratégias que seriam aplicadas para a concessão de financiamentos. Partindo em busca da diminuição dos custos estatais, as universidades públicas precisavam ser mais autônomas e pactuar com as forças do mercado, produzindo conhecimentos úteis e rentáveis como condição de sobrevivência na competitiva sociedade global. A avaliação era vista como instrumento de medida e controle para responder às expectativas de eficiência e produtividade no Ensino Superior, massificado pela explosão das matrículas e compelido a se tornar mais produtivo em situações de crescentes restrições orçamentárias. Em 1994, o Banco Mundial propôs resumidamente as seguintes diretrizes como condição de financiamento para a Educação Superior:

[...] incentivar a diversidade das instituições educacionais superiores e competitividade (não a solidariedade) entre elas; estimular a ampliação e a expansão de instituições privadas; levar as universidades públicas a produzirem cada vez mais sua sobrevivência pela venda de serviços e cobrança de taxas de alunos; e, vincular os financiamentos dos organismos oficiais a critérios de eficiência e produtividade em termos mercadológicos. (Sobrinho, 1996, p. 16)

Em julho de 1993, a SESu criou a Comissão Nacional de Avaliação das Universidades Brasileiras com a função de implementar os processos políticos recomendados internacionalmente. Essa comissão era coordenada pelo Departamento de Política do Ensino Superior da SESu e reunia vários segmentos: Associação Nacional dos Dirigentes das Instituições Federais de Ensino Superior – ANDIFES –, Associação Brasileira das Universidades Estaduais e Municipais – ABRUEM –, Associação Nacional das Universidades Particulares – ANUP –, Associação Brasileira das Escolas Católicas – ABESC –, Fóruns Nacionais de Pró-Reitores de Graduação, Pesquisa e Pós-Graduação e Fóruns Nacionais de Pró-Reitores de Planejamento, Administração e Extensão. Após a instalação da Comissão, foi constituído um Comitê Técnico Assessor, composto por especialistas, com a função de analisar os projetos oriundos das universidades. A posição do MEC nesse processo seria a de coordenador, articulador e agente financiador da avaliação institucional, assumindo a postura política de trabalhar em parceria com as universidades.

Nesse contexto, surge o Programa de Avaliação Institucional das Universidades Brasileiras – PAIUB –, concebendo a auto-avaliação como etapa inicial de um processo que se estenderia a todas as instituições e se completaria com a avaliação externa. O princípio básico do PAIUB encontra-se na globalidade com que as IES deveriam ser avaliadas, de forma que

[...] todos os elementos – ensino, pesquisa, extensão, qualidade das aulas, laboratórios, titulação dos docentes, serviços, etc. – que compõem a vida universitária deveriam fazer parte da avaliação, para que a mesma seja a mais completa possível. (Dias, 2001, p. 79)

Além disso, o PAIUB partiu em busca de uma linguagem comum para todas as IES do país, por meio da criação de uma tabela mínima de indicadores institucionais para o ensino de graduação. Destacam-se também as seguintes idéias presentes nos subsídios que sustentaram o programa: respeito à identidade institucional, de forma a levar em consideração as diferenças entre as IES avaliadas; não-punição ou premiação pelos resultados alcançados; adesão voluntária; busca de legitimidade ética do processo; e continuidade das ações avaliativas com vistas a integrá-las à cultura institucional.

O PAIUB pretendeu estabelecer novas formas de diálogo entre o governo e a comunidade acadêmica, buscando legitimar a cultura da avaliação e promover mudanças visíveis na dinâmica de ensino. Embora tenha recebido ampla adesão das universidades, sua implementação foi afetada pela interrupção do apoio do MEC, fazendo com que se reduzisse aos programas de subsídios para dar andamento somente aos objetivos da auto-avaliação interna. Dessa forma, o programa chegou a uma encruzilhada e, em 10 de outubro de 1996, o MEC publicou o Decreto n. 2.026 (Brasil, 1996a), estabelecendo novos procedimentos para o processo de avaliação dos cursos e das instituições de Ensino Superior. A conclusão a que se chega é que o PAIUB não conseguiu cumprir, em sua curta existência, o objetivo de servir como um instrumento efetivo de medida sobre a produtividade do Ensino Superior brasileiro, de forma a atender às exigências impostas pelas políticas neoliberais hegemônicas de competitividade e eficiência mercadológica, preconizadas pelos agentes internacionais de suporte financeiro, como o caso do Banco Mundial.

O ponto central do novo Decreto estabelecido após o PAIUB foi a "análise dos principais indicadores de desempenho global do sistema nacional de ensino superior, por região e unidade da federação, segundo as áreas do conhecimento e o tipo ou a natureza das instituições de ensino" (Art. 1º, inciso I). Essa análise seria feita pela Secretaria de Avaliação de Informação Educacional do MEC – SEDIAE – e abrangeria os seguintes pontos:

I – taxas de escolarização bruta e líquida; II – taxas de disponibilidade e de utilização de vagas para ingresso; III – taxas de evasão e de produtividade; IV – tempo médio para conclusão dos cursos; V – índices de qualificação do corpo docente; VI – relação média alunos por docente; VII – tamanho médio das turmas; VIII – participação da despesa com ensino superior nas despesas públicas com educação; IX – despesas públicas por aluno no ensino superior público; X – despesa por aluno em relação ao Produto Interno Bruto – PIB por habitante nos sistemas público e privado; e, XI – proporção da despesa pública com a remuneração de professores. (Brasil, 1996a, Art. 3º)

Como se sabe, a taxa bruta de escolarização por nível de ensino refere-se à relação entre o total de matriculados, independentemente da idade, e o número correspondente à população como um todo. A taxa líquida de escolarização representa o número de alunos matriculados num determinado nível de ensino, cuja idade é teoricamente correspondente à freqüência média desse nível, sendo expressa como uma percentagem da população com a idade correspondente. Na taxa líquida de escolarização, inclui-se no numerador e no denominador, o mesmo grupo etário. No Brasil, a faixa de idade teórica em que um indivíduo deveria estar matriculado no nível de Ensino Superior vai dos 18 aos 24 anos.

É difícil saber como a SEDIAE poderia utilizar o conceito de taxa de escolarização para cumprir o Decreto nº. 2.026, pois a sua natureza estatística engloba variáveis que vão muito além das especificidades institucionais. Segundo os dados do Censo da Educação Superior (Ministério da Educação, 2004a) e as projeções populacionais do Instituto Brasileiro de Geografia e Estatística – IBGE – (2001), a taxa bruta de escolarização da população brasileira em 2003 foi de 2,17%. O Censo da Educação Superior sobre o ano de 2003 não inclui a segmentação das matrículas por faixa de idade nem o IBGE publicou separadamente a projeção numérica da população de 18 a 24 anos, de forma que não há subsídios para o cálculo da taxa de escolarização líquida dos jovens que teoricamente deveriam estar matriculados. Essa taxa, no entanto, foi estimada para o ano em pauta como situada entre 9% e 10%. Como se vê, trata-se de uma quantificação estatística genérica, que diz respeito a um indicador social global que, de forma alguma, parece ser útil para aferir a qualidade de ensino de cada IES. No entanto, se for admitido que a quantidade constitui uma dimensão da qualidade, fica fácil entender o porquê de o nível de Ensino Superior no Brasil ser considerado tão deficitário.

Outra dificuldade foi considerar que as taxas de disponibilidade e de utilização de vagas para ingresso medem a eficiência do sistema de ensino, pois essa variável é independente da qualidade das instituições e de seus cursos. Todas as instituições têm necessariamente que disponibilizar vagas, sendo a sua utilização fundamentalmente dependente de fatores sociais e econômicos externos, associados à condição de acesso dos alunos. O mesmo se pode dizer das taxas de evasão e do tempo médio para conclusão dos cursos, aos quais não há como atribuir diretamente a eficiência ou a ineficiência do sistema. Os fatores de evasão e tempo de conclusão são conseqüências de condições segundo as quais cada um dos alunos consegue estudar, respondendo a particularidades socioeconômicas que em sua maior parte são externas às instituições.

Outros pontos propostos pelo Decreto nº. 2.026/96, tais como o índice de qualificação do corpo docente, a relação média de alunos por professor e os tamanhos médios das turmas, sem dúvida dizem respeito a indicadores de qualidade institucional, mas nada há que garanta correlações numéricas precisas, pois não se pode inferir que um corpo docente extremamente qualificado produza altos coeficientes de rendimento educacional em condições precárias de trabalho como, por exemplo, estar sujeito a baixos salários. Já um corpo docente menos qualificado, mas bem estruturado institucionalmente, poderá ter muito mais motivação para ensinar.

As questões de despesas que aparecem nos incisos VIII, IX, X e XI são bastante controversas, pois os critérios de quantificação não estão definidos. A princípio, quanto maior a participação da despesa pública no Ensino Superior maior será a qualidade desse ensino. No entanto, os cânones neoliberais dominantes da economia global exigem uma razão de eficiência dada pela obtenção de maior rendimento com menos investimentos. Dessa forma, fica-se sem saber o limite de quanto o sistema público deve investir para gerar mais eficiência no sistema, de forma a atender com qualidade ao maior número possível de alunos. Seria relevante se o Decreto voltasse suas preocupações para os aspectos qualitativos do investimento público em Educação Superior, determinando canais de avaliação que procurassem estabelecer com mais precisão os contornos do custo da qualidade.

No que diz respeito à "avaliação individual das instituições de ensino superior conduzida por comissão externa à instituição especialmente designada pela Secretaria de Educação Superior – SESu" (Art. 4º), o Decreto nº. 2.026/96 considera três aspectos centrais. Primeiramente, refere-se à "efetividade do funcionamento dos órgãos colegiados" (Inciso I). A avaliação dessa efetividade é bastante relativa, podendo-se considerar a quantidade de reuniões realizadas, a quantidade de propostas votadas, a representação institucional dos membros medida a partir da proporção entre o número de professores, funcionários e alunos etc. Entretanto, nenhum desses fatores traduz necessariamente a qualidade de ensino, de onde se conclui que os órgãos colegiados, mesmo que efetivos e sem os quais nenhuma instituição poderia funcionar corretamente, podem existir de tal forma que sejam totalmente ineficientes. Fica a pergunta: o que significa objetivamente avaliar a 'efetividade' do funcionamento dos órgãos colegiados universitários?

O Inciso I, Art. 4º do Decreto nº. 2.026/96, estabelece também que a avaliação individual deve priorizar as "relações entre a entidade mantenedora e a instituição de ensino". Pergunta-se: qual o significado da palavra 'relações' nesse contexto? Poderiam elas ser medidas em uma escala muito fraca, fraca, regular, boa ou muito boa? Significaria, por exemplo, a razão quantitativa entre valores financeiros oferecidos pela mantenedora sob a forma de bolsas aos alunos e o número de matrículas anuais? Suponha, por exemplo, que uma instituição destina uma bolsa de estudos a cada 10 alunos matriculados, segundo o critério de excelência da nota de aprovação no exame vestibular. Não há dúvida que essa é uma relação positiva entre a entidade mantenedora e a instituição de ensino, mas é duvidoso qualificá-la numa escala de muito fraca a muito boa, pois sua avaliação depende da média global por instituição do valor das bolsas oferecidas aos alunos que se matriculam anualmente, que é um dado do qual pouco se conhece no Brasil. O referido Inciso estabelece ainda que a avaliação individual deve priorizar a "eficiência das atividades meio em relação aos objetivos finalísticos" da administração geral das instituições. Ora, o objetivo final de uma instituição de ensino é ensinar, havendo uma lista enorme de meios que ela utiliza para isso. Pergunta-se: quais meios de atividade são mais eficientes em uma instituição de ensino? Um índice de qualificação elevado do corpo docente é mais efetivo para uma instituição educacional atingir os seus fins do que o bom funcionamento dos órgãos colegiados? Como hierarquizar os valores das instituições de Ensino Superior para efeito de avaliação?

O Inciso II do Art. 4º refere-se à avaliação da administração acadêmica, enfocando a "adequação dos currículos dos cursos de graduação e da gestão da sua execução; adequação do controle do atendimento às exigências regimentais de execução do currículo; adequação dos critérios e procedimentos de avaliação do rendimento escolar". Sobre esses pontos, infere-se de Moreira (2002) que a avaliação do campo curricular não pode ser referida diretamente a uma diferenciação de enfoques e de especializações de um determinado tipo de curso de graduação, mas envolve também as necessidades de ordem administrativa, que incluem a organização e a natureza específica de cada IES. Quando emergiu na virada do século XIX para o século XX nos Estados Unidos da América, o campo do currículo procurou apoio nos princípios da administração científica, ao mesmo tempo em que tomou de empréstimo da Sociologia e da Psicologia comportamental seus pressupostos básicos e sua metodologia.

A partir dos anos 90, os estudos culturais, o pós-modernismo, o pós-estruturalismo, os estudos de gênero, os estudos de raça, os estudos ambientais, dentre outros, passaram a fornecer a referência para a compreensão dos problemas e das questões envolvidas no campo do currículo em geral. (p. 95)

Diante dessa complexidade, justifica-se o porquê de a avaliação do campo curricular pouco ter evoluído no Brasil até hoje, mesmo diante das acertadas diretrizes do Decreto 2.026/96.

Outro critério estabelecido pelo Decreto nº. 2.026/96 foi avaliar a integração social com vistas a quantificar o "grau de inserção da instituição na comunidade, local e regional, por meio dos programas de extensão e prestação de serviços" (Art. 4, Inciso III). Os sistemas acadêmicos administrativos localizados nas instituições são centralizados e geralmente não computam separadamente os custeios do ensino, da pesquisa e da extensão. De fato, pouco se conhecia a respeito dos dados sobre cada uma das áreas separadamente, prejudicando o conhecimento da eficiência da universidade brasileira, que é planejada de forma tripartida. Uma pergunta importante para ser respondida a partir da realidade existente é a seguinte: qual o investimento médio das instituições universitárias em serviços de extensão? Somente com essa informação se poderia quantificar a relevância dos programas setoriais de atendimento à comunidade realizados pelas instituições. A distribuição das médias permitiria atribuir objetivamente um conceito que variasse de muito fraco a muito bom, em uma escala de cinco níveis, compondo-se um quadro posicional de todas as instituições no quesito extensão.

O Inciso IV do Art. 4º estabelece como deve ser a avaliação da produção científica, cultural e tecnológica, assunto que recentemente gerou grandes controvérsias. Dados de 2004 colocaram o Brasil como o 19º classificado em um grupo dos 31 países que concentram 98% dos artigos científicos mais citados produzidos no mundo todo. A produção brasileira passou de 0,84% no qüinqüênio 1993-1997, para 1,2% em 1997-2001. Isso representou um acréscimo de 45% acima do desempenho médio mundial, mas se pergunta:

E por que esse desempenho não correspondeu a um crescimento expressivo do nosso PIB no mesmo período? A resposta é que não é a ciência (a geração de conhecimentos), como muitos pensam, mas sim o domínio da tecnologia industrial (a competência no uso de conhecimentos para gerar inovações que tornem nossa indústria mais competitiva) que faz a economia crescer de modo sustentado e rápido, como o mostram os países orientais. E essa competência em inovação tecnológica não se mede por artigos: ela é internacionalmente medida pelas patentes concedidas no maior mercado, o norte-americano. (Férézou; Nicolsky, 2004, p. A3)

Pouco se sabe sobre o custo do Brasil ter aumentado sua participação na produção científica mundial em termos da quantidade de citações sobre os seus pesquisadores. Tem-se a impressão de que o investimento em pesquisa realizado depois de 1997 foi proporcionalmente muito maior do que os resultados alcançados, levando o país a obter ganhos apenas em termos de produtividade absoluta, mas perdendo quando são levados em consideração os valores gastos. Por isso é que, computados os dados do escritório de registro de marcas e patentes dos EUA – USPTO –, o avanço brasileiro foi mínimo: apenas 1%. Muitos são radicais e acreditam que o critério adotado pelo Decreto n. 2.026/96, de avaliar a produtividade científica em termos da quantidade de artigos e citações, traduz-se "num processo elitista e estéril para o desenvolvimento econômico e social do país" (Férézou; Nicolsky, 2004, p. A3).

O parágrafo único do Art. 4º desse Decreto estabelece que cada instituição deverá apresentar às comissões de avaliação externa dados obtidos por meio de um processo de avaliação interna. Esses dados, no entanto, ainda estão longe de serem produzidos, pois a cultura necessária para obtê-los não evoluiu no país até hoje.

A avaliação dos cursos de graduação "far-se-á pela análise de indicadores estabelecidos pelas comissões de especialistas de ensino [...]" (Art. 5º). No entanto, na prática, o trabalho dos especialistas consistiu apenas na aplicação da famosa escala de cinco níveis que vai do muito fraco ao muito bom. Tratava-se, portanto, de uma avaliação subjetiva, de fundo meramente qualitativo, longe de representar a objetividade contida em indicadores definidos por estatísticas nacionais precisas. Questões como essa mostram que a avaliação do Ensino Superior brasileiro no início dos anos 1990 esteve longe de atingir patamares mínimos de objetividade.

Uma recomendação relevante é a que segue:

A avaliação dos cursos de graduação conduzida pelas Comissões de Especialistas, designadas pela SESu, será precedida de análise abrangente da situação da respectiva área de atuação acadêmica ou profissional, quanto ao domínio do estado da arte na área, levando em consideração o contexto internacional, e o comportamento do mercado de trabalho nacional. (Brasil, 1996a, Art. 5º)

Numa situação em que os mercados de trabalho nacional e internacional passam por profundas transformações estruturais, decorrentes de uma economia em completa mudança, pergunta-se: como saber se o acadêmico de determinado curso de uma certa instituição está recebendo o ensino correto para obter uma formação profissional adequada para atuar num mercado de trabalho de futuro incerto? Se até mesmo a pergunta é difícil de ser feita, imagine a resposta do avaliador!

Quanto à análise das condições de oferta pelas instituições de Ensino Superior, serão consideradas:

[...] I. a organização didático-pedagógica; II. a adequação das instalações físicas em geral; III. a adequação das instalações especiais, tais como laboratórios, oficinas e outros ambientes indispensáveis à execução do currículo; IV. a qualificação do corpo docente; V. as bibliotecas com atenção para o acervo bibliográfico, inclusive livros e periódicos, regime de funcionamento, modernização dos serviços e adequação ambiental. (Brasil, 1996a, Art. 6º)

A organização didático-pedagógica pode ser avaliada por indicadores fornecidos pelo modelo de Dias (2001), que parte dos resultados de uma pesquisa voltada para o diagnóstico das carências pedagógicas do docente de Ensino Superior de uma faculdade da área de Ciências da Saúde, administrada por uma IES particular, envolvendo todos os professores e alunos escolhidos por amostragem. Por meio de questionários fechados, investigou-se de que forma os alunos vêem a sua relação com os professores, bem como se são favoráveis, indiferentes ou desfavoráveis frente às características atitudinais desses professores quando se trata de métodos, técnicas e sistemas de avaliação por eles utilizados. A avaliação do desempenho do professor pelo estudante, utilizando-se o questionário como instrumento de coleta de dados, é uma forma tradicional de levantar indicadores sobre a organização didático-pedagógica do Ensino Superior (Lampert, 1995; Ristoff, 1996; Silva; Lourenço, 1998). "A indiferença ou o descontentamento dos estudantes jamais estão desprovidos de significação, por mais infundados que possam parecer ao professor. Ninguém melhor do que o próprio estudante pode explicar seu entusiasmo ou suas dificuldades" (Kourganoff, 1990, p. 260). Vendo e ouvindo o docente em ação, geralmente os estudantes são as únicas testemunhas diretas do processo de ensino, o que lhes permite realizar comparações construtivas. Os questionários utilizados como instrumentos devem respeitar as especificidades institucionais e o contexto histórico da ocasião.

A avaliação da adequação das instalações físicas em geral e das instalações especiais implica na análise da planta institucional e no levantamento dos dados brutos correspondentes à área construída, compreendendo todos os espaços, inclusive jardins, áreas de circulação e estacionamentos. O espaço didático líquido compreende apenas laboratórios, oficinas, auditórios, salas para reunião de equipes de trabalho, salas de orientação de alunos por professores, escritórios modelo e "outros ambientes indispensáveis à execução do currículo", conforme consta no Decreto n. 2.026/96. Há vários espaços cuja natureza didática é discutível, como as salas de aulas tradicionais, que comportam professores e alunos dispostos em ambientes constituídos apenas por carteiras, lousa, giz e apagador. Há ambientes que deixam pouca dúvida sobre o fato de não poderem ser computados como didáticos, destacando-se a sala dos professores herdada dos colégios secundários europeus, que estão extensivamente presentes em nossas instituições de Ensino Superior. Em uma IES, são importantes as salas individuais de trabalho dos professores e as salas para reuniões destes, que são autênticos espaços didáticos. Há outros ambientes a respeito dos quais nenhuma dúvida persiste sobre o fato de não serem mesmo didáticos, como reitorias, pró-reitorias, diretorias e instalações afins, formatadas segundo o sistema de administração tayloriana com que muitas IES tendem a se organizar. As dependências destinadas às coordenações de cursos podem suscitar dúvidas, mas devem ser consideradas como espaços que cumprem funções didáticas nos casos em que, além do trabalho administrativo, atendem também aos alunos com fins de orientação a projetos acadêmicos. Nesse caso, é necessário levantar nos regimentos institucionais os critérios de escolha dos chefes de departamento ou coordenadores de curso, verificando se suas funções comportam fins meramente burocráticos e administrativos ou se estão revestidos também do apoio explícito ao trabalho dos professores. Evidentemente, nas salas do colegiado institucional, não há nenhum fim didático explícito.

Um dado importante para a avaliação das condições de oferta oferecidas pelas IES é o fator de utilização de suas instalações e seus equipamentos didáticos. Esse fator corresponde à idéia de rendimento usado em administração. No sistema subtendido pelo Decreto n. 2.026/96, a avaliação do trabalho didático prioriza o levantamento da adequação das instalações correspondentes aos espaços destinados ao processo de ensino e aprendizagem, mas não propõe explicitamente encontrar dados sobre a qualidade desse processo. Em outras palavras, seria possível estabelecer um conceito que varia do muito fraco ao muito bom, voltado para o aproveitamento efetivo dos recursos oferecidos ao aluno, considerando-se o tempo destinado para ele aprender de forma diretamente associada aos equipamentos. Esse fator deve emergir do plano pedagógico como um elemento da sua macroestrutura, ou seja, há em cada área de formação um valor de equilíbrio na relação entre as cargas horárias práticas e teóricas. No Brasil, não se conhece bem esse valor para cada um dos cursos superiores, mas o sistema de avaliação não pode prescindir dele para verificar a qualidade das condições de oferta das IES. Os célebres laboratórios de informática de grande parte das IES são um caso típico de uso didático superdimensionado e muitas vezes inadequado, tendo-se destinado a eles muitas horas de trabalho, mas com baixos resultados de aprendizagem, pois o tipo de processo pedagógico dominante prescinde em larga escala de uma relação professor-aluno melhor do que a realizada na sala de aula.

A qualidade do corpo docente tem sido tradicionalmente avaliada pelo Índice de Qualificação do Corpo Docente – IQCD –, que apresenta deficiências conceituais e merece ser questionado. A análise da seqüência histórica dos dados do Exame Nacional de Cursos – ENC –, de 1996 a 2003, mostra que não há uma correlação direta entre o IQCD de uma instituição e o rendimento de seus alunos, ou seja, alunos oriundos de uma instituição com IQCD mais alto podem ir pior nas provas do que os provindos de outra com IQCD mais baixo e vice-versa. Por outro lado, um fator que se mostrou diretamente associado ao rendimento do aluno está situado na forma como as instituições estruturam a carreira docente. Assim, os dados do ENC apontam que a valorização do trabalho do professor por meio da organização de carreiras docentes consistentes e o bom gerenciamento das horas disponíveis tendem a produzir um melhor desempenho pelos alunos. A qualificação do professor, na verdade, deve ser entendida apenas como condição de acesso à carreira e progressão dentro dela, mas se essa não for adequada para produzir bons resultados, os talentos de um corpo docente otimamente qualificado poderão estar sendo jogados fora.

Quanto à avaliação das bibliotecas, considerada pelo inciso V, Art. 6º do Decreto nº. 2.026/96, o indicador tradicional mede a quantidade de obras do acervo, como livros, revistas, bases de dados etc. No entanto, esse é apenas um dado bruto sobre as bibliotecas, que precisam ser avaliadas também quanto à sua finalidade de promover efetivamente a leitura e estarem integradas à vida institucional como um todo. Os indicadores de qualidade da leitura realizada pelos alunos podem ser obtidos por meio de questionários aplicados durante sua freqüência à biblioteca, objetivando levantar informações para compor escalas de avaliação e compreendendo pontos da seguinte natureza: os motivos mais freqüentes que levam o aluno a procurar a biblioteca; se ele encontrou o que precisava no acervo; se do seu ponto de vista a atualização do acervo é adequada; qual a periodicidade das suas visitas; qual sua opinião sobre o espaço físico, sobre o atendimento dos funcionários, o tempo de permanência, o tipo de material consultado, a natureza e os objetivos do material retirado como empréstimo etc. O ENC comprovou que existe uma relação direta entre a leitura de livros jornais, revistas etc. e o rendimento do aluno nas provas.

Logo após a publicação do Decreto nº. 2.026/96, foi aprovada em 20 de dezembro de 1996 a Lei das Diretrizes e Bases da Educação Nacional – LDB – (Brasil, 1996b), que veio reforçar a importância dos processos de avaliação do Ensino Superior como forma de promover a regulação do setor e realizar a acreditação de instituições e cursos.

Os anos 2000 e a busca de novas metodologias

O balanço da década de 1990 aponta que os instrumentos avaliativos aplicados posicionaram-se estrategicamente em relação à dinâmica organizacional e estabeleceram novos padrões de funcionalidade para o sistema de Ensino Superior brasileiro. A expansão do sistema, mormente no que diz respeito ao aumento do número de cursos oferecidos, que se concentrou em grande parte nas instituições privadas, potencializou a necessidade de avaliação e definiu a estrutura dos instrumentos concebidos para isso.

No caso da implementação da avaliação no formato ENC, nossa hipótese é a de que ela foi aplicada para promover e alimentar o funcionamento de um sistema de ensino superior de massas, ou seja, seu papel é contribuir para a transformação de um sistema seletivo, fechado e elitista de ensino superior em um sistema de massas. Por isso o ENC representa o mais importante passo da política oficial para institucionalização da avaliação em massa. Como a massificação do sistema de ensino tem sido um dos objetivos centrais da política oficial para o ensino superior, tal massificação foi promovida a partir da montagem de procedimentos de avaliação que têm por objetivo gerar, por um lado, informações específicas sobre o desempenho das instituições, para reestruturar e promover o mercado da educação superior, por meio da competição institucional pelos estudantes e do fortalecimento do poder dos estudantes-consumidores, que passam por sua vez a competir pelas instituições melhores avaliadas, a partir das informações produzidas pelo Exame Nacional de Cursos; por outro lado, o estabelecimento dos procedimentos de avaliação tinha por objetivo desafiar o abuso da desqualificação da maioria das instituições de ensino superior, particularmente no setor privado, predominantemente por intermédio da Avaliação das Condições de Oferta de Cursos de graduação. (Gomes, 2002, p. 284)

Em 2001, foi editado o Plano Nacional de Educação – PNE – (Brasil, 2001a), contemplando a idéia de instituir um amplo sistema de metas para a Educação Superior e estabelecendo que até o ano de 2010 será provida a oferta de vagas para, pelo menos, 30% da população na faixa etária de 18 a 24 anos. De fato, a taxa acumulada do crescimento geral das matrículas no período 1996-1999 foi de 34,7%, enquanto que no período 2000-2003 atingiu 64,1%. Grande parte da expansão foi realizada dentro do setor privado, que absorveu 45,2% no primeiro quadriênio indicado e 78,9% no segundo. Já o setor público apresentou resultados bem mais modestos, absorvendo 18,8% e 36,9% respectivamente. A taxa média de crescimento das matrículas como um todo foi de 7,7% e 13,1% respectivamente. Com base nesse último resultado, projeta-se que até o ano 2010 haja 9.234.548 alunos matriculados no Ensino Superior, devendo, por força do PNE, a oferta pública cobrir pelo menos 40% das vagas, correspondente a 3.693.820 alunos (Ministério da Educação, 2004a).

Mesmo que as preocupações com a qualidade da oferta possam ser observadas nas políticas formuladas para o Ensino Superior no Brasil, a necessidade de expandir a demanda tem sido praticada mais com a ampliação quantitativa das vagas e o credenciamento de cursos, do que com a melhoria das condições de acesso da população ao sistema. Em 1997, havia aproximadamente 2.500 cursos de graduação nas instituições públicas e o mesmo número nas instituições privadas, sendo que estas, em sua maioria, sempre apresentaram uma história mais baixa de qualidade. Em 2003, o montante de cursos oferecidos pelas instituições privadas subiu para 10.791 e o das públicas para apenas 5.662. Surgiram 5,6 novos cursos a cada dia no Brasil em 2003, sendo 4,5 criados no setor privado e somente 1,1 no setor público. Em 2003, o setor privado apresentou uma ociosidade de 42,2% em suas vagas, que foram oferecidas e não ocupadas, enquanto que no setor público esse valor atingiu 5,1%. Isso significa que o aumento da oferta de vagas não propiciou a expansão do montante desejável das matrículas. É preciso criar condições para que a população tenha acesso às vagas oferecidas, o que tem sido a tônica das políticas dos dois últimos anos, em particular com a criação do Programa Universidade para Todos – PROUNI. Ressalte-se que, para a meta do PNE ser atingida, "serão necessários investimentos significativos, especialmente para absorver os alunos de baixa renda que hoje têm acesso à educação fundamental e média" (Ministério da Educação, 2004a, p. 45).

Dessa forma, o Brasil desenvolveu um sistema de Educação Superior que não conseguiu suprir as especificidades reais de uma demanda formada em sua grande parte por alunos que não conseguem pagar a escola privada. O atual governo planejou criar mais vagas nas escolas superiores públicas, mas não se sabe quando nem quantas vão surgir. Tendo-se em conta o contingente de alunos ingressantes atendidos pelas IES públicas em 2003, será necessário expandir o sistema em mais de 300% para cumprir as metas do PNE até 2010. Independentemente desse problema, mesmo que não tenham sido feitos esforços mais aprofundados para interpretar os resultados dos sucessivos levantamentos realizados desde o PAIUB, parecem ser ruins os indicadores sobre a organização didático-pedagógica das instituições, a preparação do corpo docente, as instalações físicas, as bibliotecas, os equipamentos etc.

Seis meses após a promulgação da Lei que editou o PNE, foi baixado um Decreto que estabeleceu novos procedimentos operacionais de avaliação (Brasil, 2001b), corrigindo várias dificuldades presentes no Decreto anterior (Brasil, 1996a), que foi revogado. Nos novos procedimentos operacionais estabelecidos, foram eliminados os indicadores de desempenho global do sistema que, como acima se demonstrou, pouco tinham a ver com as instituições vistas isoladamente: taxas de escolarização bruta e líquida, taxas de disponibilidade e de utilização de vagas para ingresso etc. No tocante à avaliação do desempenho individual das instituições, foram mantidos praticamente todos os indicadores já utilizados e acrescidos os seguintes: "capacidade de acesso a redes de comunicação e sistemas de informação" (Brasil, 2001b, Cap. IV, Art. 17, Inciso II, item d); e "a auto-avaliação realizada pela instituição e as providências adotadas para saneamento de deficiências identificadas" (item j). No tocante à análise das condições de oferta, foram mantidos os indicadores sobre a organização didático-pedagógica, adequação das instalações físicas gerais e específicas, adequação das bibliotecas e qualidade do corpo docente. Com relação a esse último, a nova legislação incluiu os seguintes aspectos que não eram contemplados anteriormente: "a experiência profissional, a estrutura da carreira, a jornada de trabalho e as condições de trabalho" (Brasil, 2001b, Cap. IV, Art. 17, Parágrafo 1º, Inciso II). No inciso sobre as bibliotecas, também foram incluídos os seguintes novos aspectos: "atenção especial para com o acervo especializado, inclusive o eletrônico, para as condições de acesso às redes de comunicação e para os sistemas de informação, regime de funcionamento e modernização dos meios de atendimento" (Inciso IV).

O único ponto realmente significativo que o novo sistema acrescenta ao modelo anteriormente vigente diz respeito ao corpo docente. O ENC já havia demonstrado que o IQCD não é suficiente para abalizar a qualidade da oferta de ensino, sendo prioritário o levantamento de outros aspectos, como a estrutura da carreira, a jornada e as condições de trabalho, agora finalmente contemplados.

A questão sobre a capacidade de acesso às redes de comunicação e sistemas de informação, bem como sobre o acervo eletrônico das bibliotecas etc., mesmo que constitua uma novidade, não é significativa. Na verdade, o indicador está maldefinido, pois a capacidade de acessar os sistemas é bem diferente da disponibilidade dos sistemas para acesso. Parece ser essa última que o Decreto estabelece que seja medida, o que remonta ao mesmo problema da década passada, quando a informatização do ensino produziu de fato nenhum resultado qualitativo. A avaliação da capacidade de acesso às redes de comunicação e aos sistemas de informação necessita, portanto, ser avaliada em termos de indicadores que apontem para o uso dos recursos existentes e não apenas para a velocidade de conexão dos computadores com a Internet, o desempenho dos equipamentos, o tamanho da rede formada etc.

O aspecto da auto-avaliação é uma novidade que repercutiu bastante, gerando posteriormente as Comissões Próprias de Avaliação – CPAs –, com a finalidade de produzir indicadores capazes de mensurar os programas e projetos desenvolvidos pelas instituições, ajuizar sobre a realização de seminários, reuniões e consultas, medir a eficiência dos órgãos acadêmico-administrativos e colegiados, analisar a pertinência do Plano de Desenvolvimento Institucional – PDI –, avaliar os conhecimentos dos ingressantes e verificar os resultados das metas pedagógicas estabelecidas para a aprendizagem dos alunos durante a sua permanência na IES (Ministério da Educação, 2004b).

Em 2003, foi instituída a Comissão Especial de Avaliação da Educação Superior – CEA –, que elaborou uma revisão crítica dos instrumentos, das metodologias e dos critérios até então utilizados e propôs reformulações com base na construção de um sistema capaz de aprofundar os compromissos e as responsabilidades sociais das instituições. A CEA realizou audiências públicas com entidades representativas de vários setores sociais e propôs o Sistema Nacional de Avaliação da Educação Superior – SINAES –, redigindo um documento cujo objetivo foi estabelecer princípios com base no conceito de que, fundamentalmente, é a função social das IES que deve ser destacada como medida de sua eficiência. Surgiu, dessa forma, uma nova metodologia de avaliação do Ensino Superior, aperfeiçoando os procedimentos e os instrumentos de avaliação até então utilizados.

Segundo o documento da CEA, havia um desequilíbrio na matéria relativa à avaliação da Educação Superior no Brasil, porque:

a) está centrada quase exclusivamente nas atribuições de supervisão do MEC; b) praticamente não considera instituições e cursos como sujeitos de avaliação; c) não distingue adequadamente supervisão e avaliação, com nítida ênfase à primeira; d) não constitui um sistema nacional de avaliação, mas, mais propriamente uma justaposição de verificação de determinadas condições, unilateralmente definidas pelo Ministério. [...] Os instrumentos em vigor, que sejam considerados válidos, devem ser preservados e aperfeiçoados, porém integrados a uma outra lógica que seja capaz de construir um sistema nacional de avaliação da educação superior, articulando regulação e avaliação educativa. (Ministério da Educação, 2003a, p.16)

A avaliação educativa está comprometida com a transformação das IES em uma perspectiva formativa e emancipatória, enquanto que a perspectiva regulatória está vinculada ao controle dos resultados das IES pelo Estado, devendo o sistema de avaliação verificar como essas perspectivas estabelecem compromissos sociais articulados em termos da qualidade de ensino, pesquisa e extensão.

Em seu diagnóstico, o documento da CEA apresenta o exame da diversificada legislação produzida nas décadas anteriores, desde a Constituição de 1988 às sucessivas medidas provisórias, passando pela nova LDB, pelo PNE e pelos vários decretos que foram publicados, reconhecendo que "houve indiscutivelmente um progresso no reconhecimento legal da importância da avaliação associada à idéia de melhoria da qualidade" (Ministério da Educação, 2003a, p. 17). O documento também descreve detalhadamente as atribuições dos órgãos federais no campo da avaliação formativa e da regulação. Realiza ainda a análise crítica dos dois principais instrumentos de avaliação até então desenvolvidos e aplicados, ou seja, a Avaliação das Condições de Ensino – ACE – e o ENC.

A percepção do documento da CEA, quanto aos principais pontos positivos relacionados ao trabalho desenvolvido pelas Comissões da ACE, aponta que estas estabeleceram parâmetros que contribuíram para a melhoria do funcionamento dos cursos, propiciando aos mesmos: "(i) ampliar a procura e troca de experiências inovadoras; (ii) ampliar o conhecimento dos Projetos Políticos Pedagógicos dos cursos entre seus professores; (iii) tornar a seleção do corpo docente mais criteriosa; (iv) estruturar e organizar melhor o funcionamento dos cursos" (Ministério da Educação, 2003a, p. 40). Tais contribuições estão diretamente atreladas às três grandes dimensões sobre as quais a ACE está focada: (i) organização didático-pedagógica; (ii) corpo docente; e (iii) instalações.

Como aspecto negativo dos procedimentos realizados pela ACE, o documento em pauta aponta os "problemas relativos ao instrumento, que enfatiza determinados aspectos em detrimento de outros, e para o qual faltam indicadores, em especial aqueles capazes de identificar o quanto a IES consegue agregar ao aluno após a entrada", desenvolvendo conhecimentos e atitudes que correspondem ao valor social da instituição (Ministério da Educação, 2003a, p. 40-41). Isso indica "que os procedimentos atuais são insuficientes para promover, nos cursos e nas instituições, uma avaliação no sentido da sua emancipação" (p. 41). Os fatores que mais contribuem para essa insuficiência são os pontos deficitários do processo de capacitação dos avaliadores e das orientações do Manual Geral de Avaliação das Condições de Ensino, que os mesmos avaliadores utilizam em seu trabalho. Esses fatores

[...] revelam que a ACE carece de instrumentos adequados para uma avaliação formativa e comprometida com a contribuição do curso para com a constituição do indivíduo, assim como não visa apreender a contribuição do curso para com a sociedade. (p. 41)

Na verdade, as deficiências da ACE vão muito mais longe do que a análise realizada pela CEA pode alcançar. Essas deficiências chegam a ponto de não conseguir dar respostas a questões prioritárias como: (i) evolução do número das horas de trabalho dos docentes em relação ao número de alunos das instituições; (ii) melhoria das condições dos laboratórios e equipamentos didáticos, visando à qualidade do trabalho docente; (iii) características superiores e atributos distintivos positivos que fazem o uso de computadores, o acesso às redes de comunicação e aos sistemas de informação sobressaírem-se em relação às suas virtudes didáticas. Nem mesmo a realidade mais óbvia do sucateamento das universidades públicas e da expansão desqualificada da Educação Superior privada, com seus prejuízos claros sobre as condições de oferta de ensino, é contemplada pela análise diagnóstica que deu origem ao SINAES.

A ACE, sem dúvida, deveria ter levantado os níveis médios da queda da qualidade do Ensino Superior no Brasil, queda essa decorrente da expansão descontrolada da oferta, que refreia a demanda, segundo os princípios elementares da economia de mercado. Voltada apenas para a oferta, a ACE foi uma metodologia inexperiente que deu os primeiros passos de forma cambaleante e ignorou a importância da análise da demanda. O problema mais grave da Educação Superior no Brasil é o do acesso da população ao sistema de oferta, que está longe de ser resolvido diante do fato de que o número de vagas em condições de serem preenchidas ultrapassa de muito até mesmo as previsões mais otimistas, pois "de cerca de um milhão de estudantes que fizeram o ENEM [Exame Nacional do Ensino Médio] nesse ano [2004], 600 mil se enquadram no PROUNI [Programa Universidade para Todos], mas há só cerca de 110 mil vagas" (Bragon, 2004, p. C5). O PROUNI é o resultado de políticas voltadas para facilitar o acesso da demanda à oferta instalada, custeando integral ou parcialmente a matrícula de alunos de baixa renda no Ensino Superior privado, em troca de isenções tributárias como Imposto de Renda, Contribuição Social sobre Lucro Líquido, Contribuição para Financiamento da Seguridade Social – COFINS, Programa de Integração Social – PIS etc.

O princípio de que a avaliação deve cumprir funções formativas voltadas para a transformação emancipatória das IES, ao lado das funções regulatórias exercidas pelos órgãos governamentais da Educação, limita o alcance crítico do diagnóstico realizado pelo SINAES. Parece ser claro que antes das funções formativa e regulatória da avaliação serem possíveis, é necessário um sistema de informações voltado para a determinação dos indicadores que definirão os valores de julgamento sobre o bom ou mau funcionamento das instituições e seus cursos. Assim, procurar-se-ia desenvolver a avaliação dentro de uma escala comparativa de conceitos baseada na média geral nacional das variáveis levantadas pela ACE. Fica muito mais fácil determinar se uma instituição apresenta uma biblioteca adequada aos objetivos educacionais de seus cursos, quando se sabe qual é o número médio de títulos especializados que os cursos nacionais semelhantes possuem. O mesmo se pode dizer em relação ao número de alunos por hora de trabalho dos professores – student-teacher ratio –, aos equipamentos didáticos etc.

Em seu diagnóstico, o SINAES revela que "a análise dos instrumentos e manuais, bem como dos relatórios descritivo-analíticos elaborados pelos avaliadores do INEP, faz crer que mesmo nos pontos em que a ACE trouxe avanços relativos aos aspectos técnicos, seria importante desenvolver ajustes e aperfeiçoamentos" (Ministério da Educação, 2003a, p. 42). Falta 'globalidade' no modelo teórico-analítico que constitui a base da ACE, sendo necessário "ajustes em alguns indicadores" (p. 42). Na verdade, esses ajustes dependem de modelos de análise inexistentes ou que se encontram precariamente formulados. Para cada um dos critérios definidos pela legislação e aplicados pela ACE, é preciso entender como o conjunto formado pelo universo das instituições de Ensino Superior se comporta. A avaliação das condições de acesso aos sistemas de informação, por exemplo, somente poderá ser avaliada completamente quando se conhecer a média de tempo despendida pelos alunos para estudar por meio do acesso às redes de comunicação. Não se conhece, no Brasil, o tempo médio que cada aluno permanece dentro das bibliotecas universitárias consultando o acervo impresso tradicional nem se esse tempo cresceu ou diminuiu nos últimos anos. Se o tempo médio de consulta aos sistemas de informações eletrônicas cresceu e o tempo médio de consulta ao acervo impresso caiu, mas se a média de desempenho dos alunos nos exames nacionais não mudou, é porque o sistema brasileiro de Ensino Superior ainda não se adequou às promessas das tecnologias digitais. Ou seriam essas tecnologias infrutíferas quando se trata da crença de que elas facilitam os processos de aprendizagem? Dessa forma, para avaliar se uma determinada instituição está desenvolvendo adequadamente seus planos pedagógicos no que toca à política de acesso dos seus alunos às redes de comunicação e aos sistemas de informação, é preciso comparar os resultados por ela apresentados com o quadro geral de dados tomados do conjunto de todas as instituições brasileiras.

Para que não sejam repetidos os erros da ACE, é necessário um modelo de análise capaz de fornecer indicadores mais adequados, pois o diagnóstico realizado aponta que "nem todas as informações geradas pelas visitas estão incluídas no banco de dados, o que compromete a geração de relatórios estatísticos e uma análise geral das avaliações" (Ministério da Educação, 2003a, p. 42). No entanto, para que as informações sejam incluídas na base de dados, é necessário anteriormente superar as deficiências sistêmicas existentes, ou seja, é preciso que haja modelos analíticos implantados nos computadores sob a forma de programas que processem as informações e gerem relatórios conseqüentes. Não é vantajoso incluir os dados constituídos pelos levantamentos primários in loco no banco de informações, sem que programas de análise computacional baseados em modelos teóricos mais bem elaborados sejam desenvolvidos e implantados. A conseqüência mais danosa da falta desses modelos é que sem eles dificilmente o sistema de avaliação consegue cumprir sua função formativa, o que permite compreender melhor a seguinte conclusão diagnóstica:

[...] por fim, a infra-estrutura do MEC parece ser insuficiente tanto em relação à 'logística' para as comissões durante as visitas, como para suporte e orientação operacional das instituições. (Ministério da Educação, 2003a, p. 42)

Outro instrumento fundamental de avaliação criticado pelo diagnóstico do SINAES é o ENC, destacando que "embora o MEC pretenda apreender os conhecimentos e competências adquiridas pelos alunos que estão em vias de concluir o curso de graduação, o objetivo principal é avaliar os cursos de graduação das IES e utilizar essas avaliações como um dos instrumentos de regulação do sistema de educação superior" (Ministério da Educação, 2003a, p. 43). O primeiro ENC ocorreu em 1996, sendo submetidos a exame 616 cursos de três áreas de graduação; o último foi em 2003, com a participação de 5.897 cursos, abrangendo 26 áreas. O modelo de análise do ENC é produzido por indicadores de correlação entre o desempenho dos formandos em um teste de conhecimentos e os padrões socio-culturais apresentados por eles. Embora o processo de avaliação utilize os resultados de desempenho dos graduandos, isto é, de alunos em final de curso, o ENC descarta a análise apontada pelas características somativas no que diz respeito à classificação dos alunos diante desses resultados. A análise visa exclusivamente à avaliação dos cursos que os alunos freqüentaram e imbui-se do caráter de avaliação formativa, com base na interpretação da série histórica dos resultados e das informações oferecidas, sugerindo aos dirigentes institucionais que revejam e discutam seu projeto, seus objetivos e seus procedimentos pedagógicos:

A partir da análise dos resultados oferecidos pelo ENC (informações e dados - quantitativos e qualitativos - sobre o desempenho dos seus graduandos em relação às habilidades e conteúdos aferidos nas provas e sobre as respostas ao questionário-pesquisa) e considerenando todo o processo da avaliação e o contexto do curso em que se deu essa avaliação, dirigentes e corpo docente têm elementos para tomar decisões mais seguras, visando ao aperfeiçoamento da sua prática educativa e, conseqüentemente, à melhoria da qualidade do ensino. Está na base do ENC, portanto, a função diagnóstica da avaliação, ao proporcionar um levantamento da realidade do ensino no que tange à situação dos graduandos quanto às habilidades e conteúdos avaliados. (Ministério da Educação, 2003b, p. 14)

Os instrumentos utilizados pelo ENC foram provas escritas e questionários para levantamento de informações sobre os alunos. As provas apresentaram questões discursivas ou de múltipla escolha com ênfase na capacidade de análise crítica, resolução de problemas, raciocínio lógico, organização de idéias, proposição de hipóteses e formulação de conclusões. A proposta foi a de avaliar os projetos pedagógicos dos cursos por meio de questões cujas respostas exprimissem a dimensão qualitativa da aprendizagem obtida pelos alunos, face aos componentes curriculares mínimos dos cursos de graduação do país. O MEC traçou diretrizes orientadoras para cada área de conhecimento, nomeando comissões de especialistas indicadas pelas entidades ligadas ao ensino de graduação, como os conselhos profissionais, as associações científicas das áreas contempladas etc.

Sua atribuição é definir a abrangência, objetivos, diretrizes e outras especificações necessárias à elaboração dos instrumentos a serem aplicados no ENC, proceder a uma avaliação do ENC com o objetivo de aprimoramento do processo, além de estabelecer procedimentos e orientar o processo de Avaliação in loco das Condições de Ensino. (Ministério da Educação, 2003b, p. 16)

As diretrizes de cada área do ENC definiram os objetivos do exame, o perfil esperado do graduando, as competências, as habilidades, os conteúdos a serem aferidos e o formato da prova. Os questionários aplicados aos concluintes visavam à coleta de dados socioeconômicos e culturais, bem como seu ponto de vista sobre recursos, instalações disponíveis, estrutura curricular e desempenho docente nos cursos de origem. Para o ENC, os dados levantados traduzir-se-iam dentro de um modelo de análise que possibilitaria "investigar hipóteses em relação à variável desempenho, estudar tendências a partir de uma série histórica, ou complementar informações em processos avaliativos realizados nas instituições ou cursos", proporcionando ao INEP e aos pesquisadores interessados um conjunto de informações até então inexistentes sobre formação universitária no Brasil (p. 20).

O modelo estatístico dos resultados das provas escritas sofreu variações ao longo da história do ENC, sendo inicialmente traduzida pela média geral dos graduandos de cada um dos cursos examinados, utilizando-se uma escala absoluta de 0 a 100, em que eram definidos cinco níveis de desempenho segundo porcentuais pré-fixados: aos 12% dos cursos com as médias mais fracas foi atribuído o conceito E; aos 18% seguintes, o conceito D; aos 40% seguintes, o conceito C; aos 18% seguintes, o conceito B; e aos 12% mais fortes, o conceito A. Posteriormente, em 2001, foi aplicado um modelo de conversão dos valores absolutos das médias obtidas pelos cursos em uma escala relativa baseada no desvio padrão dessas médias. Em 2003, na última versão do exame, os resultados foram publicados tanto em termos de conceitos relativos quanto absolutos. Para esses últimos, na atribuição dos níveis, não se utilizou mais a escala porcentual pré-fixada, mas a posição das médias gerais obtidas dentro de intervalos específicos da escala de 0 a 100.

Para o SINAES, de todos os instrumentos utilizados para a avaliação do Ensino Superior brasileiro, o ENC foi o que sofreu as mais severas e contundentes críticas. Uma delas diz respeito ao fato de que o exame dos alunos é desarticulado "de um conjunto integrado de avaliações com princípios, objetivos, agentes e ações claramente definidos" (Ministério da educação, 2003a, p. 44). Na verdade, a ACE deveria ter cumprido esse papel integrador, mas faltaram modelos de análise capazes de correlacionar com mais precisão os dados obtidos pela avaliação das instituições e o desempenho apresentado pelos seus alunos no ENC. Essa correlação, conforme as diretrizes fixadas pelo MEC, deveria ser realizada pelas instituições mediante a análise dos dados específicos a elas encaminhados. Entretanto, se análises bem-sucedidas foram realizadas, estas ficaram restritas aos limites institucionais e nunca chegaram ao conhecimento do grande público por meio dos veículos tradicionais de divulgação. Dessa forma, a concepção de levantamento de dados instituída pela ACE e pelo ENC não foi complementada por análises desenvolvidas pelo MEC nem pelas instituições e pela comunidade acadêmica. Essa lacuna constitui o principal problema a ser corrigido para que uma visão coerente sobre a qualidade da Educação Superior brasileira possa ser alcançada. Não há, no país, subsídios claros e bem formulados sobre o que as instituições devem fazer, dentro de um conjunto factível de opções, para melhorar a qualidade de ensino. As análises divulgadas pelo próprio MEC sobre o ENC admitem a ineficiência do sistema quanto aos seus objetivos formativos:

[...] os conceitos não refletem a qualidade dos cursos e são inadequados para orientar políticas educacionais comuns a todos; [...] são insuficientes para orientar os alunos, pais de alunos e a sociedade em geral sobre a qualidade dos cursos; [...] são incapazes de adequadamente orientar as ações administrativas dos dirigentes das IES; e, [...] por si só, são insuficientes para ranquear os cursos ou orientar políticas premiativas e/ou punitivas como até aqui se vinha fazendo. (Ministério da Educação, 2003c, p. 9-10)

O seguinte argumento é elucidativo quanto à incredibilidade do ENC como veículo de avaliação da qualidade de ensino:

Um conceito baixo no ENC pode significar, por exemplo, que o curso recebe alunos muito fracos e que, apesar dos esforços institucionais, não é possível levá-los a um desempenho comparável aos dos alunos mais fortes de instituições com vestibulares altamente competitivos. Um 'A', da mesma forma, pode significar simplesmente que, em função do alto nível de exigência de ingresso, o curso está trabalhando com os melhores alunos. Nesse caso, o desempenho no ENC pode ter muito pouco a ver com a titulação dos professores, a sofisticação das metodologias e técnicas de ensino, a quantidade e atualidade do acervo bibliográfico, a qualidade de laboratórios didáticos ou a atmosfera acadêmica do curso etc. (Ministério da Educação, 2003c, p. 10)

O SINAES apresenta em seu diagnóstico todas as ineficiências acima apontadas, acrescentando que "a administração do ENC mostra-se a cada ano mais complexa e onerosa em função do aumento crescente do número de instituições, cursos e áreas" (Ministério da Educação, 2003a, p. 45). O orçamento necessário à realização do exame tornou-se, dessa forma, um obstáculo quanto ao cumprimento da determinação legal de introdução gradativa de novos cursos ao ENC.

A avaliação de instituições, cursos e desempenho dos estudantes: coerências e contradições do modelo atual

A proposta de avaliação da Educação Superior produzida na gestão do Presidente Luiz Inácio Lula da Silva se dá no âmbito da revisão da política forjada no mandato anterior do Presidente Fernando Henrique Cardoso: "uma das críticas mais constantes que se fazem às práticas avaliativas vigentes nestes últimos anos consiste no uso de instrumentos aplicados a objetos isolados e que conduzem a uma visão parcial e fragmentada da realidade" (Ministério da Educação, 2003a, p. 62). A nova proposta assume que é preciso utilizar esquemas de compreensão global capazes de romper com a fragmentação metodológica existente e instituir sistemas de avaliação em que as diversas dimensões da realidade avaliada – instituições, sistemas indivíduos, aprendizagem, ensino, pesquisa, administração, intervenção social, vinculação com a sociedade etc. – sejam integradas em sínteses compreensivas. A nova concepção pretende assegurar uma coerência tanto conceitual e epistemológica quanto prática em relação aos objetivos e instrumentos utilizados, colocando-se como capaz de articular a natureza formativa da avaliação, voltada para o aumento da qualidade e capacidade das instituições com as funções de regulação próprias do Estado, envolvendo supervisão, fiscalização, credenciamento, descredenciamento etc. Sua legitimidade ética e política é tida como "assegurada pelos seus propósitos proativos, respeito à pluralidade, participação democrática e também pelas qualidades profissionais e cidadãs de seus atores"; e sua legitimidade técnica é assumida como "assegurada pela teoria, pelos procedimentos metodológicos adequados, pela elaboração correta dos instrumentos e por tudo o que é recomendado numa atividade científica" (Ministério da Educação, 2003a, p. 67).

Em 14 de abril de 2004, entra em vigor a Lei n. 10.861 (Brasil, 2004a), que institui o SINAES com o objetivo de "assegurar o processo nacional de avaliação das instituições de educação superior, dos cursos de graduação e do desempenho acadêmico de seus estudantes" (Art. 1º). O SINAES é estabelecido, dessa forma, por três subsistemas integrados: 1) a avaliação institucional, que será realizada em duas instâncias, interna e externa, e "terá como objetivo identificar o seu perfil [das instituições] e o significado de sua atuação, por meio de suas atividades, cursos, programas, projetos e setores, considerando as diferentes dimensões institucionais [...]" (Art. 3º); 2) a avaliação dos cursos de graduação, destinada a "identificar as condições de ensino oferecidas aos estudantes, em especial as relativas ao perfil do corpo docente, às instalações físicas e à organização didático-pedagógica" (Art. 4º); e 3) a avaliação dos alunos, que "será realizada mediante aplicação do Exame Nacional de Desempenho dos Estudantes – ENADE" (Art. 5º) e terá como função aferir o domínio dos estudantes sobre os "conteúdos programáticos previstos nas diretrizes curriculares do respectivo curso de graduação, suas habilidades para ajustamento às exigências decorrentes da evolução do conhecimento e suas competências para compreender temas exteriores ao âmbito específico de sua profissão [...]" (Art. 5º, § 1º).

Pela Lei n. 10.861/04, foi instituída também a Comissão Nacional de Avaliação da Educação Superior – CONAES –, "órgão colegiado de coordenação e supervisão do SINAES" (Art. 6º), com a atribuição de "propor e avaliar as dinâmicas, procedimentos e mecanismos da avaliação institucional, de cursos e de desempenho dos estudantes" (Art. 6º, Inciso I). A CONAES é composta por 13 membros com mandatos diversificados de dois e três anos, incluindo representantes dos seguintes segmentos: INEP, CAPES, MEC, corpo docente, corpo discente, corpo técnico-administrativo e cidadãos com notório saber científico, filosófico, artístico e competência reconhecida em avaliação ou gestão educacional superior. Finalmente, "cada instituição de ensino superior, pública ou privada, constituirá uma Comissão Própria de Avaliação – CPA – [...] com as atribuições de condução dos processos de avaliação internos da instituição, de sistematização e de prestação de informações solicitadas pelo INEP [...]" (Art. 11).

Em 9 de julho de 2004, entra em vigor a Portaria n. 2.051 (Brasil, 2004b) que regulamenta os procedimentos instituídos pela Lei 10.861/04. A Portaria amplia o rol das competências da CONAES e estabelece que ela deverá fornecer ao INEP as diretrizes para execução das três instâncias de avaliação integradas pelo SINAES (Art. 4º). Para a realização das avaliações externas in loco, o INEP designará separadamente Comissões Externas de Avaliação Institucional e Comissões Externas de Avaliação de Cursos (Art. 5º), realizando periodicamente programas de capacitação dos avaliadores (Art. 6º). Quanto às Comissões Próprias de Avaliação - CPAs –, essas serão "constituídas no âmbito de cada instituição de educação superior e terão por atribuição a coordenação dos processos internos de avaliação da instituição, de sistematização e de prestação das informações solicitadas pelo INEP" (Art. 7º). A seguir, a Portaria nº. 2.051/2004 abre três seções, visando ao detalhamento de tais instâncias de avaliação integradas pelo SINAES.

A Seção I especifica que "a avaliação das instituições de educação superior terá por objetivo identificar o perfil e o significado da atuação das instituições, pautando-se pelos princípios do respeito à identidade e à diversidade das instituições, bem como pela realização de auto-avaliação e de avaliação externa" (Art. 9º). A auto-avaliação, coordenada pela CPA de cada instituição, será realizada por meio de orientações gerais elaboradas pelo INEP e disponibilizada em meio eletrônico, partindo de diretrizes estabelecidas pela CONAES (Art. 11). "O prazo para a apresentação dos resultados do processo de auto-avaliação será de até dois anos, a contar de 1º de setembro de 2004" (Art. 13, § 1º).

A Seção I legisla ainda sobre a ação das Comissões Externas de Avaliação Institucional, cujos membros serão cadastrados e capacitados pelo INEP. A CONAES estabelecerá um cronograma próprio para essas avaliações, que deverão ocorrer após o processo de auto-avaliação, compondo ambas "o referencial básico para o processo de credenciamento e recredenciamento das instituições, com os prazos de validade estabelecidos pelos órgãos de regulação do Ministério da Educação" (Art. 14). As informações e os documentos examinados pelas Comissões de Avaliação Externa serão os seguintes: Plano de Desenvolvimento Institucional – PDI –, relatórios do processo de auto-avaliação, dados constantes do Censo da Educação Superior e do Cadastro das Instituições de Educação Superior, dados sobre o desempenho dos estudantes no ENADE, entre outros (Art. 15, Incisos I a IX).

A Seção II indica os critérios de avaliação dos cursos de graduação e estabelece que esta será realizada por Comissões Externas de Avaliação de Cursos. Basear-se-ão em dados fornecidos pela IES em formulário eletrônico e levarão em consideração os seguintes aspectos: corpo docente, instalações físicas, organização didático-pedagógica, desempenho dos estudantes do curso no ENADE, entre outros.

A Seção III trata do ENADE, que será desenvolvido com o apoio técnico das Comissões Assessoras de Área e aplicará "procedimentos amostrais aos estudantes do final do primeiro e do último ano dos cursos de graduação, que serão selecionados, a cada ano, para participarem do exame" (Art. 25). As áreas e os cursos que participarão do ENADE serão definidos anualmente pelo MEC e as IES inscreverão no INEP todos os estudantes habilitados para comporem as amostras. "Os resultados do ENADE serão expressos numa escala de cinco níveis e divulgados aos estudantes que integraram as amostras selecionadas em cada curso, às IES participantes, aos órgãos de regulação e à sociedade em geral [...]" (Art. 29, § 1º). Além do exame, o INEP aplicará aos estudantes um questionário socioeconômico e, aos coordenadores dos cursos selecionados, aplicará outro questionário, voltado para a definição do perfil do curso.

Os resultados da avaliação externa serão expressos "numa escala de cinco níveis, sendo os níveis 4 e 5 indicativos de pontos fortes, os níveis 1 e 2 indicativos de pontos fracos e o nível 3 indicativo do mínimo aceitável para os processos de autorização, reconhecimento e renovação de reconhecimento de cursos e de credenciamento e recredenciamento de instituições" (Art. 32). Nos casos em que os resultados forem insatisfatórios, haverá um protocolo de compromisso a ser firmado entre a IES e o MEC, estabelecendo prazos e metas para o cumprimento de ações adotadas para a superação das dificuldades detectadas. "A CONAES em seus pareceres informará, quando for o caso, sobre a necessidade de celebração do protocolo de compromisso [...]" (Art. 35).

No documento destinado às CPAs (Ministério da Educação, 2004b, p. 8), o INEP estabelece que "a metodologia, os procedimentos e os objetivos do processo avaliativo devem ser elaborados pela IES segundo a sua especificidade e dimensão, ouvindo a comunidade, e em consonância com as diretrizes da CONAES". O fato de o INEP atribuir às instituições a "definição da metodologia de análise e da interpretação dos dados" referentes à auto-avaliação (p. 10), cria mais problemas do que ajuda o SINAES, desde que

[...] ainda não existe uma cultura de auto-avaliação sistemática e formação de políticas baseadas na retroalimentação das informações no Brasil. Pelo contrário, existe a cultura de fazer de novo e reinventar processos. (Moreira; Hortale; Hartz, 2004, p. 34)

Diante disso, tudo indica que o INEP deveria ter sido designado pela legislação não somente para cadastrar e capacitar os membros das comissões externas, mas também fazer a mesma coisa com os membros das CPAs. A falta de uma cultura sistemática de auto-avaliação no país coloca ao SINAES o problema de apresentar às IES um conjunto de princípios, critérios, pressupostos e premissas que lhes sirva de fundamentação conceitual, política e de justificação para a operacionalização dos processos que devem ser implantados. Não há como negar que falta seriedade em parte das instituições no cumprimento das suas responsabilidades educacionais, especialmente no que se refere à formação acadêmico-científica, profissional, ética e política dos cidadãos, bem como no referido à produção de conhecimentos e promoção do avanço da ciência e da cultura. A retroalimentação dos processos avaliativos tem sido realizada no país exclusivamente sob a forma de regulação, não havendo princípios de natureza formativa culturalmente estabelecidos. O próprio SINAES torna-se vítima desse fenômeno cultural, pois ao justificar sua legitimidade, prescreve: "a avaliação não é só uma questão técnica. É também um forte instrumento de poder. [...] As questões técnicas podem ser tecnicamente respondidas, porém, são os sentidos éticos e políticos que envolvem as concepções de educação superior, de sociedade e conseqüentemente de avaliação" (Ministério da Educação, 2003a, p. 67). Dessa forma, o SINAES está assumindo para si mesmo apenas o aspecto regulatório da avaliação, deixando o elemento formativo para as próprias IES, eximindo-se, portanto, de construir um amplo sistema formal para orientá-las ética e politicamente.

Mesmo o raciocínio sobre os aspectos técnicos da auto-avaliação desenvolvido pelo SINAES é equivocado.

Grande parte dos dados quantitativos sobre as instituições e cursos podem ser extraídos do Censo da Educação Superior, realizado anualmente pelo INEP. Outros dados, inclusive qualitativos, são gerados com o auxílio de pesquisadores institucionais, indicados pelos Reitores ou Dirigentes, o que torna extremamente importante que as CPAs identifiquem, em cada caso, o responsável pelas informações prestadas, e que trabalhem de forma articulada. As informações prestadas anualmente no Censo são um importante ponto de partida para o desenvolvimento da autoconsciência institucional e para a própria atividade avaliativa. (Ministério da Educação, 2004b, p. 13-14)

As informações prestadas anualmente pelas IES ao Censo dizem respeito à categoria administrativa e às formas de organização acadêmica, aos tipos de cursos de graduação existentes e suas áreas de conhecimento, às vagas oferecidas, aos candidatos que as disputam, aos ingressantes por faixa etária, aos concluintes, à qualificação dos docentes e às atividades de extensão (Ministério da Educação, 2004a). É difícil saber como tais dados, cuja natureza é estritamente informativa e preponderantemente quantitativa, poderão desenvolver a consciência institucional sobre os fundamentos da atividade de auto-avaliação. Muito pelo contrário, ao recomendar esse tipo de avaliação, o SINAES dificulta o desenvolvimento das metodologias de análise qualitativa que buscam ressaltar a efetividade dos compromissos sociais das IES. O raciocínio necessário para a auto-avaliação não é, definitivamente, o mesmo utilizado para a realização do Censo da Educação Superior, pois o próprio SINAES prescreve que as "Orientações Gerais para Avaliação Institucional não devem ser consideradas um instrumento para mera checagem ou verificação ou, simplesmente, quantificação" (Ministério da Educação, 2004b, p. 14). As IES não podem, dessa forma, realizar a auto-avaliação como se estivessem fazendo um levantamento censitário interno. O Censo deveria ser colocado como um contra-exemplo metodológico do que se deve fazer na auto-avaliação e não tido como ponto de partida do processo.

Há pontos presentes no roteiro da auto-avaliação das instituições que demonstram uma visão pouco elaborada, como quando se recomenda verificar se há "articulação entre o PDI e o Projeto Pedagógico Institucional – PPI, no que diz respeito às atividades de ensino, pesquisa e extensão, gestão acadêmica, gestão institucional e avaliação institucional" (p. 15). Isso parece subestimar a capacidade dos gestores institucionais de produzir tais documentos de forma articulada, pois mesmo que as comissões responsáveis por cada um deles sejam completamente diferentes, a CPA examinará ambos e, sem dúvida, corrigirá os erros, caso existam. Quando chegar a vez da avaliação externa, os documentos estarão de acordo um com o outro. Mesmo assim, as posteriores diretrizes e os instrumentos de avaliação externa (Ministério da Educação, 2005) consideram a articulação entre o PDI e o PPI como um indicador central dentro das dimensões do SINAES.

Há questões apresentadas no roteiro para a auto-avaliação das instituições que dão margem a várias interpretações, como: "os currículos e programas de cada curso respondem ao perfil do egresso?" (Ministério da Educação, 2004b, p. 17). Talvez se queira saber aqui se os alunos formados pela instituição dominam os conteúdos curriculares, o que corresponde a avaliar as políticas desenvolvidas pela instituição para sanar as possíveis deficiências apontadas pelo ENADE. Pode ser que se pretenda saber outra coisa, ou seja, se os currículos e programas de estudo são coerentes com o tipo de profissional que se pretende formar. Pode ser ainda que se pretenda levantar se a instituição faz adequações e atualizações curriculares em função dos resultados alcançados pelo egresso em sua vida profissional etc. O fato de haver margem para várias interpretações diferentes mostra que a questão está malformulada, além de incidir nas dificuldades teóricas do campo do currículo, aqui já apresentadas.

Há questões que ficariam melhores se visassem a escalonamentos facilitadores da análise: "a produção científica da IES é coerente com a sua missão e com os investimentos e políticas propostas para o seu desenvolvimento? E com as necessidades sociais e as exigências da ciência?" (Ministério da Educação, 2004b, p. 18). Uma melhor objetividade haveria na seguinte formulação do mesmo problema: uma vez expressa a qualidade da produção científica da IES em uma escala de cinco níveis, quais políticas existem para melhorar essa classificação, caso ela não esteja no melhor nível?

Há questões que para serem respondidas exigem estudos cuja realização somente é possível a partir de metodologias e modelos de análise complexos, como: "qual o impacto das atividades de extensão na comunidade e na formação dos estudantes?" (p. 19). Seria preciso que o SINAES indique fontes de referência sobre a análise de impacto pretendida, pois a resposta suscita interpretações subjetivas e que podem levar a posições discordantes: é claro que uma determinada IES sempre acredita no valor de suas atividades de extensão, pois caso contrário deixaria de investir nelas; já as comissões de avaliação externa podem discordar disso quando compararem essa instituição com as demais. Além da extensão universitária, há uma série de outros fatores relacionados a medidas de impacto que foram adotadas como critérios de auto-avaliação pelo SINAES, todas elas voltadas para a mensuração da importância social das ações das IES.

No tocante aos indicadores, há alguns bastante estranhos como, por exemplo, o que estabelece a relação "aluno tempo integral/professor" (p. 26). Talvez fosse mais conseqüente que as CPAs levantassem a relação alunos/professor tempo integral ou alunos/hora de trabalho do professor, que se referem a indicadores de qualidade cuja pertinência já foi apresentada aqui por ocasião da discussão dos antigos sistemas da ACE e do ENC.

No todo, falta articulação sistêmica às Orientações Gerais para o Roteiro da Auto-Avaliação das Instituições, verificando-se a necessidade da existência de uma ampla base nacional de informações, ou mesmo de relatórios mais elaborados, para que as CPAs possam comparar os dados de suas instituições com as demais. Por exemplo, no que diz respeito aos recursos institucionais para o ensino e a pesquisa, o roteiro pede que se responda: "são suficientes a infra-estrutura, as instalações e os recursos educativos? Justifique" (p. 30). Talvez a questão pudesse ser mais bem formulada da seguinte forma: qual o grau de suficiência da infra-estrutura, das instalações e dos recursos educativos em relação às demais instituições brasileiras que apresentam cursos semelhantes? Mas essa interrogação crucial não pode ser respondida objetivamente pelas instituições, pois os dados nacionais sobre as condições de oferta de cursos que interessam à auto-avaliação são inexistentes. Da mesma forma, o SINAES não indicou nenhuma literatura para subsidiar as análises, deixando esse encargo para as CPAs. No Brasil, sabe-se que ainda não há uma cultura de auto-avaliação já formada, e ela somente poderá ser construída com a ajuda de boas referências sobre o assunto. Os trabalhos produzidos a respeito da auto-avaliação em Educação são escassos, o que torna necessária uma pesquisa da bibliografia produzida em outros países. Os recursos de cada instituição em particular para um amplo levantamento de informações são limitados, de forma que se deveriam juntar esforços para produzi-las. Como o SINAES é um instrumento desenvolvido pelos órgãos políticos centrais da educação brasileira, ele deveria contemplar entre seus objetivos a organização de sistemas de informações básicas para servirem de referência geral para a auto-avaliação. Julgando-se a sistemática proposta pelo roteiro, conclui-se que provavelmente os resultados obtidos terão pouco efeito formativo sobre as instituições, a menos que o SINAES chegue a termos mais elaborados e corrija os rumos apontados pelas metodologias até agora definidas.

Outro problema que aparece diz respeito à duplicidade da função das comissões destinadas a avaliarem as instituições e os cursos, pois os dispositivos legais presentes na Portaria 2.051/04 anunciam dificuldades de interpretação a esse respeito:

As Comissões Externas de Avaliação das Instituições examinarão as seguintes informações e documentos: I – O Plano de Desenvolvimento Institucional (PDI); II – relatórios parciais e finais do processo de auto-avaliação, produzidos pela IES segundo as orientações gerais disponibilizadas pelo INEP; III – dados gerais e específicos da IES constantes do Censo da Educação Superior e do Cadastro de Instituições de Educação Superior; IV – dados sobre o desempenho dos estudantes da IES no ENADE, disponíveis no momento da avaliação; V – relatórios de avaliação dos cursos de graduação da IES produzidos pelas Comissões Externas de Avaliação de Curso, disponíveis no momento da avaliação; V – dados do Questionário Socioeconômico dos estudantes, coletados na aplicação do ENADE; VI – relatório da Comissão de Acompanhamento do Protocolo de Compromisso, quando for o caso; VII – relatórios e conceitos da CAPES para os cursos de Pós-Graduação da IES, quando houver; VIII – documentos sobre o credenciamento e o último recredenciamento da IES; IX – outros documentos julgados pertinentes. (Brasil, 2004b, Art. 15. O fato de o item V aparecer duas vezes é um erro do documento original)

Por outro lado, tem-se que:

As Comissões Externas de Avaliação de Cursos terão acesso antecipado aos dados, fornecidos em formulário eletrônico pela IES, e considerarão também os seguintes aspectos: I – o perfil do corpo docente; II – as condições das instalações físicas; III – a organização didático-pedagógica; IV – o desempenho dos estudantes da IES no ENADE; V – os dados do questionário socioeconômico preenchido pelos estudantes, disponíveis no momento da avaliação; VI – os dados atualizados do Censo da Educação Superior e do Cadastro Geral das Instituições e Cursos; e VII – outros considerados pertinentes pela CONAES. (Brasil, 2004b, Art. 20)

O PDI aparece como quesito de consideração das Comissões Externas de Avaliação das Instituições, mas não as de Cursos. No entanto, não há como uma instituição desenvolver o PDI fora do contexto dos seus cursos, pois esses são as unidades orgânicas que motivam e justificam o desenvolvimento institucional. O planejamento das ações institucionais expresso em um PDI bem elaborado, obviamente está circunscrito pela lógica de funcionamento dos cursos mantidos, o que determina a natureza do corpo docente empregado, a infra-estrutura, a organização didático-pedagógica etc. Assim, o PDI está vinculado aos cursos de graduação de uma forma necessariamente inseparável. Será necessário, portanto, que as Comissões Externas de Avaliação dos Cursos também considerassem o PDI, que para elas é um documento importante. Entretanto, isso não está prescrito na Portaria 2.051/04, a menos que se possa colocar o PDI como um dos "outros [documentos] considerados pertinentes pela CONAES", conforme estabelece o Inciso VII do Art. 20.

Os dados sobre o desempenho dos estudantes no ENADE e os dados do questionário socioeconômico são absolutamente os mesmos, tanto em se tratando dos cursos quanto da instituição como um todo, pois os estudantes são únicos. Dessa forma, tornam-se redundante que tais dados sejam examinados duas vezes. Procedimentos estatísticos corretos e aplicados a informações levantadas por meio de instrumentos adequados poderiam simplificar muito os esforços de avaliação das Comissões.

Os dados do Censo da Educação Superior, mesmo que inadequados para a caracterização de uma instituição em particular e dos seus cursos, conforme já foi aqui discutido, também serão de igual identidade para qualquer uma das comissões em questão. Conclui-se que as funções das duas comissões de avaliação externa in loco estão completamente imbricadas, de forma que poderia haver apenas uma comissão, talvez de natureza interdisciplinar, contemplando tanto os cursos quanto a instituição como um todo. Isso tornaria o processo mais rápido e, o que é mais importante, mais econômico do ponto de vista dos custos financeiros necessários para realizá-lo, problema esse que já se fez sentir em momentos anteriores e modificou os rumos das estratégias de avaliação do Ensino Superior no Brasil.

Um último aspecto a ser considerado diz respeito ao novo sistema de avaliação dos estudantes, o ENADE. O sistema anterior, representado pelo ENC – Provão, mostrou-se inadequado quanto ao seu objetivo de avaliar os cursos das instituições por meio do desempenho de seus alunos, pois sendo aplicado uma única vez no final da graduação, não conseguia mostrar os progressos de aprendizagem obtidos desde o início, sendo esse progresso, supostamente, o verdadeiro reflexo da qualidade do ensino que receberam. O ENADE, aplicado duas vezes, no início e no final da graduação, deverá corrigir essa distorção de medida. Segundo a filosofia do SINAES, se no ENC o que de fato estava sendo avaliado não era a instituição em toda a sua complexidade, mas apenas o desempenho relativo dos alunos concluintes em uma prova, com o ENADE será possível conseguir uma verificação mais fidedigna da qualidade do ensino nos cursos, obtendo-se a diferença entre os valores dos desempenhos apresentados no início e no final do processo de aprendizagem. Mesmo assim, parece que a impropriedade de se pretender avaliar a qualidade do ensino nas instituições por meio da avaliação do desempenho dos seus alunos existirá também dentro do novo sistema. Os desempenhos dos alunos continuam sendo relativos, só que agora em dois momentos distintos, nada garantindo que as diferenças apresentem valores absolutos que de fato exprimam a qualidade institucional. Os alunos que entram nas instituições mais competitivas se situam no início em posições de desempenho mais altas do que os alunos que entram nas instituições menos procuradas. No final da graduação, os primeiros deverão continuar apresentando índices de desempenho maiores que os outros, mas não se pode afirmar que a diferença entre esses índices e os anteriores meça em absoluto a qualidade de ensino que receberam. As instituições que recebem alunos mais fracos, mesmo que se empenhem em recuperar os déficits de aprendizagem existentes, terão muita dificuldade em se equiparar às instituições que recebem alunos mais fortes. A qualidade do aluno é essencialmente diferente da qualidade de ensino, mas ambas se confundem na prática. No Brasil, a elitização na Educação acontece desde o nível fundamental, produzindo alunos mais bem preparados que ingressam nas escolas superiores mais competitivas e que, portanto, são melhores, perpetuando o processo de elitização. Isso mostra que os instrumentos de avaliação da Educação Superior somente chegarão a patamares objetivos quando os vários sistemas de educação básica no país conseguirem romper as barreiras impostas pela desigualdade social.

Considerações finais

Desde os primeiros procedimentos estabelecidos no Brasil para a avaliação de cursos e instituições de Ensino Superior até hoje, pode-se dizer que houve uma evolução sistemática na consistência dos indicadores empregados. Os dados que refletem condições socioeconômicas globais exteriores aos cursos e às instituições, tais como as taxas de escolarização e de disponibilidade e utilização de vagas, deixaram de ser utilizados, pois não havia como operacionalizá-los. Houve um avanço importante na forma como se concebe a avaliação do corpo docente, não mais se utilizando apenas o IQCD como indicador de qualidade, mas se considerando dados sobre a estrutura da carreira oferecida pelas instituições, bem como a jornada e as condições de trabalho. A concepção de avaliação da organização didático-pedagógica parece ser a que menos sofreu avanços, reproduzindo um modelo em que os indicadores são passíveis de inúmeras críticas quanto à sua consistência. A medida da capacidade de acesso institucional às redes de comunicação e aos sistemas de informação, mesmo que introduzida na avaliação de forma pouco definida, subtendendo o levantamento de dados sobre equipamentos e instalações, suscita em seus desdobramentos a criação de indicadores voltados para a quantificação do tempo gasto pelo aluno para estudar utilizando os novos meios que, comparado aos meios tradicionais, exprimirá de fato a relevância da informatização do ensino. O papel da avaliação do desempenho discente entendido como indicador da qualidade institucional é polêmico e os métodos criados para realizá-lo têm-se mostrado ineficientes, quando se considera que o acesso da população ao sistema de Ensino Superior no Brasil está pautado em inegáveis princípios de desigualdade social.

Tenta-se mudar a natureza regulatória que caracteriza o processo avaliativo no Brasil, introduzindo-se procedimentos que visam ao caráter formativo, mas métodos apropriados para isso ainda não foram encontrados nem a cultura da auto-avaliação, que se faz necessária para tanto, está constituída.

Um indicador inquestionavelmente pertinente para aferir a produtividade do ensino é a medida da quantidade de alunos por hora de trabalho do professor. Teoricamente, pode-se chegar a um valor médio ideal que estabelece a relação de maior produtividade. As instituições que trabalham próximas a essa média têm obviamente um fator de qualidade a mais. Estranhamente, no entanto, esse indicador nunca foi utilizado no Brasil. O próprio MEC reconhece as falhas sistêmicas existentes no que tange à avaliação da Educação Superior brasileira e a necessidade do desenvolvimento de instrumentos que permitam entender com mais clareza a realidade existente. Além disso, uma base de dados nacional, que sistematize as informações mais importantes a partir do levantamento de todas as instituições, ainda está para ser construída.

Recebido em 24.09.05

Modificado em 21.03.06

Aprovado em 16.10.06

Carmen Lúcia Dias é doutora em Educação pela Universidade Estadual Paulista e docente do Departamento de Psicologia da Educação – UNESP-Marília.

Paulo Sergio Marchelli é doutor em Educação pela Universidade de São Paulo e docente da Universidade São Marcos.

Maria de Lourdes Horiguela é doutora em Psicologia pela Universidade de São Paulo e docente do Programa Pós-Graduação da UNESP-Marília.

• ALFAN, E.; OTHMAN, M. N. Undergraduate students' performance: the case of University of Malaya. Quality Assurance in Education, Bradford, v. 13, n. 4, p. 329-343, 2005.
• AMORIM, A. Avaliação institucional da universidade São Paulo: Cortez, 1991.
• BRAGON, R. Universidade para todos: relator amplia benefícios a particulares. Folha de S. Paulo, São Paulo, p. c5, 27 nov. 2004.
• BRASIL. Decreto n. 2.026, de 10 de outubro de 1996. Estabelece procedimentos para o processo de avaliação dos cursos e instituições de ensino superior. Diário Oficial, Poder Executivo, Brasília, DF, 11 out. 1996a. Seção I.
• ______. Lei n. 9.394, 20 de dezembro de 1996. Estabelece as Diretrizes e Bases da Educação Nacional. Diário Oficial, Brasília, n.248, p.27833-41, 1996b. Seção I.
• ______. Lei n. 10.172, de 9 de janeiro de 2001. Aprova o Plano Nacional de Educação e dá outras providências. 2001a. Disponível em: <http://www.adunesp.org.br/download/PNE%20-%20Lei%2010172-%2009-01-01.pdf>. Acesso em: 07 mar.2006.
• ______. Decreto n. 3.860, de 09 de julho de 2001. Dispõe sobre a organização do ensino superior, a avaliação de cursos e instituições, e dá outras providências. 2001b. Disponível em: <http://www.ead.ufsc.br/profor/disciplinas/textos/texto008.pdf>. Acesso em: 12 out. 2004.
• ______. Lei n. 10.861, de 14 de abril de 2004. Institui o Sistema Nacional da Avaliação Superior û SINAES e dá outras providências. 2004a. Disponível em: <http://www.mec.gov.br/legis/pdf/l10861.pdf>. Acesso em: 17 dez. 2004.
• ______. Portaria n. 2.051, de 9 de julho de 2004. Regulamenta os procedimentos de avaliação do Sistema Nacional de Avaliação da Educação Superior (SINAES), instituído na Lei n. 10.861, de 14 de abril de 2004. Diário Oficial, Poder Executivo, Brasília, n. 132, p. 12, 2004b. Seção I.
• CUNHA, L. A. Nova reforma do ensino superior: a lógica reconstruída. Cadernos de Pesquisa, São Paulo, n. 101, p. 20-49, jul. 1997.
• DIAS, C. L. Avaliação da capacitação pedagógica do docente de ensino superior através de uma escala de atitudes Marília, 2001. 262f. Tese (Doutorado em Educação). Universidade Estadual Paulista, Marília, 2001.
• ENCONTRO Internacional de Avaliação do Ensino Superior. Anais.. Brasília: MEC/SESu, 1988.
• FÉRÉZOU, J. P.; NICOLSKY, R. Excelência científica e crescimento. Folha de S. Paulo, São Paulo, p. a3, 06 set. 2004.
• GOMES, A. M. Política de avaliação da educação superior: controle e massificação. Educação e Sociedade, Campinas, v. 23, n. 80, p. 275-298, set. 2002,
• GONÇALVES FILHO, F. Enfoques avaliativos em Revista: concepções de avaliação institucional em questão. Política da Educação Superior - GT 11 Brasília: FE-UNICAMP/CAPES. 2004. Disponível em: <http://www.anped.org.br /25/posteres/franciscogoncalvesfilhop11.rtf>. Acesso em: 04 set. 2004.
• GREGO, S. M. D.; SOUZA, C. B. G. A normatização da avaliação institucional das instituições universitárias na instância federal e no governo do Estado de São Paulo e a autonomia universitária 2004. Disponível em: <http://www.anped.org.br/26/trabalhos/soniamariaduarte grego.rtf>. Acesso em: 05 set. 2004.
• HARVEY, L. A history and critique of quality evaluation in the UK. Quality Assurance in Education, Bradford, v. 13, n. 4, p. 263-276, 2005.
• IBGE Instituto Brasileiro de Geografia e Estatística. Estimativas de população Planilha do Microsoft Excel, 2001. Disponível em: <www.ibge.gov.br>. Acesso em: 07 mar. 2006.
• KOURGANOFF, W. A face oculta da universidade São Paulo: Editora da Unesp, 1990.
• LEMAITRE, M. J. Development of external quality assurance schemes: an answer to the challenges of higher education evolution. Quality in Higher Education, London/New York, v. 10, n. 2, p. 89-99, jul. 2004.
• LAMPERT, E. Avaliação do professor universitário: pressupostos técnicos e conclusões. Avaliação Educacional, São Paulo, n. 12, p. 79-94, jul./dez. 1995.
• LEITE, D. B. C. Avaliação e tensões de estado, universidade e sociedade na América Latina. Avaliação/Rede de Avaliação Institucional da Educação Superior. RAIES, ano 2, v.2, n. 1, mar. 1997.
• MINISTÉRIO DA EDUCAÇÃO. Secretaria de Ensino Superior. Comissão para a reformulação da Educação Superior. Uma nova política para a Educação Superior Brasília: MEC, 1985.
• ______. Sistema Nacional de Avaliação da Educação Superior (SINAES). Bases para uma nova proposta de avaliação da educação superior Brasília: MEC, 2003a.
• ______. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP). Diretoria de Estatísticas e Avaliação da Educação Superior. Relatório do Exame Nacional de Cursos û 2003 Brasília: MEC, 2003b.
• ______. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP). Diretoria de Estatísticas e Avaliação da Educação Superior. Resumo Técnico do Exame Nacional de Cursos û 2003 Brasília: MEC, 2003c.
• ______. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP). Diretoria de Estatísticas e Avaliação da Educação Superior. Censo da Educação Superior û 2003: resumo técnico. Brasília: MEC, 2004a.
• ______. Comissão Nacional de Avaliação da Educação Superior (CONAES). Sistema Nacional de Avaliação da Educação Superior (SINAES). Orientações gerais para o roteiro da auto-avaliação das instituições Brasília: MEC, 2004b.
• Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. Avaliação externa de instituições de Ensino Superior: diretrizes e instrumento. Brasília: MEC, 2005.
• MOK, K. The quest for world class university: Quality assurance and international benchmarking in Hong Kong. Quality Assurance in Education, Bradford, v. 13, n. 4, p. 277-304, 2005.
• MOREIRA, C. O.; HORTALE, V. A.; HARTZ, Z. A. Avaliação da pós-graduação: buscando consenso. Revista Brasileira de Pós-Graduação (RBPG), Brasília, v. 1, n. 1, p. 26-40, jul. 2004.
• MOREIRA, A. F. B. O campo do currículo no Brasil: construção no contexto da ANPED. Cadernos de Pesquisa, São Paulo, n. 117, p. 81-101, nov. 2002.
• NEIVA, C. C. Avaliação do Ensino Superior: relato de uma experiência. Brasília, nov. 1988, 17p. Documento interno da Assessoria do SESu/MEC.
• NGUYEN, D. N.; YOSHINARI, Y.; SHIGEJI, M. University education and employment in Japan: Students' perceptions on employment attributes and implications for university education. Quality Assurance in Education, Bradford, v. 13, n. 3, p. 202-218, 2005.
• RISTOFF, D. Princípios do programa de avaliação institucional. Avaliação, Campinas, v. 1, n. 1, p. 47-53, jul. 1996.
• ROMANELLI, O. L. História da Educação no Brasil (1930/1973). Petrópolis: Vozes, 1978.
• ROZSNYAI, C. A decade of accreditation in Hungary: lessons learned and future directions. Quality in Higher Education, London/New York, v. 10, n. 2, p. 129-138, jul. 2004.
• SGUISSARDI, V. Para avaliar propostas de avaliação do Ensino Superior. In: SGUISSARDI, V. (Org.). Avaliação universitária em questão: reformas do Estado e da Educação Superior. Campinas: Autores Associados, 1997. P. 41-70.
• SILVA, E. M. C.; LOURENÇO, E. B. Avaliação institucional no Brasil: contexto e perspectiva. Avaliação, Campinas, v. 3, n. 4, p. 63-73, dez. 1998.
• SOBRINHO, J. D. Avaliação institucional: marcos teóricos e políticos. Avaliação, Campinas, v.1, n.1, p.15-24, jul. 1996.
• ______. Avaliação institucional da educação superior: fontes externas e internas. Avaliação, Campinas, v. 3, n. 4, p. 29-35, dez. 1998.
• STELLA, A. External quality assurance in Indian Higher Education: developments of a decade. Quality in Higher Education, London/New York, v. 10, n. 2, p. 115-127, jul. 2004.
• STRYDOM, A. H.; STRYDOM, J. F. Establishing Quality Assurance in the South African Context. Quality in Higher Education, London/New York, v. 10, n. 2, p. 101-113, jul. 2004.

Datas de Publicação

• Publicação nesta coleção
  17 Abr 2007
• Data do Fascículo
  Dez 2006

Histórico

• Aceito
  16 Out 2006
• Recebido
  24 Set 2005
• Revisado
  21 Mar 2006