O sistema de avaliação externa dos padrões de qualidade da educação superior no Brasil: considerações sobre os indicadores

External evaluation system of quality standards in higher education in Brazil: consideration about its indicators

El sistema de evaluación externo de patrones de calidad de la educación superior en Brasil: consideraciones acerca de los indicadores

O sistema de avaliação externa dos padrões de qualidade da educação superior no Brasil: considerações sobre os indicadores

External evaluation system of quality standards in higher education in Brazil: consideration about its indicators

El sistema de evaluación externo de patrones de calidad de la educación superior en Brasil: consideraciones acerca de los indicadores

Paulo Sérgio Marchelli

Dr. em Educação, USP - Prof. da Pós-graduação da Universidade São Marcos, SP [e-mail]

RESUMO

Este trabalho aborda o Sistema Nacional de Avaliação da Educação Superior (SINAES), analisando as diretrizes conceituais e as orientações gerais utilizadas para avaliação externa. O método de análise corresponde ao estabelecimento de comparações entre o sistema adotado pelo Brasil e por outros países cujos padrões de qualidade em educação superior são internacionalmente reconhecidos. O estudo apresenta os principais conceitos em torno dos quais a literatura nacional e estrangeira estabelece os princípios da avaliação externa, particularmente a idéia da accountability ou prestação de contas e a definição de benchmarking, esta última entendida como a integração sistêmica de todas as informações levantadas pelas agências e comissões setoriais. É enfocada a estrutura da matriz das dimensões de avaliação externa do SINAES, detalhando-se os critérios utilizados para a atribuição de conceitos aos indicadores da Titulação, Regime de Trabalho e Publicações do Corpo Docente. Como principal conclusão, o estudo apresenta as razões pelas quais os referidos critérios precisam ser reconsiderados, mostrando seus pontos falhos e apontando caminhos para seu aperfeiçoamento.

Palavras-chave: Avaliação da educação superior. Indicadores de qualidade. SINAES.

ABSTRACT

This work is about the National Evaluation System of Higher Education; SINAES - as it is called in Brazil. It analyses conceptual lines of direction and the guide instructions used for external evaluation. The method of analysis is based on a setting of comparisons between the system adopted in Brazil and other countries whose standards of quality in higher education are internationally recognized. The study presents the main concepts about which national and international literature set the principles of external evaluation, particularly the idea of accountability or rendering of accounts and the definition of benchmarking, the later which is understood as the systematic integration among each and every piece of information obtained from agencies and sectional commissions. The structure of the matrix of the dimensions for the external evaluation of the National Evaluation System of Higher Education – SINAES is focused, also showing details of the used criteria for the attribution of concepts to the indicators of Titles, Working Rules and Publication of the Teaching Staff. As main conclusion, the study presents the reasons through which the related criteria need to be reconsidered by pointing out their defective points and the way to their improvement.

Keywords: Higher Education Evaluation. Quality indicators. SINAES.

RESUMEN

El articulo trata del Sistema Nacional de Evaluación de la Educación Superior (SINAES) analizando las direcciones conceptuales y las orientaciones generales empleadas para la evaluación externa. El método de análisis consiste en establecer comparaciones entre el sistema adoptado por Brasil y otros países en los cuales los patrones de calidad en la educación superior son reconocidos internacionalmente. El estudio presenta los conceptos principales encontrados en la literatura nacional y extranjera para establecer los principios de la evaluación externa, en particular la idea de accountability o la información acerca de las cuentas y la definición de benchmarking, concepto que se refiere a la integración sistémica de todas las informaciones recogidas por las agencias y comisiones sectoriales. El foco está puesto en la estructura de la matriz de las dimensiones de la evaluación externa del SINAES, buscando detallar los criterios empleados para la atribución de conceptos para indicadores como Titulación, Régimen de Trabajo y las Publicaciones de los Docentes. La presentación de las razones que apuntan la necesidad de reconsideración de los criterios estudiados es la conclusión más relevante del trabajo. El artículo muestra los errores y apunta caminos para el perfeccionamiento de los referidos criterios.

Palabras clave: Evaluación de la educación superior. Indicadores de calidad. SINAES.

Introdução

O objetivo do presente trabalho é analisar as diretrizes presentes no instrumento formulado pelo Ministério da Educação - MEC, para a avaliação externa das Instituições de Ensino Superior - IES, brasileiras, comparando essas diretrizes com as que são empregadas por países selecionados entre os que asseguraram à expansão do setor educacional em questão altos padrões de qualidade. São considerados particularmente os casos da Inglaterra e da Índia, o primeiro desses países possuindo uma longa experiência de avaliação, e o outro tendo desenvolvido seu sistema nesse campo em anos recentes. As primeiras experiências brasileiras remontam à década de 80, mas somente em 2005 é que o Sistema Nacional de Avaliação da Educação Superior - SINAES, apresentou um instrumento consolidado para a avaliação externa. A discussão realizada tem como base os pontos centrais do sistema definido pelo SINAES, apresentando elementos que pretendem contribuir para com o debate sobre a melhoria da qualidade da educação superior no Brasil.

Conceito e formas de avaliação externa

A educação superior apresentou mudanças significativas em vários países nos últimos 15 anos, podendo ser destacados os seguintes pontos que tiveram funções importantes nas transformações observadas: expansão do acesso, incremento da demanda, novas tecnologias, ampliação de fronteiras, redução dos financiamentos governamentais e renovação das formas de gerenciamento. "Um ponto sujeito a debate é o que diz respeito ao papel do controle da qualidade do ensino superior feito por meio de avaliações externas, questionando-se como estas atuam no sentido de inibir ou legitimar as mudanças" (HARVEY; NEWTON, 2004, p. 149).

No Brasil, o SINAES estabelece que a avaliação externa é um importante instrumento cognitivo, crítico e organizador, exigindo a sistematização e o inter-relacionamento de um grande conjunto de informações, obtidas por meio de dados quantitativos e juízos de valor, dizendo respeito à qualidade das práticas e da produção teórica das IES. "[...] as ações combinadas de avaliação interna e externa são processos importantes de discussão e reflexão com respeito aos grandes temas de política pedagógica, científica e tecnológica, bem como para tomadas de decisões [...]" (BRASIL, 2003, p. 78).

Considerando-se todos os países que adotaram alguma forma de avaliação da educação superior, os procedimentos existentes revelam um grande nível de diversidade quanto à metodologia utilizada, sendo as mais importantes os processos de licença para funcionamento de cursos e instituições, os exames de garantia dos padrões de qualidade, e o sistema de auditoria. Variações também podem ser vistas quanto à natureza obrigatória ou voluntária do processo de participação; quanto ao fato de a unidade de avaliação ser a instituição como um todo ou seus programas departamentais em particular; quanto ao tipo de escala em que os resultados são expressos - nenhuma escala de classificação, escalas de dois-pontos ou escala multi-pontos; e quanto à política de divulgação do resultado - confidencial ou público. Há ainda diferenças em termos do foco da avaliação estar voltado para caracterizar a eficiência dos meios que os cursos e instituições utilizam para atingir e garantir a qualidade, ou estar voltado para o aperfeiçoamento dos fins institucionais. Os agentes que realizam a avaliação externa também podem variar, havendo dois sistemas básicos: avaliação feita pelos pares ou por agentes profissionais independentes.

Apesar das variações metodológicas possíveis, todos os sistemas de avaliação da qualidade contêm os seguintes elementos comuns: têm por necessidade basear-se em critérios pré-determinados e transparentes; contemplam uma combinação de auto-avaliação com avaliação externa; divulgam publicamente os resultados, embora isso se possa se estender desde a divulgação apenas do resultado final até o relatório completo de avaliação; e asseguram a validez do resultado da avaliação por um período de tempo específico.

Enquanto no Brasil a avaliação externa é realizada por meio de um sistema central, desenvolvido e aplicado pelo MEC, na Inglaterra ela é feita por várias corporações profissionais independentes, escolhidas e pagas pelas instituições, que se valem cada uma de processos diferentes de trabalho. As universidades da Inglaterra estão entre as mais antigas do mundo, possuindo esse país grande experiência no ensino superior, de forma que o aperfeiçoamento dos meios para se atingir a excelência tem sido o foco dominante da avaliação, que passou a ser a palavra do momento, sob a bandeira da eficiência e da eficácia. O sistema educacional superior inglês não escapou da ideologia do governo implantada nos anos 80, que se ajustou para trazer forças de mercado a todos os aspectos da vida econômica, social e cultural do país, tentando privatizar os serviços públicos sempre que possível. Atualmente, "mais de 100 corporações profissionais ou de regulação [professional or regulatory bodies - PRBs] estão envolvidas em fornecer o monitoramento de cursos para as universidades inglesas, diretamente ou por meio da delegação de responsabilidade" (HARVEY, 2005, p. 263).

Em setembro de 1994, a Índia criou o Conselho Nacional de Avaliação e Credenciamento – National Assessment and Accreditation Council - NAAC, resultando de políticas estabelecidas desde a década de 80, destinando-se a avaliar e credenciar as instituições de educação superior representadas pelas universidades e faculdades, em função da qualidade de ensino que oferecem. "Embora a experiência de acreditação no país possua pouco mais de dez anos, o controle da qualidade é feito há cerca de 150 anos, aparecendo como um legado da colonização britânica" (STELLA, 2004, p. 115). Na Índia independente, há vários regulamentos e requisitos mínimos para a criação de estabelecimentos da educação superior, estando sua expansão bem definida.

Destaca-se o fato de a Índia ser o segundo maior sistema de educação superior de todo o mundo, cuja inspeção e certificação são realizadas por corporações de profissionais especializados, associando o processo formativo e o de regulação. Em 2004, a Índia contava com 322 instituições universitárias e mais de 14.000 faculdades, havendo nelas 8 milhões de estudantes matriculados em tempo integral. Para um sistema tão grande e diverso, desenvolver um mecanismo nacional de garantia da qualidade e manter o processo operacional de avaliação em funcionamento, foram tarefas formidáveis. Assim, a metodologia de avaliação externa – external quality assurance (EQA) – adotada pela Índia tem-se mostrado aceitável para o seu complexo sistema de educação superior, podendo a experiência ali realizada fornecer uma excelente lição aos países que aspiram a desenvolver ou aperfeiçoar seus próprios mecanismos.

A exemplar superação indiana da dependência internacional no campo econômico levou o país a implantar um sistema de avaliação cujo objetivo foi libertar a educação superior dos processos impostos pelo regime colonialista britânico, a que durante muitos anos esteve sujeita. A Índia está conseguindo resolver problemas que, de certa forma, são muito semelhantes aos que o Brasil também possui, lembrando que, neste último, o recente pagamento da dívida externa remanescente representou um marco importante em direção à sua autonomia no âmbito do capitalismo internacional, estando ainda para ser superada a influência que os processos de condução da educação superior receberam dos Estados Unidos nos anos de maior dependência econômica.

Uma diferença importante entre o sistema indiano e o inglês está na unidade de avaliação: enquanto no primeiro o modelo oficial é avaliar as instituições como um todo, no outro o princípio é avaliar os programas departamentais, considerados de forma autônoma dentro da estrutura institucional. Na Índia, há um grande número de instituições pequenas, de forma que a unidade mais óbvia de avaliação é a instituição. "Com mais de 14.000 instituições de educação superior no país, a acreditação de cada departamento implica que haveria um número de unidades de avaliação ao menos dez vezes superior" (STELLA, 2004, p. 118-119). A natureza do processo de participação no sistema também é diferente: enquanto que na Índia a participação é voluntária, na Inglaterra ela é obrigatória, havendo nessa última um movimento político crescente para que a monitoração da qualidade resulte na introdução de sistemas formais fora do controle das universidades e dos corpos profissionais, que geralmente são constituídos por pessoas ligadas à educação superior.

O aspecto das escalas utilizadas para atribuição de conceitos constitui um ponto que estabelece diferenças essenciais entre os diversos sistemas de avaliação externa que hoje estão sendo praticados no mundo, de forma que as dificuldades enfrentadas pela Índia a esse respeito e as soluções por ela encontradas são um bom exemplo para realizar a discussão sobre o problema do estabelecimento dos quantificadores de qualidade. Na Índia, como no Brasil, adota-se uma escala de dois-pontos (credenciado / não-credenciado), o que simplifica e facilita o controle governamental sobre os resultados da avaliação. No entanto, ambos os países se valem também das escalas multipontos para estabelecerem as diferenças de qualidade entre as instituições. No padrão inicial provindo do ranking do NAAC indiano, eram utilizadas as notas A, B, C, D e E: enquanto a nota A representava uma instituição excelente, B denotava uma boa instituição e C uma instituição média. As notas D e E descredenciavam as instituições que as obtivessem, de forma que essas não poderiam mais abrir novos cursos. Na cultura indiana, no entanto, criou-se o estigma de associar às notas B e C o rótulo de baixa qualidade, apesar do credenciamento que elas garantiam, de forma que a maioria das instituições assim classificadas não conseguiu reagir e desenvolver seu auto-aperfeiçoamento, que é o objetivo principal da avaliação. Depois de pesar as vantagens e desvantagens de outros sistemas, o NAAC decidiu que uma nota A seria atribuída a todas as instituições credenciadas, associando-se a ela um número de estrelas de um a cinco, para denotar a qualidade. Então, a nota A***** significava a maior qualidade possível, atribuída quando a instituição obtinha 75 pontos ou mais em uma escala de 0 a 100. A nota A* era atribuída às instituições que obtivessem de 55 a 60 pontos na escala de qualidade. Mas logo surgiram críticas a essa nova forma de pontuação, pois na prática as estrelas apenas reproduziam o modelo anterior, de forma que, depois de muita discussão, em 15 de março de 2002, o NAAC implantou uma escala de nove pontos, combinando letras e sinais de adição: 55-60 = C, 60-65 = C+, 65-70 = C= ++, 70-75 B, ..., 95-100 = A++. Essa grade desfez o estigma negativo causado pelas escalas de 5 pontos, e as instituições com classificações mais baixas começaram a reagir melhor à idéia de auto-aperfeiçoamento, tão importante ao sistema de avaliação.

No Brasil, o problema das escalas de valor utilizadas pela avaliação externa ainda não surgiu na prática, pois o sistema que as define é novo, tendo sido apresentado pela Comissão Nacional de Avaliação da Educação Superior - CONAES, apenas recentemente (BRASIL, 2005). A seção que será aqui apresentada mais adiante sobre as escalas de atribuição de conceitos pelo SINAES trará à tona problemas que, teoricamente, irão exigir no futuro mudanças com relação aos indicadores. A CONAES ainda não divulgou nenhuma lista que tenha sido produzida segundo seus critérios, pelo fato de que, nesse momento, o sistema se encontra em fase inicial de implantação. "Portanto, é muito provável que o modelo de avaliação proposto pelo SINAES venha a experimentar adaptações, alterações e aperfeiçoamentos ao longo de sua futura implantação" (MACEDO et al., 2005, p. 134).

Tomando o caso de um país da América Latina diferente do Brasil, no Chile, em 1998, o Ministério da Educação estabeleceu a Comisión Nacional de Acreditación de Pregrado (CNAP), "adotando mecanismos que envolvem um processo compulsório de licença para as novas instituições de educação superior, e um programa voluntário de acreditação institucional" (LEMAITRE, 2004, p. 91). A acreditação voluntária conta com a participação dos recursos administrativos e de ensino das próprias universidades, associações profissionais e empregadores ou usuários dos serviços dos graduados em cada campo específico. O sistema chileno se aproxima daquele em uso no Brasil pelo fato de que em ambos os países a licença governamental para o funcionamento de novas IES passa por uma avaliação obrigatória. Porém, no Brasil todas as demais formas de avaliação são também obrigatórias, diferentemente da acreditação voluntária estabelecida pelo Chile. Diante disso, pode-se dizer que, no Brasil, os processos de autorização, reconhecimento, credenciamento e recredenciamento são os mesmos que o processo de acreditação, todos sujeitos a um único tipo de orientação geral.

De qualquer forma, o Brasil conta hoje com um sistema bem elaborado para a avaliação externa das instituições de educação superior, mesmo que esse sistema seja suscetível de reformulações e que o país não disponha ainda de políticas destinadas a delegar a responsabilidade da aplicação dos instrumentos avaliativos a outras corporações que não sejam apenas as comissões do próprio MEC. Conforme se tem verificado em inúmeros outros países, a diversidade dos meios de realização da avaliação promove o aperfeiçoamento dos instrumentos adotados, pois estes passam por um crivo crítico independente da suscetibilidade ética dos avaliadores, decorrente de suas vinculações políticas. Serpa, Penna Firme e Letichevsky (2005) avaliam as implicações para o processo avaliativo dos conflitos freqüentemente encontrados pelos profissionais de avaliação que atuam no contexto brasileiro. Segundo os autores, o principal desafio está no descumprimento dos princípios éticos que guiam uma verdadeira avaliação e qualificam as interações entre todos os atores de um contexto político complexo, no qual: "(a) o reconhecimento e a regularização da profissão de avaliador deixam muito a desejar; (b) uma sólida associação profissional de avaliadores está ainda por ser constituída; e (c) temos precária orientação prática para prestar esclarecimento aos atores no processo avaliativo" (SERPA; PENNA FIRME; LETICHEVSKY, 2005, p. 105-106). Pode-se concluir, portanto, que o Brasil ainda carece de uma política para a formação de verdadeiros avaliadores profissionais, que, organizados em corporações setoriais específicas, serão capazes de fazer avançar os padrões de qualidade do complexo sistema de educação superior existente.

Prestação de contas e sistemas de informações da educação superior

A palavra inglesa accountability não possui uma tradução precisa para o português, significando, de forma abrangente, a ação de prestação de contas realizada pelos gestores da administração pública (CAMPOS, 1990). Tal significado diz respeito às respostas dos cidadãos que exercem funções públicas em relação ao que pensam os cidadãos comuns, supondo a existência e o funcionamento de mecanismos institucionais que levam os primeiros a serem chamados à fala sobre o cumprimento de suas responsabilidades básicas, quando isso se apresentar como necessário. Dessa forma, o termo accountability se aplica aos agentes da gestão pública, representando a sua responsabilidade e obrigação de esclarecer a sociedade sobre suas ações, quando para isso forem solicitados.

Para Harvey e Newton (2004), a accountability tem sido o fundamento racional dominante para justificar a introdução da avaliação dos padrões de qualidade na educação superior, pressionando os agentes públicos e privados responsáveis pelos investimentos no setor. Nos países que têm tradição consolidada com relação à autonomia universitária, baseando-se mais nas forças de mercado do que na tutela governamental, como no caso da Inglaterra, há uma crescente demanda pelo aprimoramento dos mecanismos da accountability. Por outro lado, nos países em que a educação superior possui maior dependência do governo, como na Europa continental, a accountability é o preço do aumento da autonomia. Outro fator de pressão decorre dos próprios estudantes, pois a avaliação permite que eles possam comparar os serviços recebidos quanto à qualidade de ensino, facilidade de estudo, suporte de aprendizagem, igualdade de oportunidades, etc. "A avaliação pode ser usada para monitorar se os estudantes estão recebendo um nível aceitável de serviços" (HARVEY; NEWTON, 2004, p. 151).

Um dos mais importantes propósitos da accountability é a geração de informações públicas sobre os padrões de qualidade dos cursos e instituições. Essas informações são utilizadas pelos agentes responsáveis para tomar decisões sobre financiamentos e pelos setores de recrutamento dos graduados para o mercado de trabalho, entre outros atores. A melhor forma de organizar os dados sobre a educação superior está associada ao conceito de benchmarking, palavra inglesa que se refere aos sistemas computacionais de informações, destinados a "estabelecer pontos de referências externas para julgar os padrões de qualidade em educação superior, a partir de uma integração sistêmica das políticas das agências de avaliação" (HARGREAVES; CHISTOU, 2002, p. 187). Os autores analisam o benchmark da Sheffield Hallam University (SHU), da Inglaterra, mostrando de que forma ele foi constituído para ser utilizado na avaliação dos padrões de qualidade institucional. Como muitas outras instituições, a SHU alinhou seu sistema de avaliação interna com os requisitos gerais de uma Quality Assurance Agency (QAA) inglesa. Uma estrutura tecnológica de apoio foi criada para administrar o aumento dos padrões de qualidade institucional, a Quality Standards Management and Enhancement (QSME) Framework, que integrou os dados referentes a todos os níveis acadêmicos e administrativos da instituição em um único sistema central. Com o desenvolvimento e a implementação desse sistema, a SHU agora pode contar com um programa específico de avaliação interna, integrado aos requisitos das QAA's inglesas. As informações desse benchmark são também importantes para o processo de avaliação externa, passando a ser utilizadas pelos avaliadores. "O benchmark é um guia para os examinadores, que incluem as informações nela explicitadas em seus relatórios, desenvolvendo uma análise integrada que abrevia o processo de avaliação" (HARGREAVES; CHISTOU, 2002, p. 188).

No Brasil, os pressupostos do SINAES passam, sem dúvida, pela idéia do benchmark institucional, mas ainda não há referências sobre sistemas desenvolvidos pelas instituições segundo o conceito de administração do controle da qualidade que o benchmarking pressupõe. As informações que interessam aos processos de avaliação disponibilizadas publicamente pelas IES brasileiras, em geral aparecem de forma dispersa nos veículos que elas utilizam para se comunicar com o público, faltando a sua sistematização sob a forma de um banco de dados organizado, de fácil acesso e consulta. Por outro lado, a accountability centralizada nos órgãos do governo com que o Brasil opera a avaliação externa, levou os sistemas de informações do MEC e do Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira - INEP, a desempenharem o papel de um grande e único benchmark nacional. É possível que, em breve, corporações típicas de uma QAA independente comecem a surgir no cenário brasileiro, principalmente quando se leva em conta o compromisso assumido pelo país de realizar, até o ano de 2010, uma grande expansão do seu sistema de educação superior. Essa expansão deverá exigir uma estrutura avaliativa externa de tal monta e agilidade, que dificilmente o trabalho centralizado apenas pelo MEC poderá dar conta, de forma que a solução mais racional será a de operar com a delegação de responsabilidade a terceiros.

Uma IES brasileira que se mostrou bastante avançada em relação aos princípios de integração dos dados institucionais foi estudada por Segenreich (2005), apresentando no Plano de Desenvolvimento Institucional - PDI, estratégias específicas para o levantamento das informações solicitadas pelo MEC. Foram definidas 76 unidades de informação na instituição, que forneceram os indicadores para a composição dos relatórios analíticos do PDI, de forma a "aproveitar os dados existentes na universidade, montando-se novos quadros e tabelas, na medida do necessário, para que se pudessem avaliar, no documento construído, a suficiência e pertinência desses dados" (SEGENREICH, 2005, p. 162). O sistema de informações gerado por essa instituição se encontra em constante processo de aperfeiçoamento, o que a levará em breve a poder disponibilizar seus dados segundo a racionalidade e facilidade da idéia de benchmarking.

Em 1997, a Fundação Européia para o Desenvolvimento da Administração - European Foundation for Management Development (EFMD), lançou o Sistema Europeu de Melhoria da Qualidade - European Quality Improvement System (EQUIS), voltado especialmente para as instituições superiores que fornecem ensino na área de administração. "O objetivo principal do sistema EQUIS é prover a melhoria da qualidade em toda a Europa de um instrumento de comparação e de um permanente benchmarking" (PROITZ; BJORN; HARVEY, 2004, p. 738). Os autores esclarecem que uma auditoria não é a mesma coisa que um processo de acreditação. Enquanto o propósito da primeira está muito mais voltado para o aperfeiçoamento institucional, o propósito do último relaciona-se à accountabilily e ao controle. Conseqüentemente, as instituições que optam pelo sistema EQUIS podem decidir se elas querem passar pelo processo de acreditação ou pela orientação de como melhorar a qualidade, essa última obtida pelo processo de auditoria. A principal diferença entre os dois procedimentos é que somente o processo de acreditação conduz à outorga do Rótulo de Qualidade Européia - European Quality Label. Para isso, o sistema EQUIS é oferecido às instituições que voluntariamente decidem se submeter ao processo de acreditação, decorrente de uma iniciativa que elas próprias tomaram.

O propósito do processo de auditoria realizado pelo sistema EQUIS é testar a performance institucional à luz dos padrões internacionais e decidir como implementar esforços futuros de aperfeiçoamento. No Brasil, ainda não há princípios específicos de auditoria externa sendo adotados pelas IES, prevalecendo apenas o rótulo de qualidade outorgado pelo MEC, quando uma instituição é credenciada ou recredenciada e um programa é autorizado, reconhecido ou recredenciado. Da mesma forma como o MEC poderá vir futuramente a delegar responsabilidades a terceiros nos processos de avaliação externa, é muito provável também que, diante da expansão da educação superior que o Brasil planeja realizar nos próximos anos, sistemas de auditoria independentes do MEC ou por esse autorizados comecem a ser adotados de forma voluntária pelas IES, visando, com isso, a fazer avançar o aperfeiçoamento institucional, a exemplo do que tem acontecido em inúmeros outros países.

O papel dos indicadores na avaliação da qualidade

Na arena da educação superior, há uma grande variedade de atores (stakeholders) que inclui estudantes, professores, corpo administrativo acadêmico e não-acadêmico, setores governamentais, agências de financiamento, mantenedores, avaliadores, auditores, assessores e prestadores de serviços específicos. O compromisso institucional com os padrões de qualidade envolve a habilidade de estabelecer uma contínua melhoria do papel desses atores, visando a atingir metas de aperfeiçoamento que podem ser expressas por meio de um sistema racional de valores quantitativos, denominados indicadores de desempenho (performance indicators - PIs). Os PIs possuem um papel importante na avaliação externa do funcionamento das organizações e de suas unidades constituintes, caracterizando-se como prioritários enquanto ferramentas para o controle da qualidade. (TAM, 2001; NGWARE; NDIRANGU, 2005).

Porém, deve-se levar em conta que os PIs não constituem a última instância a ser considerada, pois a complexidade do processo de ensino e as experiências de aprendizagem dos estudantes não podem ser capturadas unicamente por um conjunto de medidas objetivas que usa números e escores. Dessa forma, a utilidade dos indicadores de desempenho como instrumentos centrais para o controle da qualidade é bastante questionável, mas pela sua objetividade e precisão, eles têm um papel de destaque no conjunto dos procedimentos adotados.

Segundo Tam (2001), os PIs permitem que a avaliação da educação superior possa ser realizada por meio de uma comparação entre as performances exibidas pelas instituições. Entre as muitas características associadas aos PIs, o autor destaca as seguintes: têm uma função de monitoramento definida por itens de informação que podem ser coletados em intervalos regulares para rastreamento da performance institucional ao longo do tempo; são usualmente expressos por valores quantitativos, que priorizam a objetividade e facilitam as comparações; são facilmente traduzidos em entradas para processamentos informatizados; e, medem objetivos particulares de áreas relevantes da estrutura institucional.

Os PIs tiveram sua origem na indústria manufatureira, destinando-se a obter medidas sobre a produtividade em termos de variáveis correspondentes à entrada de matéria-prima e à saída de produtos acabados. Colocados no contexto universitário, os PIs examinam as relações entre as saídas que as instituições precisam alcançar sob a forma de produtos educacionais tangíveis, em função das entradas realizadas em seu sistema funcional. Apesar da promessa de que "os PIs permitem realizar a accountability da educação superior por meio de um grande benchmark interinstitucional" (TAM, 2001, p. 50), cada instituição apresenta saídas diferentes, tornando difícil e até mesmo impossível sua avaliação em termos puramente quantitativos. No entanto, os indicadores de desempenho constituem pontos fundamentais nos sistemas de avaliação externa vigentes.

Ngware e Ndirangu (2005) argumentam que nos países desenvolvidos, especialmente nos EUA e na Europa Ocidental, as taxas de formação e empregabilidade dos graduados, bem como a produtividade da pesquisa acadêmica, exemplos clássicos de PIs, são utilizadas para medir a eficiência institucional, e conseqüentemente definir os recursos financeiros cedidos pelos governos. Os autores classificam os PIs em duas categorias: indicadores institucionais administrativos - representados pelas medida do regime de trabalho, número de matrículas e dados financeiros; e, indicadores de ensino/aprendizagem e pesquisa - representados pelos "exames dos estudantes para verificar o resultado do processo de ensino, testes de atitude, análise das publicações e citações do corpo docente, revisão pelos pares dos projetos de pesquisa e avaliação de outros produtos acabados" (NGWARE; NDIRANGU, 2005, p. 184).

No Brasil, o sistema de avaliação externa implantado pelo SINAES vale-se de uma ampla gama de PIs, que são referidos pelo nome geral de indicadores, ordenados dentro de dez categorias analíticas distintas denominadas dimensões, por meio das quais se procura construir uma estrutura orgânica que abrange todas as atividades finalísticas e todos os procedimentos organizativos e operacionais das instituições (BRASIL, 2005). Dessa forma, as dimensões são agrupamentos de grandes traços ou características sobre os quais se emite juízo de valor para exprimir a totalidade da qualidade institucional. A estas são atribuídos pesos relativos à sua importância diante dos objetivos regulatórios e formativos assumidos pelo processo de avaliação, conforme destacado no quadro 1.

Cada dimensão apresenta indicadores organizados em grupos segundo a idéia de atribuir um conceito específico para cada elemento que evidencia o padrão de qualidade institucional. Os grupos agregam as características comuns para reunir os indicadores de forma lógica. Cada indicador exprime um aspecto ou uma característica específica da instituição, que podem ser observados, medidos, qualificados ou analisados. Alguns indicadores são considerados imprescindíveis pelo SINAES, ou seja, representam condições obrigatórias definidas pela legislação em vigor para o acesso e a permanência da instituição no sistema de ensino superior. A determinados indicadores é atribuída a condição NSA (não se aplica), ou seja, eles são opcionais para os Centros Universitários e as Faculdades, de forma a assegurar suas garantias de funcionamento em face da legislação. Os quadros 2 e 3 apresentam respectivamente os grupos e os indicadores de qualidade das dimensões 2 e 5, que possuem os maiores pesos relativos de todo o sistema.

A soma dos conceitos atribuídos aos indicadores de cada quadro irá constituir um conceito final para a dimensão correspondente. De acordo com a legislação brasileira, a avaliação de cursos, instituições e estudantes da educação superior deve adotar a escala de conceitos de 1 a 5, estabelecendo a seguinte classificação: conceitos 1 e 2 - situação ou desempenho fracos; conceito 3 - mínimo aceitável; conceitos 4 e 5 - situação ou desempenho fortes. Os conceitos devem explicitar elementos que além de estarem presentes na realidade do cotidiano das IES, exprimam também se há intencionalidade, direcionamento e compartilhamento que demonstrem a existência de uma construção coletiva e de uma progressiva institucionalização do conjunto de projetos e práticas constitutivas da identidade institucional. Para tanto, cabe ao avaliador externo observar os seguintes aspectos: "freqüência e intensidade de práticas e políticas acadêmicas; institucionalização decorrente da interação entre políticas e práticas institucionais; participação e apropriação pelos atores (internos e externos) das políticas e de seus resultados" (BRASIL, 2005, p. 24).

Considerando esses aspectos, o SINAES estabeleceu uma diretriz geral de atribuição de conceitos aos indicadores de qualidade, conforme o quadro 4 apresenta.

O conceito final atribuído a cada uma das dimensões é calculado em duas etapas: 1) cálculo automático da média aritmética dos conceitos pertinentes àquela dimensão, feito por programa de computador; 2) transformação da média aritmética em um conceito na escala do SINAES através de aproximações realizadas com a interferência dos avaliadores. Essa interferência ocorre quando a média aritmética dos indicadores se encontra em pontos intermediários entre dois valores inteiros (decimais 0,4 e 0,7), de forma a minimizar erros de aproximação feitos pelos programas computacionais e melhorar a qualidade do processo de atribuição de conceitos. A transformação da média aritmética dos indicadores em conceitos é realizada segundo a matriz de associação apresentada no quadro 5.

A atribuição do conceito final da avaliação externa para as IES, também em escala de 1 a 5, resulta da média ponderada das médias aritméticas, segundo os pesos das dimensões descritos no quadro 1. A transformação da média ponderada em conceitos ocorre através de aproximações realizadas com a interferência dos avaliadores, que utilizam a Matriz de Associação descrita no quadro 5. O resultado final da avaliação externa exprime os princípios consignados pelos seus indicadores de qualidade, descritos no quadro 4. Após a atribuição do conceito global que define a avaliação final, o avaliador deve apresentar uma análise geral e conclusiva, tendo como objetivos a identificação das potencialidades e fragilidades da instituição avaliada e a proposição de recomendações com vistas à melhoria da sua qualidade.

Considerações sobre o aprimoramento do cálculo dos conceitos do SINAES

O SINAES apresenta aos avaliadores externos um sistema de cálculo automático com vistas à atribuição de conceitos para três indicadores importantes da Dimensão 5, correspondentes à Titulação, ao Regime de Trabalho e às Publicações do corpo docente (BRASIL, 2005, p. 82-98). O cálculo proposto, no entanto, pode ser facilmente questionado quanto à precisão dos resultados que ele produz, conforme se verá na discussão apresentada nos itens a seguir enumerados.

1) Titulação

A titulação do corpo docente é um indicador imprescindível para universidades e centros universitários, sendo calculado a partir da fórmula abaixo transcrita que define o parâmetro MT, correspondente a um tipo de média ponderada que envolve o número de doutores, mestres, especialistas e graduados, atribuindo-se a cada categoria um peso que define graus de importância distintos aos títulos correspondentes.

, onde: P_E é o peso da especialização - 10; N_E é o número de docentes com especialização; P_M é o peso do mestrado - 30; N_M é o número de docentes com mestrado; P_D é o peso do doutorado - 60; N_D é o número de docentes com doutorado; D é o total dos docentes da instituição (graduados + especialistas + mestres + doutores).

Considerando-se a exigência mínima para a titulação do corpo docente, a fórmula é aplicada para estabelecer as faixas de valores dos conceitos do indicador, conforme a matriz de associação apresentada no quadro 6.

Diante dos dados sobre o corpo docente da instituição, o avaliador externo calcula o valor do parâmetro MT pela fórmula, e atribui um conceito final para a titulação, conforme as faixas desta matriz de associação. O fato de se estar trabalhando com faixas de valores baseadas em exigências mínimas para a titulação do corpo docente, torna justificável que um mesmo conceito possa ser atribuído a instituições com diferentes proporções de doutores, mestres, especialistas e graduados em seus quadros. No entanto, o processo de cálculo deveria apresentar uma maior consistência em relação a tais proporções, pois suponha uma instituição genérica em que todos os docentes tenham o título de mestre, condição em que as variáveis da fórmula para o cálculo de MT valeriam: N_E = 0, N_M = D, N_D = 0.

Logo: = 30, de forma que pela matriz de associação, o conceito da titulação dessa instituição seria igual a 5.

Suponha, agora, outra instituição em que todos os docentes sejam doutores. Tem-se: N_E = 0, N_M = 0, N_D = D.

Logo: = 60, de forma que o conceito da titulação para essa instituição, a exemplo da anterior, também seria igual a 5.

Diante desses resultados, pergunta-se: O conceito do indicador que exprime a titulação para uma IES em que todos os docentes de seu quadro são doutores, não deveria ser maior do que no caso de todos os docentes serem somente mestres? É razoável supor que a resposta seja sim, mas, por outro lado, pode-se justificar o fato de o conceito ser o mesmo porque o cálculo se baseia em exigências mínimas para a titulação. Na legislação brasileira, a exigência para centros universitários é possuir percentual mínimo de 20% do corpo docente com titulação acadêmica de mestrado ou de doutorado. No caso das universidades essa exigência corresponde a um terço.

Suponha, então, que uma instituição genérica apresente em seu quadro docente exatamente um terço de mestres, sendo o restante formado por especialistas. Nesse caso, tem-se: .

Logo:

Portanto, pela matriz de associação, o conceito dessa instituição para a titulação seria igual a 3 se ela fosse uma universidade e igual a 4 se ela fosse um centro universitário.

Suponha, agora, outra instituição genérica em que seu quadro docente seja formado por exatamente um terço de doutores, sendo o restante de especialistas. Nesse caso, tem-se:

Logo:

Portanto, o conceito dessa instituição para a titulação seria igual a 5 tanto se ela fosse uma universidade quanto um centro universitário.

Ora, à vista desses exemplos, vê-se que a proporção da titulação dentro da exigência mínima não constitui um critério preciso, pois, quando todos os docentes são mestres ou todos são doutores, o conceito é o mesmo tanto para as universidades quanto para os centros universitários; porém, quando sem variar o número de especialistas, o quadro docente passa de um terço de mestres para um terço de doutores, há uma diferença de um ponto na escala conceitual entre ambas as categorias administrativas. Pode-se concluir que o cálculo proposto pelo SINAES precisa ser revisto, para contemplar esta e outras situações que suscitam resultados questionáveis à atribuição de conceitos para a titulação do corpo docente.

2) Regime de trabalho

O regime de trabalho também é um indicador imprescindível para universidades e centros universitários, sendo calculado pelo SINAES a partir da fórmula abaixo transcrita, definindo o parâmetro RT correspondente a um tipo de média ponderada que envolve o número de docentes nos regimes integral, parcial e horista, atribuindo-se a cada categoria um peso que define graus de importância distintos.

, onde: P_I é o pe-so do regime integral - 60; N_I é o número de docentes em regime integral; P_P é o peso do regime parcial - 30; N_P é o número de docentes em regime parcial; P_H é o peso do regime horista - 10; N_H é o número de docentes em regime horista; D é o número de docentes da instituição.

Diante dos dados institucionais, o avaliador externo utiliza a fórmula e chega a um valor que deverá ser convertido no indicador do regime de trabalho da instituição, conforme as faixas de valores da matriz de associação apresentada no quadro 7.

Os problemas que decorrem do processo de cálculo para o indicador regime de trabalho são semelhantes aos já mostrados no caso da titulação. Suponha uma instituição genérica em que todos os docentes trabalhem em regime integral, condição em que as variáveis da fórmula para o cálculo de RT valem: N_I = D, N_P = 0, N_H = 0.

Logo: = 60, de forma que, pela matriz de associação, o conceito da titulação dessa instituição seria igual a 5, seja ela uma universidade, um centro universitário ou uma faculdade.

Suponha, agora, outra instituição genérica em que apenas a metade de seu corpo docente trabalha em regime integral, encontrando-se as outras duas categorias divididas em um quarto cada uma. Nessas condições, o valor do parâmetro RT será o seguinte:

= 40, de forma que, pela matriz de associação, o conceito do indicador para o regime de trabalho dessa instituição também seria igual a 5, qualquer que seja sua categoria administrativa.

Diante desses resultados, pergunta-se: O conceito do indicador que exprime o regime de trabalho para uma IES em que todos os docentes se encontram em período integral, não deveria ser maior do que no caso de haver apenas a metade nessa condição, estando a outra metade dividida igualmente entre as demais categorias possíveis? A resposta mais razoável deveria ser positiva, mas novamente surge o argumento de que na legislação brasileira há uma exigência mínima relacionada ao regime de trabalho, o que justificaria o fato de instituições bastante diferentes nesse quesito poderem receber o mesmo conceito. Porém, mantendo-se proporções próximas das classes de regime de trabalho, verifica-se que a atribuição dos conceitos pode variar bastante. Assim, por exemplo, fazendo-se o cálculo para instituições em que metade menos 1 do corpo docente trabalha em regime integral e a metade mais 1 em regime horista, chega-se a conceitos iguais a 1 para as universidades, 2 para os centros universitários e 3 para as faculdades. Já no caso do cálculo feito acima para a metade do corpo docente trabalhando em regime integral, um quarto como parcial e um quarto como horista, chega-se a um conceito igual a 5 para todas as categorias administrativas. Como se vê, a redução de apenas um quarto no número de docentes horistas, transformando-os em regime parcial, sem alterar quase praticamente nada do regime de carga integral, faz uma diferença enorme nesse caso. Assim, conclui-se que o cálculo proposto pelo SINAES para o indicador do regime de trabalho precisa ser revisto, evitando as dificuldades aqui levantadas.

3) Publicações e produções do corpo docente

Mesmo que não seja considerado um indicador imprescindível para os cursos de graduação de que trata o SINAES, as publicações e produções abrangem uma extensa quantidade de itens importantíssimos para as instituições, pois correspondem aos produtos finais acabados, decorrentes da atividade científica, técnica e artística que subsidia o processo didático-pedagógico. A fórmula a seguir transcrita estabelece para esse indicador um parâmetro N, correspondente a um tipo de média ponderada do número de artigos científicos, livros e capítulos, trabalhos completos e resumos em anais, projetos técnicos e produções artísticas, segundo pesos que definem graus relativos de importância para cada categoria.

onde: P_A é o peso atribuído aos artigos dos periódicos científicos indexados - 30; n_a é o número de artigos publicados pelo corpo docente nos últimos três anos em periódicos científicos indexados; P_L é o peso atribuído aos livros ou capítulos de livros - 20; n_l é o número de livros ou capítulos publicados pelo corpo docente nos últimos três anos; P_T é o peso atribuído aos trabalhos publicados em anais - 10; n_t é o número de trabalhos publicados em anais pelo corpo docente nos últimos três anos; P_R é o peso atribuído aos resumos publicados em anais - 05; n_r é o número de resumos publicados em anais pelo corpo docente nos últimos três anos; P_PI é o peso atribuído às propriedades intelectuais depositadas ou registradas - 15; n_pi é o número de propriedades intelectuais depositadas ou registradas pelo corpo docente nos últimos três anos; P_PT é o peso atribuído aos projetos ou produções artísticas, técnicas, culturais ou científicas - 10; n_pt é o número de projetos ou produções artísticas, técnicas, culturais e científicas do corpo docente da instituição nos últimos três anos; P_DP é o peso atribuído às produções didático-pedagógicas relevantes - 10; n_dp é o número de produções didático-pedagógicas relevantes do corpo docente nos últimos três anos; D é o número total de docentes da instituição.

Partindo da média aritmética dos pesos de cada um dos tipos de publicações e produções, o SINAES estabelece as faixas para esse indicador conforme os valores de N mostrados na matriz de associação do quadro 8.

Entre os sistemas de cálculo de conceitos aqui analisados, o indicador das publicações e produções do corpo docente é o mais consistente, de forma que as faixas da sua matriz de associação não fornecem resultados tão facilmente questionáveis, como se apresentou no caso dos dois indicadores anteriores. Porém, não se pode deixar de considerar a diferença entre os padrões de qualidade dos veículos de publicação ou dos meios de divulgação da produção docente, o que não é contemplado pelo sistema de cálculo proposto pelo SINAES. Para efeito da avaliação no âmbito da pós-graduação no Brasil foi desenvolvido o sistema Qualis, resultado do processo de classificação dos periódicos científicos, tanto do país quanto estrangeiros, utilizados pelos programas de pós-graduação para a divulgação da produção intelectual de seus docentes e alunos. Os periódicos são classificados dentro das áreas de conhecimento em três categorias baseadas nos critérios pertinentes à abrangência de sua circulação: Local, Nacional e Internacional. Dentro de cada categoria de circulação há três níveis de qualidade, designadas pelas letras A, B e C, de forma a estabelecer uma escala de 9 pontos que vai desde o nível Local C para os periódicos de menor qualidade até o nível Internacional A para os de maior prestígio acadêmico. Com isso, o sistema de avaliação da pós-graduação elimina as ambigüidades que ocorrem no que toca à qualidade do material publicado nos periódicos científicos pelos professores e alunos. No sistema de cálculo do SINAES, pode ocorrer que uma instituição cujos docentes publicaram nos últimos três anos em periódicos de circulação local, mas em maior quantidade, receba um conceito maior do que outra instituição cujos docentes publicaram, no mesmo período, em quantidade um pouco menor, porém em revistas de nível internacional. Assim, o SINAES poderá em breve adotar a escala Qualis de nove pontos já existente, aperfeiçoando o seu sistema de cálculo.

Considerações finais

A avaliação externa da educação superior no Brasil alcançou, nos últimos anos, níveis de excelência semelhantes aos verificados nos países que apresentam graus elevados da accountability no setor. As informações provindas desses países mostram que a expansão quantitativa desse nível de ensino foi realizada mediante um rígido e sistemático controle dos padrões de qualidade, obedecendo a processos de avaliação sujeitos a constantes aperfeiçoamentos. As diretrizes e as orientações gerais patrocinadas pelo SINAES, mesmo que se destaquem mais pelos seus avanços do que pelos problemas que eventualmente se traduzem em defeitos, encontram-se em alguns pontos necessitando de melhoramentos, já previstos pelo próprio SINAES e também pela literatura especializada. Os problemas de natureza política aqui levantados sobre a excessiva centralização do sistema brasileiro nos órgãos governamentais, bem como aqueles de natureza técnica sobre o cálculo para atribuição de conceitos aos indicadores da titulação, carreira e produção docentes, são exemplos pontuais dessa necessidade de aperfeiçoamento. A exemplo dos outros países, é totalmente possível que o benchmarking dos dados sobre os indicadores levantados pelo SINAES permita comparar, de maneira mais coerente, os resultados dos padrões de qualidade encontrados, evitando que os cálculos baseados em fórmulas que simplificam demais o processo de atribuição de conceitos não consigam exprimir objetivamente as melhorias implementadas pelas IES.

Recebido em: 16/05/2006

Aceito para publicação em: 26/07/07

• BRASIL. Ministério da Educação. Comissão Nacional de Avaliação da Educação Superior. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. Avaliação externa de instituições de educação superior: diretrizes e Instrumento. Brasília, DF, 2005.
• ______. Ministério da Educação. Comissão Nacional de Avaliação da Educação Superior. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. Roteiro de auto-avaliação institucional: orientações gerais. Brasília, DF, 2004.
• ______. Ministério da Educação. Sistema Nacional de Avaliação da Educação Superior (SINAES): bases para uma nova proposta de avaliação da educação superior. Brasília, DF, 2003.
• CAMPOS, A. M. Accountability: quando poderemos traduzi-la para o português?. Revista de Administração Pública, Rio de Janeiro, v. 24, n. 2, p. 30-50, fev./abr. 1990.
• HARGREAVES, J.; CHRISTOU, A. An institutional perspective on QAA subject benchmarking. Quality Assurance in Education, Bradford, v. 10, n. 3, p. 187-191, 2002.
• HARVEY, L. A history and critique of quality evaluation in the UK. Quality Assurance in Education, Bradford, v. 13, n. 4, p. 263-276, 2005.
• HARVEY, L.; NEWTON, J. Transforming quality evaluation. Quality in Higher Education, London, v. 10, n. 2, p. 149-165, jul. 2004.
• JAGADEESH, R. Assuring quality in management education: the Indian context. Quality Assurance in Education, Bradford, v. 8, n. 3, p. 110-119, 2000.
• LEMAITRE, M. J. Development of external quality assurance schemes: an answer to the challenges of higher education evolution. Quality in Higher Education, London, v. 10, n. 2, 2004, p. 89-99, jul. 2004.
• MACEDO, A. R. et al. Educação superior no século XXI e a reforma universitária brasileira. Ensaio: avaliação e políticas públicas em educação, Rio de Janeiro, v. 13, n. 47, p. 127-148, abr./jun. 2005.
• NGWARE, M. W.; NDIRANGU, M. An improvement in instructional quality: can evaluation of teaching effectiveness make a difference?. Quality Assurance in Education, Bradford, v. 13, n. 3, p. 183-201, 2005.
• PROITZ, T. S.; BJORN, S.; HARVEY, L. Acreditation, standards and diversity: an analysis of EQUIS accreditation reports. Assessment e Evaluation in Higher Education, v. 29, n. 6, p. 735-750, dez. 2004.
• RODGERS T.; GHOSH, D. Measuring the determinants of quality in UK higher education: a multinomial logit approach. Quality Assurance in Education, Bradford, v. 9, n. 3, p. 121-126, 2001.
• SEGENREICH, S. C. D. O PDI como referente para avaliação de instituições de educação superior: lições de uma experiência. Ensaio: avaliação e políticas públicas em Educação, Rio de Janeiro, v. 13, n. 47, p. 149-168, abr./jun. 2005.
• SERPA, C. A.; PENNA FIRME, T.; LETICHEVSKY, A. C. Ethical issues of evaluation practice within the brazilian political context. Ensaio: avaliação e políticas públicas em Educação, Rio de Janeiro, v. 13, n. 46, p.105-114, jan./mar. 2005.
• STELLA, A. External quality assurance in Indian higher education: developments of a decade. Quality in Higher Education, London, v. 10. n. 2, p. 115-127, jul. 2004.
• TAM, M. Measuring quality and performance in higher education. Quality in Higher Education, London, v. 7. n. 1, p. 47-54, jan. 2001.

Datas de Publicação

• Publicação nesta coleção
  12 Dez 2007
• Data do Fascículo
  Set 2007

Histórico

• Recebido
  16 Maio 2006
• Aceito
  07 Jul 2007