Emprego de uma abordagem multicritério para classificação do desempenho de instituições de ensino superior

Using a multicriteria approach for classifying universities' performance

Utilización de una metodología multicriterio para la clasificación del desempeño de instituciones de educación superior

Emprego de uma abordagem multicritério para classificação do desempenho de instituições de ensino superior

Using a multicriteria approach for classifying universities' performance

Utilización de una metodología multicriterio para la clasificación del desempeño de instituciones de educación superior

André Luís Policani Freitas^I; Sidilene Gonçalves Rodrigues^II; Helder Gomes Costa^III

^IDoutor em Engenharia de Produção; Chefe do Laboratório de Engenharia de Produção, Universidade Estadual do Norte Fluminense (LEPROD/UENF);.Professor do Programa de Pós-graduação em Engenharia de Produção, UENF. E-mail: [e-mail]

^IIMestre em Engenharia de Produção, UENF; Professora da Faculdade de Minas de Muriaé (FAMINAS). E- mail: [e-mail]

^IIIDoutor em Engenharia, PUC-Rio; Professor da Escola de Engenharia de Produção, Universidade Federal Fluminense. E-mail: [e-mail]

RESUMO

Desde os anos 90, o sistema universitário brasileiro tem vivenciado um grande crescimento caracterizado pelo aumento da quantidade de Instituições de Ensino Superior (IES) e também da quantidade de cursos de nível superior oferecidos por estas instituições. Neste contexto, é essencial que exista um Sistema de Avaliação da Educação Superior eficiente que seja capaz de monitorar as informações destas instituições e assegurar que a Qualidade em Educação fornecida por estas atendam os padrões recomendados. Uma das formas de obter a eficiência deste sistema consiste em avaliar continuamente o desempenho das IES à luz de vários critérios. Neste sentido, este artigo emprega uma abordagem multicritério fundamentada no emprego do método da Média Ponderada para classificar o desempenho de Instituições de Ensino Superior (IES) segundo a percepção de professores e alunos. Com o intuito de investigar o emprego desta abordagem, foi realizado um estudo de caso em uma universidade pública. Foram identificadas as fraquezas/potencialidades e os pontos críticos que devem ser priorizados em prol da melhoria da Qualidade em Educação.

Palavras-chave: Classificação multicritério. Instituições de Ensino Superior. Qualidade.

ABSTRACT

Since the 90's, the Brazilian University System has experienced a fast growth, which is characterized by the increasing quantity of Universities and University Degree Courses. In this context, it's essential that exists an efficient Education Evaluation System to monitor the information of these universities and to assure that the education quality provided by them achieve the recommended standards. One way to get the Education System efficiency is to continuously evaluate the performance of Universities concerning several criteria. Thus, this work presents a multicriteria approach based on the traditional Weighted Average method for sorting the universities performance according to professors and students points of view. In order to investigate the application of this approach, a case study was conducted in a Public university. The weaknesses/potentialities and the critical points which must be prioritized in order to improve the Education Quality were identified.

keywords: Multicriteria classification. Universities. Quality.

RESUMEN

Desde los años 90, el sistema universitario brasileño ha vivido profundamente un gran crecimiento caracterizado por el aumento de la cantidad de Instituciones de Educación Superior (IES) y también de la cantidad de cursos de nivel superior ofrecidos por estas instituciones. En este contexto, es esencial que exista un sistema eficiente de evaluación de la educación superior que permita supervisar la información de estas instituciones y asegurar que la calidad de la educación proveída alcance los padrones recomendados. Una de las formas para conseguir la eficacia de este sistema consiste en continuamente evaluar el funcionamiento de las IES en los cuales son considerados muchos criterios. En esta dirección, este artículo utiliza una metodología multicriterio embasada en el método de la Media Ponderada para clasificar el funcionamiento de las Instituciones de Educación Superior segundo la opinión de profesores y estudiantes. Con el deseo de investigar el uso de esta metodología, fue realizado un experimento en una universidad publica - el análisis de los resultados y algunas conclusiones son presentadas. Las potencialidades/debilidades y los puntos críticos que se deben dar la prioridad a favor de la mejora de la Calidad en la Educación fueran identificados.

Palabras clave: Clasificación multicriterio. Instituciones de Educación Superior. Calidad.

Introdução

Desde o início da década de 90, o sistema brasileiro de educação superior vem vivenciando um processo de expansão acelerada, caracterizado pela crescente quantidade de Instituições de Ensino Superior (IES) e de cursos de nível superior oferecidos. Neste contexto, é essencial que exista um sistema de avaliação e classificação de IES que seja capaz de assegurar que a Qualidade da Educação fornecida por estas instituições atenda aos padrões recomendados.

Entretanto, uma das mais complexas atividades consiste em como avaliar e classificar a Qualidade da Educação de forma eficiente e precisa. Em especial, estas dificuldades podem ser associadas a diversos aspectos, dentre os quais citam-se:

• envolvem não somente critérios tangíveis (atributos), mas também critérios intangíveis (subjetivos), sendo o processo de avaliação freqüentemente caracterizado por imprecisões e incertezas que são ampliadas quando múltiplos avaliadores estão envolvidos;

• envolvem técnicas convencionais de mensuração, utilizando escalas cardinais/ordinais. Segundo Tsaur, Chang, Yen (2002), existem críticas que afirmam que a pontuação (score) destas escalas não necessariamente expressam as preferências dos avaliadores. Os avaliadores têm que converter cognitivamente suas preferências em pontos, tarefa esta que pode introduzir distorções nos julgamentos;

• envolvem uma grande variedade de aspectos intrinsecamente relacionados com a natureza dos cursos oferecidos e com as questões (características) regionais de um país;

• se caracterizadam pela forte relação com fator humano (comportamento, atitudes, formação educacional, etc), o que dificulta o processo de avaliação e padronização; e

• a Educação envolvem atividades que são continuamente fornecidas, o que torna mais difícil mensurar a exata Qualidade em Educação fornecida por um determinado Curso superior/IES.

Uma das formas de atingir a eficiência de um sistema de avaliação da Educação Superior consiste em avaliar continuamente o desempenho das IES considerando a percepções de dois elementos essenciais: o corpo docente e o corpo discente. Em especial, este problema pode ser considerado como uma forma de proceder a auto-avaliação institucional, que é um dos procedimentos recomendado pelo MEC às IES, regulamentado pelo Sistema Nacional de Avaliação da Educação Superior (SINAES) (BRASIL, 2003). Por outro lado, do ponto de vista decisório, este problema pode ser considerado como um problema de classificação com múltiplos avaliadores.

Na análise dos dados coletados nos processos de avaliação institucional, o emprego de métodos fundamentados no Auxílio Multicritério à Decisão (AMD) vêm apresentando resultados satisfatórios no tratamento de problemas que envolvem múltiplos critérios, onde a subjetividade e imprecisões nos julgamentos geralmente se fazem presentes.

Os trabalhos mais recentes neste âmbito fundamentam-se no emprego de um dos métodos de auxílio à tomada de decisão mais cientificamente reconhecidos no tratamento do problema de classificação multicritério - o método ELECTRE TRI¹ (YU, 1992). Dentre estes trabalhos, citam-se: Barroso (2002), que desenvolveu uma análise multicritério para classificar o desempenho docente sob a óptica do corpo discente em IES; Ribeiro e Costa (2003), que buscou classificar uma IES sob a óptica do corpo discente; e, mais recentemente, Rodrigues (2005), que propôs uma abordagem multicritério para classificar uma IES segundo as percepções de professores e alunos de uma IES.

Entretanto, o processo de avaliação e classificação de alternativas segundo o método ELECTRE TRI requer um grande esforço cognitivo dos avaliadores/decisores que, em determinadas situações, podem não compreender precisamente a lógica e os parâmetros necessários para implementação do método.

Com o intuito de contribuir para esta questão, este artigo apresenta uma abordagem multicritério fundamentada no emprego do tradicional método da Média Ponderada (Weighted Average method) para avaliar e classificar o desempenho de Instituições de Ensino Superior (IES) segundo a percepção do corpo docente e do corpo discente. Em suma, este artigo está estruturado da seguinte forma: a seção 2 descreve o problema da classificação da Qualidade em Educação; a seção 3 apresenta a abordagem multicritério proposta; a seção 4 descreve o estudo de caso realizado com o objetivo de investigar a abordagem proposta no tratamento do problema de avaliação e classificação da Qualidade em Educação de uma universidade pública - os resultados são apresentados e comentados; e, finalmente, a seção 5 apresenta as considerações finais.

A classificação da qualidade em educação

Dado um conjunto E = {E₁, ..., E_m} de avaliadores, o problema de classificação da Qualidade em Educação pode ser introduzido como um problema decisório com múltiplos avaliadores, no qual cada avaliador E_i deve avaliar o desempenho de uma IES/curso superior à luz de um conjunto F ={g₁, ..., g_n} de critérios. Através do emprego de regras/procedimentos de atribuição, o desempenho da IES/curso superior, segundo o ponto de vista de cada avaliador, deve ser atribuído a uma das categorias de classificação pré-definidas.

As categorias de classificação podem ser representadas por símbolos (estrelas, coroas ou diamantes, que são internacionalmente utilizadas para classificar a qualidade de hotéis e restaurantes) ou por letras alfabéticas (utilizadas na qualificação de cursos de graduação e pós-graduação). A figura 1 apresenta a estrutura do problema de classificação, cujo objetivo consiste em determinar em que categoria (A, B, C, D ou E) a IES/curso superior será atribuído.

Considerando que as atividades educacionais podem ser caracterizadas como um tipo de serviço, um procedimento tradicional para classificar a Qualidade em Educação consiste em mensurar as percepções dos avaliadores (professores, estudantes, funcionários e avaliadores externos) a respeito do desempenho da IES/curso superior à luz de critérios relevantes. Entretanto, uma das maiores dificuldades encontradas pelos pesquisadores consiste em estabelecer um procedimento ou regras de decisão para lidar com a ausência de consenso entre os avaliadores/decisores.

Além disso, de acordo com o método de auxílio à tomada de decisão, o processo de avaliação pode requerer um grande esforço cognitivo dos avaliadores/decisores, pois estes precisam definir vários parâmetros, tais como: os critérios mais relevantes, os pesos (importância relativa), limites de preferência, níveis de corte, etc. (GRECO; MATARAZZO; SLOWINSKI, 2001). Este problema é frequentemente caracterizado por incertezas e hesitações, onde imprecisões e inconsistências são potencializadas quando múltiplos avaliadores/decisores estão envolvidos.

Objetivando tratar a subjetividade, imprecisão e incertezas intrínsecas aos processos decisórios, metodologias fundamentadas no Auxílio Multicritério à Decisão e teorias correlatas (conjuntos aproximativos, Lógica Nebulosa, Análise da Envoltória de Dados, etc.) têm sido desenvolvidas. Entretanto, ainda existe uma carência de metodologias que lidem com problemas decisórios envolvendo múltiplos avaliadores. Neste contexto, este artigo apresenta uma abordagem de decisão multicritério fundamentada na agregação das percepções dos avaliadores.

A abordagem proposta

A abordagem multicritério proposta fundamenta-se no tradicional método da Média Ponderada². O objetivo deste método é representar as preferências de um indivíduo em um determinado contexto por uma função valor F( ), tal que se uma alternativa X₁ é preferida a uma alternativa X₂, então F(X₁) > F(X₂). Então, o valor de uma alternativa X_p, denotada por F(X_p) é representada por:

Na equação (1), k_j é a importância (peso) de cada critério j e g_j(X_p) é o desempenho da alternativa X_p à luz do critério j, segundo as preferências³ de um indivíduo (avaliador). Essa formulação considera a captação das preferências de um único indivíduo (ou de vários indivíduos através do consenso). Entretanto, a problemática a ser tratada neste artigo é o da avaliação e classificação de alternativas (IES/cursos) à luz de múltiplos critérios, segundo a percepção de múltiplos indivíduos avaliadores (não existindo necessariamente o consenso entre estes).

Neste contexto, propõe-se uma abordagem multicritério fundamentada no método daMédia Ponderada. Segundo esta abordagem, deve-se agregar n funções critério g_j: E|—›Y_j, j =1,..., n em uma única função critério g definida em E, onde E = {E₁, E₂, ..., E_m} representa o conjunto (finito e discreto) de avaliadores que deverão avaliar ou comparar uma ou mais alternativas denotadas por X = {X₁, X₂, ..., X_r}, e Y_j, Ì R a j-ésima escala de avaliação. Nesta abordagem é proposto o emprego de três funções de agregação:

(i) Agregação das Preferências do Avaliador⁴: representa uma medida do desempenho de cada IES/curso considerando as percepções de cada avaliador E_i, à luz de todos os critérios. A importância dos critérios está incorporada nestes cálculos.

(ii) Agregação das Preferências de Multiavaliadores (monocritério)⁵: representa uma medida do desempenho de cada alternativa considerando as percepções de todos os avaliadores, à luz de cada critério j.

(iii) Agregação das Preferências de Multiavaliadores (multicritério)⁶: representa uma medida do desempenho de cada alternativa considerando as percepções de todos os avaliadores, à luz de todos os critérios.

Em problemas de classificação, tais valores podem ser utilizados como índices para determinar a que categoria uma alternativa genérica X_p será atribuída. Em geral, o procedimento de atribuição⁷ consiste na comparação dos índices de X_p (F_i(X_p), F_j(X_p), F(X_p)) com os limites inferiores e superiores que delimitam cada categoria.

Procedimentos de classificação similares são utilizados pelo método UTA (JACQUET-LAGRÈZE; SISKOS, 1982), pelo método UTADIS (ZOPOUNIDIS; DOUMPOS, 1999) e suas variações (DOUMPOS; ZOPOUNIDIS, 1998), dentre outros.

A estruturação do problema

De maneira mais sucinta, a utilização da abordagem proposta em problemas de decisão sob múltiplos critérios envolvendo múltiplos avaliadores, requer a realização das seguintes etapas:

• identificação do conjunto X = {X₁, X₂,..., X_r} de alternativas (cursos/IES) a serem avaliados;

• identificação do conjunto F = {g₁, g₂, ..., g_n} de critérios intrínsecos ao problema;

• identificação do conjunto E = {E₁, E₂, ..., E_m} de avaliadores (julgadores);

• identificação das categorias de classificação e seus respectivos limites;

• determinação das escalas de avaliação: a escala da importância dos critérios e a escala de avaliação do desempenho das alternativas à luz dos critérios;

• avaliação da importância (pesos) dos n critérios, e a avaliação do desempenho de cada alternativa em relação a cada um dos n critérios, sob o ponto de vista de cada avaliador E_i;

• para cada alternativa, agregar os julgamentos segundo as preferências dos m avaliadores (utilizando as Equações ², ³ e ⁴);

• a partir dos valores obtidos, atribuir o desempenho das alternativas a uma das categorias de classificação pré-definidas (utilizando o grupo de regras ⁵), e;

• análise dos resultados obtidos.

Um estudo de caso

Com o intuito de investigar a aplicação do modelo proposto no tratamento de problemas de classificação multicritério com múltiplos avaliadores, foi realizado um estudo de caso para classificar a Qualidade em Educação de uma universidade. As seguintes etapas foram realizadas:

• definição do conjunto de alternativas: sem perda de contexto e generalidade, neste estudo somente foram considerados o desempenho de uma universidade, denotada por X_p.

• definição do conjunto de avaliadores: foram consideradas as percepções de 36 professores e de 62 alunos dos cursos de graduação em Engenharia da universidade, constituindo portanto, dois grupos amostrais de avaliadores distintos, respectivamente denotados por P = {P₁, ..., P₃₆} e A = {A₁, ..., P₆₂}. Durante aproximadamente dois meses, professores e alunos foram convidados a preencher um formulário a fim de captar suas percepções a respeito do desempenho da universidade à luz de vários critérios;

• definição do conjunto de critérios: neste estudo foram considerados os critérios utilizados por Rodrigues (2005), definidos a partir do Manual de Avaliação Institucional do INEP (2002). Dois questionários foram elaborados com o intuito de captar as percepções de professores e alunos. Os critérios foram agrupados em três grandes Dimensões: Organização Institucional, Corpo Docente/Corpo Discente, e Instalações. Ressalta-se que os alunos avaliaram o ‘Corpo Docente' e os professores avaliaram o ‘Corpo Discente'. Sendo assim, foram considerados dois conjuntos de critérios distintos: F_P = {g₁, g₂, , g₁₆}, para avaliação da IES, segundo a percepção de uma amostra de professores, e F_A= {g₁, g₂, , g₁₅}, para avaliação da IES, segundo a percepção de uma amostra de alunos. Entretanto, por questão de limitação de espaço, no presente artigo serão apresentados os critérios que foram utilizados pelo corpo discente na avaliação da IES. No Apêndice são apresentados os critérios/itens que compuseram os questionários utilizados pelos alunos e professores na avaliação da IES.

• definição das categorias de classificação e seus limites: neste estudo cinco categorias de classificação foram consideradas, em ordem decrescente de relevância. O quadro 1 apresenta estas categorias, seus limites inferiores e superiores (definidos a partir da escala de julgamentos de valor estabelecida anteriormente) e o conceito associado a cada categoria.

• definição das escalas de julgamento de valor: com o intuito de captar as percepções de professores e alunos a respeito do Grau de Importância (GI) dos critérios e o Grau de Desempenho (GD) da universidade à luz dos critérios, foram utilizadas escalas do tipo Likert com cinco pontos, que é uma escala de valores ordinal. Apesar de uma escala ordinal não ser a mais adequada para o tratamento do problema proposto, a escala de Likert foi utilizada devido à enorme dificuldade encontrada por avaliadores em estabelecer a importância relativa entre os critérios e itens considerados (o questionário utilizado pelos discentes possui 15 critérios e 50 itens e, o questionário utilizado pelos docentes possui 16 critérios e 53 itens). Para auxiliar professores e alunos no exaustivo processo de avaliação, as escalas associaram expressões lingüísticas a valores numéricos inteiros (vide quadro 2).

• processo de avaliação: através do preenchimento de um questionário específico, cada avaliador reportou o Grau de Importância dos critérios (valores disponíveis com os autores) e a sua percepção do Grau de Desempenho da universidade à luz de cada critério. Ressalta-se que os dados representam as reais percepções de cada avaliador, pois os questionários foram preenchidos individualmente - não houve oportunidade para discussões e para a busca de consenso nos julgamentos. Portanto, não houve influência da opinião de um avaliador sobre outro. Os valores das percepções de cada avaliador podem ser obtidas junto aos autores deste artigo.

• classificação da IES, segundo a percepção do corpo discente e corpo docente: após o cálculo dos índices de desempenho da universidade de acordo com a percepção de cada aluno e emprego do procedimento de atribuição (^{Equação 2}), constatou-se que cerca de 21% dos alunos atribuíram o desempenho da universidade à categoria B, 65% à categoria C e 13% à categoria D (além disso, 2% dos alunos consideraram o desempenho da IES ‘Muito Bom' e nenhum aluno considerou a IES ‘Muito Ruim'). De maneira análoga, 3% dos professores atribuíram o desempenho da universidade à categoria B, 81% à categoria C e 17% à categoria D (não houve atribuições às categorias A e E). Neste sentido, predominantemente, segundo as duas amostras de avaliadores, o desempenho da IES foi considerado ‘Regular'. Este resultado revela a necessidade de se identificar os itens mais críticos à luz dos quais a IES deve ter o seu desempenho melhorado - procedimento que pode ser realizado através da classificação da IES à luz de cada critério/item, cujos resultados são apresentados a seguir.

• classificação da IES à luz de cada critério e à luz de cada item: o objetivo desta análise é auxiliar o decisor (administradores da universidade, coordenadores de curso, etc.) na identificação de critérios/itens em que o desempenho da universidade pode ser aperfeiçoado, a fim de que a Qualidade em Educação seja melhorada continuamente. Esta análise é a realizada a partir do emprego da ^{Equação 3} e do procedimento de atribuição, revelando o valor F_j(X_p) referente à cada critério/item e a respectiva categoria associada a este valor. Em um primeiro momento, a administração da IES deve demandar atenção especial e prioritária para os critérios mais críticos (critérios em que o desempenho da IES foi atribuído à categoria D). Neste estudo, o critério g₉ (percepção dos alunos) e os critérios g₄, g₁₀ e g₁₂ (percepção dos professores) enquadram-se nesta situação. Entretanto, outros critérios também podem ser considerados críticos, apesar do desempenho da IES ter sido atribuído à categoria C à luz destes.

De maneira complementar, este estudo utilizou a Análise dos Quartis, proposta por Freitas, Bolsanello e Carneiro (2006), para classificar a prioridade de cada critério em regiões críticas, considerando o valor de F_j(X_p). Por exemplo, critérios cujo valor de F_j(X_p) for menor que o valor do primeiro Quartil corresponderiam a 25% do total de itens, sendo estes definidos como itens de Prioridade Crítica (itens que têm prioridade crítica para realização de ações corretivas/preventivas). Os próximos itens mais críticos seriam aqueles cujo valor de F_j(X_p) estaria entre o primeiro e o segundo Quartil (itens de Alta Prioridade) e assim por diante. A classificação da prioridade dos critérios obtida a partir da percepção do corpo discente e do corpo docente é apresentada, respectivamente, nos quadros 3 e 4.

Neste sentido, os critérios considerados mais críticos pelos alunos estão associados aos serviços de manutenção nas instalações e equipamentos da IES; a implantação e consolidação de procedimentos de auto-avaliação institucional com a participação de toda a comunidade acadêmica; o acervo nas bibliotecas da universidade; e a gestão acadêmico-administrativa (existência de uma estrutura que integre toda a comunidade acadêmica). De maneira análoga, os critérios, mais críticos segundo a percepção dos professores, referem-se aos processos de autoavaliação na Universidade; às instalações, espaço físico e acervo nas bibliotecas; e aos equipamentos e mobiliário nos Laboratórios e Instalações Especiais.

Apesar dos resultados acima serem bastante úteis para o auxílio à tomada de decisões gerenciais, uma análise mais detalhada é recomendada com o intuito de identificar a contribuição de cada item pertencente a cada critério pois, eventualmente, uma dimensão pode não ter sido considerada mais crítica, porém este mesmo critério pode ter um ou mais itens em que a IES apresenta baixo desempenho. Mais especificamente, dado um certo critério, é possível que uma determinada classificação ‘Muito Ruim' em um item tenha sido compensada por uma classificação ‘Muito Boa' em outro item, o que prejudicaria a classificação de desempenho naquele critério. Assim, todos os procedimentos de agregação dos julgamentos, atribuição em categorias de classificação e Análise dos Quartis, foram estendidos ao nível de ‘Itens'. Os resultados encontram-se dispostos nos quadros 5 e 6.

É importante observar que uma análise ao nível de ‘Itens' permite identificar quais são realmente os itens mais críticos e também permite detectar itens que não seriam considerados pela análise ao nível de ‘Critérios' (por exemplo, segundo a percepção dos alunos, os itens I₂₈ e I₂₉ pertencem ao critério g₈, que não foi considerado como de ‘Prioridade crítica'). Diante dos resultados desta análise, é importante destacar que:

• as bibliotecas da universidade estão sendo reestruturadas, o acervo atualizado em variedade e quantidade de títulos, além do processo de consulta e reserva de livros e periódicos ter sido informatizado. Estas ações refletem a intenção de atender aos itens I₃₂, I₃₄ e I₃₈ (percepção discente) e I₃₇, I₃₈, I₄₀ e I₄₁ (percepção docente). Entretanto, segundo Freitas, Bolsanello e Carneiro (2006) nos últimos anos a quantidade de cursos oferecidos (e consequentemente, o número de alunos) pela IES cresceu significativamente, não tendo a quantidade de funcionários acompanhado este crescimento. Ou seja: existe uma necessidade latente de mais funcionários para que haja um bom atendimento aos usuários das bibliotecas.

• atualmente encontra-se em fase de testes o Sistema de Autoavaliação Institucional (SAI), que objetiva promover a autoavaliação institucional através da participação da comunidade universitária pela Internet. Uma vez totalmente implementado, considera-se este sistema um passo importante para a transparência na avaliação e também como importante fonte de coleta de informações para a o gerenciamento da IES e melhoria da Qualidade do Ensino.

• o gerenciamento da manutenção das instalações e dos equipamentos ainda se encontra carente de ações mais efetivas. Em especial, os equipamentos de informática são os mais prejudicados, pois há uma crescente expansão da quantidade desses equipamentos e também de usuários, que não é acompanhada pela quantidade de técnicos de manutenção e suporte.

Vale destacar que não somente os itens considerados ‘mais críticos' devem ser considerados pela instituição. A proposta de priorização dos itens mais críticos é recomendada porque, em geral, as organizações defrontam-se com a disponibilidade de recursos financeiros cada vez mais escassos para o gerenciamento e execução das suas atividades, daí a necessidade de se buscar identificar os itens considerados mais críticos. Entretanto, segundo Freitas (2004), sob o ponto de vista do gerenciamento de uma IES, uma abordagem desta natureza somente será eficaz em seus objetivos se, dentre outros aspectos:

• a direção da IES, o corpo docente e os alunos reconhecerem a importância desta abordagem, apoiarem o seu desenvolvimento e a sua implementação, buscando avaliar conscientemente os resultados obtidos. Caso contrário, os formulários poderão ser respondidos de forma displicente (obtenção de informações incompletas ou inconsistentes), os julgamentos poderão ser tendenciosos (por exemplo, docentes e discentes que não acreditam no comprometimento da IES poderão a emitir julgamentos excessivamente positivos, com receio de represálias da direção da IES), resultados negativos poderão ser utilizados com o intuito de penalizar professores, etc.; e

• existir uma comissão designada para coordenar e implementar a abordagem proposta. Em especial, é recomendável que esta equipe seja composta por pessoas pertencentes a uma Coordenação (Gerência) de Ensino e não sejam professores ou coordenadores de curso, não estando assim submetidas ao processo de avaliação em questão.

Considerações finais

A avaliação de Instituições de Ensino Superior (IES) é uma das ações desenvolvidas no Brasil pelo Ministério da Educação e Cultura (MEC) com o intuito de verificar se os cursos oferecidos por estas Instituições estão adequados aos padrões desejados. Particularmente, os modelos de avaliação têm evoluído ao longo dos anos, embora a maioria destes ainda seja criticada por parte dos especialistas em Educação e pela comunidade acadêmica/científica. Mais recentemente, as IES estão sendo motivadas a estabelecer um procedimento de autoavaliação institucional, regulamentada pelo SINAES (INEP, 2003), procedimento este que envolve julgamentos de múltiplos avaliadores acerca do desempenho da IES/curso superior à luz de múltiplos critérios.

Com o intuito de contribuir para o tratamento deste problema, este artigo apresentou uma abordagem multicritério para avaliar e classificar a Qualidade em Educação em IES, através do processo de autoavaliação, considerando as percepções de dois elementos essenciais no processo educacional: o corpo docente e o corpo discente.

Através de um estudo de caso, foi apresentado o emprego da abordagem proposta na avaliação e classificação da Qualidade em Educação de uma universidade pública, a partir das percepção de uma amostra do corpo discente (uma amostra de docentes também foi considerada no estudo, mas por limitação de espaço esta não foi apresentada neste artigo). Além dos aspectos metodológicos, alguns elementos importantes para a melhoria da Qualidade em Educação da IES foram identificados e discutidos na seção 4. Neste sentido, considera-se que o emprego de uma abordagem multicritério desta natureza representa uma das etapas fundamentais para o Gerenciamento da Qualidade em Educação de IES.

É importante ressaltar que uma abordagem multicritério desta natureza deve ser periodicamente utilizada de forma a permitir o monitoramento contínuo do desempenho da IES segundo a percepção de docentes e discentes. Uma análise mais bem estratificada poderá detectar percepções de diferentes grupos de avaliadores, como, por exemplo, professores agrupados por cursos, alunos agrupados por curso, alunos agrupados por período (nível em que o aluno se encontra no curso), etc. Vale destacar também que o período e o cenário em que a coleta de dados é realizada também podem influenciar a percepção dos avaliadores (Em especial, na ocasião da coleta de dados do estudo apresentado neste artigo, estava-se iniciando uma greve de funcionários e professores).

Finalmente, este artigo buscou fomentar a discussão em relação à modelagem e tratamento de problemas decisórios envolvendo múltiplos avaliadores e, em especial, no tratamento do problema de autoavaliação de Instituições de Ensino Superior.

YU, W. ELECTRE TRI, aspects méthodologiques et guide d'utilisation. Document du Lamsade, nº 74,Université de Paris: Dauphine. 1992.

ZOPOUNIDIS, C.; DOUMPOS, M. A multicriteria decision aid methodology for sorting decision problems: the case of financial distress. Computational Economics, n.º 14 (3), 197-218. 1999.

Recebido em: 10/06/2008

Aceito para publicação em: 20/05/2009

onde: k_ij é a importância de cada critério j, definido pelo avaliador E_i, i = 1, ..., m.g_ij(X_p) é o desempenho da alternativa X_p, definido pelo avaliador E_i segundo o critério j. É necessário que todos os critérios tenham a mesma escala de valor ou que haja um procedimento que assegure este fato.

Apêndice

Dimensões, critérios e itens utilizados na avaliação do desempenho da IES

Os Quadros A.1 e ^A.2 apresentam, respectivamente, as dimensões, critérios e itens que compuseram os formulários para avaliação do desempenho da IES segundo as percepções de uma amostra do corpo discente e de uma amostra do corpo docente. Estes Quadros também apresentam os resultados dos procedimentos de atribuição, segundo a abordagem proposta.

• BARROSO, M. F. C. M. Análise multicritério e avaliaçăo de desempenho docente sob a ótica do corpo discente em instituiçőes de ensino superior 2002. Dissertaçăo (Mestrado) - Programa de Pós-Graduaçăo em Engenharia de Produçăo, Universidade Estadual do Norte Fluminense, Campos dos Goytacazes, RJ, 2002.
• BELTON, V. Multi-criteria problem structuring and analysis in a value theory framework. In: GAL, T.; STEWART, T. J.; HANNE, T. Multicriteria decision making: advances in MCDM models, algorithms, theory, and its applications. Boston: Kluwer Academic, 1999.
• BRASIL. Ministério da educação. Sistema Nacional de Avaliação da Educação Superior (SINAES): bases para uma nova proposta de avaliação da educação superior. Brasília, DF, 2003.
• DOUMPOUS, M.; ZOPOUNIDIS, C. The use of the preference disaggregation analysis in the assessment of financial risks. Fuzzy Economic Review, Orebro,  v. 3, n.1, p. 39 - 57, 1998.
• FREITAS, A. L. P. A auto-avaliaçăo de instituiçőes de ensino superior: uma importante contribuiçăo para a gestăo educacional. Revista Iberoamericana de Educación, Madrid, ES, v.1, p. 1-15, 2004. Disponível em: <http://www.rieoei.org/deloslectores/660Policani.PDF>. Acesso em: 1 dez. 2009.
• FREITAS, A. L. P.; BOLSANELLO, F. M. C.; CARNEIRO, L. S.Emprego do SERVQUAL na avaliaçăo da qualidade de serviços de uma biblioteca universitária. In: ENCONTRO NACIONAL DE ENGENHARIA DE PRODUÇĂO, 27., 2007, Foz do Iguaçu. Anais... Foz de Iguaçu, PR, 2007. Disponível em: <http://www.abepro.org.br/biblioteca/ENEGEP2007_TR580443_9623.pdf>. Acesso em: 01 dez. 2009.
• FREITAS, A. L. P.; MANHĂES, N. R. C.; COZENDEY, M. I.Emprego do SERVQUAL na avaliaçăo da qualidade de serviços de Tecnologia da Informaçăo: uma análise experimental. In: ENCONTRO NACIONAL DE ENGENHARIA DE PRODUÇĂO, 26., 2006, Fortaleza. Anais... Fortaleza, CE, 2006. Disponível em: <http://www.abepro.org.br/biblioteca/ENEGEP2006_TR530352_7613.pdf>.  Acesso em: 01 dez. 2009.
• FREITAS, A. L. P.; RODRIGUES, S. G. Using the ELECTRE TRI method for sorting the performance of universities. In: CONGRESO LATINO-IBEROAMERICANO DE INVESTIGACIÓN OPERATIVA, 13., 2006, Montevideo. Anais... Montevideo, Uruguay, 2006.
• GOICOECHEA, A.; HANSEN, D. R.; DUCKSTEIN, L. Multiobjective decision analysis with engineering and business applications New York, USA: John Wiley & Sons, 1982.
• GRECO, S.; MATARAZZO, B.; SLOWINSKI, R. Rough sets theory for multicriteria decision analysis, European journal of operational research, v. 129, p. 1-47, 2001.
• INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANISIO TEIXEIRA (INEP). Sistema de Avaliação da Educação Superior. Diretoria de Estatísticas e Avaliação da Educação Superior (DAES). Manual de avaliação institucional:  Centros Universitários: versão preliminar. Brasília, DF, 2002. Disponível em: <http://www.abruc.org.br/sites/500/516/00000450.pdf>. Acesso em: 01 de dez. de 2009.
• JACKET-LAGRČZE, E.; SISKOS, J. Assessing a set of additive utility functions for multicriteria decision-making - the UTA method, European journal of operational research, v. 10, n. 2, p. 151 - 164, 1982.
• RIBEIRO, T. A. A. C.; COSTA, H. G. Aplicaçăo do método ELECTRE TRI ŕ classificaçăo da percepçăo do desempenho de IES por parte do corpo discente. In: ENCONTRO NACIONAL DE ENGENHARIA DE PRODUÇĂO, 23., 2003, Ouro Preto. Anais... Ouro Preto, MG, 2003.
• RODRIGUES, S. G. A estruturaçăo do processo de auto-avaliaçăo de Instituiçőes de Ensino Superior: uma contribuiçăo para a gestăo educacional. 2005. Dissertaçăo (Mestrado)-Programa de Pós-Graduaçăo em Engenharia de Produçăo, Universidade Estadual do Norte Fluminense, Campos dos Goytacazes, Rio de Janeiro, 2002.
• TSAUR, S. H.; CHANG, T.Y.; YEN, C. H. The evaluation of airline service quality by fuzzy MCDM, Tourism Management, n. 23, p. 107-115, 2002.
• VINCKE, P. L'aide multicritčre ŕ la decision Bruxelles: Editions de l'Université de Bruxelles - Editions Ellipses, 1989.
• YU, W. ELECTRE TRI : aspects méthodologiques et guide d'utilisation. Dauphine, Paris : Université de Paris, 1992. (Document du Lamsade ; n. 74).
• ZOPOUNIDIS, C.; DOUMPOS, M. A multicriteria decision aid methodology for sorting decision problems: the case of financial distress. Computational Economics, v. 14, n. 3,         p. 197-218, 1999.

1

. O método ELECTRE TRI busca simular o processo decisório segundo o pensamento humano, através de uma lógica refinada em que o avaliador/decisor deve estabelecer relações de preferências entre as alternativas, sendo necessário definir vários parâmetros, tais como: o conjunto de alternativas viáveis, o conjunto de critérios mais relevantes para a análise do problema, os pesos (importância relativa) dos critérios, limites de preferência, níveis de corte, etc.

2

. Para maiores detalhes a respeito deste método, ver Goicoechea, Hansen e Duckestein (1982) e Vincke (1989).

3

. Segundo Belton (1999, p.122), para que esta representação seja possível, as preferências do indivíduo devem satisfazer as seguintes propriedades: Transitividade: sejam três alternativas,

X

₁,

X

₂ e

X

₃. Se um decisor prefere a alternativa

X

₁ à alternativa

X

₂ e

X

₂ à

X

₃, então ele necessariamente deve preferir

X

₁ à

X

₃. Comparabilidade: dadas duas alternativas

X

₁ e

X

₂ em um determinado contexto decisório, o decisor deve ser capaz de indicar se ele prefere estritamente

X

₁ à

X

₂ (

X

₁

PX

₂, quando

F(

X

₁) >

F(

X

₂)), ou prefere estritamente

X

₂ à

X

₁ (

X

₂

PX

₁, quando

F(

X

₂) >

F(

X

₁)), ou se é indiferente entre as duas alternativas (

X

₁

IX

₂, quando

F(

X

₁) =

F(

X

₂)).

4

. A agregação das

Preferências do Avaliador é denotada por:

5

. A agregação das ‘

Preferências de Multiavaliadores é denotada por:

6

. Agregação das

Preferências de Multiavaliadores é denotada por:

7

. No procedimento de atribuição proposto, os índices

F_i(X_p),

F_j(X_p) e

F(X_p) serão comparados com limites

u

₁,

u

₂, ...,

u_k

_-1, da seguinte forma:

Datas de Publicação

• Publicação nesta coleção
  22 Fev 2010
• Data do Fascículo
  Dez 2009

Histórico

• Recebido
  10 Jun 2008
• Aceito
  20 Maio 2009