Visão multicritério da avaliação de programas de pós-graduação pela CAPES: o caso da área engenharia III baseado no ELECTRE II e MAUT

Multicriteria view of evaluate the postgraduate courses by CAPES: the case of III engineering area based by maut and electre II methods

Visão multicritério da avaliação de programas de pós-graduação pela CAPES: o caso da área engenharia III baseado no ELECTRE II e MAUT

Multicriteria view of evaluate the postgraduate courses by CAPES - the case of III engineering area based by maut and electre II methods

Caroline Maria Guerra de Miranda; Adiel Teixeira de Almeida

Universidade Federal de Pernambuco, UFPE, C.P. 7462, CEP 50630-970, Recife, PE, e-mails: [e-mail] e [e-mail]

RESUMO

O objetivo deste trabalho é avaliar o uso de decisão multicritério para apoiar a avaliação dos programas de pós-graduação. Esta avaliação é efetuada pela CAPES para a classificação dos programas em cinco categorias (conceitos de 1 a 5). Os métodos MAUT e ELECTRE II foram aplicados aos dados coletados pela CAPES no triênio 1998/2000, dos cursos de pós-graduação da área Engenharia III. É apresentada uma comparação entre os resultados encontrados pelos métodos multicritérios e a avaliação da CAPES no período citado, propondo novas formas de tratar o problema.

Palavras-chave: avaliação pós-graduação, multicritério, ELECTRE II, MAUT.

ABSTRACT

This work deals with the model building of multicriteria decision aid in order to evaluate the postgraduate courses in Brazil. A study case is concentrated in a particular committee of CAPES, so called the III Engineering area. These models are based on the evaluation methodology adopted by the CAPES. This methodology has the objective of making comparative analysis of the postgraduate programs of the III Engineering area during 1998-2000 term. This analysis has been conducted supported by MAUT and ELECTRE II methods, incorporating criteria utilised by the CAPES in order to generate a postgraduate programmes sorting.

Key words: evaluate the postgraduate, multicriteria, ELECTRE II, MAUT.

1. Introdução

A Fundação de Coordenação de Aperfeiçoamento de Pessoal de Ensino Superior (CAPES), ligada ao Ministério da Educação do Governo Brasileiro (MEC), é o órgão que define as diretrizes de abertura, funcionamento e avaliação dos cursos de pós-graduação no Brasil.

A importância de ter um sistema de avaliação dos programas de pós-graduação no Brasil está relacionada a vários fatores. Dentre os mais relevantes está a busca permanente da elevação dos padrões de qualidade desse nível de ensino. Entretanto, destacam-se os seguintes fatores (CAPES, 2001e):

• Manter um sistema capaz de impulsionar a evolução de toda a pós-graduação por meio de metas e desafios que expressem os avanços da ciência e tecnologia e o aumento da competência nacional nesse campo.

• Fomentar estudos e atividades que, direta ou indiretamente, contribuam para o desenvolvimento e consolidação das instituições de ensino superior.

• Manter intercâmbio e contato com outros órgãos da Administração Pública ou entidades privadas nacionais e internacionais, visando à celebração de convênios, acordos, contratos e ajustes relativos à consecução de seus objetivos.

• Manter um sistema de avaliação de cursos reconhecido e utilizado por outras instituições nacionais e internacionais, capaz de apoiar o processo de desenvolvimento científico e tecnológico nacional.

Este trabalho apresenta modelos de decisão multicritério para apoiar a avaliação dos cursos de pós-graduação strictu sensu do Brasil, mais especificamente na área Engenharias III, que é composta pelos cursos: Engenharia Aeronáutica, Mecânica, Naval, Oceânica, Petróleo e Produção do País.

Esses modelos são baseados na metodologia de avaliação adotada pela CAPES. O objetivo do modelo é apoiar a avaliação dos programas de pós-graduação incorporando os aspectos utilizados pela CAPES para a geração de uma primeira classificação em cinco categorias (conceitos de 1 a 5).

2. O processo de avaliação da CAPES

A seguir é apresentado o procedimento usado pela CAPES para avaliar os programas de pós-graduação do País no período 1998/2000, destacando aspectos específicos da área Engenharias III, como: critérios de avaliação (quesitos na terminologia da CAPES), seus pesos e forma de obtenção do conceito final do programa.

O processo de avaliação da CAPES caracteriza-se por atribuir conceitos entre 1 e 7 aos programas de pós-graduação. O programa com nível de avaliação igual ou superior a 3 tem seus diplomas validados e reconhecidos nacionalmente. O programa que oferece apenas o mestrado tem seu nível limitado a 5, ficando os níveis 6 e 7 reservados para os doutorados de referencial internacional. Este processo está dividido em duas etapas principais: primeiro, os programas são classificados em cinco categorias (conceitos de 1 a 5). Posteriormente, aqueles que foram classificados com nível 5 podem participar de uma segunda classificação em função de seu desempenho diferenciado quanto à produção científica, cultural e artística, além de características que os tornam competidores em plano internacional. Este artigo dará ênfase à análise da primeira etapa.

2.1 Avaliação

A CAPES realiza periodicamente uma avaliação dos programas de pós-graduação do País (mestrado e doutorado). Esse sistema de avaliação permite comparar o nível das atividades de pesquisa entre os programas nacionais e internacionais. A cada três anos esses conceitos são reavaliados e então é atribuído um novo conceito, que pode aumentar, manter-se ou diminuir.

O processo de avaliação dos programas de pós-graduação da área Engenharias III, para o triênio 1998/2000, foi dividido em duas etapas temporais.

Na primeira etapa, foram consolidados os resultados das avaliações continuadas de 1998 e 1999. Na segunda, os relatórios referentes a 2000 foram analisados de acordo com a mesma metodologia utilizada nas avaliações continuadas, e os resultados foram consolidados em uma visão única de avaliação trienal para cada curso. Essa visão da avaliação engloba seis critérios de análise: corpo docente, atividade de pesquisa, atividade de formação, teses e dissertações, corpo discente e produção intelectual.

Na avaliação trienal, para cada critério, essa visão representa a média das atribuições concedidas nas três avaliações pelas quais o programa passou. Na seqüência, fez-se a atribuição dos conceitos de acordo com os resultados da visão trienal de cada programa, que foi analisado quanto ao seu desempenho nos seis critérios de análise, atribuindo-se conceitos entre 1 e 5 (CAPES, 2001a).

O processo de avaliação anual dos programas (avaliação continuada) consta de três etapas fundamentais (CAPES, 2000b; CAPES, 2001a):

a) Levantamento dos índices de desempenho de cada programa

A comissão de avaliadores é dividida em grupos de dois, organizados de acordo com os critérios de avaliação, responsabilizando-se pela avaliação de todos os programas da área quanto a esses critérios. Cada equipe realiza a análise individualizada de cada um dos seis critérios.

Em seguida, inicia-se o levantamento dos índices de desempenho relevantes de cada critério, de acordo com as normas praticadas pelas Engenharias III. Posteriormente, é realizado um exame quali e quantitativo dos itens, fornecendo ao critério um conceito dentro da escala:

D – Deficiente; F – Fraco; R – Regular; B – Bom e MB – Muito Bom.

Ao final dessa etapa, realiza-se a avaliação por critério de cada programa, quando os resultados são consolidados em uma visão única de avaliação anual, sendo distribuídos entre os membros da comissão para uma avaliação.

b) Apreciação das avaliações dos programas

Distribuídas as avaliações com a visão única dos programas entre os membros da comissão, cada um avalia seu pacote de programas e troca-o com seu colega de equipe. Assim, cada programa é avaliado individualmente por uma dupla de assessores.

c) Consolidação dos julgamentos

As apreciações e os relatos individuais de cada um dos dois membros da equipe são confrontados, redigindo-se conjuntamente uma apreciação final para o programa com os resultados colocados em um documento único. Em um segundo momento, as equipes relatam aos demais avaliadores suas apreciações para que sejam discutidas e, de forma consensual, os pareceres finais são enfim consolidados e emitidos.

2.2 Critérios de avaliação

Os dados constantes deste trabalho referem-se aos programas de pós-graduação da área Engenharias III. O mecanismo de avaliação da CAPES, nessa área, leva em consideração seis critérios fundamentais. Cada um desses critérios é subdividido em subcritérios consolidados por todos os aspectos levados em consideração nos procedimentos adotados pela avaliação (CAPES, 2001a; CAPES, 2001b). As Tabelas 1 e 2 apresentam, respectivamente, os critérios de avaliação e uma breve descrição dos subcritérios com seus respectivos pesos.

Por meio dos índices retirados dos relatórios de cada programa, avalia-se cada um desses subcritérios de forma quali ou quantitativa. São atribuídos conceitos que variam entre Deficiente, Fraco, Regular, Bom e Muito Bom. Cada um desses subcritérios associados aos seis critérios de avaliação (CAPES, 2000a, 2001d).

O algoritmo utilizado para a obtenção da avaliação dos subcritérios e a relação entre os valores numéricos e os conceitos (MB, B, R, F e D) constam na Tabela 3.

A obtenção da avaliação de cada critério é uma função aditiva dos aspectos que o compõem (subcritérios), cujos pesos são bem definidos. Assim, o processo de avaliação consiste em ponderar os subcritérios dentro de cada critério, e os totais de cada critério são novamente ponderados, obtendo-se a avaliação global do programa (conceitos MB, B, R, F, D). Com base na avaliação global, chega-se aos níveis (conceito final) de 1 a 5 (CAPES, 2001a).

2.3 Síntese do resultado da avaliação da CAPES por critério

A comissão da CAPES, tendo realizado uma primeira avaliação sobre os dados fornecidos por programa, compôs uma tabela a partir dos itens avaliados de forma quali e quantitativa, resultando nos conceitos de cada um dos seis critérios para cada programa de pós-graduação: corpo docente (CD), atividade de pesquisa (AP), atividade de formação (AF), corpo discente (CA), teses e dissertações (TD) e produção intelectual (PI). A tabela encontra-se em ^anexo (^{Tabela I}) (CAPES, 2001c).

Os cursos UNICAMP/SP – Petróleo, UNICAMP/SP – Qualidade, CEFET/PR – Mecânica e UFSC/SC – Produção foram retirados da análise por falta de dados.

3. Métodos multicritério de apoio à decisão

O escopo deste trabalho é fazer uma análise do processo de avaliação da CAPES sob a ótica do apoio à decisão multicritério. Essa área do conhecimento possui amplo conjunto de ferramentas cujo objetivo é auxiliar um indivíduo ou grupo de pessoas (decisor) no desenvolvimento de um processo de decisão.

Quando modelamos um problema de decisão multicritério, várias problemáticas (ou formulação de problemas) podem ser consideradas. Roy (1996) distinguiu quatro problemáticas básicas: escolha, classificação, ordenação e descrição.

Dado um conjunto de alternativas A, a problemática de escolha, ou seleção (P.a), consiste na escolha de um subconjunto A' Ì A, tão pequeno quanto possível, composto de alternativas julgadas como as mais satisfatórias. Problemas de otimização são casos particulares da problemática de escolha, em que A' fica restrito a uma única alternativa.

A problemática de classificação (P.b) consiste em formular o problema de decisão de tal forma que distribua cada alternativa de A para uma categoria predefinida. A distribuição de uma alternativa a para sua categoria apropriada é devida ao valor real intrínseco de a (e não da comparação de a com outras alternativas de A).

A problemática de ordenação (P.g) consiste em estabelecer uma ordem de preferência (que pode ser parcial ou completa) no conjunto de alternativas A. Por fim, a problemática de descrição (P.d) descreve ações formal e sistematicamente, com suas conseqüências em termos de qualidade e quantidade, ou propõe uma metodologia baseada no procedimento cognitivo, que pode ser usada repetidamente.

São encontrados na literatura vários métodos multicritério de apoio à decisão. Segundo Vincke (1992), esse campo de estudo possui duas linhas de pensamentos principais: a Escola Francesa, em que o método mais citado é o ELECTRE e a Escola Americana, em que foi idealizado o MAUT.

3.1 Teoria da utilidade multiatributo

A teoria da utilidade multiatributo (multiple attribute utility function – MAUT) foi idealizada pela Escola Americana e baseia-se nos conceitos de modelagem de preferência tradicional, admitindo apenas duas situações: preferência estrita (P) e indiferença (I), ambas transitivas. É construída uma função utilidade de agregação U(g₁, ..., g_i, ..., g_n), que estabelece uma pré-ordem completa, agregando os critérios g_j (j = 1, ..., n) em um critério único de síntese, explicitando as preferências do decisor.

U(g_j) = U(g₁,..., g_j,..., g_n) = f[u(g₁),...,u (g_j),...,u(g_n )]

Na teoria da utilidade multiatributo, admite-se que cada alternativa decisória resulte em conseqüências que são avaliadas pelo decisor, de acordo com cada critério. O modelo das preferências é feito por meio da construção das funções utilidade U(g_i) (função utilidade de cada critério). Essa função representa o desejo do decisor, associando um valor aos prêmios que ele poderá obter.

Para um mesmo problema pode-se adotar diferentes decisões por pessoa, conforme sua disposição em assumir riscos. Essas pessoas poderiam ser classificadas em três categorias em função dessa disposição: avesso ao risco, propenso ao risco e neutro ao risco (Raiffa, 1970).

Quando há incerteza nos problemas de decisão, é possível associar a cada alternativa diferentes conseqüências e suas probabilidades, inserindo no modelo uma etapa de modelagem probabilística, em complemento à modelagem de preferências do decisor. Nesse caso, as alternativas são avaliadas pela utilidade esperada (Gomes et al., 2002; Almeida & Costa, 2003).

A teoria da utilidade multiatributo envolve a junção dos vários pontos de vista (critérios) considerados em uma única função de síntese (critério único de síntese). Assim, o objetivo é encontrar a forma da função utilidade multiatributo que represente as preferências do decisor de acordo com os pontos de vista considerados. A forma da função utilidade depende das condições de independência dos critérios. Consoante às condições de independência, a função pode ser bastante simplificada. Essas condições são: independência em utilidade e independência aditiva.

No caso geral, um atributo Y, em que Y Ì X, é independente em utilidade de seu completo , se a ordem de preferência para loterias envolvendo apenas mudanças no nível de Y não depender do nível no qual os atributos Y são fixados (Keeney & Raiffa, 1976).

Os atributos X = {X₁, X₂, X₃, ..., X_n} são independentes aditivamente se as preferências sobre loterias dependem apenas das probabilidades marginais dos atributos X₁, X₂, X₃, ..., X_n, mas não da probabilidade conjunta desses atributos (Keeney & Raiffa, 1976).

Quando houver a independência aditiva entre dois atributos, a função utilidade pode adquirir a forma de uma função aditiva. Ela permite adicionar as contribuições dos dois atributos, encontrando mais facilmente a utilidade total u(y,z). Nesse caso, a condição de independência aditiva não permite que haja nenhuma interação entre os critérios (Keeney & Raiffa, 1976).

A função aditiva tem a forma:

3.2 Métodos de sobreclassificação

Os métodos de sobreclassificação fundamentam-se na construção de uma relação de sobreclassificação que incorpora as preferências estabelecidas pelo decisor diante dos problemas e das alternativas disponíveis. Segundo Roy (1974), a relação de sobreclassificação S é binária, definida em A, tal que aSb, se a é pelo menos tão boa quanto b. Essa relação não exige a transitividade.

Dentre os métodos de sobreclassificação, destacam-se os métodos da família ELECTRE (elimination and choice translating algorithm), também denominados métodos de subordinação (termo em inglês: outranking), composta pelos métodos ELECTRE I, II, III, IV, IS e TRI.

O ELECTRE I é destinado a problemas que envolvem seleção (escolha P.a). É um método que busca eliminar alternativas superadas de acordo com um conjunto de pesos atribuídos pelo decisor a cada objetivo do problema. O ELECTRE I busca reduzir o conjunto de ações A (alternativas) para o menor possível, por meio de índices de concordância e discordância que medem a vantagem e a desvantagem relativa par a par entre as alternativas (Olson, 1996).

O ELECTRE II busca ordenar um conjunto de alternativas da melhor para pior, sendo desenvolvido para resolver problemas de ordenação (P.b). São utilizados os conceitos de concordância e discordância para ordenar o conjunto de alternativas. A ordenação é encontrada por meio de duas pré-ordens construídas a partir das relações de sobreclassificação forte e fraca.

O índice de concordância C(a,b) representa a proporção de peso para que a alternativa a seja preferível a b, sendo calculado pela fórmula 2, e o índice de discordância D(a,b) mede a desvantagem relativa entre as duas alternativas a e b, sendo definido como a máxima razão para cada uma e pode ser calculado pela fórmula 3.

São utilizados limiares de concordância e discordância forte e fraco: c1, c2 e d1, d2, respectivamente, para encontrar as relações de sobreclassificação forte S_F e fraca S_f. Essa relação é calculada pelas fórmulas 4 e 5.

Construído o modelo e encontradas as relações de sobreclassificação, passa-se à etapa de investigação: ordenação das alternativas da melhor para a pior.

Os métodos ELECTRE I e ELECTRE II envolvem apenas critérios verdade. Com o desenvolvimento de novos tipos de modelagem de preferências, foram construídos os métodos ELECTRE III, IV, IS e TRI, que inserem em sua estrutura modelagens de preferências mais refinadas (Vincke, 1992; Roy, 1978).

O ELECTRE III tem por objetivo ordenar as alternativas da melhor para a pior. Porém, esse método envolve famílias de pseudocritérios na modelagem, ou seja, são inseridos limiares de preferência e indiferença. Vincke (1992) afirma que a peculiaridade do ELECTRE III está em sua relação de sobreclassificação valorada, cuja propriedade, com respeito a uma relação ordinária, é menos sensível às variações dos dados e aos parâmetros do problema.

O objetivo do ELECTRE IV é ordenar as ações sem introduzir qualquer ponderação nos critérios, ou seja, admite-se que não haja informação suficiente ou perfeita a respeito das importâncias relativas entre os critérios (Vincke, 1992). Trata de problemas que são modelados por uma família de pseudocritérios.

O ELECTRE IS é uma generalização do ELECTRE I, sendo usado para casos de seleção, que permite utilizar pseudocritérios na modelagem de preferências.

O ELECTRE TRI é um método multicritério de classificação, isto é, aloca alternativas em categorias predefinidas (P.b). A alocação de uma alternativa a resulta da comparação de a com perfis definidos de limites das categorias (Mousseau et al., 2001; Yu, 1992). Trata de problemas que são modelados por uma família de pseudocritérios, na qual os limiares de preferência e indiferença p_j(b_h) e q_j(b_h) constituem as informações intracritérios. Assim, q_j(b_h) especifica a maior diferença g_j(a) – g_j(b_h), que preserva a indiferença entre a e b_h no critério g_j, e p_j(b_h) representa a menor diferença g_j(a) – g_j(b_h), compatível com uma preferência de a no critério g_j. São encontradas na literatura diversas aplicações do ELECTRE TRI, como: aplicação em recursos hídricos, tratamento de esgoto, agricultura, irrigação, sistemas de informação geográfico, entre outros (Raju et al., 2000; Joerin et al., 2001; Dias & Climaco, 2000). Em outro trabalho (Miranda & Almeida, 2003) foi efetuado um estudo de avaliação dos programas de pós-graduação da área Engenharias III, como problemática de classificação (P.b), aplicando o ELECTRE TRI.

4. Aplicação do método ELECTRE II sobre os dados da CAPES no período 1998/2000

É apresentada a aplicação do método de sobreclassificação ELECTRE II para classificação dos programas de pós-graduação da área Engenharias III em cinco níveis (conceitos de 1 a 5), correspondente à primeira fase de avaliação da CAPES. É importante ressaltar que, deste ponto em diante, os programas foram rotulados por letras do alfabeto de A a YY, representando cada um dos programas sob avaliação.

Para aplicação do método ELECTRE II foi necessário converter a escala verbal utilizada pela CAPES em uma escala numérica. Os valores atribuídos a cada conceito verbal constam na Tabela 4.

A aplicação do método ELECTRE II, nesse caso, consiste em ordenar as alternativas (programas de pós-graduação) para posteriormente classificá-las dentro das cinco categorias utilizadas pela CAPES (conceitos de 1 a 5). Dada a ordenação, essa classificação pode ser feita pela determinação de limites para essas categorias. Entretanto, vale destacar que essa etapa final de classificação é informal e não está inserida no método.

Os parâmetros usados no modelo foram:

• Limiar de concordância:

sobreclassificação forte: c1 = 0,7

sobreclassificação fraca: c2 = 0,5

• Limiar de discordância:

sobreclassificação forte: d1 = 0,3

sobreclassificação fraca: d2 = 0,5

Os valores dos limiares de concordância e discordância c e d foram estabelecidos de forma a encontrar uma ordenação dos programas compatível com os conceitos atribuídos pela CAPES.

Analisando o limiar de discordância, como este pode ser interpretado como um veto, seu valor foi definido de maneira que, dadas duas alternativas a e b, a não sobreclassifica b se em pelo menos um dos critérios:

• a = regular e b = muito bom (0,75 – 0,25 = 0,5) e/ou

• a = fraco e b = bom (0,75 – 0,25 = 0,5)

Tendo o conjunto de alternativas, formado pelos programas de pós-graduação da área Engenharias III, e definidos os parâmetros do modelo (seus pesos e limiares de concordância e discordância), é possível estabelecer as relações de sobreclassificação forte e fraca e, em seguida, realizar a etapa de investigação: ordenação das alternativas da melhor para a pior.

Foi realizada uma análise comparativa entre os resultados do modelo e os resultados da avaliação final da CAPES. Essa comparação pode ser visualizada na Tabela 5.

Os dados foram arrumados de forma a facilitar a comparação da ordenação encontrada pela aplicação do método ELECTRE II e os conceitos atribuídos pela CAPES. Os programas com conceito maior que 5 pela CAPES devem ser considerados de nível 5 para efeito de comparação, já que a aplicação só contempla a primeira fase da avaliação.

De acordo com a classificação dos programas pela CAPES, pode ser estabelecida uma faixa que represente os conceitos de 1 a 5. Assim, os programas que ficaram nas 7 primeiras posições (posição de 1 a 7) receberiam conceito 5 e os programas das posições de 8 a 12 receberiam o conceito 4. As posições 13 e 14 estariam duvidosas e os programas posicionados dentro da faixa de 15 a 22 receberiam conceito 3. Os demais receberiam o conceito 1 ou 2.

Dentro dessa visão, observa-se que os programas HH, FF e TT tiveram conceito 5 pela CAPES, mas pelo ELECTRE II receberiam o conceito 4, já que eles foram sobreclassificados por programas da 8ª posição (conceito 4). O programa CC receberia conceito 3, o programa F que teve conceito 2 pela CAPES receberia conceito 3 e o programa O receberia conceito 2 pela aplicação do ELECTRE II.

4.1 Análise de sensibilidade

No método ELECTRE II é recomendável variar os limiares de concordância e discordância para verificar o comportamento do modelo quanto a tais variações.

Análise 1: diminuindo-se o limiar de concordância forte de 0,7 para 0,5 e o limiar de concordância fraco de 0,5 para 0,3, o que equivale a menor exigência para o índice de concordância, e aumentando-se o limiar de discordância forte de 0,3 para 0,5, o que também equivale a menor exigência para o índice de discordância, obtém-se pouquíssima variação na ordenação. Apenas o programa N teve colocação diferente em relação aos outros programas, ficando pouco mais à frente na ordenação.

Como houve pouca variação nos resultados, o estabelecimento dos limiares c e d não é crítico para o modelo, o que também foi observado para outros valores de c e d. O resultado dessas outras análises não está apresentado, pois não acrescenta informação à análise.

Outra maneira de analisar esses programas seria tentar distribuir os conceitos de forma que os conceitos dos programas resultem em uma distribuição normal. Nesse caso, a distribuição deveria englobar os conceitos 6 e 7 para que a análise ficasse completa. Essa análise não foi feita, já que os requisitos necessários para um programa receber conceito 6 ou 7 não estão inseridos no modelo ELECTRE II.

5. Aplicação do MAUT aos dados da CAPES no período 1998/2000

O MAUT é um método multicritério que agrega as contribuições de cada um em uma função de síntese. A forma de agregação depende das características do problema e do decisor, quando devem ser verificadas as condições de independência em utilidade e independência aditiva.

Nesse problema, é assumida a independência aditiva, e as funções utilidades condicionais (função utilidade de cada critério) são lineares (equivalem à neutralidade ao risco). Tem-se, assim, um método de média ponderada dos critérios. A aplicação do MAUT resultará em uma ordenação das alternativas (programas de pós-graduação), para posteriormente classificá-las dentro das cinco classes utilizadas pela CAPES (conceitos 1 a 5).

Cabe ressaltar que o modelo adotado pela CAPES é equivalente ao MAUT aditivo linear, como foi considerado nesta aplicação, para proceder à avaliação dos programas de pós-graduação, em que são atribuídos os conceitos entre 1 e 5 por meio de ponderação dos seis critérios de análise.

Tendo a CAPES definido os pesos dos critérios e mantendo-se a conversão da escala verbal para escala numérica, a expressão para a função utilidade multiatributo aditiva linear é a seguinte:

U(CD, AP, AF, CA, TD, PI) = 0,1 · CD + 0,1 · AP + 0,1 · AF + 0,2 · CA + 0,2 · TD + 0,3 · PI

O significado das siglas pode ser visto no item 2.3.

Foi realizada uma análise comparativa entre os resultados do modelo e os resultados da avaliação final da CAPES. Essa comparação pode ser visualizada na Tabela 6.

Os dados foram arrumados para facilitar a comparação do MAUT com os conceitos atribuídos pela CAPES.

O resultado da aplicação do MAUT mostra que há incoerência nos conceitos dos programas TT, FF, CC, QQ, N, F, E e O, comparados aos outros. Os programas TT e FF receberam o conceito 5 pela CAPES. No entanto, seus valores de utilidade são menores que os valores de outros programas com conceito 4. Segundo a avaliação do MAUT, esses programas seriam classificados na categoria 4 (conceito 4).

Seguindo o mesmo raciocínio, o programa CC também teria uma classificação menor. Já o programa N seria classificado na categoria 4, pois seu valor de utilidade é igual ao valor de outros programas com conceito 4. Os programas F, E e O variariam entre os conceitos 1, 2 e 3.

Esse é o método usado pela avaliação da CAPES, em que o conceito final do programa é encontrado por meio da contribuição de cada critério, de forma aditiva, ponderado pelos respectivos pesos estabelecidos. Assim, os resultados encontrados pela aplicação do MAUT deveriam ser aproximadamente iguais aos da CAPES.

Observa-se que esses mesmos programas apresentaram resultados diferentes na outra avaliação (ELECTRE II). Os programas W, Q, P, GG, J, NN, RR, EE, K e BB tiveram praticamente a mesma ordem, quando aplicado o outro método, sendo classificados com conceito 5, seguidos dos programas HH, UU, JJ e G, que também foram ordenados igualmente, recebendo conceito 4, o que mostra a consistência da avaliação. Os outros programas também tiveram ordenação muito parecida, variando a ordem de alguns deles.

Essa pequena diferença entre o método ELECTRE e MAUT é esperada, já que apresentam características bem diferentes. O MAUT faz uma agregação aditiva dos critérios, o que permite a compensação entre eles. Já o ELECTRE é um método de sobreclassificação, que elimina programas (alternativas) superados por meio do estabelecimento de índices que traduzem o grau de sobreclassificação aceito pelo decisor, sendo um método não-compensatório, que tende a favorecer alternativas mais balanceadas (alternativas que possuem avaliações razoavelmente boas em todos os critérios).

Isso mostra que grande parte da avaliação dos programas é feita de forma subjetiva, e que talvez outros critérios, não estabelecidos aqui, também seriam considerados, porém não foram explicitados. Por outro lado, pode-se considerar que a definição dos limites das faixas de correspondência foi utilizada para apoiar a atribuição dos conceitos, havendo uma revisão para a comparação dos resultados entre os programas.

5.1 Análise de sensibilidade

Para verificar a robustez do modelo e analisar a influência dos critérios na avaliação, foi feita uma análise de sensibilidade dos pesos dos principais critérios do modelo. Os critérios de maior peso são: corpo discente, teses e dissertações e produção intelectual. Foram variados em 20% cada um.

Analisando os resultados das simulações, percebeu-se as seguintes variações:

• O programa R, classificado pelo MAUT como tendo conceito 3, tem seu conceito aumentado quando se reduz em 20% o peso do critério produção intelectual. Isso mostra que esse programa tem avaliação baixa nesse critério (0,5 – regular), porém apresenta avaliações relativamente satisfatórias nos outros (0,75 – bom). Assim, a CAPES classificou esse programa como conceito 4.

• Já o programa N, classificado pelo MAUT como tendo conceito 4, tem seu conceito diminuído quando se reduz em 20% o peso do critério produção intelectual. Isso mostra que o programa tem avaliação muito boa nesse critério, porém avaliações relativamente baixas nos outros. Novamente, uma pequena mudança no peso do critério produção intelectual muda o resultado da avaliação de um programa.

• Percebe-se que o critério produção intelectual, que contribui com 30% do valor final de utilidade, é muito elevado, ou seja, os programas que tiveram avaliação baixa nesse critério provavelmente não terão bons conceitos.

6. Aspectos gerais do processo de avaliação

O processo de avaliação dos programas de pós-graduação realizado pela CAPES estabelece, por meio de níveis de desempenho, um conceito verbal para cada critério avaliado. O conceito final é obtido por meio da agregação, de forma aditiva (média ponderada), de todos os critérios. A forma de agregação aditiva resulta em um modelo compensatório em que programas que obtiveram avaliação desfavorável em determinado critério podem ter o resultado compensado por uma avaliação muito favorável de outro. Essa forma de agregação favorece programas com avaliações pouco balanceadas, ou seja, programas que possuem baixo grau de avaliação em alguns critérios e elevados graus em outros, para compensar (Vinke, 1992).

O mecanismo de avaliação da CAPES leva em consideração 6 critérios. Esses são subdivididos em subcritérios que, avaliados de forma agregada, resultam em um valor numérico que é transformado em conceito verbal (ver Tabela 2). Esse procedimento resulta em um problema nas escalas em relação a sua precisão.

A escala verbal, utilizada para atribuição do conceito final dos programas, considera apenas 5 níveis, e a escala utilizada na avaliação dos subcritérios possui maior precisão que a usada na atribuição dos critérios (escala contínua). Dessa forma, perdem-se precisão de escala e, conseqüentemente, informações importantes para comparação e avaliação dos programas.

Esse procedimento dificulta o processo de avaliação por parte da comissão e também o entendimento do processo por parte dos coordenadores dos programas. Como exemplo, podemos citar o Programa de Engenharia de Produção da USP/SC – "FF", que teve conceito BOM em todos os critérios, entretanto no resultado final não ficou com conceito 4, obtendo conceito final 5.

Isso porque o citado programa obteve elevados graus de avaliação nos critérios de maior peso. Embora tenha obtido conceito BOM em produção intelectual, o grau de desempenho desse programa nesse item estava bem mais elevado que o grau de desempenho dos outros programas com conceito BOM. Mais especificamente, esse programa teve avaliações muito próximas ao limite superior da faixa que corresponderia ao conceito BOM, nos subcritérios, sendo classificado como BOM em todos os critérios. Comparando esse programa com outros, os avaliadores perceberam maior proximidade com os programas de nível MUITO BOM que com programas de nível BOM.

Outro ponto importante é que o procedimento de avaliação leva em consideração aspectos que não são representados pelos seis critérios de análise, ou seja, na definição do conceito final são levados em consideração a qualidade dos dados fornecidos, como coerência e consistência, e os aspectos relacionados à evolução do programa. Assim, as avaliações subjetivas também são consideradas na atribuição do conceito final, o que explica o fato de alguns programas terem conceito final diferenciado da avaliação global.

7. Comentários sobre o processo de avaliação e sobre o uso de métodos multicritérios

A aplicação de diferentes métodos multicritérios permite analisar o processo de avaliação da CAPES a partir de diferentes visões. Por meio dessa análise foram identificados alguns pontos importantes do processo de avaliação, destacando-se as dificuldades de aplicação dos modelos de apoio à decisão nesse tipo de problema.

Na aplicação do MAUT, uma das principais dificuldades encontradas em adotar esse método é comprovar que a estrutura de preferência atende às hipóteses do modelo, principalmente em relação à independência entre os critérios. Como o método adotado é o modelo aditivo linear do MAUT, seria necessário analisar as condições de independência aditiva, condição para que o modelo seja aditivo. Tal dificuldade aumenta quando se tem uma estrutura hierárquica do processo de avaliação da CAPES, composta de seis critérios, tendo cada um 4 ou 5 subcritérios e quando se trabalha com um grupo de decisores, como é o caso.

No caso do ELECTRE II, que é um método de ordenação, sua aplicação nos dados da CAPES pôde ser usada como etapa preliminar, de natureza formal, sendo necessária uma última etapa, de natureza informal, realizada pela comissão, para classificação dos conceitos.

Um problema encontrado foi em relação à escala utilizada. O uso de uma escala de 10 níveis ou de uma escala contínua, em vez de efetuar uma compressão para 5 níveis, permitiria uma análise mais criteriosa e definições de parâmetros do modelo mais consistentes.

A escolha de um método envolve, em um ponto de vista, a escolha do tipo de problemática de decisão: escolha, classificação e/ou ordenação. Analisando o processo de avaliação da CAPES quanto ao tipo de problemática de decisão utilizada, verifica-se que é utilizada a problemática de classificação.

O processo de avaliação da CAPES, em uma primeira fase, classifica os subcritérios de cada critério dentro dos conceitos MB, B, R, F e D, por meio da correlação entres os índices de desempenho de cada programa e esses conceitos, ou seja, faz um procedimento de classificação. Na segunda fase, os conceitos verbais de cada subcritério são transformados em valores numéricos, depois ponderados e, posteriormente, classificados (conceitos de 1 a 5), por meio de uma correlação preestabelecida. O que representa um procedimento de classificação.

Contudo, as problemáticas de classificação e ordenação podem ser usadas no problema da CAPES. A forma de atribuir os programas às categorias é o que difere essas duas problemáticas. No caso da classificação, os conceitos representam, cada um, uma classe que possui características predefinidas. Já no caso da ordenação, as classes (conceitos) são determinadas a partir da ordem encontrada e das classes de equivalência formadas. Esses conceitos podem ser visualizados nas Figuras 1 e 2.

8. O processo de avaliação e o uso dos métodos ELECTRE

Os métodos ELECTRE I, II, III, IV, IS e TRI trabalham, respectivamente, em problemática de escolha (P.a) com critérios verdade, problemática de ordenação (P.g) com critérios verdade, problemática de ordenação (P.g) com pseudocritérios, problemática de ordenação (P.g) com pseudocritérios sem ponderação intercritérios, problemática de escolha (P.a) com pseudocritérios e problemática de classificação (P.b) com pseudocritérios.

O método ELECTRE II, que foi aplicado aos dados da CAPES, foi idealizado para problemáticas de ordenação. No entanto, a aplicação do ELECTRE II não trouxe problemas, podendo ser usado para ordenar os programas do melhor para o pior e, posteriormente, classificá-los (de forma informal) dentro dos conceitos de 1 a 5.

O ELECTRE I (P.a) poderia ser usado durante a etapa em que são selecionados os programas de nível 5, para compor um conjunto que sofrerá classificação para os níveis 6 e 7 (Ferrer, 2000).

O ELECTRE III (P.g), que utiliza pseudocritérios, insere no modelo limiares de preferência e de indiferença nas relações intracritérios. No entanto, esses limiares não se aplicam na escala utilizada, pois os dados da CAPES são discretos. Para sua aplicação, seria necessário um tratamento diferente desses limiares.

O ELECTRE IV (P.g) considera pseudocritérios sem ponderação intercritérios. Como esse método não utiliza pesos entre os critérios, seria difícil sua utilização no problema tratado.

Numa análise inicial, o ELECTRE TRI, que utiliza pseudocritérios, seria o método mais adequado ao problema da CAPES, visto que atua diretamente em problemáticas de classificação (P.b). Entretanto, seria necessário um tratamento nos limiares do modelo. Outra dificuldade seria estabelecer os limites (bh) das classes para representar a avaliação feita pela CAPES por um dos dois procedimentos.

9. Conclusões

O processo de avaliação da CAPES considera aspectos que podem ser agrupados em seis critérios: corpo docente, atividades de pesquisa, atividades de formação, corpo discente, teses e dissertações e produção intelectual. O processo de avaliação é realizado por uma comissão de especialistas da área, cada um colaborando e influenciando o conceito final dos programas. Esse processo envolve, além de avaliações quanti e qualitativas, questões subjetivas que não podem ser mensuradas.

Os métodos MAUT e ELECTRE II foram aplicados aos programas de pós-graduação da área Engenharias III (CAPES, 2001a). Os resultados da aplicação de tais métodos, em comparação ao estudo feito pelos avaliadores, permitiram analisar de forma mais criteriosa o processo de avaliação da CAPES.

Os métodos da família ELECTRE possuem grande potencial de aplicação em problemas desse contexto, em razão da flexibilidade no enquadramento das problemáticas. O método ELECTRE II, direcionado para problemáticas de ordenação (P.g) com critérios verdade, foi aplicado aos programas de pós-graduação da área Engenharias III (CAPES, 2001a). No entanto, sua aplicação deve ser feita em uma fase inicial de ordenação dos programas, e a classificação final deve ser discutida pela comissão.

O MAUT aditivo linear, que considera uma agregação aditiva dos critérios, permitiu comparar os resultados encontrados e avaliar a forma de tratar o problema de avaliação dos programas de pós-graduação. Essa comparação foi de fundamental importância, considerando-se que a CAPES usa o mesmo procedimento do MAUT aditivo linear, em que o conceito final do programa é encontrado por meio da contribuição de cada critério, de forma aditiva, ponderada pelos respectivos pesos estabelecidos.

Com o uso dos diferentes métodos, foi detectado que grande parte do processo de avaliação é realizada de forma subjetiva, pois a atribuição de conceitos aos programas considera a qualidade dos dados fornecidos, assim como aspectos relacionados à evolução do programa.

Uma extensão do trabalho seria considerar o apoio multicritério desde a avaliação dos subcritérios, utilizando uma estrutura hierárquica, como descrita no item 6. Assim, o ponto de partida para a aplicação dos métodos MAUT e ELECTRE seria a avaliação dos subcritérios, a fim de compor cada um dos seis critérios fundamentais (corpo docente, atividade de pesquisa, atividade de formação, corpo discente, teses e dissertações e produção intelectual). Em seguida, esses critérios seriam avaliados para compor a avaliação global de cada programa, atribuindo-lhes os conceitos de 1 a 5.

Da mesma forma, uma continuidade deste trabalho seria a realização da análise multicritério no segundo momento da avaliação, em que aqueles programas que foram classificados com nível 5 participam de uma segunda análise para classificação nos níveis 6 ou 7, em função de seu desempenho diferenciado quanto à produção científica, cultural e artística, além de características que os tornam competidores em nível internacional. Uma alternativa para futuros trabalhos está relacionada à engenharia reversa, partindo de métodos ELECTRE e MAUT para rever os métodos de avaliação da CAPES.

10. Agradecimentos

Os autores agradecem os comentários sobre os critérios e processos de avaliação da CAPES, obtidos por vários docentes participantes em Programas de Pós-Graduação da área de Engenharias III, neste período de avaliação, especialmente ao representante da área na CAPES, prof. Carlos Alberto Almeida, por seus valiosos comentários em versão preliminar deste artigo.

Recebido em 21/3/2002

Aceito em 4/3/2004

• ALMEIDA, A. T.; COSTA, A. P. C. S. Aplicações com métodos de apoio multicritério à decisão Ed. Universitária da UFPE, 2003.
• CAPES. Critérios da área de avaliação – Engenharias III. Julho de 2000. Disponível em: http://www.capes.gov.br/DistribuicaoArquivos/Avaliacao/Arquivos/1999/Criterio / 1999_013_criterio.pdf.2000a
• CAPES. Documento de área – Engenharias III. Julho de 2000. Disponível em: http://www.capes.gov.br/DistribuicaoArquivos/Avaliacao/1999/Doc_Area/1999_ 013_Doc_Area.pdf.2000b
• CAPES. Documento de área – Relatório da avaliação 1998-2000 – Engenharias III. Julho 2001a.
• CAPES. Avaliação da pós-graduação 1998-2000 nas Engenharias III – Critérios da avaliação – Perfil de Excelência, 2000. 2001b.
• CAPES. Avaliação da pós-graduação 1998-2000 nas Engenharias III – Síntese da avaliação por etapa, 2000. 2001c.
• CAPES. CAPES – Avaliação trienal: dados sobre programas de pós-graduação. Disponível em: http://www.capes.gov.br/Scripts/SelecionaAnoDadosPos Graduacao.icd.2001d
• CAPES. Apresentação geral Disponível em: http://www.capes.gov.br/ oqueecapes.html.2001e
• DIAS, L.; CLIMACO, J. ELECTRE TRI for groups with imprecise information on parameter values. Group Decision and Negotiation v. 9, n. 5, p. 355-377, 2000.
• FERRER, F. C. Visão multicritério da avaliação dos programas de pós-graduação em engenharia de produção a partir da base de dados da CAPES de 1999 2000. 154 p. (Mestrado) – Universidade Federal de Pernambuco (UFPE), Pernambuco.
• GOMES, L. F. A.; GOMES, C. F. S.; ALMEIDA, A. T. de. Tomada de decisão gerencial: o enfoque multicritério. Rio de Janeiro: Ed. Atlas, v. 1, 2002.
• JOERIN, F.; THERIAULT, M.; MUSY, A. Using GIS and outranking multicriteria analysis for land-use suitability assessment. International Journal of Geographical Information Science, v. 15, n. 2, p. 153-174, 2001.
• KEENEY, R.; RAIFFA, H. Decisions with mutiple objectives – Preferences and Value Trade-offs. John Wiley & Sons, 1976.
• MIRANDA, C. M. G.; ALMEIDA, A. T. de. Avaliação de pós-graduação com método ELECTRE TRI – o caso de Engenharias III da CAPES. Revista Produção, v. 13, n. 3, p. 101-112, 2003.
• MOUSSEAU, V.; FIGUEIRA, J.; NAUX, J. P. Using assignment examples to infer weights for ELECTRE TRI method: Some experimental results. European Journal of Operational Research, v. 130, n. 2, p. 263-275, 2001.
• MOUSSEAU, V.; SLOWINSKI, R. Inferring an ELECTRE TRI Model from Assignment Examples. Journal of Global Optimization, n. 12, p. 157-174, 1998.
• OLSON, D. L. Decision aids for eletion problems Springer, 1996.
• RAIFFA, H. Decision Analysis Addison-Wesley, 1970.
• RAJU, K. S.; DUCKSTEIN, L.; ARONDEL, C. Multicriterion analysis for sustainable water resources planning: a case study in Spain. Water Resources Management, v. 14, n. 6, p. 435-456, 2000.
• ROY, B. Critères multiples et modélisation des préférences: l'apport des relations de surclassement. Revue d'Economie Politique 1, 1974. APUD Vincke (1992).
• ROY, B. ELECTRE III: Algorithme de classement basé sur une représentation floue des préférences en présence de critères multiples. Cahiers du CERO, v. 20, n. 1, p. 3-24, 1978.
• ROY, B. Multicriteria methodology goes decision aiding. Kluwer Academic Publishers, 1996.
• VINCKE, P. Multicriteria decision-aid. John Wiley & Sons, 1992.
• YU, W. ELECTRE TRI – Aspects méthodologiques et guide d'utilisation. Document du LAMSADE, 74 , Université de Paris – Dauphine, avril 1992.

anexo

Datas de Publicação

• Publicação nesta coleção
  03 Ago 2004
• Data do Fascículo
  Abr 2004

Histórico

• Aceito
  04 Mar 2004
• Recebido
  21 Mar 2002