Avaliação de pós-graduação com método ELECTRE TRI: o caso de engenharias III da capes

Postgraduate evaluation through ELECTRE TRI method: the case of III engineering area of capes

Avaliação de pós-graduação com método ELECTRE TRI - o caso de engenharias III da capes

Postgraduate evaluation through ELECTRE TRI method - the case of III engineering area of capes

Caroline Maria Guerra de Miranda^I; Adiel Teixeira de Almeida^II

^IUniversidade Federal de Pernambuco/ UFPE. Cx. Postal 7462, CEP 50.630-970, Recife -PE. E-mail: [e-mail]

^IIUniversidade Federal de Pernambuco/ UFPE. Cx. Postal 7462, CEP 50.630-970, Recife -PE. E-mail: [e-mail]

RESUMO

Este trabalho tem como objetivo avaliar o uso de métodos de apoio à decisão multicritério para avaliação de programas de pós-graduação. Este estudo se concentra no caso particular da área Engenharias III da CAPES, para a classificação dos programas em cinco categorias (conceitos de 1 a 5). O método ELECTRE TRI foi aplicado aos dados coletados pela CAPES no triênio 1998-2000, considerando o contexto e procedimentos adotados para a área Engenharias III. Esta avaliação visa analisar a estrutura metodológica do ELECTRE TRI na classificação dos programas de pós-graduação, no período citado, propondo uma forma alternativa de tratar o problema.

Palavras-chave: Avaliação de pós-graduação, apoio multicritério à decisão, ELECTRE TRI.

ABSTRACT

This work deals with the model building of multicriteria decision aid in order to evaluate the postgraduate courses in Brazil. A study case is concentrated in a particular committee of CAPES, so called the III Engineering area. These models are based on the evaluation methodology adopted by the CAPES. This methodology has the objective of making comparative analysis of the postgraduate programs of the III Engineering area during 1998-2000 term. This analysis has been conducted supported by ELECTRE TRI method, incorporating criteria utilised by the Capes in order to generate a postgraduate programmes sorting.

Key words: Evaluate the postgraduate, multicriteria decision aid, ELECTRE TRI.

INTRODUÇÃO

A Fundação de Coordenação de Aperfeiçoamento de Pessoal de Ensino Superior (CAPES), ligada ao Ministério da Educação do Governo Brasileiro (MEC), é o órgão que define as diretrizes de abertura, funcionamento e avaliação dos cursos de pós-graduação no Brasil.

A importância de se ter um sistema de avaliação dos programas de pós-graduação no Brasil está relacionada a vários fatores. Dentre os mais relevantes, está a busca permanente da elevação dos padrões de qualidade desse nível de ensino, manter um sistema capaz de impulsionar a evolução de toda a Pós-graduação mediante metas e desafios que expressem os avanços da ciência e da tecnologia, fomentar estudos e atividades que, direta ou indiretamente, contribuam para o desenvolvimento e a consolidação das instituições de ensino superior, manter intercâmbio e contato com outros órgãos, visando à celebração de convênios, acordos, contratos e manter um sistema de avaliação de cursos reconhecido e utilizado por outras instituições, capaz de apoiar o processo de desenvolvimento científico e tecnológico nacional (CAPES, 2001e).

Tendo em vista a importância desse sistema, é apresentado neste trabalho um modelo de decisão multicritério para apoiar a avaliação dos cursos de pós-graduação stricto sensu do Brasil, mais especificamente a área Engenharias III, que é composta pelos cursos: Engenharia Aeronáutica, Mecânica, Naval, Oceânica, Petróleo e Produção do País. Este modelo é baseado na metodologia de avaliação adotada pela CAPES no triênio 1998-2000.

O propósito deste trabalho não é discutir os critérios utilizados pela CAPES na avaliação dos programas de pós-graduação. Este estudo avalia o uso do método ELECTRE TRI e sua estrutura metodológica para tratar o problema da avaliação dos programas de pós-graduação, considerando que há um conjunto de critérios já definidos pelo decisor. Assim, a preocupação se concentra num aspecto muito importante, que é a forma como os dados de comportamento dos Programas são agregados para gerar um resultado final de classificação. São discutidas as especificidades do método, confrontanda-os, com os objetivos da CAPES no processo de avaliação.

Ademais, não há sentido em propor critérios de avaliação neste trabalho, pois não passaria de uma especulação baseada apenas na visão de um decisor (ou grupo de decisores), que não está inserido no processo de decisão. Tal estudo seria muito relevante e poderia ser objeto de outro trabalho. Neste caso, certamente deveria haver o envolvimento do corpo decisório da CAPES, observando que estes critérios são definidos pela CAPES para todas as áreas de conhecimento. Este processo envolveria uma discussão com todos estes atores no processo de decisão.

O PROCESSO DE AVALIAÇÃO DA CAPES

A CAPES realiza periodicamente uma avaliação dos programas de pós-graduação do País (Mestrado e Doutorado). Esse sistema de avaliação permite comparar o nível das atividades de pesquisa entre os programas nacionais e internacionais.

O processo de avaliação da CAPES, para a área Engenharias III, caracteriza-se por atribuir conceitos entre 1 e 7 aos programas de pós-graduação. O programa com nível de avaliação igual ou superior a 3 tem seus diplomas validados e reconhecidos nacionalmente. O programa que oferece apenas o mestrado tem seu nível limitado a 5, ficando os níveis 6 e 7 reservados para os doutorados de referencial internacional. Este processo está dividido em duas etapas principais: Em primeiro lugar, os programas são classificados em cinco categorias (conceitos de 1 a 5). Posteriormente, aqueles que foram classificados com nível 5 podem participar de uma segunda classificação, em função de seu desempenho diferenciado quanto à produção científica, cultural e artística, além de características que os tornam competidores em nível internacional (CAPES, 2001a). Este artigo dará ênfase na análise da primeira etapa.

O processo de avaliação para o triênio 1998-2000 foi dividido em duas etapas temporais.

Na primeira etapa, foram consolidados os resultados das avaliações continuadas de 1998 e 1999. Na segunda, os relatórios referentes a 2000 foram analisados de acordo com a mesma metodologia utilizada nas avaliações continuadas, e os resultados foram consolidados em uma visão única de avaliação trienal para cada curso. Essa visão da avaliação engloba seis critérios de análise: Corpo docente, Atividade de pesquisa, Atividade de formação, Teses e dissertações, Corpo discente e Produção intelectual.

Na avaliação trienal, para cada critério, essa visão representa a média das atribuições concedidas nas três avaliações sofridas pelo programa. Na seqüência, fez-se a atribuição dos conceitos à luz dos resultados da visão trienal de cada programa. Cada um dos programas foi analisado quanto ao seu desempenho nos seis critérios de análise, sendo atribuídos conceitos entre 1 e 5 (CAPES, 2001a).

O mecanismo de avaliação da CAPES, nessa área, leva em consideração seis critérios fundamentais. Cada um desses critérios é subdividido em subcritérios, consolidados por todos os aspectos levados em consideração nos procedimentos adotados pela avaliação (CAPES, 2001a; CAPES, 2001b). As Tabelas 1 e 2 apresentam, respectivamente, os critérios de avaliação e uma breve descrição dos subcritérios com seus respectivos pesos.

Por meio dos índices retirados dos relatórios de cada programa, avalia-se cada um desses subcritérios de forma qualitativa ou quantitativa. São atribuídos conceitos que variam entre Deficiente, Fraco, Regular, Bom e Muito Bom a cada um desses subcritérios associados aos seis critérios de avaliação (CAPES, 2001a).

O algoritmo utilizado para a obtenção da avaliação dos subcritérios e a relação entre os valores numéricos e os conceitos (MB, B, R, F e D) constam na Tabela 3.

O processo de avaliação consiste em ponderar os subcritérios dentro de cada critério, e os totais de cada critério são novamente ponderados, obtendo-se a avaliação global do programa (conceitos MB, B, R, F, D). Com base na avaliação global, chega-se aos níveis (conceito final) de 1 a 5 (CAPES, 2001a ).

A comissão da CAPES, tendo realizado uma primeira avaliação sobre os dados fornecidos por cada programa, compôs uma tabela a partir dos itens avaliados de forma qualitativa e quantitativa, resultando nos conceitos de cada um dos seis critérios para cada programa de pós-graduação: corpo docente (CD), atividade de pesquisa (AP), atividade de formação (AF), corpo discente (CA), teses e dissertações (TD) e produção intelectual (PI). A tabela encontra-se anexa (Tabela I) (CAPES, 2001c).

Três dos programas relacionados na Tabela I apresentam resultados diferentes com relação à avaliação global do programa e ao conceito final da CAPES. Esses programas receberam conceito global B, no entanto, foram classificados como nível 5. Este aspecto é comentado em item posterior.

Os cursos UNICAMP/SP - Petróleo, UNICAMP/SP - Qualidade, CEFET/PR - Mecânica e UFSC/SC - Produção foram retirados da análise por falta de dados.

MÉTODOS MULTICRITÉRIO DE APOIO À DECISÃO

O escopo deste trabalho é fazer uma análise do processo de avaliação da CAPES, no triênio 1989-2000, sob a ótica do Apoio à Decisão Multicritério. Esta área do conhecimento possui um amplo conjunto de ferramentas cujo objetivo é auxiliar um indivíduo ou grupo de pessoas (decisor) no desenvolvimento de um processo de decisão.

Quando modelamos um problema de decisão multicritério, várias problemáticas (ou formulação de problemas) podem ser consideradas. Roy (1996) distinguiu quatro problemáticas básicas: escolha, classificação, ordenação e descrição.

Dado um conjunto de alternativas A, a problemática de escolha, ou seleção (P. a), consiste na escolha de um subconjunto A'Ì A, tão pequeno quanto possível, composto de alternativas julgadas como as mais satisfatórias. Problemas de otimização são casos particulares da problemática de escolha, onde A' fica restrito a uma única alternativa.

A problemática de classificação (P.b) consiste em formular o problema de decisão de tal forma que distribua cada alternativa de A para uma categoria predefinida. A distribuição de uma alternativa a para sua categoria apropriada é devida ao valor real intrínseco de a (e não da comparação de a com outras alternativas de A).

A problemática de ordenação (P.g) consiste em estabelecer uma ordem de preferência (que pode ser parcial ou completa) no conjunto de alternativas A. Por fim, a problemática de descrição (P.d) descreve ações formal e sistematicamente, com suas conseqüências em termos de qualidade e quantidade, ou propõe uma metodologia baseada no procedimento cognitivo, a qual pode ser usada repetidamente.

São encontrados na literatura vários métodos multicritério de apoio à decisão. Segundo Vincke (1992), este campo de estudo possui duas linhas de pensamento principais: a Escola Francesa, na qual o método mais citado é o ELECTRE e a Escola Americana, onde foi idealizado o MAUT.

Métodos de Sobreclassificação

Os métodos de Sobreclassificação fundamentam-se na construção de uma relação de sobreclassificação que incorpora as preferências estabelecidas pelo decisor diante dos problemas e das alternativas disponíveis. Segundo Roy (1996), a relação de sobreclassificação S é uma relação binária definida em A tal que aSb, se a é pelo menos tão boa quanto b. Essa relação não exige a transitividade.

Dentre os métodos de Sobreclassificação destacam-se os métodos da família ELECTRE (Elimination and Choice Translating algorithm), também denominados métodos de subordinação (termo em inglês: outranking), composta pelos métodos ELECTRE I, II, III, IV, IS e TRI.

Neste estudo é utilizado o método de sobreclassificação ELECTRE TRI, para análise do processo de avaliação da CAPES. Este método tem sido utilizado em vários problemas de classificação, tais como: Aplicação em Recursos Hídricos, Tratamento de Esgoto, Agricultura, Irrigação, Sistemas de Informação Geográficos, dentre outros (RAJU et al., 2000; JOERIN et al., 2001; DIAS; CLIMACO, 2000).

O ELECTRE TRI é um método multicritério de classificação, isto é, um método que aloca alternativas em categorias prédefinidas (P.b). A alocação de uma alternativa a resulta da comparação de a com perfis definidos de limites das categorias (MOUSSEAU; SLOWINSKI, 1998 e YU, 1992).

Dado um conjunto de índices de critérios {g1,..., gi, ..., gm} e um conjunto de índices de perfis {b1, ..., bh,...bp}, definem-se (p+1) categorias, em que bh representa o limite superior da categoria Ch e o limite inferior da categoria Ch+1 , h=1,2,...,p (Figura 1).

As preferências por cada critério são definidas mediante um pseudocritério, no qual os limiares de preferência e indiferença p_j[g(b_h)] e q_j[g(b_h)] constituem as informações intracritérios. Assim, q_j[g(b_h)] especifica a maior diferença g_j(a)-g_j(b_h ), que preserva a indiferença entre a e bh no critério g_j e p_j[g(b_h)] representa a menor diferença g_j(a)-g_j(b_h) , compatível com uma preferência de a no critério g_j.

A estrutura de preferência com pseudocritérios - modelo com duplo limiar p_j[g(b_h)] e q_j[g(b_h)] -, evita uma passagem repentina entre a indiferença e a preferência estrita, existindo uma zona de hesitação, representada pela preferência fraca, conforme Figura 2.

O ELECTRE TRI constrói relações de sobreclassificação S, isto é, valida ou invalida a afirmação de que aSb_h e (b_hSa), cujo significado é "a é ao menos tão bom quanto bh".

Duas condições devem ser verificadas para validar a afirmação aSb_h :

• Concordância: para uma sobreclassificação aSb_h ser aceita, a maioria dos critérios deve estar a favor da afirmação aSb_h .

• Não-discordância: quando a condição de concordância não for atendida, nenhum dos critérios deve opor-se à afirmação aSb_h.

Na construção de S é utilizado um conjunto de limiares veto (v₁(b_h ), v₂(b_h), ..., v_m(b_h) ), usado no teste de discordância. v_j(b_h), que representa a menor diferença g_j(b_h)-g_j(a) , incompatível com a afirmação aSb_h.

Os índices de concordância parcial c_j(a,b), concordância c(a,b) e discordância parcial d_j(a,b) são calculados pelas fórmulas 1, 2 e 3 ao lado.

O ELECTRE TRI constrói um índice s(a, b_h) Î [0,1] (s(b_h , a) , resp.) que representa o grau de credibilidade da afirmação que a aSb_h ,"a Î A, "h Î B (Fórmula 4). A afirmação aSb_h é considerada válida se s(a, b_h) > l.l inicia um nível de corte tal que l Î [0,5,1]. (Mousseau et al., 2001)

, onde = {j Î F : d_j(a, b_h) > c(a, b_h) }

Os valores de s(a, b_h), s(b_h ,a) e l determinam as situações de preferencias entre a e b_h:

Dois procedimentos de atribuições podem ser avaliados: Procedimento pessimista e Procedimento otimista. (MOUSSEAU et al., 2001).

1 - Procedimento pessimista:

• comparar a sucessivamente com b_i, para i = p, p-1, ..., 0,

• b_h, começando pelo primeiro perfil, tal que aSb_h, afirma a para categoria C_h+1 (a ® C_h+1).

2 - Procedimento otimista:

• comparar a sucessivamente com b_i, para i = 1, 2, ..., p,

• b_h, começando pelo primeiro perfil, tal que "b_h, seja preferível a a", afirma a para a categoria C_h (a ® C_h).

APLICAÇÃO DO MÉTODO ELECTRE TRI SOBRE OS DADOS DA CAPES NO PERÍODO 1998-2000

O ELECTRE TRI foi aplicado sobre os dados da CAPES para classificação dos Programas de Pós-graduação da área Engenharias III em cinco níveis (conceitos de 1 a 5). Os programas foram rotulados por letras do alfabeto de A a YY, representando cada um dos programas sob avaliação.

Para aplicação do método ELECTRE TRI foi utilizada uma escala linear de 0 a 1 para representar a escala verbal utilizada pela CAPES.

O ELECTRE TRI baseia-se na construção de relações de sobreclassificação "S" para classificar as alternativas dentro de categorias predefinidas (P.b), em que a alocação de uma alternativa a resulta da comparação de a com perfis definidos de limites das categorias (MOUSSEAU & SLOWINSKI, 1998). Nesse caso, os programas de pós-graduação são comparados com os limites dos conceitos 1 a 5 para a devida alocação.

O modelo ELECTRE TRI é composto por:

a. Perfis definidos por seus avaliadores: g_j(b_h), em que g_j representa os critérios (CD, AP, AF, CA, TD e PI) e b_h representa os perfis dos critérios;

b. Conjunto de coeficientes pesos (k1, k2, ..., km), nesse caso, definido pela CAPES;

c. Limites de indiferença e preferência: q_j(b_h) e p_j(b_h) , para cada critério e para cada perfil;

d. Limiares de veto: v_j(b_h), para cada critério e para cada perfil;

e. Nível de corte l Î [0.5,1], para validar a afirmação aSb_h;

f. Um procedimento de seleção de atribuição pessimista ou otimista.

A definição dos parâmetros do modelo foi feita mediante análise de sensibilidade, de modo que a classificação do método ELECTRE TRI se aproximasse da classificação feita pela CAPES. A construção do modelo foi feita em cinco etapas:

a. Definição dos Perfis g_j(b_h) que representam os limites superiores das classes de 1 a 5. Tabelas 4 e 5. A representação dessas classes pode ser vista na Figura 1.

b. Conjunto de coeficientes pesos (k1, k2, ..., km). Os pesos dos critérios, estabelecidos pela comissão de avaliação da CAPES, foram divididos por 100, para que sua soma resultasse 1 de forma a facilitar os cálculos. Esses pesos podem ser vistos na Tabela 1 do item 2.

c. Limites de indiferença e preferência: q_j(b_h) e p_j(b_h).

• Limiar de preferência - p = 0

• Limiar de indiferença - q = 0

Os valores dos limiares de preferência e indiferença p e q foram considerados iguais a zero, pois não são aplicáveis ao tipo de escala utilizada. Isso equivale a usar critérios verdade ao invés de pseudocritérios, como é considerado no ELECTRE TRI.

O ELECTRE TRI que utiliza a noção de pseudo-critério seria agora considerado como critério verdadeiro. Isto é, não seria considerada a zona de preferência fraca (Q_g), passando bruscamente da zona em que a alternativa a é preferível à b para a zona em que b é preferível à a (aPb para bPa).

d. Limiares de veto: vj(bh), - v = 0,4*g(b)

O conjunto de limiares veto foi definido da seguinte forma v = 0,4*g(b_h).

O limiar de veto foi estabelecido de forma que sua aplicação resultasse em uma classificação mais próxima à da CAPES. Segundo o valor estabelecido, os programas que possuem conceito deficiente ou fraco não recebem conceito 5, e programas que tiverem conceito deficiente não recebem conceito 4.

O limiar de veto vj para cada critério j tem efeito sobre o índice de discordância, anulando a credibilidade de sobreclassificação de bh por a.

e. Nível de corte - l = 0,5

A escolha desse valor foi feita com base na análise de sensibilidade, de modo que a classificação do método ELECTRE TRI se aproximasse da classificação feita pela CAPES.

Definidos os parâmetros do modelo, foi feita uma análise comparativa entre os resultados do modelo e a avaliação final da CAPES. Esta comparação pode ser visualizada na Tabela 5.

Os dados foram arrumados para facilitar a comparação dos resultados do método ELECTRE TRI e os conceitos atribuídos pela CAPES. Os programas com conceito maior que 5 pela CAPES devem ser considerados como de nível 5 para efeito de comparação, já que a aplicação só contempla a primeira fase da avaliação.

Analisando os resultados, constata-se que os programas E e F tiveram resultado muito baixo nas avaliações da CAPES e do ELECTRE TRI. Isso se dá porque os programas receberam a avaliação "fraco - nota 0,25" nos critérios de maior peso (Teses e dissertações - 20 e Produção Intelectual - 30).

O programa O teve avaliação "deficiente - nota zero" em um critério de peso 20. Na avaliação pessimista do método, esse programa recebeu conceito 1 e na otimista conceito 3. Isso se deve à incomparabilidade entre esse programa e os limiares superiores das classes 1 e 2 (b₁ e b₂).

O programa XX foi classificado como de conceito 3 pela CAPES, entretanto, nos dois procedimentos efetuados do ELECTRE TRI, esse programa foi classificado como conceito 4.

Os programas K, FF, HH, TT, BB, e RR receberam conceito 5 pela CAPES (o que caracteriza um programa "muito bom"). Porém, nas avaliações pessimista e otimista do ELECTRE TRI, os programas receberam conceito 4. Isso aconteceu porque os programas tiveram a avaliação "muito bom" em no máximo dois critérios de peso 10, e nos critérios de maior peso tiveram, no máximo, a avaliação "bom". Alguns desses programas tiveram a avaliação "regular" em um dos critérios. O programa FF, em especial, teve avaliação "bom" em todos os critérios, o que claramente resultaria no conceito 4.

Os programas AA, DD e UU são aqueles que receberam resultados diferentes com relação à avaliação global do programa e ao conceito final da CAPES. Esses programas tiveram avaliação global "bom" porém seu conceito final foi 5. A aplicação do ELECTRE TRI resultou no conceito 4 nas avaliações otimista e pessimista.

A análise dos dados dos programas que tiveram conceito 5 na CAPES e 4 na aplicação do ELECTRE TRI mostra que nenhum dos critérios considerados na análise contribuiu para que esses programas recebessem um conceito maior (conceito 5). Conclui-se que os dados de análise desses programas revelam um conceito 4, apesar de a CAPES adotar o conceito 5.

De outro lado alguns programas tiveram conceito maior na CAPES (conceito 4) e menor na aplicação do ELECTRE TRI (3) para os dois procedimentos adotados. Verifica-se que a adoção de uma faixa menor para o conceito 4 poderia produzir conceitos mais próximos aos adotados pela CAPES. Entretanto, ainda assim, vários programas iriam divergir nos conceitos.

Análise de sensibilidade dos resultados obtidos

Foi feita uma análise de sensibilidade para verificar a robustez do modelo e analisar seu comportamento quanto às variações impostas. Assim, como análise de sensibilidade do modelo, o parâmetro l (nível de corte) e os limites das classes foram variados, resultando nas seguintes simulações:

Simulação 1: variação no parâmetro l (nível de corte) de 0,5 para 0,6.

Nessa primeira simulação, com l = 0,6 e considerando-se os perfis utilizados na primeira aplicação, obteve-se pouca variação do resultado (Tabela 6.8). Os programas I, II, V, Y e VV tiveram, na primeira aplicação, a avaliação pessimista 3 e passaram para 4.

Isso se deve ao aumento da exigência para declarar a afirmação aSb_h, e o conseqüente aumento na formação de relações de indiferença e incomparabilidade. Nesse caso, houve um aumento nas relações de incomparabilidade, devido ao fato de o índice de credibilidade s(a, b_h) e s(b_h ,a) entre esses programas e o limite superior da classe 3 (perfil b3) terem ficado igual ou abaixo de 0,5.

Simulação 2: variações nos limites das classes.

Na segunda simulação variaram-se os limites estabelecidos para as classes. Estes limites foram estabelecidos de forma que resultassem em uma classificação mais próxima à da CAPES, como comentado acima. Os limiares das classes foram variados em torno de 5% para mais nas classes 3, 4 e 5 onde b₁ = 0,125 ; b₂ = 0,4 ; b₃ = 0,7 ; b₄ = 0,8. Para estes valores o resultado praticamente não mudou.

Simulação 3: Variação nos pesos dos critérios.

Para se verificar a influência dos critérios na avaliação, foi feita uma análise de sensibilidade dos pesos dos principais critérios do modelo. Para isso, os critérios de maior peso, que são Corpo Discente, Teses e Dissertações e Produção Intelectual, foram variados em 20% cada um.

O resultado das análises pode ser visualizado na Tabela 6 (estão apresentados apenas os programas que variaram de conceito).

Aumentando-se o peso do critério Produção Intelectual em 20%, o resultado do método ELECTRE TRI para os programas N, JJ e RR aumentou, no procedimento otimista, de 4 para 5 (Tabela 6). Os programas S e Z aumentaram, no procedimento pessimista, de 3 para 4. Isso mostra que esses programas têm uma avaliação muito boa nesse critério, porém avaliações não tão boas nos outros critérios.

Diminuindo-se o peso do critério Produção Intelectual em 20%, o resultado do método ELECTRE TRI para o programa OO aumentou, no procedimento pessimista, de 3 para 4. Já o programa I aumentou de 3 para 4 no procedimento otimista.

Os Programas "O, E e F", que não estão apresentados na Tabela 6, continuaram com a mesma classificação em todas as análises, tanto no procedimento pessimista quanto no otimista. Esses programas tiveram baixa avaliação nos critérios de maior peso, mas mesmo diminuindo a importância dos critérios, o resultado continua o mesmo.

Os programas FF, TT, HH, K, BB e RR que obtiveram conceito 5 da CAPES e conceito 4 pelo método ELECTRE TRI, continuaram com o mesmo conceito 4 para todos as análises. Tal resultado era esperado, já que esses programas tiveram a avaliação "muito bom" (o que equivale ao conceito 5) em menos da metade dos critérios e, dentre esses, nenhum era de peso 20 ou 30.

Em suma, as variações nos resultados foram devidas basicamente à variação de mais 20% no critério Produção Intelectual. Assim, esse critério tem uma contribuição muito importante no resultado do modelo, no qual os programas que tiveram baixa avaliação nesse critério provavelmente não terão bons conceitos.

ASPECTOS GERAIS DO PROCESSO DE AVALIAÇÃO E DO USO DO MÉTODO ELECTRE TRI

O processo de avaliação dos programas de pós-graduação feito pela CAPES é aditivo (critério e subcritério) e a avaliação estabelece, através de níveis de desempenho, um conceito verbal para cada critério avaliado. O conceito final é obtido através da agregação, de forma aditiva, de todos os critérios. A forma de agregação aditiva resulta num modelo compensatório onde programas que obtiveram uma avaliação desfavorável em um determinado critério podem ter o resultado compensado por uma avaliação muito favorável de outro. Essa forma de agregação favorece programas com avaliações pouco balanceadas, ou seja, programas que possuem baixo grau de avaliação em alguns critérios e elevados graus de avaliação em outros critérios. (VINKE, 1992).

Segundo o documento de área - relatório da avaliação da área Engenharias III da CAPES (CAPES, 2001a) -, o modelo de avaliação utilizado no triênio 1998/2000 contempla vários quesitos (critérios) cujo resultado excelente em um deles não poderia compensar um resultado apenas regular em outro, induzindo os programas a atenderem de forma "uniforme" todos os quesitos da avaliação.

Para atender esse objetivo, uma metodologia multicritério de sobreclassificação, em especial o ELECTRE TRI, estaria mais adequada para tratar o problema de avaliação da CAPES, pois é uma metodologia não-compensatória que contempla justamente os programas que apresentam avaliações mais uniformes em todos os quesitos (critérios) da avaliação.

Assim, a escolha em utilizar o método ELECTRE TRI deve-se à importância em analisar o problema da CAPES mediante uma visão diferente (método não-compensatório). Outro aspecto importante no uso do ELECTRE TRI para o problema de classificação dos programas de pós-graduação está relacionado ao tipo de problemática utilizada. O ELECTRE TRI foi desenvolvido para lidar com problemáticas de classificação. Isto é, sua aplicação resulta diretamente numa classificação dos programas, não havendo a necessidade de se fazer ajustes posteriores, como é o caso do uso da metodologia aditiva atual na avaliação da CAPES. A definição das cinco classes (1 a 5) é efetuada previamente, logo na construção do modelo, o que torna o processo decisório classificatório.

Com a aplicação do ELECTRE TRI pode-se perceber que parte da avaliação dos programas é feita de forma subjetiva, e que talvez outros critérios, não estabelecidos aqui, também seriam considerados, porém não foram explicitados (ex: coerência e consistência dos dados e aspectos relacionados à evolução do programa.) Isto pode ser verificado pela análise de alguns programas. Por exemplo o programa FF, que obteve a avaliação "bom" em todos os critérios, recebeu 5 como conceito final. Os programas AA, DD e UU tiveram como avaliação global da CAPES "bom", o que caracteriza o nível 4 (ver Tabela I em anexo). No entanto esses programas receberam conceito 5. Pela aplicação do ELECTRE TRI esses programas receberiam justamente o conceito 4 .

Através das análises de sensibilidade pôde-se perceber também que o critério Produção Intelectual tem peso muito elevado (0,3), ou seja, os programas que tiveram avaliação baixa nesse critério provavelmente não terão bons conceitos.

Uma outra questão a ser considerada no uso do método ELECTRE TRI é que se deve escolher entre os procedimentos pessimista e otimista. Percebe-se que em todas as análises houve um desencontro entre estes procedimentos. No procedimento pessimista, uma grande parte dos programas que receberam conceito 5, pela CAPES, foram classificados na categoria 4. Para os outros conceitos, sua classificação ficou bem próxima à da CAPES. Já no procedimento otimista, grande parte dos programas que receberam conceito 3, pela CAPES, foram classificados na categoria 4. Para os outros conceitos, a classificação ficou próxima à da CAPES. Essa comparação pode ser vista na Figura 3 abaixo.

Diante destes resultados pode-se concluir que: ou a definição das classes acima representadas não representa completamente o processo de distribuição dos conceitos pela CAPES ou a forma de relacionar os valores qualitativos aos critérios (MB, B, R, F e D) não é linear, onde as avaliações "bom" e "muito bom" estariam mais próximas.

CONCLUSÕES

A CAPES, em seu processo de avaliação, considera aspectos que podem ser agrupados em seis critérios: Corpo Docente, Atividades de Pesquisa, Atividades de Formação, Corpo Discente, Teses e Dissertações e Produção Intelectual. Estes critérios são definidos pela CAPES para todas as áreas de conhecimento. O processo de avaliação para a área Engenharias III é realizado por uma comissão de especialistas, que colaboram e influenciam no conceito final dos programas envolvendo, além de avaliações quantitativas e qualitativas, questões subjetivas difíceis de ser mensuradas.

O método ELECTRE TRI foi aplicado aos programas de pós-graduação da área Engenharias III (CAPES, 2001a). Os resultados da aplicação desse método, em comparação com a avaliação feita pelos avaliadores, permitiram analisar de forma diferente o processo de avaliação da CAPES. Também foi detectado que parte do processo de avaliação é feita de forma subjetiva, pois a atribuição de conceitos aos programas pode considerar outros fatores não explicitados no método.

Uma extensão do trabalho seria considerar o apoio multicritério desde a avaliação dos subcritérios. Assim, o ponto de partida para a aplicação do ELECTRE TRI seria a avaliação dos subcritérios, para compor cada um dos seis critérios fundamentais. Em seguida, esses critérios seriam avaliados para compor a avaliação global de cada programa, atribuindo-se-lhe os conceitos de 1 a 5. Da mesma forma, uma continuidade deste trabalho seria a realização da análise multicritério no segundo momento da avaliação, em que aqueles programas que foram classificados com nível 5 participam de uma segunda análise para classificação nos níveis 6 ou 7, em função de seu desempenho diferenciado quanto à produção científica, cultural e artística, além de características que os tornam competidores em nível internacional.

Ainda como futuros trabalhos, vale ressaltar a importância de um estudo para avaliar os atuais critérios e propor uma revisão nos critérios de avaliação. Entretanto, neste caso, certamente deveria haver o envolvimento do corpo decisório da CAPES, observando que estes critérios são definidos pela CAPES para todas as áreas de conhecimento.

Artigo recebido em 07/03/2003

Aprovado para publicação em 17/10/2003

• CAPES. DOCUMENTO DE ÁREA - RELATÓRIO DA AVALIAÇÃO 1998-2000 - ENGENHARIAS III, Julho, 2001a.
• CAPES. Avaliação da Pós- Graduação 1998-2000 nas ENGENHARIAS III - CRITÉRIOS DA AVALIAÇÃO - Perfil de Excelência, 2001b.
• CAPES. Avaliação da Pós- Graduação 1998-2000 nas ENGENHARIAS III - SÍNTESE DA AVALIAÇÃO POR ETAPA, 2001c.
• CAPES. CAPES - Avaliação Trienal: Dados sobre programas de pós-graduação - http://www.capes.gov.br/Scripts/SelecionaAnoDadosPos Graduacao.icd, 2001d.
• CAPES. Apresentação geral. http://www.capes.gov.br/oqueecapes.html, 2001e.
• MIRANDA, C. M. G.; Análise Comparativa Da Avaliação De Pós-Graduação Da Capes Com Métodos De Apoio Multicritério A Decisão: O Caso Da Área Engenharias III. Recife, março de 2002. (Mestrado - Universidade Federal de Pernambuco/UFPE).
• FERRER, F. C.; MIRANDA, C. M. G. de; ALMEIDA, A. T. de; Avaliação de Programas de pós-graduação com método Multicritério. XXXI Simpósio Brasileiro de Pesquisa Operacional, Campos do Jordão - SP, 2001.
• GOMES, L. F. A.; GOMES, C. F. S. ALMEIDA, A. T. de.; Tomada de Decisão Gerencial: O Enfoque Multicritério, Rio de Janeiro. Ed. Atlas, vol.1, 2002.
• KEENEY, R. & RAIFFA, H. Decisions with Mutiple Objectives - Preferences and Value Trade-offs. John Wiley & Sons, 1976.
• MOUSSEAU V.; FIGUEIRA J. & NAUX J.P.; Using assignment examples to infer weights for ELECTRE TRI method: Some experimental results. European Journal of Operational Research. v. 130, n. 2, pp. 263-275, 2001.
• MOUSSEAU, V. & SLOWINSKI, R. Inferring an ELECTRE TRI Model from Assignment Examples. Journal of Global Optimization, n 12, p. 157-174, 1998.
• OLSON, D. L. Decision aids for eletion problems Springer, 1996.
• ROY, B.; Classement et Choix en Présence de Points de vue Multiples (la méthode Electre). Revue Française d'Informatique et de Recherche Opérationnelle. v. 8, p. 57-75, 1968.
• ROY, B. Critères Multiples et Modélisation des Préférences: l'apport des relations de surclassement. Revue d'Economie Politique 1, 1974. Apud Vincke (1992).
• ROY, B. Multicriteria Methodology Goes Decision Aiding Kluwer Academic Publishers, 1996.
• VINCKE, P. Multicriteria Decision-Aid John Wiley & Sons Ltd. ISBN: 0-471-93184-5, 1992.
• YU, W. ELECTRE TRI - Aspects Méthodologiques et Guide d'Utilisation Document du LAMSADE, 74, Université de Paris - Dauphine, avril 1992.

Datas de Publicação

• Publicação nesta coleção
  30 Mar 2007
• Data do Fascículo
  2003

Histórico

• Recebido
  07 Mar 2003
• Aceito
  17 Out 2003