Composição probabilística de preferências com abordagem empírica em problemas multicritério

Resumo

Este artigo teve por objetivo apresentar uma abordagem empírica ao método de Composição Probabilística de Preferências (CPP). O método CPP se destina a escolha, ordenação e classificação de alternativas em problemas multicritério. O CPP tem explorado ampla variedade de aplicações a partir de distribuições de probabilidades contínuas. Entretanto, o uso de probabilidades empíricas, sem a necessidade de conhecer ou assumir uma função de probabilidade conjunta que origina as preferências, pode contribuir para lidar com determinados tipos de problema com escalas ordinais de preferência. A abordagem empírica é aqui aplicada em três casos, com a finalidade de ilustrar suas principais características e limitações. A proposta se mostrou satisfatória para o tratamento de preferências de avaliadores, especialmente quando o número de alternativas é reduzido em relação às opções da escala de pontos de avaliação e ao número de avaliadores, por contribuir para elevar a capacidade discriminatória dos resultados.

Palavras-chave:
Composição probabilística de preferências; Probabilidades empíricas; ISO 31010

Abstract

This paper aimed at presenting an Empirical Approach to the Composition of Probabilistic Preferences (CPP) method. The CPP method is used to choose, sort and classify alternatives in multi-criteria problems. The CPP has explored a wide variety of applications from continuous probability distributions. However, the use of empirical probabilities, without the need to know or assume a joint probability function that gives rise to preferences, can help to deal with certain types of problems with ordinal preference scales. The empirical approach is applied here in three cases, with the purpose of illustrating its main characteristics and limitations. The proposal proved to be satisfactory for treating appraisers' preferences, especially when the number of alternatives is reduced in relation to the options of the scale of assessment points and the number of appraisers, as they contribute to increase the discriminatory capacity of the results.

Keywords:
Composition of probabilistic preferences; Empirical probabilities; ISO 31010

1 Introdução

O problema de agregação de preferências individuais em prol de uma decisão coletiva, que recebeu a designação de “escolha social” por Arrow (1963), tem recebido a atenção de pesquisadores há séculos, conforme evidenciam os estudos em processos de votação por Borda e Condorcet, comentados em Pomerol & Barba-Romero (2012). Atualmente, a ordenação de alternativas ainda permanece relevante em diferentes situações, onde seja necessário ordenar candidatos a um novo cargo ou determinar a prioridade de soluções a um dado problema, a partir da preferência de eleitores, juízes, especialistas, grupos de interesse, dentre outros. Segundo Pomerol & Barba-Romero (2012), os métodos de ordenação são mais robustos que os métodos cardinais, pois a atribuição de cardinalidades às alternativas se baseia em funções de utilidade frágeis e voláteis, sujeitas a contextos e parcialidades do avaliador, enquanto a ordem de escolha dele permanece imutável. Isso torna ainda relevante a pesquisa sobre métodos ordinais de preferência.

Este artigo apresenta uma variante ao método de Composição Probabilística de Preferências (CPP), desenvolvida por Sant’Anna & Sant’Anna (2001), para a ordenação de alternativas avaliadas sob múltiplos critérios. A nova proposta explora as propriedades da teoria de probabilidades conjuntas discretas, descrita por Soong (2004) e Ross (2009). As preferências dos avaliadores em problemas multicritério são modeladas com probabilidades empíricas, sem assumir um comportamento aleatório por distribuições de probabilidades contínuas, conforme proposto por Sant’Anna (2015a) e Abbas (2006). Uma revisão sumária da literatura indica que o CPP tem modelado problemas com distribuições de probabilidades uniformes (Sant’Anna & Conde, 2011; Sant’Anna et al., 2012a), normais (Sant’Anna, 2013; Sant’Anna et al., 2015a), triangulares (Sant’Anna & Silva, 2011; Treinta et al., 2014), de Pareto (Caillaux et al., 2011; Sant’Anna & Mello, 2012) e Beta (Maciel, 2015; Sant’Anna, 2015b; Sant’Anna et al., 2015b), com aplicações nas mais diversas áreas do conhecimento. Nesse contexto, o uso de probabilidades empíricas constitui uma contribuição para a aplicação com o método CPP.

Um aspecto positivo do uso das distribuições empíricas se refere ao fato de não requerer a agregação das preferências. Segundo Arrow (1963), as escolhas individuais tendem a ser conflitantes e até inconsistentes, e uma eventual agregação dos vetores de preferências das alternativas sob parâmetros únicos (isto é, média, moda, mediana, máximo, mínimo, entre outros) eliminaria tais diferenças. Em termos práticos, a abordagem empírica trata as preferências de cada especialista para dado conjunto de alternativas como um vetor, em vez de agregar as preferências de uma alternativa, recebida dos especialistas, por qualquer tipo de algoritmo. O CPP tem tratado as preferências como distribuições de probabilidade contínuas, centradas em um único valor extraído do vetor de avaliações pelos múltiplos especialistas. O método proposto neste artigo considera a distribuição de probabilidade discreta determinada por esse vetor, sem a necessidade de se identificar a função de distribuição que o originaria. As características e as limitações do uso das probabilidades empíricas estão presentes nos casos estudados neste artigo.

Este artigo está dividido em seções, além desta introdução. A seção II apresentará as propriedades e os procedimentos de cálculo do método CPP. Na seção III, será descrita a abordagem desse método com probabilidades empíricas. Na seção IV, serão trazidos dois estudos de caso com duas alternativas, avaliadas em escalas de 5 pontos por 50 avaliadores. A seção V expandirá a aplicação a um caso com múltiplas alternativas, também avaliadas em escala de 5 pontos. A seção VI apresentará uma análise das aplicações efetuadas e, por fim, a seção VII trará as conclusões do artigo.

2 O método CPP

O método CPP se baseia na teoria de probabilidades conjuntas em apoio à decisão, proposto, inicialmente, por Sant’Anna & Sant’Anna (2001) e ampliado, recentemente, por Sant’Anna (2015a). O método aplica uma abordagem probabilística a problemas de apoio multicritério, sendo útil para a escolha, a ordenação ou a classificação de alternativas. A natureza probabilística do CPP é muito importante para o tratamento de dados imprecisos. A imprecisão é inerente à subjetividade e aos erros de avaliação dos processos de tomada de decisão individual ou em grupo. Por isso, é natural assumir um comportamento aleatório para a avaliação de cada alternativa sob cada critério.

O método CPP parte do princípio de que a avaliação da preferência de uma alternativa pode ser dada pela probabilidade de essa alternativa ser a escolhida entre as demais. Para chegar a essa forma, quando a preferência é dada pelo valor de um atributo de desempenho, não se deve tratá-la como uma medida precisa e definitiva da preferência, mas como realização de uma variável aleatória.

O Quadro 1 descreve as três etapas do método CPP, conforme Sant’Anna (2015a). Na primeira etapa, os valores exatos da base de dados, sob a forma de uma matriz de decisão com alternativas avaliadas por um conjunto de critérios, são assumidos como parâmetros de posição de distribuições de probabilidade e vistos apenas como observações de variáveis aleatórias que se comportam segundo funções densidade de probabilidade (pdf). A segunda etapa se refere à escolha de uma distribuição de probabilidades que seja identificada ou mesmo assumida como característica das perturbações, tendo por parâmetros de localização os valores exatos. Esse procedimento de “aleatorização” dos valores exatos pode empregar diferentes distribuições de probabilidades (Sant’Anna & Conde, 2011; Sant’Anna & Mello, 2012; Sant’Anna, 2015b; Sant’Anna et al., 2015b).

Quadro 1
Etapas e passos do método CPP.

Etapa		Descrição	Procedimento de cálculo
1ª etapa		Uso da base de dados da matriz de decisão do problema para a escolha dos parâmetros da distribuição de probabilidade	Conforme as características de cada tipo de distribuição (parâmetros de uma distribuição normal são a média e o desvio-padrão dos dados)
2ª etapa		Escolha da distribuição de probabilidades	Função densidade de probabilidade (pdf) e função cumulativa de densidade (cdf) conforme o tipo de distribuição selecionada ao problema
3ª etapa	Passo 1	Cálculo das probabilidades conjuntas de maximizar as preferências (Mij)	$M_{ij}={\displaystyle {\int }_{D_{X_i}}^{}\left[{\displaystyle \prod _{j\ne i}{F}_{X_j}(x_j)}\right]}{f}_{X_i}(x_i)d{x}_i$ (1)
		Cálculo das probabilidades conjuntas de minimizar as preferências (mij)	$m_{ij}={\displaystyle {\int }_{D_{X_i}}^{}\left[{\displaystyle \prod _{j\ne i}\left(1-F_{X_j}(x_j)\right)}\right]}{f}_{X_i}(x_i)d{x}_i$ (2)
	Passo 2	Composição do ponto de vista Progressista-Pessimista (PP) por hipótese de independência	$P{P}_i={\displaystyle {\prod }_{}{M}_{ij}}$ (3)
		Composição do ponto de vista Progressista-Pessimista (PP) por hipótese de máxima dependência	$P{P}_i=\min M_{ij}$ (4)
		Composição do ponto de vista Progressista-Otimista (PO) por hipótese de independência	$P{O}_i=1-{\displaystyle {\prod }_{}\left(1-M_{ij}\right)}$ (5)
		Composição do ponto de vista Progressista-Otimista (PO) por hipótese de máxima dependência	$P{O}_i=\max M_{ij}$ (6)
		Composição do ponto de vista Conservador-Pessimista (CP) por hipótese de independência	$C{P}_i={\displaystyle {\prod }_{}\left(1-m_{ij}\right)}$ (7)
		Composição do ponto de vista Conservador-Pessimista (CP) por hipótese de máxima dependência	$C{P}_i=1-\max m_{ij}$ (8)
		Composição do ponto de vista Conservador-Otimista (CO) por hipótese de independência	$C{O}_i=1-{\displaystyle {\prod }_{}{m}_{ij}}$ (9)
		Composição do ponto de vista Conservador-Otimista (CO) por hipóteses de máxima dependência	$C{O}_i=1-\min m_{ij}$ (10)

• Fonte: Sant’Anna (2015a).

A terceira etapa envolve dois passos. Inicialmente, são calculadas as probabilidades conjuntas de cada alternativa apresentar a máxima ($M_{ij}$) e a mínima ($m_{ij}$) preferência entre as demais, conforme as Equações 1 e 2, em que F_Xj, f_Xi e D_Xi são, respectivamente, a distribuição cumulativa da variável x_j, que representa as demais alternativas sob o mesmo critério, à exceção da variável x_j considerada no cálculo, a função densidade e o suporte da variável aleatória x_j (Sant’Anna et al., 2012b). Os cálculos são efetuados para cada alternativa sob cada critério. No último passo, probabilidades conjuntas são compostas sob diferentes pontos de vista de decisão.

O ponto de vista Progressista-Pessimista (PP) calcula a preferência pela probabilidade conjunta de uma alternativa apresentar a máxima preferência em relação às demais, sendo composto conforme as hipóteses de independência e máxima dependência, para retratar os extremos das correlações entre as variáveis, e calculado, respectivamente, pelas Equações 3 e 4. A abordagem progressista denota a intenção do decisor por “maior ganho”, com foco nas alternativas próximas à fronteira de excelência, em que $M_{jc}$ é o fator relevante para a tomada de decisão, enquanto a abordagem pessimista considera as preferências sob todos os critérios simultaneamente. A abordagem conservadora denota a intenção de “evitar perdas”, em que o decisor objetiva diferenciar as alternativas próximas à fronteira de pior performance, sendo $m_{jc}$ o fator relevante para a tomada de decisão. O ponto de vista Progressista-Otimista (PO) representa a probabilidade de uma alternativa apresentar preferência superior em relação às outras segundo pelo menos um dos critérios, sendo calculado conforme as Equações 5 e 6. O ponto de vista Conservador-Pessimista (CP) representa a probabilidade conjunta de uma alternativa não possuir a pior preferência em relação a todas as demais por nenhum critério, sendo calculado a partir das Equações 7 e 8. Por fim, o ponto de vista Conservador-Otimista (CO) representa a probabilidade conjunta de uma alternativa não receber a pior avaliação de todas por pelo menos um critério, sendo calculado conforme as Equações 9 e 10.

3 O CPP com probabilidades empíricas

A probabilidade empírica, também denominada frequência relativa, ou probabilidade experimental, é a relação entre o número de resultados em que ocorre um evento específico para o número total de experimentos realizados, sem considerar um espaço amostral teórico (Graybill et al., 1974). Em um sentido mais geral, probabilidade empírica calcula probabilidades a partir do experimento e da observação dos resultados. Dado um evento A, em um espaço amostral, a frequência relativa de A é a proporção de n(A)/n(E), em que n(A) representa o número de resultados favoráveis à ocorrência de A e n(E) é o número total de resultados de um experimento E. No caso de A ser um vetor de preferências em uma escala de pontos e o número de resultados ser a quantidade de avaliações, deduz-se que a probabilidade empírica do vetor (A₁, ..., A_m) equivale a n(A₁, ..., A_m)/n(Avaliações).

O CPP com a abordagem por probabilidades empíricas dos vetores de preferências requer uma adaptação nos procedimentos de cálculo, propostos no Quadro 2 e descritos nas Equações 11, 12 e 13. Na primeira etapa, as preferências de cada avaliador são transformadas em um vetor, no qual cada elemento representa a pontuação de cada alternativa pelo critério avaliado. Por exemplo, se um especialista avalia quatro alternativas em uma escala de 7 pontos, em que “1” representa a menor preferência, e “7”, a maior, um possível vetor resultante dessa avaliação poderia ser (2,4,6,3), em que “2” representa a avaliação da alternativa “A”, “4”, a alternativa “B”, “6”, a alternativa “C”, e “3”, a alternativa “D”. Na segunda etapa, são calculadas as probabilidades empíricas de cada vetor de preferência, conforme definido por Graybill et al. (1974). Por exemplo, se o mesmo vetor (2,4,6,3) representa a preferência de 15 dos 45 avaliadores, então a frequência observada desse vetor equivale a 0,33, ou seja, P(A=2,B=4,C=6,D=3)=15/45. Na terceira etapa, primeiramente, são calculadas as probabilidades de cada alternativa receber uma preferência superior (M_ij) e inferior (m_ij) às demais. Cabe notar que os cálculos de M_ij e m_ij para a variante empírica envolvem menor complexidade computacional quando comparados aos do método CPP. Por outro lado, é possível inferir que alguns problemas podem apresentar reduzido poder discricionário entre as alternativas, principalmente em se tratando de vetores com muitas alternativas avaliadas em escalas com poucos pontos. Nesse caso, estimam-se diversos M_ij e m_ij nulos, indicando que o uso da variante empírica não se mostra adequado ao problema. Por fim, o último passo da terceira etapa é idêntico ao do método CPP, sendo utilizadas as probabilidades M_ij e m_ij para os cálculos das diferentes composições.

Quadro 2
Etapas e passos da variante empírica.

Etapa		Descrição	Procedimento de cálculo
1ª etapa		Transformação de cada avaliação dos especialistas em um vetor de preferências	O vetor de preferência de um especialista assume a forma (A1,..., Am), em que cada alternativa Ai recebe um valor da escala de pontos disponível para a avaliação de preferências
2ª etapa		Cálculo das probabilidades observadas de cada vetor de preferências	$P(A_1\mathrm{,...,}{A}_m)=n(A_1\mathrm{,...,}{A}_m)/n(avaliações)$ (11)
3ª etapa	Passo 1	Cálculo das probabilidades conjuntas de maximizar as preferências (Mij)	$M_{ij}={\displaystyle \sum _{i=1}^{i=m}P(A_i>}{A}_1\mathrm{,...,}{A}_i>A_m)$ (12)
		Cálculo das probabilidades conjuntas de minimizar as preferências (mij)	$m_{ij}={\displaystyle \sum _{i=1}^{i=m}P(A_i<}{A}_1\mathrm{,...,}{A}_i<A_m)$ (13)
	Passo 2	Conforme o Quadro 1	Conforme o Quadro 1.

• Fonte: Adaptado de Ross (2009), Sant’Anna (2015a) e Soong (2004).

4 Aplicação em casos bivariados

Esta seção apresentará dois estudos de caso simplificados, de forma a ilustrar as diferenças básicas entre a abordagem do método CPP e a da variante com probabilidades empíricas dos vetores de preferência. A Tabela 1 mostra uma base de dados, exclusivamente ilustrativa, para o primeiro caso bivariado, no qual as alternativas “A” e “B” receberam a preferência de 50 avaliadores para um critério único, ambas sob escalas ordinais de 5 pontos, nas quais “1” indica o pior desempenho, e “5”, o melhor desempenho. A última linha e a última coluna da Tabela 1 consolidam as preferências marginais para cada ponto da escala, sendo as colunas para a alternativa “A” e as linhas para a alternativa “B”. A diagonal principal da matriz encontra-se destacada, que indica a quantidade de avaliadores que não estabeleceram diferenças entre as alternativas. Dessa forma, a matriz da Tabela 1 descreve a quantidade de avaliadores que optaram pelo vetor de preferências, representados pelos pares ordenados (A,B), assumindo um comportamento conjunto das alternativas “A” e “B”.

Tabela 1
Primeiro caso bivariado.

B \ A	1	2	3	4	5	TOT
1	2	2	1	3	4	12
2	4	1	2	0	4	11
3	4	2	0	0	4	10
4	4	1	2	0	2	9
5	1	1	2	2	2	8
TOT	15	7	7	5	16	50

A partir dos dados da Tabela 1, o primeiro caso bivariado foi abordado por três procedimentos para a identificação da maior preferência dos avaliadores: agregação marginal das escolhas, método CPP e variante empírica. Em relação ao procedimento de agregação, que não considerava o comportamento conjunto das variáveis A e B, a medida de agregação representava a moda, a mediana, a média ou alguma outra medida de posição considerada representativa ao contexto do problema. Verificou-se que a alternativa “A” apresentou moda “5” (16 preferências), mediana “3” (25ª posição) e média “3” (ponderação dos pontos da escala com pesos das preferências marginais). A alternativa “B” apresentou moda “1” (12 preferências), mediana “3” (25ª posição) e média “2,8” (ponderação dos pontos da escala com pesos das preferências marginais). Esses resultados indicam que o uso da moda ou da média como parâmetros de agregação resultou na preferência dos avaliadores pela alternativa “A”, enquanto a escolha pela mediana indicou uma indiferença entre ambas.

No caso da abordagem do problema com o método CPP, os resultados também indicaram a preferência pela alternativa “A”. O procedimento de cálculo considerou que cada avaliador era um critério distinto, assumindo cada escolha do par ordenado (A,B) como a medida exata a ser “aleatorizada” para A e para B. Por exemplo, supondo que um avaliador associou sua escolha ao par ordenado (A=2, B=4), foram considerados, para a alternativa “A”, o parâmetro “2” de uma distribuição de probabilidade e, para a alternativa “B”, o parâmetro “4” para o mesmo tipo de distribuição. As preferências foram normalizadas no intervalo (0,1), e esses parâmetros foram assumidos como as modas de distribuições triangulares com amplitude (0,1). Os resultados obtidos para o ponto de vista PP foram PP(A) = 8,56654E-16 e PP(B) = 2,15797E-17, indicando, assim, a preferência pela alternativa “A”.

No caso da abordagem do problema com a variante empírica, na qual a probabilidade de cada observação vetorial equivalia a 1/50, em decorrência da quantidade de 50 avaliadores, verificou-se que o quadrante superior da matriz representava as probabilidades conjuntas, nas quais a preferência por A era maior do que por B, com essas alternativas sendo assumidas como variáveis aleatórias em uma escala de 1 a 5. O quadrante inferior indicava as probabilidades conjuntas, nas quais a preferência por B era maior do que por A. Dessa forma, a aplicação da Equação 12 indicou que P(A>B) equivalia a 22/50, enquanto P(B>A) valia 23/50. Portanto, a abordagem empírica mostrou a preferência dos avaliadores pela alternativa “B”.

Com a finalidade de explorar a sensibilidade das diferentes abordagens, efetuou-se uma ligeira variação dos dados da Tabela 1. A Tabela 2 apresenta uma alteração de preferências no quadrante superior, com a manutenção do quadrante inferior. Três avaliadores que inicialmente optaram pelo par (5,1) alteraram suas escolhas para o par (2,1) e um avaliador alterou do par (5,2) para o par (3,2). Essas translações para a alternativa “A” não alteraram os resultados da abordagem empírica, pois P(A>B) permaneceu igual a 22/50, e P(B>A), a 23/50. Entretanto, os resultados por agregação marginal se inverteram, pois as modas eram iguais a 1 para ambas as alternativas, e a mediana de B (3) passou a ser superior a de A (2,5), assim como a média ponderada de B (2,8) também foi superior a de A (2,78), indicando uma nova preferência pela alternativa “B”. O mesmo padrão de inversão se verificou para a aplicação do método CPP ao ponto de vista PP.

Tabela 2
Segundo caso bivariado.

B \ A	1	2	3	4	5	TOT
1	2	5	1	3	1	12
2	4	1	3	0	3	11
3	4	2	0	0	4	10
4	4	1	2	0	2	9
5	1	1	2	2	2	8
TOT	15	10	8	5	12	50

O problema da inversão das probabilidades de maximizar as alternativas nesses dois casos bivariados, verificados para os procedimentos não empíricos, decorreu da influência cardinal da escala de pontos sobre a agregação e o CPP. Ao transladar preferências de valor “5” para “3” e para “2”, os parâmetros desses métodos também foram alterados, enquanto, para a abordagem empírica, as probabilidades conjuntas dos vetores (5,1), (5,2), (2,1) e (3,2) eram iguais e não alteraram a preferência desses avaliadores de A por B, pois A permaneceu superior a B nesses quatro pares ordenados.

A ilustração dos dois casos bivariados indicou maior robustez da abordagem empírica e maior aderência à exploração de problemas de preferência com escalas ordinais, pois o modelo empírico foi invariante à intensidade da preferência de alguns avaliadores. A robustez dos métodos ordinais de apoio multicritério em relação aos métodos influenciados pela cardinalidade das escalas foi identificada por Pomerol & Barba-Romero (2012).

De fato, não se deve atribuir aos diferentes resultados a constatação de que algum procedimento apresenta maior acurácia que outro. A natureza do problema deve orientar a escolha do método. O caso empírico se mostrou útil para tratar preferências de múltiplos avaliadores como vetores, compostos por tantos elementos quantas forem as alternativas, sem implicar agregação dos resultados. Entretanto, a abordagem vetorial e empírica para um problema com múltiplas alternativas e escala limitada a poucos pontos pode gerar elevada quantidade de empates na comparação entre as alternativas. Esse comportamento foi constatado no estudo de caso multivariado, indicando que a abordagem com distribuições contínuas apresentou melhores resultados.

5 Aplicação em caso multivariado

O terceiro estudo de caso desta pesquisa se refere à avaliação da preferência de 23 especialistas em gerenciamento de riscos, conforme descrito na pesquisa de Maciel (2015), a respeito de um conjunto de técnicas apresentadas em PMI (2001) e IEC (2009). Os especialistas utilizaram para a avaliação uma escala ordinal de 5 pontos, em que “1” significa a menor preferência, e “5”, a maior. O conjunto de alternativas era composto de 14 técnicas de identificação dos riscos, 10 técnicas de análise qualitativa de riscos e 7 técnicas de avaliação de riscos, sendo cada conjunto avaliado sob três critérios: eficiência, eficácia e complexidade. As aplicações do método CPP e da variante empírica seguiram os princípios de Arrow (1963) e Pomerol & Barba-Romero (2012) para os métodos ordinais em processos de votação, em que cada escolha reflete um critério pessoal do avaliador. Nesse contexto, as preferências dos especialistas representaram 23 subcritérios de avaliação da eficiência, eficácia e complexidade para cada conjunto de alternativas. As bases de dados do survey realizado com os especialistas estão replicadas no ^{Apêndice A} deste artigo, correspondendo ao levantamento mais recente feito por Maciel (2015), descrito nas Tabelas A1 - A9.

Com a finalidade de avaliar o comportamento da abordagem empírica do CPP, para um caso multivariado, a base de dados com resultados empíricos foi comparada ao método CPP com distribuições normais e ponto de vista PO, assumindo a independência das variáveis. A modelagem por distribuições normais se adequou à natureza do problema, pois um de seus parâmetros (desvio-padrão) permitiu distinguir as preferências de especialistas que, porventura, igualassem as médias de suas avaliações. A escolha do ponto de vista PO se deu em razão da suposição do decisor que buscava por técnicas com preferências mais próximas à fronteira de excelência (ponto de vista progressista), sendo esta a referência para a ordenação das alternativas. Em relação ao ponto de vista otimista, a escolha refletiu a abordagem benevolente ao problema, na qual o decisor admitia alternativas que recebessem maiores preferências em ao menos um critério, quando se tratava de escolher técnicas. O elevado número de alternativas em relação à escala de pontos foi uma característica do problema que implicou elevada quantidade de valores nulos para os cálculos de M_ij e m_ij, principalmente para a variante empírica, pois múltiplas alternativas passaram a receber avaliações idênticas de preferência. As Tabelas 3, 4 e 5 apresentam a ordenação dos resultados da aplicação dos métodos, a partir das Equações 1, 5, 11 e 12, com programação no software “R” (R Core Team, 2015).

Tabela 3
Identificação dos riscos.

Alt	Descrição das técnicas	CPP - Distribuição normal - PO - Hipótese de independência
		Critério 1	Critério 2	Critério 3	Produto	Ranking
Alt 1	Brainstorming	0,379	0,628	0,993	0,236	12
Alt 2	Técnica delphi	0,414	0,417	0,535	0,092	13
Alt 3	Entrevistas	0,892	0,958	0,924	0,789	2
Alt 4	Análise de causa-raiz	0,968	0,876	0,603	0,511	5
Alt 5	Análise SWOT	0,893	0,930	0,914	0,759	3
Alt 6	Diagrama Ishikawa	0,861	0,794	0,565	0,386	8
Alt 7	Fluxograma	0,708	0,814	0,622	0,358	10
Alt 8	Diagrama de influência	0,263	0,518	0,526	0,072	14
Alt 9	Apoio de especialistas	0,965	0,971	0,946	0,887	1
Alt 10	Análise crítica de históricos	0,641	0,741	0,610	0,290	11
Alt 11	Análise de cenários	0,920	0,778	0,679	0,486	6
Alt 12	Análise de impactos no negócio	0,914	0,912	0,539	0,449	7
Alt 13	Índices de risco	0,845	0,765	0,803	0,519	4
Alt 14	Lista de verificação	0,550	0,683	0,970	0,364	9
Alt	Descrição das técnicas	Abordagem empírica
		Critério 1	Critério 2	Critério 3	PO	Ranking
Alt 1	Brainstorming	0	0	0,087	0,087	2
Alt 2	Técnica delphi	0	0	0	0	7
Alt 3	Entrevistas	0	0	0	0	7
Alt 4	Análise de causa-raiz	0,043	0	0	0,043	4
Alt 5	Análise SWOT	0,043	0	0	0,043	4
Alt 6	Diagrama Ishikawa	0	0	0	0	7
Alt 7	Fluxograma	0	0	0	0	7
Alt 8	Diagrama de influência	0	0	0	0	7
Alt 9	Apoio de especialistas	0,130	0,087	0,043	0,241	1
Alt 10	Análise crítica de históricos	0	0	0	0	7
Alt 11	Análise de cenários	0,043	0	0	0,043	4
Alt 12	Análise de impactos no negócio	0	0	0	0	7
Alt 13	Índices de risco	0	0	0	0	7
Alt 14	Lista de verificação	0	0	0,087	0,087	2

Tabela 4
Análise qualitativa dos riscos.

Alt	Descrição das técnicas	CPP - Distribuição normal - PO - Hipótese de independência
		Critério 1	Critério 2	Critério 3	Produto		Ranking
Alt 1	Matriz de probabilidade e impacto	0,999	0,999	0,993	0,991		1
Alt 2	Avaliação da urgência dos riscos	0,801	0,913	0,963	0,705		5
Alt 3	Matriz GUT	0,951	0,776	0,825	0,608		6
Alt 4	Análise de cenários	0,869	0,896	0,918	0,714		4
Alt 5	Análise de impactos no negócio	0,988	0,896	0,598	0,529		7
Alt 6	Análise de causa-raiz	0,976	0,970	0,798	0,756		3
Alt 7	Diagrama Ishikawa	0,843	0,589	0,953	0,473		8
Alt 8	Árvore de decisão	0,924	0,897	0,949	0,786		2
Alt 9	Análise bow-tie	0,846	0,973	0,547	0,450		9
Alt 10	Índices de risco	0,621	0,492	0,949	0,290		10
Alt	Descrição das técnicas	Abordagem empírica
		Critério 1	Critério 2	Critério 3	PO	Ranking
Alt 1	Matriz de probabilidade e impacto	0,130	0,174	0,087	0,344	1
Alt 2	Avaliação da urgência dos riscos	0,043	0,043	0,043	0,125	2
Alt 3	Matriz GUT	0,043	0	0	0,043	6
Alt 4	Análise de cenários	0	0,043	0,043	0,085	3
Alt 5	Análise de impactos no negócio	0,043	0	0	0,043	6
Alt 6	Análise de causa-raiz	0,043	0,043	0	0,085	3
Alt 7	Diagrama Ishikawa	0	0	0	0	9
Alt 8	Árvore de decisão	0,043	0,043	0	0,085	3
Alt 9	Análise bow-tie	0	0,043	0	0,043	6
Alt 10	Índices de risco	0	0	0	0	9

Tabela 5
Avaliação dos riscos.

Alt	Descrição das técnicas	CPP - Distribuição normal - PO - Hipótese de independência
		Critério 1	Critério 2	Critério 3	Produto	Ranking
Alt 1	Análise de cenários	0,964	0,988	0,878	0,836	5
Alt 2	Análise de impactos no negócio	1	0,996	0,981	0,978	1
Alt 3	Análise de causa-raiz	0,984	0,997	0,841	0,824	6
Alt 4	Árvore de decisão	0,965	0,960	0,956	0,886	4
Alt 5	Análise bow-tie	0,956	0,999	0,994	0,949	2
Alt 6	Curvas FN	0,791	0,609	0,896	0,431	7
Alt 7	Índices de risco	0,965	0,931	1	0,898	3
Alt	Descrição das técnicas	Abordagem empírica
		Critério 1	Critério 2	Critério 3	PO	Ranking
Alt 1	Análise de cenários	0	0,043	0	0,043	6
Alt 2	Análise de impactos no negócio	0,130	0,043	0,043	0,204	2
Alt 3	Análise de causa-raiz	0	0,130	0,043	0,168	3
Alt 4	Árvore de decisão	0,043	0,043	0	0,085	5
Alt 5	Análise bow-tie	0,043	0,174	0,130	0,313	1
Alt 6	Curvas FN	0	0	0	0	7
Alt 7	Índices de risco	0,043	0	0,130	0,168	3

A Tabela 3 apresenta os resultados da aplicação dos métodos CPP com distribuição normal e da abordagem empírica para a dimensão “identificação dos riscos”. No primeiro caso, a preferência de acordo com cada critério foi dada pela probabilidade de maximizar a preferência segundo algum especialista, supondo uma distribuição normal para cada avaliação com desvio-padrão estimado pelo que foi observado na amostra de avaliações das alternativas pelos 23 especialistas. Na composição dos três critérios básicos em um escore global, foi adotada a abordagem PP para aumentar o poder de discriminação. O segundo caso foi dado pela proporção de especialistas que preferiram a alternativa. Os resultados do método CPP indicaram a significativa capacidade de discriminação das alternativas, ao constatar o desempate nas ordenações das alternativas. A variante empírica confirmou a limitação referente à relação entre o número de alternativas a serem avaliadas sob uma escala de 5 pontos. Os 32 valores nulos nos três critérios da abordagem empírica indicaram que as respectivas alternativas não apresentaram probabilidades de maximizar suas preferências em relação às demais no mesmo critério. O valor “0,043”, por exemplo, mostrou que 1 entre os 23 especialistas selecionou um vetor de preferências, em que as alternativas “4”, “5”, “9” e “11” receberam preferências maiores que as demais, sendo de 4,3% a probabilidade empírica dessas alternativas nos respectivos critérios. Embora a variante empírica tivesse também indicado a alternativa “9” como a de maior preferência sob o ponto de vista PO, verificaram-se diversos empates na ordenação final. Esse aspecto foi atenuado com a redução das alternativas para avaliação ou com a ampliação das escalas de pontos. As Tabelas 4 e 5, por utilizarem 10 e 7 alternativas, respectivamente, permitiram melhorar a discriminação dos resultados.

A Tabela 4 apresenta os resultados da aplicação dos métodos CPP e da abordagem empírica para a dimensão “análise qualitativa dos riscos”. Ambas as abordagens indicaram a alternativa “1” com a maior preferência sob o ponto de vista PO. A redução da quantidade de alternativas não alterou a performance do método CPP, porém melhorou os resultados da abordagem empírica. A quantidade de valores nulos foi menor que a da etapa anterior, assim como os empates na ordenação final dos resultados.

A Tabela 5 apresenta os resultados da aplicação dos métodos CPP e da abordagem empírica para a dimensão “avaliação deriscos”. Os resultados indicaram uma inversão de ordem entre as duas primeiras alternativas avaliadas em ambos os métodos. No caso de necessidade de seleção de somente um desses métodos, seria possível priorizar os resultados de um deles ou submeter os dados para avaliação por mais de uma forma de composição. A redução do número de alternativas melhorou sensivelmente os resultados da abordagem empírica, confirmando a sensibilidade da proposta à relação entre o número de alternativas e a escala de avaliação.

6 Análise dos estudos de caso

Os estudos de caso permitiram identificar as características e as limitações da abordagem empírica do método CPP. Os estudos de caso bivariados possibilitaram verificar o comportamento exclusivamente ordinal dos vetores de preferência dos avaliadores. Essa característica foi observada com a translação de preferências no quadrante superior da matriz de probabilidades conjuntas. Essa alteração nos dados indicou a influência da cardinalidade da escala de pontos sobre os parâmetros e as distribuições de probabilidades, invertendo os resultados entre as alternativas “A” e “B” após o cálculo com o método CPP. Esses casos bivariados proporcionavam maior variedade de vetores de preferência aos avaliadores, que dispunham de uma escala de 5 pontos para a escolha de 25 pares ordenados de preferência. Além disso, a existência de 50 avaliadores proporcionava melhores condições para que a matriz de dados apresentasse valores com razoável distribuição, possibilitando o uso da abordagem empírica.

Por outro lado, o terceiro estudo de caso se opõe aos anteriores, apresentando maior quantidade de alternativas para a mesma escala de avaliação, além de menor quantidade de avaliadores. Com isso, as combinações dos possíveis vetores de preferência foram consideravelmente ampliadas, e, dessa forma, reduziu-se a capacidade de uma alternativa receber preferência superior ou inferior às demais. Isso ampliou a quantidade de M_ij e m_ij nulos, comprometendo os cálculos das composições probabilísticas, pois dependem desses índices em suas equações. A alternativa utilizada para resolver esse problema foi assumir um ponto de vista mais benevolente, no caso o PO, que garantia mais poder discriminatório aos resultados. Outra alternativa poderia considerar a flexibilização de M_ij e m_ij para computar probabilidades de fraca preferência, considerando não somente valores máximos e mínimos, mas valores maiores/menores ou iguais. Isso não foi aplicado por gerar também diversos empates, agora não nulos, mas com elevados valores, além de modificar uma característica importante do método original, que demonstrou seus satisfatórios resultados no mesmo estudo de caso. Em síntese, os estudos de caso indicaram que o contexto do problema interferia na aplicação da abordagem empírica.

7 Conclusões

Esta pesquisa teve por objetivo apresentar uma abordagem empírica do método CPP. A revisão da literatura indicou que o referido método tem explorado uma diversidade de problemas multicritério por intermédio de distribuições de probabilidades contínuas. Entretanto, o uso de probabilidades empíricas, sem a necessidade de conhecer a função de probabilidade conjunta que as origina, pode contribuir para determinados tipos de problemas ordinais multicritério. O artigo então propôs uma metodologia de cálculo com base nos procedimentos do método CPP, desenvolvido por Sant’Anna (2015a), incluindo as propriedades da teoria de probabilidades conjuntas discretas, conforme Soong (2004) e Ross (2009).

A proposta foi aplicada em três estudos de caso, com a finalidade de ilustrar suas principais características e limitações. A abordagem empírica se mostrou satisfatória para o tratamento de preferências de avaliadores, com base em escalas ordinais, quando a relação entre o número de alternativas é reduzida no que diz respeito às opções da escala de pontos de avaliação. Um elevado número de avaliadores também pode contribuir para elevar a capacidade discriminatória da proposta.

Os resultados do modelo proposto também foram aplicados em situação desfavorável, com a finalidade de levantar suas principais limitações. Nesse caso, foi explorada a pesquisa de Maciel (2015), cuja matriz de decisão envolvia três conjuntos distintos de alternativas, sendo o maior com 14 opções de técnicas de identificação de riscos descritos em PMI (2001) e IEC (2009), para avaliação de 23 especialistas, sob uma escala de 5 pontos. As condições desse caso indicaram as fragilidades da abordagem empírica, comprometendo a discriminação dos resultados com diversos empates entre as preferências, embora as alternativas de maior probabilidade de escolha tivessem correspondido aos resultados com a aplicação do método CPP.

Para estudos futuros, sugere-se explorar os cálculos com os outros casos, de forma a quantificar as relações mais favoráveis entre a quantidade de alternativas, os tipos de escalas ordinais e a quantidade de avaliadores. Sugere-se também comparar a proposta com outros métodos ordinais, de forma a avaliar a sensibilidade e a qualidade dos resultados da abordagem empírica do CPP em relação aos métodos Borda e Condorcet, entre outros aplicáveis a problemas similares (Pomerol & Barba-Romero, 2012). Por fim, um possível desenvolvimento poderia considerar no cálculo das probabilidades de preferência empírica os empates, cujas probabilidades foram desconsideradas ao se manter a aderência às equações originais do método CPP.

Apêndice A Avaliações dos especialistas.

Tabela A1
Avaliações das técnicas de identificação de riscos - Critério eficiência.

A\E	1	2	3	4	5	6	7	8	9	10	11	12	13	14	15	16	17	18	19	20	21	22	23
A-1	3	4	3	3	1	5	4	4	3	3	3	4	2	3	3	4	1	3	5	3	4	3	3
A-2	3	4	2	3	2	3	3	2	3	2	3	3	3	1	2	4	1	5	5	5	3	3	3
A-3	3	4	3	5	2	5	5	5	3	4	5	4	4	4	4	4	2	5	5	5	4	4	4
A-4	3	3	5	4	3	5	5	1	5	4	5	5	3	4	2	4	3	4	5	5	5	5	4
A-5	3	3	5	4	3	5	2	5	4	4	5	3	3	2	4	4	3	4	5	3	4	5	5
A-6	4	4	5	4	3	4	3	4	4	3	4	5	3	3	2	4	3	4	5	5	5	5	4
A-7	4	4	5	4	4	5	2	4	4	3	3	3	4	4	3	4	3	2	5	2	4	5	4
A-8	3	3	3	2	4	3	3	3	3	2	3	2	3	3	3	4	3	3	5	3	4	5	2
A-9	5	3	3	5	5	5	3	2	2	3	3	3	5	5	2	4	2	5	5	4	4	5	2
A-10	3	4	3	5	4	4	3	3	3	4	3	4	4	4	4	4	3	4	5	4	4	5	3
A-11	4	5	4	5	5	4	4	3	3	4	3	4	2	4	4	4	4	4	5	5	4	5	3
A-12	3	4	5	5	5	4	5	4	3	5	5	4	4	4	3	4	4	4	5	4	4	5	4
A-13	4	4	4	5	5	4	5	4	3	5	3	4	3	4	4	4	2	3	5	5	3	5	4
A-14	3	3	3	5	5	3	5	4	3	4	3	3	3	3	1	4	2	2	5	3	3	5	3

Tabela A2
Avaliações das técnicas de identificação de riscos - Critério eficácia.

A\E	1	2	3	4	5	6	7	8	9	10	11	12	13	14	15	16	17	18	19	20	21	22	23
A-1	3	3	4	3	1	5	4	4	3	4	5	5	1	3	2	4	1	3	5	3	4	3	3
A-2	3	3	3	3	2	3	3	3	2	3	3	3	3	1	3	4	1	5	4	5	3	3	3
A-3	3	4	5	5	3	5	5	5	2	5	5	4	5	4	4	4	2	5	5	5	4	4	4
A-4	3	3	4	4	4	5	5	4	4	4	5	5	3	4	3	4	3	4	5	5	4	5	3
A-5	3	2	5	4	5	5	2	5	4	4	5	3	3	2	4	4	3	3	5	3	4	5	5
A-6	4	3	4	4	4	4	3	4	3	2	4	5	3	3	4	4	3	4	4	5	5	5	3
A-7	4	4	4	4	5	5	2	4	3	3	3	2	4	4	5	4	3	2	4	4	4	5	4
A-8	3	3	3	3	4	3	3	3	2	2	3	2	3	3	5	4	3	3	4	3	4	5	4
A-9	5	3	5	5	3	5	4	2	2	3	3	3	5	5	3	4	2	5	4	4	5	4	3
A-10	3	4	3	5	2	4	4	3	3	4	3	5	4	4	3	4	2	3	5	5	4	5	3
A-11	4	2	4	5	3	4	5	3	3	5	3	4	2	4	4	4	3	3	5	5	4	5	4
A-12	3	2	4	5	4	4	4	2	4	5	5	4	3	4	5	4	3	3	5	5	3	5	5
A-13	4	4	4	5	5	4	4	3	2	5	3	4	3	4	4	4	2	2	5	4	3	5	3
A-14	3	2	5	5	3	3	5	4	2	5	3	3	3	3	1	4	2	2	5	3	3	5	3

Tabela A3
Avaliações das técnicas de identificação de riscos - Critério complexidade.

A\E	1	2	3	4	5	6	7	8	9	10	11	12	13	14	15	16	17	18	19	20	21	22	23
A-1	3	5	3	5	4	5	5	4	5	4	4	5	5	4	5	4	5	4	5	5	4	4	4
A-2	3	3	2	5	3	3	4	3	4	3	3	3	3	3	4	4	5	3	4	2	1	3	3
A-3	3	3	2	4	4	5	4	5	4	4	4	4	4	4	5	4	5	3	5	5	3	4	4
A-4	3	2	3	3	4	5	2	4	3	4	4	4	4	3	4	4	3	3	4	3	3	3	4
A-5	3	4	5	4	3	4	5	4	4	5	3	4	5	3	5	4	4	3	4	4	3	4	3
A-6	4	2	4	3	2	3	3	3	3	2	4	4	4	4	3	4	4	4	4	3	3	4	2
A-7	4	3	4	3	2	5	4	2	2	4	5	3	3	4	4	4	3	4	4	4	3	3	2
A-8	3	3	3	3	3	3	3	4	2	3	3	3	4	3	3	4	3	4	5	3	3	4	2
A-9	5	3	4	1	3	5	3	3	5	5	5	4	3	4	4	4	5	3	5	5	3	3	3
A-10	3	2	4	2	4	3	3	3	4	5	5	1	3	3	3	4	4	4	5	4	3	3	3
A-11	4	2	5	1	1	3	3	2	4	5	5	1	3	4	2	4	3	2	4	3	1	3	4
A-12	3	3	4	1	1	3	4	4	4	5	5	4	3	3	3	4	5	3	3	2	2	3	2
A-13	4	4	4	1	4	4	4	5	4	4	5	4	3	3	3	4	5	4	3	2	4	3	2
A-14	3	4	5	3	5	4	3	4	5	5	5	4	3	4	5	4	5	5	4	5	4	3	3

Tabela A4
Avaliações das técnicas de análise qualitativa de riscos - Critério eficiência.

A\E	1	2	3	4	5	6	7	8	9	10	11	12	13	14	15	16	17	18	19	20	21	22	23
A-1	5	2	3	4	3	5	3	5	3	4	4	3	3	4	3	3	3	4	4	5	5	4	4
A-2	3	3	2	4	4	3	3	3	2	3	3	3	3	3	2	3	3	3	4	5	4	4	5
A-3	3	3	4	4	3	4	5	4	3	2	4	3	4	3	3	3	3	5	4	5	4	4	3
A-4	3	3	3	3	4	4	4	3	3	3	5	3	3	4	2	3	3	4	5	4	5	4	3
A-5	3	3	3	4	5	4	3	4	3	4	5	5	4	4	2	3	5	4	5	5	4	4	4
A-6	3	3	4	4	5	4	5	4	4	3	3	4	3	4	2	3	5	4	4	5	5	3	2
A-7	3	3	4	4	5	4	4	4	3	2	3	4	3	3	2	3	3	4	4	5	5	4	3
A-8	3	4	2	5	1	3	4	3	3	3	4	2	3	2	2	3	2	2	5	5	3	3	3
A-9	3	4	3	4	2	3	4	3	3	2	3	3	3	2	3	3	5	4	5	5	3	3	3
A-10	3	2	3	4	2	3	3	3	2	4	3	4	2	3	3	3	1	2	4	5	3	3	2

Tabela A5
Avaliações das técnicas de análise qualitativa de riscos - Critério eficácia.

A\E	1	2	3	4	5	6	7	8	9	10	11	12	13	14	15	16	17	18	19	20	21	22	23
A-1	4	2	3	4	4	5	3	5	3	5	4	2	4	4	3	3	3	5	4	5	5	4	4
A-2	3	4	2	4	4	4	3	4	3	3	4	4	4	4	3	3	3	3	4	5	5	4	5
A-3	3	2	2	4	4	4	5	4	3	2	4	4	3	3	3	3	3	5	4	5	5	4	3
A-4	3	3	3	3	5	4	4	3	4	3	5	5	3	3	3	3	3	3	5	5	5	4	3
A-5	3	2	3	4	3	4	3	3	4	3	5	5	3	4	4	3	3	3	5	5	5	4	4
A-6	3	3	4	4	4	4	5	4	5	4	3	5	2	3	4	3	4	5	4	5	5	3	2
A-7	3	3	3	4	2	3	4	3	2	2	3	5	2	2	4	3	3	4	4	5	5	4	3
A-8	3	4	3	5	2	3	4	3	3	3	4	4	2	2	3	3	2	2	5	5	5	3	3
A-9	3	4	4	4	2	4	4	4	3	2	4	4	4	2	4	3	5	4	5	5	5	4	4
A-10	3	3	2	4	2	3	3	3	2	4	3	4	2	3	4	3	2	2	4	5	5	4	2

Tabela A6
Avaliações das técnicas de análise qualitativa de riscos - Critério complexidade.

A\E	1	2	3	4	5	6	7	8	9	10	11	12	13	14	15	16	17	18	19	20	21	22	23
A-1	3	4	5	3	4	5	3	5	3	4	4	3	3	4	4	4	5	2	4	2	3	4	3
A-2	3	3	3	3	4	3	3	3	4	5	3	2	3	4	4	4	3	3	4	2	3	4	4
A-3	3	4	5	3	4	3	4	4	3	2	3	2	3	3	3	4	4	2	4	2	3	3	2
A-4	3	3	5	3	2	3	3	3	3	4	5	1	3	3	2	4	4	2	3	3	3	3	3
A-5	3	3	5	3	1	3	3	3	3	3	5	2	3	3	3	4	3	3	3	1	3	3	2
A-6	3	3	5	4	3	3	3	3	3	3	3	3	4	2	3	4	3	4	3	2	3	3	3
A-7	3	2	5	4	3	3	4	3	4	2	3	3	4	4	3	4	3	4	4	2	3	3	2
A-8	3	3	5	3	5	4	3	4	4	3	3	4	4	3	4	4	4	4	3	2	3	3	4
A-9	3	3	3	3	5	1	3	3	3	2	3	3	3	3	4	4	2	2	3	2	3	3	3
A-10	3	4	5	3	5	4	3	4	2	4	3	4	4	3	3	4	5	4	4	2	3	3	3

Tabela A7
Avaliações das técnicas de avaliação de riscos - Critério eficiência.

A\E	1	2	3	4	5	6	7	8	9	10	11	12	13	14	15	16	17	18	19	20	21	22	23
A-1	3	3	3	4	5	3	3	3	3	4	5	4	3	3	1	3	1	3	5	3	4	4	3
A-2	5	3	3	4	5	4	3	5	4	3	5	5	3	4	2	3	3	4	5	4	4	4	3
A-3	3	3	2	4	4	3	4	3	4	3	2	5	3	3	2	3	4	4	4	5	4	4	3
A-4	3	4	2	4	3	3	3	3	3	3	2	3	3	3	2	3	2	2	5	4	2	3	3
A-5	3	3	2	4	2	3	4	3	3	2	3	3	3	2	3	3	5	4	5	5	2	3	3
A-6	3	3	3	4	2	3	3	3	3	2	4	3	3	3	3	3	3	3	5	3	2	3	3
A-7	5	3	2	4	2	3	3	3	2	4	5	3	2	3	4	3	1	2	4	5	3	4	2

Tabela A8
Avaliações das técnicas de avaliação de riscos - Critério eficácia.

A\E	1	2	3	4	5	6	7	8	9	10	11	12	13	14	15	16	17	18	19	20	21	22	23
A-1	3	3	3	4	5	4	4	3	3	5	5	3	3	4	4	3	3	3	5	3	4	4	2
A-2	5	3	3	4	4	4	4	5	3	4	5	4	3	4	4	3	3	4	5	5	4	4	3
A-3	3	3	2	4	4	4	5	4	4	3	2	5	3	3	3	3	4	4	4	5	4	3	3
A-4	3	4	2	4	3	3	4	3	3	3	2	3	3	3	3	3	2	2	5	4	4	3	3
A-5	3	3	4	4	3	4	4	4	3	2	4	4	4	2	3	3	5	4	5	5	4	4	4
A-6	3	3	3	4	3	3	3	3	3	2	4	3	3	3	3	3	3	2	5	3	4	3	3
A-7	5	3	3	3	3	3	4	3	2	5	5	3	2	3	4	3	2	2	4	5	4	4	2

Tabela A9
Avaliações das técnicas de avaliação de riscos - Critério complexidade.

A\E	1	2	3	4	5	6	7	8	9	10	11	12	13	14	15	16	17	18	19	20	21	22	23
A-1	3	3	4	3	1	3	3	3	3	3	5	1	3	3	1	3	4	3	5	3	3	3	3
A-2	5	3	5	3	1	3	3	5	2	3	5	2	3	3	3	3	3	3	5	1	3	3	3
A-3	3	3	5	3	3	3	2	3	2	4	2	3	3	2	3	3	2	3	4	2	3	3	3
A-4	3	3	3	3	4	3	3	3	4	3	2	4	4	2	4	3	4	4	4	3	3	3	3
A-5	3	3	3	4	5	3	3	3	4	2	3	5	3	3	5	3	2	2	3	2	3	3	3
A-6	3	3	3	3	5	3	3	3	4	2	4	3	3	3	3	3	3	4	3	3	3	3	3
A-7	5	4	5	3	5	4	3	4	3	2	5	4	4	3	4	3	4	3	5	3	3	3	4

Agradecimentos

Os autores agradecem as agências CAPES e CNPq pelo suporte financeiro referente às bolsas de pós-graduação concedidas durante a pesquisa.

• Como citar: Gavião, L. O., Lima, G. B. A., Sant’Anna, A. P., & Maciel, G. F. S. V. (2019). Composição probabilística de preferências com abordagem empírica em problemas multicritério. Gestão & Produção, 26(2), e2802. https://doi.org/10.1590/0104-530X-2802
• Suporte financeiro: Nenhum.

Referências

• Abbas, A. E. (2006). Entropy methods for joint distributions in decision analysis. IEEE Transactions on Engineering Management, 53(1), 146-159. http://dx.doi.org/10.1109/TEM.2005.861803
  » http://dx.doi.org/10.1109/TEM.2005.861803
• Arrow, K. J. (1963). Social choice and individual values (2nd ed.). New Haven: Yale University Press.
• Caillaux, M. A., Sant’Anna, A. P., Meza, L. A., & Soares de Mello, J. C. C. B. (2011). Container logistics in Mercosur: choice of a transhipment port using the ordinal Copeland method, data envelopment analysis and probabilistic composition. Maritime Economics & Logistics, 13(4), 355-370. http://dx.doi.org/10.1057/mel.2011.20
  » http://dx.doi.org/10.1057/mel.2011.20
• Graybill, F. A., Mood, A. M., & Boes, D. C. (1974). Introduction to the theory of statistics Tokio: McGraw.
• International Electrotechnical Commission – IEC. (2009). IEC/ISO 31010: 2009: risk management-risk assessment techniques Switzerland: International Electrotechnical Commission.
• Maciel, G. F. S. V. (2015). Análise e validação de um modelo de processo de avaliação de riscos baseado na norma ABNT NBR ISO 31000 (Dissertação de mestrado). Universidade Federal Fluminense, Niterói.
• Pomerol, J.-C., & Barba-Romero, S. (2012). Multicriterion decision in management: principles and practice New York: Springer.
• Project Management Institute – PMI. (2001). Project management body of knowledge (PMBOK® guide) Pensilvânia: PMI.
• R Core Team. (2015). R: a language and environment for statistical computing Vienna: R Foundation for Statistical Computing. Recuperado em 8 de dezembro de 2017, de http//www. R-project.org
• Ross, S. M. (2009). Introduction to probability and statistics for engineers and scientists (4th ed.). Berkeley: Academic Press.
• Sant’Anna, A. P. (2013). Detalhamento de uma metodologia de classificação baseda na composição probabilística de preferências. Relatórios de Pesquisa em Engenharia de Produção, 13, 12-21.
• Sant’Anna, A. P. (2015a). Probabilistic composition of preferences, theory and applications New York: Springer.
• Sant’Anna, A. P. (2015b). Probabilistic human development indices. Brazilian Journal of Operations & Production Management, 12(1), 136-146. http://dx.doi.org/10.14488/BJOPM.2015.v12.n1.a13
  » http://dx.doi.org/10.14488/BJOPM.2015.v12.n1.a13
• Sant’Anna, A. P., & Conde, F. Q. (2011). Probabilistic comparison of call centres in a group decision process. International Journal of Management and Decision Making, 11(5-6), 417-437. http://dx.doi.org/10.1504/IJMDM.2011.043398
  » http://dx.doi.org/10.1504/IJMDM.2011.043398
• Sant’Anna, A. P., & Mello, J. C. C. B. S. (2012). Validating rankings in soccer championships. Pesquisa Operacional, 32(2), 407-422. http://dx.doi.org/10.1590/S0101-74382012005000012
  » http://dx.doi.org/10.1590/S0101-74382012005000012
• Sant’Anna, A. P., & Sant’Anna, L. A. F. P. (2001). Randomization as a stage in criteria combining. In Proceedings of the VII International Conference on Industrial Engineering and Operations Management (ICIEOM) (pp. 248-256). Salvador: ICIEOM.
• Sant’Anna, A. P., & Silva, D. C. D. (2011). Análise multicritério de materiais para a síntese de catalisadores automotivos. Engevista, 13(3), 226-243. http://dx.doi.org/10.22409/engevista.v13i3.282
  » http://dx.doi.org/10.22409/engevista.v13i3.282
• Sant’Anna, A. P., Ferreira, M. H., & Duarte, S. R. A. (2012a). Avaliação do desempenho de empresas utilizando a Composição Probabilística de Índices Financeiros. Pesquisa Operacional para o Desenvolvimento, 4, 304-324.
• Sant’Anna, A. P., Gomes, L. F. A. M., Costa, F. F., Rangel, L. A. D., Faria, M. J. S., Ferreira, R. G., Moreira, R. M., Fo., Ribeiro, R. O. A., & Senna, V. (2012b). Análise multicritério baseada em probabilidades de preferência. In V. F. Oliveira, V. Cavenaghi & F. S. Másculo (Eds.), Tópicos emergentes e desafios metodológicos em engenharia de produção: casos, experiências e proposições (Vol. 5). Rio de Janeiro: ABEPRO.
• Sant’Anna, A. P., Costa, H. G., & Pereira, V. (2015a). CPP-TRI: a sorting method based on the probabilistic composition of preferences. International Journal of Information and Decision Sciences, 7(3), 193-212. http://dx.doi.org/10.1504/IJIDS.2015.071372
  » http://dx.doi.org/10.1504/IJIDS.2015.071372
• Sant’Anna, A. P., Martins, E. F., Lima, G. B. A., & Fonseca, R. A. (2015b). Beta distributed preferences in the comparison of failure modes. Procedia Computer Science, 55, 862-869. http://dx.doi.org/10.1016/j.procs.2015.07.149
  » http://dx.doi.org/10.1016/j.procs.2015.07.149
• Soong, T. T. (2004). Fundamentals of probability and statistics for engineers New York: John Wiley & Sons.
• Treinta, F. T., Farias, J. R., Fo., Sant’Anna, A. P., & Rabelo, L. M. (2014). Metodologia de pesquisa bibliográfica com a utilização de método multicritério de apoio à decisão. Production, 24(3), 508-520. http://dx.doi.org/10.1590/S0103-65132013005000078
  » http://dx.doi.org/10.1590/S0103-65132013005000078

Datas de Publicação

• Publicação nesta coleção
  09 Maio 2019
• Data do Fascículo
  2019

Histórico

• Recebido
  08 Dez 2017
• Aceito
  31 Ago 2018