CONSTRUÇÃO DE MODELO PARA APOIAR O PROCESSO DE DESENVOLVIMENTO DE UM SISTEMA DE APOIO À DECISÃO

MODEL DEVELOPMENT TO SUPPORT THE PROCESS OF DEVELOPING A DECISION SUPPORT SYSTEM

Resumo

Nessa pesquisa exploratória objetiva-se construir um modelo que subsidie o processo de desenvolvimento de software para avaliar um sistema de gestão. Utilizou-se a Metodologia Multicritério de Apoio à Decisão - Construtivista (MCDA-C), a qual identifica, organiza e mensura, ordinal e cardinalmente, os aspectos tidos em conta pelo decisor para a gestão do contexto. Confirma-se a possibilidade de construção de um modelo que explicite os requisitos do cliente, visando avaliar o grau de atendimento que o software proposto, denominado Monitoring and Improving Context (MIC), alcança, e assim ser utilizado como instrumento de negociação para a definição do sistema necessário.

Palavras-Chave:
Sistemas de apoio à decisão; avaliação de desempenho; MCDA-C.

Abstract

The aim of this exploratory research is to construct a model to support a process of software development in order to evaluate a management system. The Multicriteria Methodology of Decision Aiding - Constructivist (MCDA-C) was used, which supports the identification, organization and ordinal and cardinal measurement of the aspects taken into account by the decision maker for the context management. We argue that it is possible to construct a model with the specification of the customer requirements to evaluate the degree of service that the proposed software named Monitoring and Improving Context (MIC) achieves in relation to the demands of the customer, and thus be used as an instrument for the definition of the final system.

Keywords:
Decision support systems; performance evaluation; MCDA-C

INTRODUÇÃO

As decisões são fatores críticos de sucesso para pessoas e respectivas organizações associadas, e suas consequências podem ser irreversíveis. Para lidar com decisões, a ciência disponibiliza os Sistemas de Apoio à Decisão (SAD), ou Decision Support Systems (DSS), que auxiliam as pessoas a tomarem decisões alinhadas com seus valores e preferências. Os SADs permitem ao decisor: (i) conhecer quais aspectos do contexto afetam seus valores, e que, assim, necessitam ser monitorados e, continuamente, aperfeiçoados; (ii) construir escalas para medição desses aspectos, de modo inteligível e não ambíguo; (iii) identificar como cada um destes aspectos participa na avaliação global (integração); e (iv) realizar, por meio da alimentação de dados da situação atual, um diagnóstico local e global, possibilitando, assim, monitorar o alcance dos objetivos. O monitoramento permite que o decisor: (i) visualize e compreenda a atual situação, (ii) simule situações que que tornem possível visualizar as consequências naquilo que lhe importa no contexto, e (iii) faça escolhas fundamentadas, de modo a melhorar a performance do contexto.

Quando usado em contextos de desenvolvimento de projetos de produtos, o conhecimento gerado: ajuda o cliente na identificação sobre quais requisitos deve considerar ao avaliar um produto e sobre como medir o grau das alternativas no atendimento aos requisitos demandados; ajuda o desenvolvedor do produto para saber, de forma clara, quais especificações do produto o cliente deseja; e contribui com os dois, cliente e desenvolvedor, oferecendo-lhes apoio no processo de negociação, de modo a facilitar a definição das especificações e custos finais. Surge, assim, a seguinte indagação da pesquisa:

“Como construir um modelo para apoiar a avaliação de softwares de apoio à decisão de maneira a elucidar as demandas de um usuário?”

Nesse sentido, esta pesquisa tem como objetivo geral construir um modelo para apoiar o processo de avaliação/desenvolvimento de softwares que apoie a decisão para clientes, com demandas parcialmente definidas, no momento de definir suas especificações técnicas.

O objetivo geral é materializado nos seguintes objetivos específicos:

1. Identificar os aspectos (requisitos) vistos pelo gestor (cliente) como essenciais e suficientes para avaliar o ambiente;

2. Mensurar o desempenho global do sistema quanto aos requisitos do cliente;

3. Apresentar um exemplo para o processo de desenvolvimento de software para um DSS.

4. Sugerir melhoras para o produto (software), partindo da negociação cliente / desenvolvedor.

Assim, no propósito de atender aos objetivos delimitados, é utilizada a Metodologia Multicritério de Apoio à Decisão - Construtivista (MCDA-C).

A MCDA-C permitirá contemplar oportunidades de pesquisa ao identificar-se que a familiaridade dos requisitos ao usuário aumenta sua participação no processo de levantamento de especificações de um software (MORGADO et al, 2007), a avaliação de desempenho de um software ajuda a compreender a utilidade de cada um dos aspectos levados em conta (SUBRAMANYAM; KRISHNAN, 2003; HAYES; DEKHTYAR; SUNDARAM, 2006) e que a avaliação de desempenho de um software apoia no atingimento dos objetivos de um usuário (BALSAMO et al, 2004). Assim, essas necessidades sinalizadas pela literatura serão contempladas ao longo do presente trabalho.

A presente pesquisa torna-se relevante ao construir um modelo que permita a avaliação do grau de atendimento das demandas de clientes, permitindo, assim, que estes deixem mais claro o que desejam. Além disso, permite ao projetista, primeiro, melhor entendimento sobre o produto almejado pelo cliente; e, segundo, compreender o quanto a sofisticação de cada requisito é valorizada pelo cliente, estabelecendo, desse modo, um melhor equilíbrio no ambiente de negociação do produto final.

Este estudo, portanto, ilustrará o desenvolvimento de um software para, quando do processo de apoio à decisão, contemplar o requisito “monitorar”, o que permitirá atender às necessidades de um cliente específico. Ressalta-se que com esse modelo, mesmo sendo construído observando os aspectos de um decisor específico, os dados da presente pesquisa poderão ser utilizados por outros pesquisadores para suscitar insights em maneiras de realizar futuros monitoramentos com contextos por meio de DSS.

Este trabalho é composto por 5 seções. Esta seção (i) de introdução pautou-se na contextualização apresentação do problema de pesquisa. Na seção (ii), é apresentada uma revisão de literatura quanto ao instrumento de intervenção. A seção (iii) abordará os aspectos metodológicos do trabalho. A seção (iv) apresenta o modelo para avaliação o desempenho da análise de sensibilidade, e, por fim, serão tecidas as (v) considerações finais.

REVISÃO DE LITERATURA

A preocupação contida na revisão de literatura consiste em apresentar um panorama geral sobre metodologias multicritério e, mais especificamente, apresentar o instrumento de intervenção deste estudo, a metodologia Multicritério de Apoio à Decisão (MCDA-C).

Metodologia Multicritério de Apoio à Decisão - Construtivista

O propósito da Metodologia Multicritério de Apoio à Decisão - Construtivista (MCDA-C) é a construção do conhecimento no decisor do ambiente sob avaliação (ENSSLIN, GIFFHORN et al., 2010). Nesse sentido, esse método compõe-se de três fases: Estruturação, Avaliação e Recomendações, ilustradas na Figura 1.

Figura 1
Fases da MCDA-C. Fonte: Adaptado de Ensslin e Dutra, 2000.

A fase de Estruturação é composta por três etapas: Contextualização; Árvore de Pontos de Vista; e Construção de Descritores. Na Contextualização, os atores (decisor, intervenientes, agidos e facilitador) são identificados, as fronteiras do contexto são estabelecidas, e um sumário inicial é construído. (ENSSLIN, GIFFHORN et al., 2010; GRZEBIELUCKAS et al., 2011; ENSSLIN et al., 2017). Na Estruturação, conhecida também como Árvore de Pontos de Vista, o facilitador, dialogando com o decisor, reconhece os Elementos Primários de Avaliação (EPAs), que constituem as primeiras preocupações do decisor sobre o objeto de avaliação e, em seguida, se transformam em conceitos (BORTOLUZZI et al., 2011; LACERDA et al., 2014). Essas áreas de preocupação iniciais são denominadas pela MCDA-C de candidatos a PVFs, organizando-as numa estrutura Hierárquica explicativa, a qual denomina-se Árvore de Pontos de Vista. Por fim, na terceira etapa da Estruturação, denominada Construção de Descritores, o facilitador conduz o diálogo para avaliar a necessidade e a suficiência dos PVFs, quando, então, se constroem escalas para medir o desempenho do contexto em relação a cada uma das propriedades que o constitui. Realiza-se isso, a partir da construção de mapas cognitivos, individuais para cada PVFs, visando ampliar e orientar a compreensão do decisor sobre os meios necessários para chegar aos fins desejados. (ZAMCOPÉ et al., 2012a; VALMORBIDA et al., 2015; ENSSLIN et al., 2018). Assim, transfere-se o conhecimento que se constrói no mapa para a Árvore de Pontos de Vista, visando fornecer informações que facilitem entender que propriedade é utilizada na construção da escala que a representará. (DA ROSA et al., 2012 NISHIYAMA et al., 2017). A MCDA-C nomina descritores para essas escalas e pede ao decisor a identificação de dois desempenhos de referência que dividam o conjunto de possíveis níveis de impacto em desempenhos, em nível de: excelência, mercado e comprometedor. O modelo gerado deve ser, de modo sistemático, validado pelo decisor. Este é o maior conhecimento qualitativo passível de ser desenvolvido para o problema proposto, encerrando-se, assim, a fase de Estruturação.

A fase de Avaliação objetiva tornar cardinais as informações ordinais. Nesse caso, a MCDA-C adota um modelo de Agregação Única de Síntese. Estes modelos requerem critérios que sejam, de preferência, independentes. Desse modo, a etapa seguinte visa garantir que as escalas que formarão o modelo sejam isoláveis ou, preferentemente, independentes (ENSSLIN, QUEIROZ et al., 2010; LACERDA et al., 2011b). Para que isso se realize, é preciso verificar se a intensidade de preferência de passar do nível de referência inferior (Neutro) para o superior (Bom) é independente do nível de desempenho atual da escala, da qual se está testando a independência. Isso se repete, em pares, para todas as combinações das escalas do modelo (ENSSLIN, GIFFHORN et al., 2010; LACERDA et al., 2011a; RODRIGUES et al, 2018).

Segue-se, então, para a etapa de Construção das Escalas Cardinais. Para essa construção, primeiro, é solicitado que o decisor oriente cada descritor (escala ordinal), sobre a discrepância??desproporção?? de atratividade entre seus níveis. Em seguida, uma função é definida, visando atender, ao mesmo tempo, a todos esses julgamentos de valor. Dentre as muitas estratégias existentes para facilitar esta operação, destacam-se: Método da Pontuação Direta, Bissecção, Método do Julgamento Semântico (destes um dos mais utilizados é o MACBETH - Measuring Attractiveness by a Categorical Based Evaluation Technique) (ENSSLIN et al., 2001).

A fim de distinguir os descritores (escalas ordinais) das funções constituídas pelos descritores adicionados da informação cardinal, representa-se a intensidade de preferência cardinal entre os níveis de desempenho. Define-se essa nova função como: critério; função de valor; ou escala cardinal. Os critérios permitem realizar avaliações cardinais locais em todos os Pontos de Vista (PVs) mais operacionais. Para permitir avaliações globais, é fundamental que os critérios sejam integrados. Essa integração se realiza, determinando-se as taxas de compensação (BORTOLUZZI et al, 2017). Tem-se, assim, a terceira etapa da fase de avaliação. As taxas de compensação significam a contribuição do critério no PV superior, quando o desempenho sai do nível de referência inferior e chega ao nível de referência superior (KEENEY, 1992; ROY, 1996; ENSSLIN et al., 2001; ENSSLIN et al., 2011).

As taxas de compensação são determinadas pela criação de alternativas virtuais com desempenho no nível de referência superior (Bom), no ponto de vista associado à taxa que se visa determinar; e desempenho no nível de referência inferior, nos demais Pontos de Vista. Na sequência, essas ações são ordenadas, passando a representar uma escala ordinal, procedendo-se, então, de forma idêntica à construção das funções de valor (KEENEY, 1992; ROY, 1996; ENSSLIN et al., 2001; ENSSLIN et al., 2011). Tendo se determinado as taxas de compensação, passa-se à quarta etapa, denominada Avaliação Global, que encerra a fase de avaliação. Usualmente, para a realização dessa etapa, utilizam-se diversas formas, com destaque para a equação matemática, com seus valores cardinais; e a forma gráfica. Esse conhecimento encerra a fase de avaliação.

A fase de recomendações é constituída de duas etapas: análise de sensibilidade e elaboração das recomendações. A primeira permite avaliar a estabilidade das alternativas quando da variação do impacto das alternativas e taxas de compensação (ENSSLIN et al., 2001; LACERDA et al., 2011a; ZAMCOPÉ et al., 2012b). A segunda busca a geração de projetos, ou criação de estratégias, com vistas a melhorar o desempenho atual por meio da leitura do Status Quo (ZAMCOPÉ et al., 2010; BORTOLUZZI et al., 2011; LONGARAY et al., 2018). É nesta fase, de recomendações, que se utiliza o conhecimento construído no decorrer do processo decisório. Ainda quanto à MCDA-C, salienta-se que a construção das alternativas segue a ótica do Value Focus Thinking exposta por Keeney (1992), não sendo, portanto detectadas segundo o Alternative Focus Thinking. Salienta-se com isso quão importante é a fase de estruturação do modelo, por permitir que as opções se ajustem ao modelo, e não que a formulação do modelo fique condicionada às possibilidades ou alternativas.

Estudos relacionados

A MCDA-C propicia ao decisor melhor entender o contexto a ser analisado. Essa compreensão é útil ao desenvolvedor do software que assistirá ao contexto decisório para propor um software com um perfil determinado. Sendo assim, foram selecionados trabalhos relacionados em que o entendimento do decisor serve como requisitos para desenvolver projetos de futuros produtos/serviços.

No trabalho de Ensslin et al., (2010) os decisores do modelo são os clientes que desejam um carro com enfoque em suas necessidades. Ao final, o modelo construído permitiu o desenvolvimento de novos produtos focados nos requisitos dos clientes. Como recomendação de futuras pesquisas, sugeriu-se a elaboração de trabalhos com um conjunto maior de decisores.

Nos estudos de Machado et al., (2012) a metodologia MCDA-C foi utilizada na construção do conhecimento sobre como elaborar projetos de fogões baseados nos requisitos dos clientes.

METODOLOGIA

O presente trabalho apresenta a estrutura de enquadramento e discorre sobre a coleta de dados

Enquadramento Metodológico

Quanto à natureza do objetivo, o presente trabalho enquadra-se como exploratório porque objetiva o aprofundamento do tema de pesquisa obscurecido até então (GIL, 1999).

Sobre a lógica de pesquisa, ela é mostra como indutiva, pois não há uma preocupação em encontrar novos resultados a fim de corroborar ou refutar pesquisas já existentes (IUDÍCIBUS, 2004).

Os dados do presente trabalho são qualitativos e quantitativos. Os dados qualitativos são advindos do decisor do modelo quando da manifestação de seus valores na explicitação do que é tido em conta, construção dos descritores, preferências para representar as funções dos critérios e as taxas de compensação para sua mensuração local e global respectivamente (RICHARDSON, 1999; TASCA et al., 2010).

O presente artigo possui uma natureza prática e procedimentos técnicos materializados em um estudo de caso (YIN, 2005).

O instrumento de intervenção é a Metodologia Multicritério de Apoio à Decisão - Construtivista (MCDA-C), apresentada na seção 2.1.

Coleta de Dados

Os dados do estudo de caso foram obtidos por meio de entrevistas não estruturadas, feitas com o decisor, coordenador da área de inteligência organizacional do departamento de Inteligência Organizacional da Universidade Federal de Santa Catarina.

Essas entrevistas foram conduzidas visando construir um modelo de avaliação de desempenho que permitisse avaliar as possibilidades de softwares de apoio à decisão, bem como definir os requisitos que um novo software pudesse atender e que o diferenciasse das opções atualmente disponíveis.

Assim, as entrevistas iniciais contemplaram o cuidado na identificação e organização dos aspectos considerados necessários e suficientes ao decisor por um software do tipo Decision Support System (DSS). Em seguida, o decisor foi estimulado a construir escalas qualitativas (ordinais) e quantitativas (cardinais) por meio do seu julgamento preferencial. Esse juízo preferencial também foi utilizado para a construção de taxas de substituição que representassem a importância de cada Ponto de Vista do modelo ao atendimento do objetivo fim do decisor. Por fim, ao se diagnosticar a situação atual dos softwares disponíveis, propuseram-se ações de aperfeiçoamento de um software com desenvolvimento em curso, intitulado Monitoring and Improving Context (MIC).

RESULTADOS

Este estudo descreve o processo de construção de parte do modelo, em seu uso gráfico e na forma matemática, elaborado a partir da metodologia MCDA-C para avaliar Sistemas de Apoio à Decisão, construído conforme a percepção de um usuário da MCDA-C. Assim, ilustrou-se o uso do modelo visando a avaliação do Software Monitoring and Improving Context (MIC). A parte a ser apresentada do modelo corresponde ao PVF - Monitoramento.

Fase de Estruturação

Esta Fase é formada por etapas, denominadas: Contextualização, Árvores de Ponto de Vista e Construção dos descritores, apresentadas nas subseções a seguir.

O método Multicritério de Apoio à Decisão vem servindo como objeto de estudo do LABMCDA da Universidade Federal de Santa Catarina, por 24 anos. Nota-se, durante todo esse tempo, forte preocupação dos pesquisadores no sentido de colaborar e difundir essa área do conhecimento, tanto pelo desenvolvimento de estudos de casos, como aperfeiçoando o próprio campo.

Consoante o que já se apresentou na seção 2.1, a MCDA-C é composta pelas fases de estruturação, avaliação e recomendações. Na fase de estruturação se encontram as maiores oportunidades de aperfeiçoamento, conforme se pode verificar nos estudos de Roy (1993; 1996), Landry (1995), Checkland (1999) e Ensslin et al., (2010). A fase de avaliação é a que apresenta maior grau de maturidade, visto que é efetuada em quase todas as metodologias Multicritério. A viabilidade de aperfeiçoamento, nessa fase, é mais regular nos detalhes matemáticos que práticos.

Define-se a fase de recomendações como aquela em que o esforço empenhado para que as duas fases anteriores se realizem materializa-se em benefícios. Para quem, dentro de um conjunto antecipadamente conhecido, deseja encontrar a melhor opção, essa etapa restringe-se a indicá-la. Contudo, essa fase é essencial para aqueles que usam a metodologia multicritério em contextos em que as possibilidades/alternativas não são preliminarmente identificadas e/ou precisam ser construídas, ou as alternativas precisam ser monitoradas e continuamente aperfeiçoadas, ou, ainda, o modelo é usado como subsídio, provendo elementos que ampliem as alternativas, como no caso de desenvolvimento de softwares.

Não obstante a existência de processo para a fase de recomendações, a equipe que integra o LABMCDA crê que essa é a fase com menor grau de maturidade da MCDA-C e, como pesquisadores, se sentem estimulados a contribuir. Nesse sentido, estão desenvolvendo o Software MIC, estando já está passível de avaliação a parte do sistema relativa à monitoração de contexto. Assim, para a construção de um modelo que identifique e meça, coletiva e individualmente, os requisitos buscados pelo usuário, no caso o decisor, é usada a própria metodologia MCDA-C. Esses conhecimentos serão usados na condução do desenvolvimento do software para colaborar na fase de Recomendações da MCDA-C, ilustrando-se, neste trabalho, uma parte do modelo o PVF- Monitoramento. O desempenho do MIC é comprado ao software SAD em uso pelo cliente, hoje usado pelos praticantes da MCDA-C. No entanto, aperfeiçoamentos serão sugeridos ao MIC, já que não interessa ao decisor alterar o SAD que o cliente vem usando. No Quadro 1, listam-se tanto o decisor quanto os demais atores do contexto decisório.

Quadro 1
Subsistema de Atores

Stakeholders	Decisor	Coordenador do LABMCDA
	Intervenientes	Usuários potenciais
	Facilitador	Autores do trabalho
	Agidos	Futuros Usuários

• Fonte: Dados da Pesquisa, 2012

Na visão do decisor, o problema é assim rotulado: “Apoiar o diagnóstico da situação atual e a construção de melhorias contínuas ao contexto”. Em virtude da extensão do modelo, neste estudo, dar-se-á ênfase ao Ponto de Vista Fundamental “Monitorar”.

Contextualizado o ambiente de estudo desta pesquisa, passa-se à apresentação das demais fases do modelo.

Árvores de Pontos de Vista

O primeiro cuidado, nesta etapa, é perguntar ao decisor o que ele conhece dos Elementos Primários de Avaliação (EPAs) relativos ao problema. Assim, a partir dessa interrogação foram identificados os EPAs, listados no Quadro 2.

Quadro 2
Elementos Primários de Avaliação

Nº	EPA
4	Analisar
16	Sensibilidade
24	Informar
25	Alterar valores
26	Remover
27	Simulações
28	Perfil
29	Níveis de referência
30	Taxas de substituição

• Fonte: Dados da pesquisa, 2012

Esses EPAs (Quadro 2) são referentes à área de preocupação do decisor “Monitorar”, tendo se construído 34 EPas. A preocupação seguinte consistiu em encorajar o decisor a criar conceitos, explicando o que entende por EPA. Os EPAs possuem, cada um, no mínimo, um conceito relacionado, constituído pelo polo presente e oposto, que são separados por reticências (BORTOLUZZI et al., 2011). O polo presente representa a direção de preferência do decisor no alcance dos objetivos, enquanto o polo oposto representa as consequências de não alcançar os objetivos (LONGARAY et al., 2018).

No Quadro 3, são apresentados os conceitos obtidos, a partir do estímulo dado ao decisor, quanto aos EPAs.

Quadro 3
Conceitos Relacionados dos EPAs

Nº	Conceito
4 - a	Ter visibilidade em múltiplas formas… Restringir a resultado numérico ou gráfica unicamente
4 - b	Garantir flexibilidade de visualização dos resultados… Desmotivar busca de oportunidades por falta de visibilidade.
4 - c	Poder visualizar o perfil global e local…Não permitir perfis de Pontos de vista elementares
4 - d	Poder alternar perfil gráfico e numérico… Restringir o entendimento da informação.
4 - e	Poder simular alterações do perfil no próprio gráfico…Restrigir a simulação a entradas via teclado
4 - f	Permitir formar estratégias de alternativa… Ter de analisar alternativas somente em forma isolada
4 - g	Visualizar em forma gráfica e numérica a contribuição parcial, intermediária e global do incremento de performance em cada escala ... Ter que ver diferentes modelos
16 - a	Permitir a análise de sensibilidade das taxas… limitar a sensibilidade a intervalos
16 - b	Permitir analisar a sensibilidade das alternativas em todos os níveis do descritor… Permitir a um número limitado
16 - c	Ter sistema de geração de alternativas com associação direta ao modelo... Ter de recarregar o modelo
16 - d	Poder visualizar a análise de sensibilidade de várias taxas simultaneamente… Restringir a análise sistêmica
16 - e	Poder visualizar simultaneamente a análise de sensibilidade com a mensuração no desempenho de qualquer PV … Restringir à análise sistêmica
24 - c	Poder ter o perfil gráfico e numérico de alternativas em PV selecionados… Não ter informação suficiente para decidir
25 - a	Permitir mudar os valores dos níveis das escalas com facilidade.. Ter de refazer modelo
25 - b	Permitir variar a cor do perfil de cada alternativa... Sistema definir a cor.
25 - c	Permitir variar o tipo de linha ( grossura, inteira ou tracejada) do perfil de cada alternativa … Haver confusão com linhas semelhantes
26	Permitir remover escalas (PVEs) facilmente.. Ter de refazer modelo
27 - a	Poder salvar simulações de possíveis cenários... Ter de abrir outro arquivo.
27 - b	Poder introduzir a probabilidade de o impacto ser onde está e um nível abaixo e um nível acima e calcular o Valor Esperado da avaliação final… Não poder visualizar as reais ações de aperfeiçoamento no modelo
28 - a	Poder escolher quais alternativas deseja visualizar o perfil gráfico e numérico… Haver confusão com alternativas indesejadas
28 - b	Permitir visualizar o perfil de impacto das alternativas … Permitir a visualização de um perfil por vez
28 - c	Permitir selecionar a cor do perfil de cada alternativa … Prejudicar a visualização
28 - d	Permitir selecionar o tipo e a expessura do perfil de impacto … prejudicar a visualização
28 - e	Ter processo simples para dar entrada dos dados do perfil … Restringir cenários alternativos pelo trabalho requerido para introduzir
29 - a	Assegurar visibilidade dos níveis de referência … ter de ir em outro quadro para conhecer os níveis de referencia
29 - b	Assegurar que seja possível visualizar apenas os níveis de referencia nos descritores … ter de fazer analises com saturação de informação
29 - c	Assegurar a possibilidade de alterar os níveis de referência … ter de construir outra estrutura completa para fazer
29 - d	Garantir que os níveis de excelência, mercado e comprometedor tenham cores a escolha do decisor … perder clareza de entendimento comparativo
30 - a	Assegurar a possibilidade de colocar e/ou retirar as taxas dos PV's … Perder flexibilidade de análise de cenários
30 - b	Assegurar que o tamanho e cor das taxas possam ser alterados … Perder a flexibilidade de analises locais
30 - c	Garantir a possibilidade de alterar o valor das taxas no modelo … Ter de Construir outro modelo para variar a taxa
30 - d	Permitir visualizar as consequências da variação de cada taxa em cada PV … Deixar de compreender a sensibilidade da taxa

• Fonte: Dados da pesquisa, 2012

Num momento posterior, esses conceitos são reunidos em áreas de preocupação (ENSSLIN et al., 2011; LACERDA et al., 2011b; ZAMCOPÉ et al., 2012a), conforme exposto na Figura 2.

Figura 2
Conceitos agrupados por áreas de preocupação. Fonte: Dados da pesquisa, 2012.

A presente etapa permitiu conhecer as preocupações iniciais do decisor sobre seu problema e testar essas preocupações, expressas em conceitos, quanto à necessidade e à suficiência (ENSSLIN et al., 2010). Assim, averiguou-se que os conceitos realmente faziam parte do problema e que não faltam mais conceitos, no momento, para representar as preocupações do decisor.

Construção dos descritores

Nesta etapa da Construção dos descritores, MCDA-C mantém o sistema de dialogar com o decisor, nesse momento, visando construir os mapas cognitivos, que evidenciam as linhas de argumentação dos conceitos categorizados numa estrutura de relações meio-fim (ZAMCOPÉ et al., 2012a). Em outro momento, os conceitos dos mapas cognitivos são organizados em “clusters” (Figura 3), os quais são nominados e anexados Estrutura Hierárquica de Valor (Figura 4). O conhecimento gerado no mapa cognitivo é usado na identificação da propriedade associada à linha de argumentação e na construção do descritor (escala ordinal) associado (ENSSLIN et al., 2001; BORTOLUZZI et al., 2010; LACERDA et al., 2011a; ZAMCOPÉ et al., 2012a; NISHIYAMA et al, 2017).

Figura 3
Mapa Cognitivo para o PVF 4- Monitorar. Fonte: Dados da pesquisa, 2012.

Observando-se a Figura 3, nota-se que o Cluster “Análise de Sensibilidade” divide-se em dois subclusters: “Impacto” e “Taxas”. Esse desmembramento demonstra que o conhecimento apresentado no mapa cognitivo, ao ser transferido para a Estrutura Hierárquica de Valor (EHV), faz com que o Ponto de Vista Elementar (PVE) “Análise de Sensibilidade” tenha dois SubPVEs em nível factual, que possibilitarão explicitar as propriedades físicas do contexto. Na Figura 4, ilustra-se a EHV com as informações provindas do Mapa Cognitivo.

Figura 4
Estrutura Hierárquica de Valor para o Ponto de Vista - Monitorar. Fonte: Dados da pesquisa, 2012.

Assim, após identificar e organizar os aspectos considerados pelo decisor para a gestão do contexto, explorados na subseção 4.1.2, foi possível construir escalas qualitativas para medir as propriedades físicas do contexto, que representam os aspectos que o decisor leva em conta em um software de apoio à decisão.

Contudo, a EHV ainda contém descritores, que apontam as preferências do decisor quanto à ordem de ações potenciais. Assim sendo, o modelo é ainda qualitativo (ordinal). Para se possibilitar a mensuração cardinal, recorre-se, conforme se expõe na sequência, à fase de avaliação.

Fase de Avaliação

Nesta fase, transforma-se o modelo ordinal (qualitativo) em um modelo cardinal. Para tanto, realizam-se duas etapas: 1) as escalas ordinais são transformadas em cardinais; e 2) são identificadas as taxas de compensação que possibilitem agregar os critérios em um modelo de Critério Único de Síntese. Salienta-se que a etapa de independência preferencial, preconizada pela MCDA-C, foi suprimida neste trabalho.

Escalas Cardinais Locais de Preferência

Após a estruturação do modelo, pode-se iniciar o processo de transformação das escalas ordinais (descritores) em cardinais (critérios, função de valor). Conforme já exposto na seção 2.1, muitos são os métodos existentes no sentido de auxiliar nesta atividade. Neste estudo é usado o Measuring Attractiveness by a Categorial Based Evaluation Technique (MACBETH), pela fundamentação teórica que apresenta (ENSSLIN, GIFFHORN et al., 2010; GRZEBIELUCKAS et al., 2011; LONGARAY et al, 2018). Pelo método MACBETH, o decisor é solicitado a expressar-se quanto à desconformidade atrativa entre todas as combinações de níveis das escalas ordinais, sobre as quais se quer construir as funções de valor.

A atribuição do decisor em relação à atratividade é colocada em uma matriz de julgamento semântica, como exposto na Figura 5. Mesmo que neste estudo ilustre-se apenas a função de valor para o descritor do PVE 4.4.1- Visualização Simultânea -, as demais escalas cardinais foram, igualmente, geradas.

Figura 5
Função de Valor para o descritor do PVE 4.4.1 - Visualização Simultânea. Fonte: Dados da pesquisa, 2012

Assim, o método MCDA-C oportuniza ao decisor mensurar, cardinalmente, o desempenho de toda situação ou alternativa possível em cada um dos aspectos associados por ele aos seus objetivos estratégicos para o contexto, de modo isolado, ou local. O próximo visa a integração dessas escalas, permitindo medir o alcance dos objetivos estratégicos e o desempenho global. (ENSSLIN, GIFFHORN et al., 2010; GRZEBIELUCKAS et al., 2011; BORTOLUZZI et al., 2017). Nesse sentido, apela-se para ações visando determinar as taxas de substituição ou de compensação.

Taxas de Compensação

Para se calcular as taxas de substituição, buscam-se ações potenciais virtuais, representativas da passagem do nível ‘neutro’ para o ‘bom’ em cada um dos Pontos de Vista do Modelo (ENSSLIN et al., 2001; BORTOLUZZI et al., 2010; RODRIGUES et al., 2018). As ações potenciais do modelo, individualmente, constituem uma alternativa, conforme exposto na Figura 6. Ao determinar essas alternativas, utilizando o método MACBETH, observam-se os seguintes passos: (i) Construção de ações potenciais associadas aos critérios (Figura 6); (ii) Ordenação das alternativas (Quadro 4); (iii) Construção da matriz de julgamento de valor da diferença de atratividade (Figura 7); (iv) Exposição numérica e gráfica da função de valor (Figura 8).

Figura 6
Alternativas do modelo. Fonte: Dados da pesquisa, 2012.

Assim, explicitadas essas alternativas, estabelece-se um comparativo, par a par, entre elas, observando as prioridades do decisor. Nesse caso, adota-se a Matriz de Roberts (1979), conforme se observa no Quadro 4.

Quadro 4
Matriz de Roberts - Ordenação das Alternativas

Alternativa	A1	A2	A0	Soma	Ordem
A1		0	1	1	2
A2	1		1	2	1
A0	0	0		0	3

• Fonte: Dados da pesquisa, 2012

Partindo-se de como estão ordenadas as alternativas potenciais, podem-se determinar as taxas de substituição. No presente trabalho, opta-se pelo MACBETH, considerando-se sua frequente utilização em metodologias MCDA-C, possibilitando manipular/manusear os julgamentos do decisor para a determinação das taxas de substituição do modelo para o PVE 4.4.1- Visualização Simultânea e o PVE 4.4.2- Customização da Visualização, ilustrado na Figura 7.

Figura 7
Matriz de Julgamento para determinação das taxas de compensação dos Pontos de Vista “Visualização Simultânea” e “Customização da Visualização”. Fonte: Dados da pesquisa, 2012

As taxas de substituição, ou compensação, permitem expressar o grau de contribuição de um dado Ponto de Vista à gestão do contexto. De forma idêntica, foram feitos os julgamentos na matriz semântica do MACBETH, para todos os demais Pontos de Vista do modelo.

A determinação das escalas cardinais com níveis de referências e taxas de substituição indicadas propiciam uma avaliação holística, chamada de avaliação global (BORTOLUZZI et al., 2010; ZAMCOPÉ et al., 2010; ENSSLIN et al, 2018).

Avaliação Global

Essa etapa permite mensurar todo o desempenho, dos estratégicos aos mais operacionais, e proporciona uma representação gráfica do perfil de cada alternativa. Na Figura 8, tem-se essa representação.

Figura 8
Perfil da Situação Atual. Fonte: Dados da pesquisa, 2012.

A equação geral do modelo para o PVF- Monitorar é:

$$F_{PV{F}_{Monitorar}}\left(a\right)=\mathrm{0,15}{V}_{Análise de Sensibilidade}\left(a\right)\left\{\mathrm{0,50}{V}_{Impacto}\left(a\right)+\mathrm{0,50}{V}_{Taxas}\left(a\right)\right\}+ \dots$$

$$\dots \mathrm{0,30}{V}_{Simulações}\left(a\right)+\mathrm{0,15}{V}_{Níveis de referência}\left(a\right)+\mathrm{0,40}{V}_{Perfil}\left(a\right)\dots$$

$$\dots \left\{\mathrm{0,35}{V}_{Visualização Simultânea}\left(a\right)+\mathrm{0,65}{V}_{Customização da Visualização}\left(a\right)\right\}$$

Onde:

$V_{PV{F}_k}\left(a\right):$

Valor global da ação α do PVF_k para k=1, m;

v_i,k(a): valor parcial da ação a no critério i, i = 1,...n, do PVF_k, para k = 1,… m;

a: nível de impacto da ação a;

w_i,k: taxas de substituição do critério i, i = 1,... n, do PVF_k, para k = 1,… m;

n_k: número de critérios do PVF_k, para k = 1,… m;

m: número de PVFs do modelo.

Assim quando a for a alternativa SAD em uso pelo cliente -H a equação fica:

$$V_{PV{F}_{Monitorar}}\left(Sad\right)=\mathrm{0,15}\left\{\mathrm{0,5}\left(0\right)+\mathrm{0,5}\left(100\right)\right\}+\mathrm{0,3}\left(-40\right)+\mathrm{0,15}\left(-50\right)+\mathrm{0,4}\{035\text{(}130+\mathrm{0,65}\left(-32\right)\text{}}=-\mathrm{2,12}$$

Quando a for a alternativa Monitoring and Improving Context - MIC a equação dispõe-se da seguinte maneira:

$$V_{PV{F}_{Monitorar}}\left(MIC\right)=\mathrm{0,15}\left\{\mathrm{0,5}\left(100\right)+\mathrm{0,5}\left(20\right)\right\}+\mathrm{0,3}\left(100\right)+\mathrm{0,15}\left(100\right)+\mathrm{0,4}\{035\text{(}130)+\mathrm{0,65}\left(0\right)\text{}}=\mathrm{72,2}$$

As informações apresentadas oportunizam entender o desempenho das alternativas, em todos os seus aspectos: operacionais, intermediários, estratégicos e globais, como descrito na Figura 8.

Assim a fase de avaliação permitiu compreender a pontuação em nível tanto local quanto global das alternativas avaliadas pelo modelo de avaliação de desempenho no que diz respeito ao monitoramento de contextos. Essas alternativas são o SAD em uso pelo cliente e o software em desenvolvimento, intitulado Monitoring and Improving Context (MIC). A partir da compreensão do Status Quo, propõem-se ações de aperfeiçoamento na fase de recomendações.

Fase de Recomendações

A elaboração de recomendações consiste em se buscar oportunidades de aperfeiçoar as alternativas, partindo-se das informações obtidas anteriormente, as quais possibilitam monitorizar o contexto e/ou as alternativas. Nesse caso, como se está desenvolvendo a alternativa MIC, as negociações de melhoria estarão voltadas para ela. Na Figura 9, estão ilustrados os Pontos de Vista que tiveram os respectivos desempenhos aperfeiçoados.

Figura 9
Ações de Aperfeiçoamento. Fonte: Dados da pesquisa, 2012

A partir desses dados, é possível, então, de forma objetiva, negociar as melhorias mais convenientes.

Assim, como uma primeira ação de alteração no software MIC para o “PVE 4.2 - Simulações”, solicitou-se que fosse possível distribuir a probabilidade do Valor Estimado (VE) em diferentes Pontos de Vistas que são cadastrados no sistema. Isso contribuiria com a melhora de desempenho em 6 pontos para o PVF Monitorar.

Outra funcionalidade que foi desenvolvida contribui com 3 pontos para a avaliação do modelo. No Software MIC é informado o perfil de desempenho de uma dada alternativa em um modelo. Quando uma alternativa tem o desempenho modificado em alguma escala, é possível ver o impacto simultaneamente em todos os Pontos de Vista de maneira ampla. Entretanto, não é possível visualizar as consequências na escala local de maneira a evidenciar os níveis de impacto do próprio critério. Então, acordou-se em desenvolver tal funcionalidade.

Por fim, ao visualizar-se o desempenho de alternativas, foi possível filtrar quais alternativas o usuário deseja visualizar. O desenvolvedor, então, foi orientado a agregar no software a função para modificar características da linha de perfil de desempenho das alternativas cadastradas, como, por exemplo, se tal linha é tracejada ou contínua, bem como a respectiva espessura. Essa nova funcionalidade proporcionou um incremento em 22,1 pontos ao desempenho do MIC.

CONSIDERAÇÕES FINAIS

Ante a situação atual, em que as decisões, ao serem compostas por múltiplas variáveis, complexas, conflituosas e inter-relacionadas, exigem mais do nunca fundamento e planejamento, a recomendação é utilizar-se de Sistemas de Apoio à Decisão (SAD), que apoiem o decisor em suas decisões. No conjunto das características dos SADs, pode-se destacar o monitoramento do contexto, o qual permite ao decisor visualizar as consequências de decisões potenciais. Posto isso, o objetivo deste estudo é mostrar o processo de apoio à negociação para a construção de uma parte do modelo para o desenvolvimento de um Sistema de Apoio à Decisão (SAD) com o intuito de dar suporte à etapa de Recomendações da MCDA-C. Identificaram-se os requisitos, que foram organizados e, com eles, foram construídas escalas para medir seu alcance por meio do cliente. O desenvolvedor do SAD propôs uma primeira versão do software a qual se denomina Monitoring and Improving Context (MIC). Assim, a partir do modelo construído, pode-se ter uma visão do quanto a proposta atendia ou não ao cliente. Desse modo, um ambiente de diálogo foi estabelecido, com base em elementos que fosse compreensível aos dois, desenvolvedor e cliente, permitindo gerar a versão virtual consensual.

Para isso, foi utilizado o método Multicritério de Apoio à Decisão - Construtivista (MCDA-C). Dessa forma, possibilitou-se contemplar os seguintes objetivos específicos: (i) identificar os aspectos (requisitos) considerados pelo gestor (cliente) como necessários e suficientes para avaliar o ambiente; (ii) mensurar o desempenho global do sistema quanto aos requisitos do cliente; (iii) ilustrar o processo para o desenvolvimento de software para um DSS; e (iv) sugerir melhorias para o produto (software), partindo da negociação cliente/desenvolvedor;

O objetivo específico (i) foi desenvolvido ao longo da subseção 4.1.1, 4.1.2 e 4.1.3 ao serem definidos os aspectos que o decisor leva em conta em SADs e a respectiva mensuração qualitativa para medir as ações potenciais desses aspectos.

A mensuração global do desempenho possibilitou atender ao objetivo específico (ii). Para tanto, estabeleceram-se as funções de valor que permitiram transformar escalas qualitativas em quantitativas na subseção 4.2.1. Em seguida, estabeleceram-se as taxas de compensação, as quais permitiram expressar a importância dos Pontos de Vista do modelo ao contexto na subseção 4.2.2. Assim, foi possível mensurar o desempenho das alternativas ‘SAD em uso pelo cliente’ e ‘Monitoring and Improving Context (MIC)’ na subseção 4.2.3, o que permitiu contemplar o objetivo específico (iii).

O objetivo específico (iv) foi possível ser atingido ao serem negociados alguns requisitos que representavam o Ponto de Vista Fundamental (PVF) Monitorar. Assim, foram definidos os seguintes recursos a serem desenvolvidos: distribuição de probabilidade nos Pontos de Vista (PVs) do modelo; visualizar as consequências nos níveis de impacto na escala local decorrente da alteração de desempenho; e permitir customizar a linha do perfil de desempenho das alternativas cadastradas no modelo.

O MIC, ao ser analisado, obteve 72 pontos, sendo que, com a adoção de ações de aperfeiçoamento em 3 dentre 6 critérios, apresentando um desempenho de 103 pontos. Desse modo, o modelo passou de um desempenho “Competitivo” para de “Excelência”.

O resultado deste estudo corrobora os achados nas pesquisas de Ensslin et al., (2010) e Machado et al., (2012) que elaboraram um processo estruturado para o desenvolvimento de novos produtos. Porém, o presente trabalho apresenta uma relevância diferente das demais: o projeto refere-se ao desenvolvimento de um novo serviço (software). Os serviços têm uma característica diferente dos produtos que é a intangibilidade, e os autores do presente trabalho acreditam que o construtivismo proporciona visualizar os valores e preferências a serem tidos durante o contexto decisório para elaboração de projetos dessa natureza.

O trabalho apresentou limitações no momento de identificar os critérios, visto que foram estabelecidos de modo personalizado ao decisor (cliente). É provável que, outro cliente, para o mesmo problema, a demanda é outra. Ainda, o PV desenvolvido no modelo foi referente apenas ao monitoramento de contextos, sem considerar outros objetivos. Portanto, para futuras pesquisas, sugerem-se contribuições sob outro viés e que abordem preocupações diferentes de um DSS.

Em suma, o modelo de avaliação de desempenho permitiu identificar, organizar e mensurar o que o usuário leva em conta ao utilizar um software de decision support system (DSS). A partir de então, foi possível hierarquizar as funcionalidades pelo grau de contribuição ao PVF monitorar. Essas informações subsidiaram o processo de negociação entre o cliente e o desenvolvedor do MIC.

Referências

• BALSAMO, S.; DI MARCO, A.; INVERARDI, P.; SIMEONI, M. Model-based performance prediction in software development: A survey. IEEE Transactions on Software Engineering, v. 30, n. 5, p. 295-310, 2004.
• BORTOLUZZI, S. C.; ENSSLIN, S. R.; ENSSLIN, L. Performance evaluation of tangible and intangible aspects of the market area: A case study in a medium industrial company. Revista Brasileira de Gestão de Negócios, v. 12, n. 37, p. 425-446, 2010.
• BORTOLUZZI, S. C.; ENSSLIN, S. R.; ENSSLIN, L. Multicriteria performance evaluation as an aid for management of companies: Implementation in a service company. Gestão & Produção, v. 18, n. 3, p. 633-650, 2011.
• BORTOLUZZI, S. C.; ENSSLIN, S. R.; ENSSLIN, L.; DE ALMEIDA, M. O. Multicriteria decision aid tool for the operational management of an industry: a constructivist case. Brazilian Journal of Operations & Production Management, v. 14, n. 2, p. 165-182, 2017.
• CHAVES, L. C.;ENSSLIN, L.;ENSSLIN, S. R.;VALMORBIDA, S. M. I.;SHINOHARA, K. J. Segurança de software: uma abordagem multicritério para avaliação de desempenho. Pesquisa Operacional para o Desenvolvimento, v. 5, n. 2, p. 136-171, 2013.
• CHECKLAND, P. Soft Systems Methodology. Soft Systems Methodology, 1999.
• DA ROSA, F. S.; ENSSLIN, S. R.; ENSSLIN, L.; LUNKES, R. J. Environmental disclosure management: a constructivist case. Management Decision, v. 50, n. 6, p. 1117-1136, 2012.
• ENSSLIN, L.;DUTRA, A.;ENSSLIN, S. R.;KRÜGER, A. C.;GAVAZINI, A. A. Avaliação multicritério de desempenho: o caso de um Tribunal de Justiça. Cadernos Gestão Pública e Cidadania, v. 22, n. 71, 2017.
• ENSSLIN , L.; ENSSLIN, S. R.; GABRIEL, M.; CHAVES, L. C.; LIMA, M. V. A. Organisational management: a study of a company of distribution services. Intenational Journal of Applied Decision Sciences, v. 11, n. 2, p. 168-194, 2018 .
• ENSSLIN, L.; GIFFHORN, E.; ENSSLIN, S. R.; PETRI, S. M.; VIANNA, W. B. Performance evaluation of third party companies using the methodology of multicriteria decision support - constructivist. Pesquisa Operacional, v. 30, n. 1, p. 125-152, 2010.
• ENSSLIN, L.; MONTIBELLER, G. N.; NORONHA, S. M. Apoio à decisão: metodologias para estruturação de problemas e avaliação multicritério de alternativas. Florianópolis: Insular, 2001.
• ENSSLIN, L.; QUEIROZ, S.; GRZEBIELUCKAS, C.; ENSSLIN, S. R.; NICKEL, E.; BUSON, M. A.; JUNIOR, A. B. Identificação das necessidades do consumidor no processo de desenvolvimento de produtos: uma proposta de inovação ilustrada para o segmento automotivo. Produção, v. 21, n. 4, p. 555-569, 2010.
• ENSSLIN, L.; QUEIROZ, S.; GRZEBIELUCKAS, C.; ENSSLIN, S. R.; NICKEL, E.; BUSON, M. A.; JUNIOR, A. B. Identification of costumers needs in the products development process: An innovative proposal illustrated for the automotive industry. Produção, v. 21, n. 4, p. 555-569, 2011.
• GIL, A. C. Métodos e técnicas de pesquisa social. São Paulo: Atlas, 1999.
• GRZEBIELUCKAS, C.; BUSON, M. A.; QUEIROZ, S. G.; ENSSLIN, L.; ENSSLIN, S.; NICKEL, E.; BALBIM, A. J. Instrument for identifying consumer needs in the design development process: The case of an automobile design. Gestão & Produção , v. 18 , n. 2, p. 337-350, 2011.
• HAYES, J. H.; DEKHTYAR, A.; SUNDARAM, S. K. Advancing candidate link generation for requirements tracing: The study of methods. IEEE Transactions on Software Engineering , v. 32, n. 1, p. 4-19, 2006.
• IUDÍCIBUS, S. Teoria da Contabilidade. São Paulo: 2004.
• KEENEY, R. L. Value-focused thinking: A path to creative decision making. London: Harvard University Press, 1992.
• KEENEY, R. L.; RAIFFA, H. Decisions with Multiple Objectives: Preferences and Value Tradeoffs. New York: John Wiley, 1976.
• LACERDA, R. T. O.; ENSSLIN, L.; ENSSLIN, S. R. A performance measurement framework in portfolio management: A constructivist case. Management Decision, v. 49, n. 4, p. 648-668, 2011a.
• LACERDA, R. T. O.; ENSSLIN, L.; ENSSLIN, S. R. A performance measurement view of IT project management. International Journal of Productivity and Performance Management, v. 60, n. 2, p. 132-151, 2011b.
• LACERDA, R. T. D. O.; ENSSLIN, L.; ENSSLIN, S. R.; DUTRA, A. A Constructivist Approach to Manage Business Process as a Dynamic Capability. Knowledge and Process Management, v. 21, n. 1, p. 54-66, 2014.
• LANDRY, M. A note on the concept of problem. Organization Studies, v. 16, n. 2, p. 315-343, 1995.
• LONGARAY, A.;ENSSLIN, L.;ENSSLIN, S.;ALVES, G.;DUTRA, A.;MUNHOZ, P. Using MCDA to evaluate the performance of the logistics process in public hospitals: the case of a Brazilian teaching hospital. International Transactions in Operational Research, v. 25, n. 1, p. 133-156, 2018 .
• LIBBY, R.; BLOOMFIELD, R.; NELSON, M. W. Experimental research in financial accounting. Accounting, Organizations and Society, v. 27, n. 8, p. 775-810, 2002.
• MACHADO, T.; ENSSLIN, L.; ENSSLIN, S. R. Desenvolvimento de Produtos Usando o Método MCDA-C. Produção, No prelo, 2012.
• MORGADO, G. P.;GESSER, I.;SILVEIRA, D. S.;MANSO, F. S.;LIMA, P. M.;SCHMITZ, E. A. Práticas do CMMI® como regras de negócio. Production, v. 17, n. 2, p. 383-394, 2007.
• NISHIYAMA, M. A.; ANDRADE DE LIMA, M. V.; ENSSLIN, L.; CHAVES, L. Modelo Multicritério para Avaliação de Desempenho: um estudo de caso para gestão de compras no setor público. Revista de Ciências da Administração, v. 19, n. 47, 2017.
• RICHARDSON, R. J. Pesquisa social, métodos e técnicas. São Paulo: Atlas , 1999.
• ROBERTS, F. S. Structural modeling and measurement theory. Technological Forecasting and Social Change, v. 14, n. 4, p. 353-365, 1979.
• RODRIGUES, A.;FERNANDES, M.;RODRIGUES, M.;BORTOLUZZI, S.;DA COSTA, S. G.;DE LIMA, E. P. Developing criteria for performance assessment in municipal solid waste management. Journal of Cleaner Production, v. 186, p. 748-757, 2018.
• ROY, B. Decision science or decision-aid science? European Journal of Operational Research, v. 66, n. 2, p. 184-203, 1993.
• ROY, B. On operational research and decision aid. European Journal of Operational Research , v. 73, n. 1, p. 23-26, 1994.
• ROY, B. Multicriteria methodology for decision aiding. London: Kluwer Academic Publishers, 1996.
• SUBRAMANYAM, R.; KRISHNAN, M. S. Empirical analysis of ck metrics for object-oriented design complexity: Implications for software defects. IEEE Transactions on Software Engineering , v. 29, n. 4, p. 297-310, 2003.
• TASCA, J. E.; ENSSLIN, L.; ENSSLIN, S. R.; ALVES, M. B. M. An approach for selecting a theoretical framework for the evaluation of training programs. Journal of European Industrial Training, v. 34, n. 7, p. 631-655, 2010.
• VALMORBIDA, S. M. I.; ENSSLIN, S. R.; ENSSLIN, L.; RIPOLL-FELIU, V. M. University Management with Focus on Multicriteria Performance Evaluation: Illustration in the Brazilian Context. GCG: Revista de Globalización, Competitividad & Gobernabilidad, v. 9, n. 2, 2015.
• VINCKE, P. Multicriteria Decision Aid. London: John Wiley & Sons, 1993.
• YIN, R. K. Estudo de Caso: planejamento e métodos. 3ª Ed. Porto Alegre: Bookman, 2005.
• ZAMCOPÉ, F. C.; ENSSLIN, L.; ENSSLIN, S. R. Construction of a model for corporate sustainability assessment: A case study in the textile industry. Gestão & Produção , v. 19, n. 2, p. 303-321, 2012a.
• ZAMCOPÉ, F. C.; ENSSLIN, L.; ENSSLIN, S. R. Development of a model for corporate sustainability assesment. Produção, v. 22, n. 3, p. 477-489, 2012b.
• ZAMCOPÉ, F. C.; ENSSLIN, L.; ENSSLIN, S. R.; DUTRA, A. Model for assessing logistics providers performance - A case study in the textile industry. Gestão & Produção , v. 17, n. 4, p. 693-705, 2010.

Datas de Publicação

• Publicação nesta coleção
  13 Nov 2020
• Data do Fascículo
  2020

Histórico

• Recebido
  01 Jul 2019
• Aceito
  01 Maio 2020