Modelo de decisão multicritério para priorização de sistemas de informação com base no método PROMETHEE

Priorities assignment of information systems based on PROMETHEE method

MODELO DE DECISÃO MULTICRITÉRIO PARA PRIORIZAÇÃO DE SISTEMAS DE INFORMAÇÃO COM BASE NO MÉTODO PROMETHEE

Adiel Teixeira de Almeida

Departamento de Engenharia de Produção,

Universidade Federal de Pernambuco,

C.P. 7462, CEP 50630-970, Recife, PE,

e-mail: [e-mail]

Ana Paula Cabral Seixas Costa

Universidade Federal de Pernambuco,

C.P. 7462, CEP 50630-970, Recife, PE,

e-mail: [e-mail]

Resumo

Este artigo apresenta um modelo de decisão multicritério para priorização de sistemas de informação com base no método PROMETHEE. O modelo apresenta uma ordenação de módulos de sistemas de informação a partir do estabelecimento de pesos e preferências sobre critérios pelo decisor. A abordagem pode ser aplicada num estágio de planejamento ou de gestão da informação. A modelagem de preferência do decisor incorpora atributos como: impacto dos fatores estratégicos e aspectos operacionais dos processos de negócio. Uma aplicação numérica ilustra o uso do modelo de decisão.

Palavras-chave : priorização de sistemas de informação, método PROMETHEE, decisão multicritério.

PRIORITIES ASSIGNMENT OF INFORMATION SYSTEMS BASED ON PROMETHEE METHOD

Abstract

A decision modelling approach has been proposed to select modules of an information system (IS). This approach can be applied in a planning stage or in a management basis. The decision maker's preference indicates priorities. Preferences are modelled through PROMETHEE method, which deals with criteria such as: impact on strategic factors and operational aspects of processes. The paper includes the methodology and a case study with numerical results.

Key words: information systems priorities, PROMETHEE method, multicriteria decision.

1. Introdução

Dentro do contexto de Planejamento de Sistemas de Informação que deve ser parte integrante do Planejamento Global de uma organização, definir como alocar os recursos para sistemas de informação (SI) é uma difícil etapa. Como estabelecer a prioridade em que as aplicações ou projetos de sistemas de informação devem ser implementados? À luz de quais critérios esta decisão deve ser tomada? Genericamente, a priorização de sistemas de informação é realizada tendo por base dois aspectos: a análise das características (atributos) dos sistemas de informação e a análise custo-benefício associada aos sistemas (Ahituv & Neumann, 1983).

Segundo Ahituv & Neumann (1983), a análise dos atributos pode ser realizada sob quatro enfoques: oportunidade, conteúdo, formato e custo. A oportunidade está relacionada à necessidade da informação num dado momento; o conteúdo, ao significado da informação para os usuários; o formato, à forma de apresentação da informação; e o custo, com as questões de disponibilidade financeira.

Várias metodologias sobre planejamento de sistemas de informação são apresentadas na literatura (Gillenson & Golderberg, 1984; Zachman, 1982; Elam, 1980; Cooke & Drury, 1980). Uma metodologia em particular, (Gillenson & Golderberg, 1984; Zachman, 1982), chamada Planejamento de Sistemas de Negócios (Business System Planning – BSP), tem sido aplicada e adaptada em vários trabalhos (Almeida et al., 1992) na linha de pesquisa deste artigo. Embora algumas abordagens encontradas na literatura tratem da questão de priorização de sistemas de informação (Elam, 1980), no contexto da metodologia BSP apenas procedimentos ad hoc têm sido desenvolvidos, na maioria dos casos (Zachman, 1982).

A etapa de priorização, no planejamento de sistemas de informação, caracteriza-se como um problema de apoio à decisão multicritério. Um modelo de decisão foi proposto para apoiá-la especialmente no contexto da metodologia BSP, o qual é baseado na agregação dos critérios por meio de uma função valor-aditivo (Almeida, 1999). Este artigo apresenta um modelo de decisão multicritério para apoio à etapa de priorização com base no método PROMETHEE.

Nos próximos itens apresentamos uma síntese da metodologia adapatada BSP para planejamento de sistemas de informação, uma revisão do método PROMETHEE e sua aplicação na etapa de priorização.

2. Planejamento de sistemas de informação

A metodologia de planejamento de SI apresentada a seguir resulta da adaptação da metodologia BSP (Almeida et al., 1992). A primeira etapa da metodologia de planejamento consiste num estudo da organização para obter sua visão estratégica, nessa etapa são obtidos os fatores estratégicos.

A partir da visão estratégica do negócio, inicia-se a etapa de Engenharia de Processos de Negócio, que consiste na definição de todos os processos desenvolvidos nos vários setores da área estudada. A etapa seguinte, denominada Engenharia de Informação, tem por objetivo principal ressaltar a construção da arquitetura de sistemas de informação da organização.

A arquitetura do sistema de informação contempla os agrupamentos de informações – AGIs (representam o relacionamento entre os processos da organização e as classes de dados) – e os diversos tipos de tecnologias – TSI (tipos de serviços de informação). A combinação dessas duas visões (AGIs e tipos de tecnologias) forma os módulos de serviços de informação – MSIs (as aplicações ou projetos de sistemas de informação). Essa fase da metodologia é composta por três etapas: dados corporativos, modularização e priorização. Os MSIs são priorizados tendo por objetivo o suporte à consecução dos resultados esperados da organização.

A última etapa consiste no plano de ação que define os projetos a serem desenvolvidos, partindo-se das prioridades determinadas e da análise da estrutura de hardware, software e recursos humanos envolvidos.

A Figura 1 apresenta de forma resumida a metodologia aplicada para o Planejamento de Sistemas de Informação.

A determinação dos módulos de serviços de informação (MSIs) é estruturada a partir de uma segmentação matricial das duas visões para agrupar a informação (AGI e TSI).

Na primeira visão (AGI), agrupam-se informações por sua natureza; mais especificamente, tenta-se segmentar as informações relacionadas a processos, considerando-se também classes de dados. No caso do TSI, basicamente é utilizado o paradigma proposto por Sprague & Watson (1989), considerando as três abordagens básicas para sistemas de informação, que consistem em: sistemas transacionais (SIT), sistemas de informação gerencial (SIG) e sistemas de apoio à decisão (SAD) (Sprague & Watson, 1989).

A modularização, então, consiste em cruzar cada AGI com cada um dos TSIs, obtendo assim os módulos de serviços de informação (MSIs). Isso pode ser visualizado por meio de uma matriz, em que a cada coluna é associada um AGI e a cada linha, um TSI. Dessa forma as células resultantes correspondem aos MSIs, como mostra a Figura 2.

O processo de priorização dos MSIs é baseado na classificação dos módulos pela identificação da intensidade de preferência do decisor por um MSI sobre outro, com base em seu julgamento em relação a critérios, incluindo, principalmente, a visão dos processos organizacionais, diretamente associados à gestão estratégica da organização. O resultado da aplicação do modelo de decisão para priorização é obtido diretamente da estrutura dos MSIs. Numa etapa preliminar da priorização serão obtidas as avaliações para os MSIs, para cada critério. Na visão matricial considera-se m AGIs e r TSIs, correspondendo a um total de z MSIs, de modo que z = m . r.

3. Método PROMETHEE

Muitas vezes, o resultado esperado no processo decisório é aquele que satisfaz um conjunto de critérios em que os decisores almejam alcançar mais de um objetivo. Esse tipo de escolha, com mais de um aspecto a ser considerado, é chamado de multicritério, multiatributo ou multiobjetivo (Vincke, 1992; Olson, 1996; Gomes et al., 2002).

Há vários métodos de decisão multicritério. Alguns fazem uma decomposição hierárquica do conjunto de ações possíveis, dividindo-o em categorias predefinidas: melhores ações, piores ações e ações para reconsideração. E como resultado pretendem encontrar um subconjunto pequeno e restrito de ações satisfatórias, se possível apenas uma ação.

Esse conjunto de ações satisfatórias pode, ainda, ser tratado com outras ferramentas de um sistema de apoio à decisão, como simulação e análise de cenários.

A ordenação entres as alternativas pode ser realizada com a ajuda dos conceitos de dominância e eficiência. Uma alternativa domina a outra, a domina b, se g_j(a) ³ g_j(b), j = 1, 2, ..., n (g_j(a) representa a avaliação da alternativa a, de acordo com o critério j). Na maioria das vezes as relações de dominância de forma restrita são poucas ou inexistentes. As relações de dominância, simplificando o problema, podem ser enriquecidas. Uma alternativa é eficiente quando não é dominada por nenhuma outra alternativa.

O decisor pode expressar preferência (P), quando prefere uma ação a outra; indiferença (I), quando não há preferência entre as duas; e incomparabilidade (J), quando o decisor tem dificuldade em compará-las, não expressando nem preferência nem indiferença.

O método PROMETHEE (Preference Ranking Method for Enrichment Evaluation) (Brans & Vincke, 1985), consiste em construir uma relação de sobreclassificação de valores (Vincke, 1992).

Este método destaca-se por buscar envolver conceitos e parâmetros, os quais têm alguma interpretação física ou econômica, facilmente entendida pelo decisor, tendo sido descrito numa quantidade considerável de papers e aplicado com sucesso em vários problemas de diferentes naturezas (Raju & Kumar, 1999; Brans et al., 1998; Babic & Plazibat, 1998).

O decisor deve estabelecer para cada critério um peso p_j que aumenta com a importância do critério. O PROMETHEE apresenta seis formas diferentes de o decisor representar suas preferências, não necessariamente usando a mesma forma para todos os critérios, são critérios gerais, usados para identificar a intensidade da preferência. Conforme o modo como a preferência do decisor aumenta com a diferença entre o desempenho das alternativas para cada critério [g_j(a) - g_j(b)], ele pode definir uma função F(a,b) que assume valores entre 0 e 1. Esses valores aumentam se a diferença de desempenho ou a vantagem de uma alternativa em relação a outra aumenta e é igual a zero se o desempenho de uma alternativa for igual ou inferior ao da outra, como veremos na Tabela 1.

Na Tabela 1:

• q representa um limite de indiferença, o maior valor para [g_j(a) – g_j(b)], abaixo do qual há uma indiferença.

• p representa o limite de preferência, o menor valor para [g_j(a) – g_j(b)], acima do qual há uma preferência estrita.

Estabelecidas as intensidades de preferências, obtém-se o grau de sobreclassificação p (a,b) para cada par de alternativas (a,b), sendo calculado como segue (Vincke, 1992):

em que

Em seguida, as alternativas são ordenadas da seguinte forma:

• Ordem decrescente de F⁺(a), em que: F⁺(a) = åp (a,b), chamado de fluxo de saída, representa a intensidade de preferência de a sobre todas as alternativas. Quanto maior F⁺(a), melhor a alternativa.

• Ordem crescente de F^–(a), em que: F^–(a) = åp(b,a), chamado de fluxo de entrada, representa a intensidade de preferência de todas as outras alternativas sobre a. Quanto menor F^–(a), melhor a alternativa.

As seguintes implementações do PROMETHEE são descritas na literatura (Brans & Vinck, 1985; Brans et al., 1986; Brans & Mareschal, 1992; Taleb & Mareschal, 1995):

• PROMETHEE I – a interseção entre os fluxos anteriores estabelece uma relação de sobreclassificação parcial entre as alternativas.

• PROMETHEE II – classifica as alternativas, estabelecendo uma ordem decrescente de F(a) = F⁺(a) – F^–(a) (fluxo líquido); estabelece uma ordem completa entre as alternativas.

• PROMETHEE III E IV – foram desenvolvidas para o tratamento de problemas de decisão mais sofisticados, em particular com um componente estocástico.

• PROMETHEE V – nesta implementação, após estabelecer uma ordem completa entre as alternativas (PROMETHEE II), são introduzidas restrições, identificadas no problema para as alternativas selecionadas, incorporando uma filosofia de otimização inteira.

• PROMETHEE VI – quando o decisor não está apto ou não quer definir precisamente os pesos para os critérios, pode-se especificar intervalos de possíveis valores em lugar de um valor fixo para cada peso. Nesses casos, a implementação do PROMETHEE VI é recomendada.

4. Modelo proposto

Para estruturar o modelo de priorização incorporando o método PROMETHEE, serão obtidas basicamente três informações do decisor.

O decisor estabelece os pesos relativos para os critérios e o critério geral para estabelecer intensidade de preferência entre as alternativas para cada critério. O decisor estabelece, ainda, os parâmetros associados a cada critério geral: limite de preferência (p) e limite de indiferença (q).

Os critérios gerais, os pesos dos critérios e os parâmetros associados são informações obtidas diretamente do decisor. A avaliação de cada alternativa para cada critério, no contexto da metodologia de planejamento de sistemas de informação utilizada, tem de ser obtida a partir da estrutura desenvolvida nos próximos itens.

Essa informação será obtida por meio de avaliações de cada MSI em função de cada critério c, na forma da matriz ||m_ij||, mostrada a seguir. Cada célula representa um MSI, por intermédio de uma combinação de AGIs (colunas) e TSIs (linhas), como descrito no item 2, da Figura 2.

de modo que z = m . r.

4.1 Apresentação dos módulos de informação

O modelo consiste em obter uma matriz de MSI para cada critério. Essa matriz é reorganizada e apresentada na forma adequada para avaliação pelo método PROMETHEE.

Assim, serão obtidas avaliações dos MSIs para cada critério, os quais serão representados por matrizes na forma a seguir, considerando c critérios, m AGIs e r TSIs:

Com a metodologia de planejamento de sistemas de informação, são obtidos três conjuntos de critérios:

• Critérios estratégicos

• Critérios de processos

• Critérios técnicos

Os critérios estratégicos são obtidos pelo planejamento estratégico, num nível hierárquico mais alto. Os critérios de processos são obtidos por meio de avaliações dos processos, num nível hierárquico abaixo dos critérios estratégicos. Os critérios técnicos também estão num nível de hierarquia menor, relacionados aos tipos de serviço de informação utilizados.

A seguir, é mostrado como os três grupos de critérios são obtidos na forma de matrizes .

4.2 Critérios estratégicos

Os critérios estratégicos são os fatores estratégicos identificados na primeira etapa da metodologia de planejamento de sistema de informação, a avaliação dos AGIs, sob a ótica desses critérios, é obtida como segue.

Analisando o grau de aderência de p processos a n critérios estratégicos, define-se a matriz a seguir, que estabelece uma relação entre os critérios estratégicos e os processos, de modo que r_ij = 1; para qualquer j, e £ 0 r_ij £ 1.

Quanto mais próximo de 1 estiver o r_ij, maior será o grau de aderência do processo ao critério estratégico.

Agora obtém-se o grau de relação dos AGIs com os p processos, definido pela seguinte matriz, obtida com base na análise técnica da etapa de engenharia de informação:

de modo que 0 £ ra_ij £ 1; e ra_ij= 1, para qualquer j. Quanto mais próximo de 1 estiver o ra_ij, maior será o grau de relação do AGI com o processo.

Uma vez estabelecidas as relações processos x critérios estratégicos e AGIs x processos, transferem-se as avaliações dos processos em relação aos critérios estratégicos para os AGIs, obtendo, assim, a avaliação dos AGIs à luz dos critérios estratégicos.

A matriz a seguir estabelece a avaliação dos AGIs com base em cada critério estratégico, sendo obtida conforme segue:

em que: 0 £ sg_ij £ 1; e sg_ij = 1, para qualquer j.

Contudo, desejamos obter não apenas a avaliação dos AGIs para critérios estratégicos, mas a avaliação dos MSIs. Como um MSI é a combinação de AGI e TSI, precisamos obter a matriz que representa os graus de participação dos TSIs em cada AGI. A matriz a seguir representa essa participação, considerando,

ta_ij =1, para qualquer j, e 0£ta_ij £ 1:

Para obter a matriz m^c_ijque fornece a avaliação dos MSIs para o critério estratégico c, utiliza-se a matriz anterior. As matrizes , relativas aos critérios estratégicos, são obtidas para cada critério c. Cada matriz é obtida pela seguinte relação:

em que são definidos os vetores g^c j, para cada critério c, que correspondem aos vetores que fornecem a avaliação dos AGIs para cada critério c. O vetor g^c j corresponde à coluna c da matriz sgij, de modo que g^c j = sg_ic, para qualquer i e j.

4.3 Critérios de processos

Igualmente, deve-se obter o conjunto de matrizes para os critérios de processos, pois, como dito anteriormente, esses critérios diferem dos critérios estratégicos apenas por sua natureza e nível hierárquico.

Para cada critério de processo c haverá um vetor p^c j, com a avaliação dos processos de acordo com o critério c.

Utilizando a matriz ra_ij descrita no item anterior, transferimos as avaliações dos processos, sob a ótica dos critérios de processos, para os AGIs.

Assim, o vetor g^c j é obtido conforme segue:

De forma similar, é obtida aplicando-se (2) para os critérios de processos.

4.4 Critérios técnicos

Dando continuidade, deve-se obter o conjunto de matrizes para os critérios técnicos.

Os critérios técnicos levam em consideração os TSIs, de forma diferente dos critérios estratégicos e de processos, que levam em consideração os AGIs.

Para cada critério técnico c, haverá um vetor t^c i, com a avaliação dos TSIs de acordo com o critério c. Observa-se que essa avaliação é efetuada por um especialista em sistemas de informação, na etapa de engenharia de informação.

Finalmente, para os critérios técnicos são obtidas pela seguinte relação:

at_ij é a matriz que apresenta os graus em que os AGIs usam cada TSI, considerando para qualquer i, e 0 £ at_ij£ 1 :

4.5 Composição dos critérios

O peso relativo de todos os critérios é representado pelo vetor , considerando um total de d critérios, de modo que e 0 £ c_i £ 1.

Incluídos entre os d critérios estão os n critérios estratégicos cujos pesos são apresentados pelo vetor , que são avaliados diretamente pelo decisor. Assim, os primeiros n elementos do vetor correspondem aos critérios estratégicos e são obtidos a partir do vetor , os d-n últimos elementos do vetor também avaliados diretamente pelo decisor. O decisor deverá, ainda, estabelecer um fator de ponderação (pe) para o grupo de critérios estratégicos em comparação com a importância do conjunto dos critérios de processos e técnicos, de modo que 0£ pe £ 1.

O peso final dos critérios estratégicos no vetor , correspondendo aos n primeiros elementos, será dado por: c_i = pe.e_i, para 0 £ i £ n.

4.6 Incorporação do método PROMETHEE

Para incorporar os resultados obtidos anteriormente, na forma apropriada para avaliação pelo método PROMETHEE, serão utilizados o vetor e a matriz ||m_ij||, que representa a avaliação de todos os z MSIs por todos os c critérios.

Deve-se observar que as colunas da matriz ||m_ij|| representam a avaliação do conjunto de MSIs para cada critério. As linhas mostram os MSIs, por intermédio de uma combinação de AGIs e TSIs.

||m_ij|| é obtida a partir do conjunto de matrizes . Assim, a coluna c de ||m_ij|| é obtida pelas matrizes . Ou seja, os valores da coluna m_ij correspondem aos valores da matriz , em que os elementos são renumerados na ordem de classificação por coluna e depois por linha.

A partir da matriz ||m_ij|| e do vetor , e definidos os critérios gerais para cada critério, obtém-se uma matriz com o grau de sobreclassificação p(a,b) para cada par de alternativas (a,b) e, com base nas matrizes obtidas, calculam-se os índices F⁺(a) e F^–(a), estabelecendo o processo de classificação de MSIs pelo método PROMETHEE.

4.7 Sistema de apoio à decisão para modelo de priorização

Colocando o modelo dentro da abordagem de sistemas de apoio a decisão (Sprague & Watson, 1989), tem-se a visão apresentada na Figura 3.

5. Aplicação numérica

A seguinte aplicação foi desenvolvida com base em uma adaptação de um estudo de caso anterior, em que foi utilizado outro método de apoio à decisão multicritério para tratar o problema de priorização de sistemas de informação (Almeida, 1999). Na etapa estratégica obtêm-se os seguintes fatores estratégicos com respectivos pesos: manter nível mínimo de fornecimento de serviços (0,18); oportunidade de novos negócios (0,35), correspondendo ao vetor , um critério de processo; comprometimento com o usuário (0,27) e um critério técnico; custo relativo entre as tecnologias (0,2).

No contexto analisado, assumem-se os seguintes processos: infra-estrutura, operações, serviços, aquisição, desenvolvimento de tecnologia, gerência de recursos humanos, suporte corporativo e marketing (Almeida, 1999).

Após aplicadas todas as etapas descritas no modelo de priorização proposto, apresentamos nas Tabelas 2 e 3, como forma de simplificação, uma matriz com apenas os MSIs válidos para aplicação do método, os critérios (c) adotados e os pesos (c_i) correspondentes.

A Tabela 3 apresenta a composição dos 11 MSIs resultantes, por meio da combinação dos AGIs e os TSIs.

Nessa aplicação numérica, foram adotados os critérios gerais apresentados na Tabela 4.

Com base na Tabela 4, estabelecem-se sobre a Tabela 2 a intensidade de preferências do decisor para cada alternativa em relação a cada critério e o grau de sobreclassificação entre as alternativas, e, em seguida, são calculados os fluxos de entrada e saída, F⁺(a) e F^–(a), como mostra a Tabela 5.

Como exposto anteriormente, nosso problema consiste em atribuir prioridades aos MSIs e ordená-los, assim, optamos pela aplicação do PROMETHEE II, mais adequado a nossa problemática. Aplicando o PROMETHEE II, calculamos o valor de f(a), como descrito anteriormente, e obtemos a ordenação sobre os MSIs válidos, conforme a Tabela 6. Alterando o parâmetro associado ao critério estratégico e serviços para q = 0,03, obtemos a seguinte classificação dos MSIs: 11, 10, 4, 6, 9, 1, 3, 7, 5, 8, 2.

Na etapa seguinte, priorização na metodologia de planejamento de sistemas de informação, o Plano de Ação se concentrará no grupo de MSIs priorizados.

A preocupação inicial consiste na implementação de projetos relacionados a esses MSIs. Seguindo a ordenação, outros projetos também poderão ser implementados, dependendo de disponibilidades orçamentárias, bem como de outros aspectos relativos aos projetos, como representatividade e precedência técnica.

6. Conclusões

O artigo apresenta uma alternativa para a priorização de sistemas de informação (SI), em um contexto de planejamento de SI, a partir de uma estruturação para incorporação de métodos da família PROMETHEE.

Foi efetuada uma aplicação numérica especificamente com o método PROMETHEE II, cujas características se adequaram melhor à problemática considerada. Outros métodos da família PROMETHEE podem ser utilizados a partir da estrutura proposta. O estudo utiliza o arcabouço de uma metodologia utilizada para planejamento de sistemas de informação, a partir de uma estrutura de análise estabelecida em metodologia anterior. A principal vantagem de aplicar o PROMETHEE é o fato de propiciar a modelagem de preferência, de forma simples, por isso de fácil entendimento para o decisor, usando um paradigma diferente de abordagens anteriores que agregavam critérios por meio de uma função aditiva.

Apêndice: Representação gráfica dos critérios gerais do PROMETHEE

Para melhor entendimento de F(a,b) e do significado dos critérios gerais utilizados no PROMETHEE, representados graficamente, os critérios gerais podem ser visualizados na Tabela 7 (Pandey & Kengpol, 1995).

• AHITUV, N.; NEWMANN, S. Principles of information systems for management. Vm. C. Brown Company Publishing, 1983.
• ALMEIDA, A. T. de; BOHORIS, G. A.; STEINBERG, H. Management information and decision support system of a telecomunication network. Journal of Decision Systems, v. 1, n. 2-3, p. 213-241, 1992.
• ALMEIDA, A. T. de. Um modelo de decisăo para priorizaçăo no planejamento de sistemas de informaçăo. Revista Produçăo, v. 8, n. 2, p. 169-185, 1999.
• BABIC, Z.; PLAZIBAT, N. Ranking of enterprises based on multicriterial analysis. International Journal of Production Economics, v. 56-57, n. 20, p. 29-35, sep. 1998.
• BRANS, J. P.; VINCKE, P. H. A preference ranking organization method, the PROMETHEE method for MCDM. Mgmt. Sci, v. 31, p. 647-656, 1985.
• BRANS, J. P.; VINCKE, P. H.; MARESCHAL, B. How to select and how to rank project: The PROMETHEE method. European J. Oper. Res, v. 24, p. 228-238, 1986.
• BRANS, J. P.; MARESCHAL, B. PROMETHEE V: MCDM problems with segmentation constraints. INFOR, v. 30, n. 2, p. 85-86, 1992.
• BRANS, J. P.; MACHARIS, C.; KUNSCH, P. L.; CHEVALIER, A.; SCHWANINGER, M.Combining multicriteria decision aid and system dynamics for the control of socio-economic processes. An iterative real-time procedure. European Journal of Operational Research, v. 109, Issue 2, p. 428-441, 1 sep. 1998.
• COOKE, J. E.; DRURY, D. H. Managing, planning and control of information systems. Londres: Hamilton, 1980.
• ELAM, P. Choosing between systems development alternatives. Journal of Systems Management, v. 31, n. 9, p. 36-40, sept. 1980.
• GILLENSON, M.; GOLDERBERG, R. Strategic planning, systems analysis and data base design; the continuous flow approach New York: John Wiley & Sons, 1984.
• GOMES, L. F. A. M.; GOMES, C. F. S.; ALMEIDA, A. T. Tomada de decisăo gerencial: enfoque multicritério. Rio de Janeiro: Editora Atlas, 2002.
• OLSON, D. L. Decision aids for selection problems Springer-Verlag, 1996.
• PANDEY, P. C.; KENGPOL, A. Selection of an automated inspection system using multiattribute decsiion analysis. Int. J. Production Economics, v. 39, p. 289-298, 1995.
• RAJU, K. S.; KUMAR, D. N. Multicriterion decision making in irrigation planning. Agricultural Systems, v. 62, Issue 2, p. 117-129, nov. 1999.
• SPRAGUE Jr., R. H.; WATSON, H. J. (Ed.). Decision support systems: putting theory into practice. New York: Prentice-Hall, Inc., 1989.
• TALEB, M. F. A.; MARESCHAL, B. Water resources planning in the middle east: application of the PROMETHEE V multicriteria method. European Journal of Operational Research, v.81, p. 500-511, 1995.
• VINCKE, P. Multicriteria decision-aid Londres: John Wiley & Sons, 1992.
• ZACHMAN, J. A. Business systems planning and business information control study, a comparision. IBM Systems Journal, v. 21, n. 1, p. 31-53, 1982.

Datas de Publicação

• Publicação nesta coleção
  22 Jan 2003
• Data do Fascículo
  Ago 2002