UM MODELO MARKOVIANO DE DECISÃO PARA A OTIMIZAÇÃO DE UM SISTEMA DE MANUTENÇÃO COM TEMPOS DE REPARO COXIANOS E FASES NÃO OBSERVÁVEIS

UM MODELO MARKOVIANO DE DECISÃO PARA A OTIMIZAÇÃO DE UM SISTEMA DE MANUTENÇÃO COM TEMPOS DE REPARO COXIANOS E FASES NÃO OBSERVÁVEIS

Rita de Cássia Meneses Rodrigues

Solon Venâncio de Carvalho

Laboratório Associado de Computação e Matemática Aplicada

Instituto Nacional de Pesquisas Espaciais – INPE

São José dos Campos – SP

Recebido em 03/2001, aceito em 11/2001 após 1 revisão

Resumo

Neste artigo analisa-se um sistema de manutenção de máquinas com dois servidores diferentes, tempos até a quebra das máquinas exponencialmente distribuídos e tempos de reparo seguindo uma distribuição do tipo fase com configuração de Cox. Consideram-se dois modelos que se diferenciam pela possibilidade ou não de se observar as fases das distribuições do tipo fase: um modelo com informação completa e um modelo com informação parcial. No primeiro caso, modela-se o sistema por um processo markoviano de decisão a tempo contínuo e no segundo por um processo markoviano de decisão com informação parcial, conforme este é definido em Hordijk & Loeve (1994). Resultados numéricos são apresentados.

Palavras-chave: sistema de manutenção, distribuição do tipo fase, processo markoviano de decisão.

Abstract

In this paper we analyse a manufacturing system with two different servers. The times to failure follow an exponential distribution and the machines repair times follow a phase type distribution with Cox configuration. We consider two models: a full information model and a partial information model, which differ themselves by the possibility of observing or not the phases of the phase type distribution. The first one is modelled by a continuous time Markov decision process, and the second one by a decision Markov processes with partial information, as defined in Hordijk & Loeve (1994). Numerical results are presented.

Keywords: manufacturing system, phase type distribution, Markov decision process.

1. Introdução

O crescimento do processo produtivo e a busca da diminuição dos custos de produção têm incentivado o estudo de sistemas de manutenção de máquinas. Estes sistemas são intrinsecamente estocásticos devido à aleatoriedade inerente aos processos de falhas. Dentre os sistemas estocásticos, os markovianos merecem um lugar de destaque devido à sua relativa facilidade de tratamento matemático e computacional. Atualmente, dispõe-se de resultados teóricos e de recursos computacionais que permitem a aplicação dos processos markovianos na modelagem de sistemas do porte de sistemas reais. Os processos markovianos podem ser considerados a tempo discreto ou a tempo contínuo. Nos dois casos, deve-se garantir a propriedade da ausência de memória que caracteriza esses processos. Esta propriedade pode ser resumida em o comportamento probabilístico futuro do processo ser condicionalmente independente do comportamento passado, dado o estado presente.

Alguns sistemas estão sujeitos a um controle dinâmico onde um supervisor deve observar continuamente o estado corrente do sistema e decidir sobre uma ação que influenciará o comportamento futuro do sistema. Periodicamente ou a cada mudança de estado (instantes de decisão) uma nova ação deve ser escolhida dentre um conjunto de ações disponíveis para cada estado observado. Uma regra que dita a forma com que as ações devem ser escolhidas ao longo do tempo define uma política de controle para o sistema em estudo. No caso dos sistemas estocásticos, sob a hipótese da ausência de memória, este tipo de controle dinâmico caracteriza o sistema como um processo markoviano de decisão (PMD). A modelagem de sistemas por PMD permite a obtenção de uma política de controle que minimiza o custo do sistema.

Nos modelos a tempo contínuo, uma hipótese necessária para se garantir a propriedade de ausência de memória dos processos markovianos é que o tempo de permanência do sistema em cada estado seja aleatório e exponencialmente distribuído. Geralmente, na literatura sobre modelos estocásticos de sistemas de manutenção, admite-se esta hipótese tanto para os tempos até a quebra de máquinas quanto para os tempos de reparo. No entanto, principalmente em relação aos tempos de reparo, esta hipótese nem sempre é verificada na prática. Trabalhando sobre dados de manutenção de centros de usinagens e robôs, Carvalho (1991) verificou que, para os dados tratados, a hipótese de tempos até a quebra de máquinas exponencialmente distribuídos foi aceitável mas o mesmo não ocorreu para os tempos de reparo.

Nos casos onde as variáveis aleatórias exponenciais negativas não modelam bem os processos reais, uma boa alternativa é o uso de distribuições do tipo fase (distribuições PH). Em Neuts (1981), define-se uma variável aleatória do tipo fase como uma variável aleatória positiva que pode representar o tempo até a absorção numa cadeia de Markov a tempo contínuo composta de um número finito de estados transitórios (fases) e um único estado absorvente. Estas variáveis aleatórias generalizam as variáveis aleatórias exponenciais negativas e podem ser facilmente inseridas em modelos markovianos a tempo contínuo. Para inseri-las nestes modelos, deve-se acrescentar ao espaço de estados do modelo a informação sobre a fase corrente de cada processo modelado por uma variável aleatória do tipo fase.

Nos modelos markovianos de decisão a tempo contínuo, pode-se utilizar o mesmo procedimento acima. No entanto, em cada instante de decisão, deve-se observar o estado corrente do sistema e tomar uma decisão em função do estado observado. Nesses processos, ao se introduzir no espaço de estados as informações sobre a fase corrente das variáveis do tipo fase introduzidas no modelo, pode-se considerar as fases observáveis para se garantir a propriedade markoviana do processo. Assim, se é possível observar as fases correntes das variáveis aleatórias do tipo fase do modelo e dado que o tempo de permanência do sistema em cada fase é exponencial, este sistema é facilmente modelado por um processo markoviano de decisão a tempo contínuo (Rodrigues, 1990).

Desde sua formalização em Neuts (1981), a teoria das distribuições PH tem evoluído continuamente. Um importante resultado teórico apresentado em Cumani (1982) é que qualquer distribuição PH acíclica, ou seja, que é a soma ou mistura (combinação convexa) de distribuições exponenciais negativas, pode ser reduzida à configuração de Cox (Figura 1). Em O’Cinneide (1991), este resultado é estendido a qualquer distribuição PH onde os auto-valores da matriz geradora das transições entre os estados transitórios são reais.

Uma distribuição PH de ordem N com configuração de Cox é definida pelos parâmetros {N; l₁, l₂,...,l_N; p₁, p₂,..., p_N-1}, onde N é o número de estados transitórios, l_i , i = 1, 2,..., N, são as taxas de transições das fases e p_ié a probabilidade do processo ir da fase i para a próxima fase; o processo vai diretamente para o estado absorvente com probabilidade 1 - p_i, i = 1, 2,..., N–1.

Note que uma distribuição PH com configuração de Cox é um caso particular da distribuição proposta em Cox (1956). Nesse trabalho, Cox considerou que os parâmetros da distribuição mostrada na Figura 1 podem ser complexos.

Quando distribuições PH são obtidas através da aproximação de outras distribuições positivas arbitrárias e são inseridas em processos markovianos de decisão, as fases destas distribuições não são observáveis (por terem sido obtidas a partir de um artifício matemático). Neste caso, a teoria clássica dos processos markovianos de decisão não pode ser aplicada.

Com este trabalho tem-se como objetivo estudar um sistema de manutenção de máquinas considerando os tempos de reparo distribuídos segundo uma distribuição PH com configuração de Cox, a qual, por simplificação, será chamada por todo o texto de distribuição PH. Generalizam-se trabalhos anteriores dos autores, utilizando-se um modelo baseado em processos markovianos de decisão com informação parcial para a otimização do sistema sem considerar as fases observáveis.

O sistema de manutenção estudado é composto de um número finito de máquinas idênticas na linha de produção, um número finito de máquinas de reserva e uma estação de reparo com dois servidores. O tempo até a quebra de cada máquina é exponencial e os tempos de reparo seguem uma distribuição PH que depende do servidor que está executando o reparo. Os servidores se diferenciam por um ser mais rápido do que o outro, em média, e pelo custo de sua utilização. Deseja-se escolher entre não ativar nenhum servidor, ativar somente o servidor 1, ativar somente o servidor 2 ou ativar ambos os servidores, em função do estado do sistema, de maneira a minimizar o custo médio por unidade de tempo do sistema a longo prazo.

Considerando-se a possibilidade ou não de se observar as fases das distribuições PH, modela-se o sistema de manutenção de máquinas em estudo, respectivamente, por um processo markoviano de decisão a tempo contínuo (modelo com informação completa) e por um processo markoviano de decisão com informação parcial (modelo com informação parcial), na forma que este é definido em Hordijk & Loeve (1994).

Os processos markovianos de decisão com informação parcial são construídos a partir de processos markovianos de decisão, onde o espaço de estados é particionado e as decisões são tomadas com base apenas no elemento da partição em que se encontra o estado corrente do sistema. Hordijk & Loeve (1994) apresentam um algoritmo do tipo aproximação sucessivas que encontra políticas markovianas sub-ótimas para modelos a tempo discreto (os tempos entre decisões são eqüidistantes) sob o mesmo critério de otimalidade adotado neste trabalho, ou seja, o custo esperado médio a longo prazo. Este algoritmo por todo o texto será chamado de Algoritmo HL.

A apresentação deste trabalho está dividida em seis seções. Na Seção 2, descreve-se o sistema de manutenção em estudo que é modelado como um processo markoviano de decisão (modelo com informação completa). Os processos markovianos de decisão com informação parcial e o Algoritmo HL são apresentados na Seção 3. Na Seção 4 modela-se o sistema de manutenção em estudo por um processo markoviano com informação parcial (modelo com informação parcial). Na Seção 5, comparam-se os modelos utilizando-se um conjunto de dados numéricos. Comentários são apresentados na Seção 6.

2. Sistema de Manutenção em Estudo

O sistema de manutenção estudado é composto de uma linha de produção com M máquinas idênticas e independentes trabalhando em paralelo e M_r máquinas de reserva idênticas às da linha de produção. Quando uma máquina na linha de produção quebra, ela é enviada à estação de reparo e substituída imediatamente por uma máquina de reserva, se existir alguma disponível.

A estação de reparo dispõe de dois servidores. Cada servidor só poderá consertar uma máquina quebrada de cada vez, portanto no máximo duas máquinas serão atendidas simultaneamente. O servidor não pode ficar ocioso se estiver ativado e houver máquina quebrada esperando reparo.

O tempo até a falha das máquinas em operação é exponencialmente distribuído com taxa l; as máquinas de reserva não estão sujeitas a falha enquanto não forem utilizadas. À medida que as máquinas quebram, elas são enviadas à estação de reparo, formando uma fila com disciplina FIFO (first in, first out).

O tempo de reparo de cada máquina executado pelo servidor k, k = 1, 2, segue uma distribuição PH de ordem n_k com taxas {m_kf, k = 1, 2; f = 1, 2..., n_k} e probabilidades {p_kf, k = 1, 2; f = 1, 2,..., n_k}, onde k é o servidor que está reparando a máquina e f a fase de reparo. Assim, como o reparo executado pelo servidor k tem n_k fases de reparo, k = 1, 2, se este estiver na fase f < n_k, com probabilidade 1 – p_kf o reparo terminará logo após o término da fase corrente e com probabilidade p_kf a máquina passará para a fase de reparo seguinte. Supõe-se que o servidor 2 seja mais rápido em média que o servidor 1. Na Figura 2 apresenta-se uma representação do sistema em estudo.

Como o tempo até a falha das máquinas é exponencial e o tempo de reparo tem distribuição PH, que é constituída de fases exponenciais, é possível modelar este sistema segundo um processo markoviano de decisão a tempo contínuo.

Observa-se o estado do sistema nos instantes de quebra de máquina e final de fase de reparo e, com base nesta observação, uma ação deve ser tomada. Um conjunto de ações forma a política que controla o sistema, ou seja, a política que determina em cada instante de decisão a ativação ou a desativação de cada servidor.

Em cada instante de decisão, o estado do sistema é definido pelo conjunto de valores (m, r, q, s₁, s₂, f₁, f₂) que são, respectivamente, o número de máquinas na linha de produção, o número de máquinas de reserva, o número de máquinas quebradas, o estado em que se encontra o servidor 1, o estado em que se encontra o servidor 2, a fase de reparo do servidor 1 e a fase de reparo do servidor 2. O estado de cada servidor k é dado por s_kÎ {D, A_o, A_e}, k = 1, 2, onde D significa desativado, A_o significa servidor ativado mas ocioso (ou imediatamente após um final de reparo) e A_e significa servidor ativado executando um reparo. A fase de reparo do servidor k é definida por f_kÎ {0, 1,..., n_k}, onde os valores de 1 até n_k significam as fases em curso do reparo executado pelo servidor k, e f_k= 0 significa que o servidor k está ocioso ou desativado. É importante ressaltar que se r ¹ 0, então m = M, isto porque, se existe máquina de reserva disponível, a linha de produção não pode estar incompleta. Considera-se que, se o servidor k terminou um reparo, seu estado passa a ser s_k= A_o, para k = 1, 2. Então, se

• q = 0, s₁= A_o e s₂= A_o, tem-se que ambos os servidores estão ociosos porque não existem máquinas quebradas para serem consertadas;

• q = 1, s₁= A_o e s₂= A_o, significa que um servidor está ocioso porque terminou um reparo e o outro servidor está ocioso pois não existem máquinas para serem consertadas;

• q > 1 e (s₁= A_o ou s₂= A_o), significa que o servidor k, k = 1 ou k = 2, cujo estado é A_o, ou seja, s_k= A_o, está ocioso porque terminou um reparo.

Considera-se que o espaço de estados do sistema é dado por:

E={(m,r,q,s₁,s₂,f₁,f₂)/ m = 0, 1,..., M; r = 0, 1,..., M_r; q = 0, 1,..., M + M_r;

s₁ Î {D, A_o, A_e}; s₂ Î {D, A_o, A_e};
f₁Î {0,...,n₁}; f₂Î {0,...,n₂};
m + r + q = M + M_r; m = M se r > 0;
se s₁Î {D, A_o} então f₁ = 0;
se s₂ Î {D, A_o} então f₂ = 0;
se s₁ = A_e então f₁¹ 0;
se s₂ = A_e então f₂¹ 0;
se q = 0 então s₁¹ A_e e s₂¹ A_e;
se q = 1 então ((se s₁ = A_e então s₂¹ A_e) ou (se s₂ = A_e então s₁¹ A_e));
se q>1 então ((se s₁ = A_o então s₂¹ A_o) ou (se s₂ = A_o então s₁¹ A_o))}.

O comportamento dinâmico do sistema é descrito pelas mudanças de estado ao longo do tempo. Cada vez que o sistema muda de estado, deve-se observar o novo estado atingido e decidir sobre ativar ou não cada servidor k, k = 1, 2, em função do estado observado. Cada ação é representada por um par ordenado (a₁,a₂) onde, para k = 1, 2, a_k= A significa ativar ou manter ativado o servidor k e a_k= N significa desativar ou manter desativado o servidor k. O espaço de ações possíveis é A = {(A,A), (A,N), (N,A), (N,N)}. Por simplificação, em todo o texto, a ação representada pelo par ordenado (a₁,a₂) será denotada por a₁a₂.

Considera-se que se todas as máquinas do sistema estão quebradas, ou seja, se q = M+M_r, a ação a = NN não é uma ação possível pois levaria a um estado absorvente. Considera-se, também, que se não existem máquinas quebradas, uma máquina quebra e a ação a = AA é escolhida, o servidor 2 (mais rápido) tem prioridade para consertar a máquina que quebrou.

A estrutura de custos do sistema inclui um custo de perda de produção dado pelo produto da taxa l (l > 0) pela quantidade de máquinas faltando para completar o número máximo M de máquinas na linha de produção; um custo de executar um reparo à taxa e_k (e_k > 0) quando o servidor k estiver reparando uma máquina, k = 1, 2; um custo de espera no sistema de reparo dado pelo produto da taxa h (h > 0) pelo número de máquinas quebradas no sistema de reparo (incluindo a máquina que está sendo reparada); um custo à taxa c_mk (c_mk > 0) de manter o servidor k ativado, k = 1, 2, e um custo fixo c_ak (c_ak> 0) de ativar o servidor k, k = 1, 2.

Deseja-se obter uma política estacionária f* que minimize o custo médio por unidade de tempo do sistema a longo prazo. Para obtenção desta política, utilizou-se o Algoritmo de Iteração de Valores (Tijms, 1994).

2.1 Processos semi-markovianos de decisão e processos markovianos de decisão a tempo contínuo

Considera-se um processo estocástico onde um supervisor, em instantes de decisão, deve observar o processo, classificá-lo em um estado i pertencente a um espaço de estados E e decidir sobre uma ação pertencente a um conjunto de ações A(i) possíveis para o estado observado. Este processo de decisão é um processo semi-markoviano de decisão (PSMD) se o tempo até o próximo instante de decisão, o estado em que o sistema estará nesse instante e o custo incorrido até esse instante são aleatórios e dependentes somente do estado observado e da ação escolhida.

Um PSMD deve ser controlado por uma política que escolhe a ação a ser tomada em cada instante de decisão. Uma política corresponde à aplicação seqüencial de regras de decisão que prescrevem a ação a ser escolhida em cada instante de decisão t. De forma geral, uma política de controle pode ser escrita como R = (f ⁰, f ¹, f ², ...), onde f ^t, t = 0, 1, 2, ..., é a regra de decisão a ser aplicada no instante de decisão t. Consideram-se políticas markovianas estacionárias determinísticas, ou seja, políticas que prescrevem em cada instante de decisão uma ação que depende apenas do último estado observado, sem considerar o comportamento do processo no passado. Uma política desse tipo é construída a partir de uma regra de decisão f : E® A, onde È_iÎEA(i), tal que, se o estado observado é i Î E, então uma única ação f(i) Î A(i) é escolhida, independente do instante de decisão corrente t. Uma política markoviana estacionária determinística R, caracterizada pela regra de decisão f, prescreve a ação f(i) sempre que o estado i for observado. Denota-se tal política R = (f, f, f, ...) ou R = (f )^¥.

Para um PSMD, dado que em um instante de decisão o sistema está no estado i Î E e a ação a Î A(i) foi escolhida, definem-se:

t_i(a) = tempo esperado até o próximo instante de decisão;

p_ij(a) = probabilidade de que no próximo instante de decisão o sistema estará no estado j;

C_i(a) = custo esperado incorrido até o próximo instante de decisão.

O problema da otimização de um PSMD consiste em obter uma política de controle que otimiza o processo. No presente trabalho, considera-se como critério para a otimalidade a minimização do custo esperado médio a longo prazo do processo. Para escrever a expressão deste custo, define-se Z(t) como o custo total incorrido até o instante t (t ³ 0). Para uma política de controle R e para um estado inicial i, define-se o custo esperado médio a longo prazo do processo sob esta política como:

onde E_i,R corresponde ao operador valor esperado quando o estado inicial é i e a política R é usada. Tijms (1994) mostrou que o limite acima existe e que no caso unichain, ou seja, quando sob a política R o processo possui um único conjunto fechado de estados, o custo g_i(R) é independente do estado inicial i e pode ser denotado por g(R).

Para os PSMD, é provado (Tijms, 1994) que existe uma política markoviana estacionária determinística R* ótima, ou seja, que minimiza o custo esperado médio do sistema a longo prazo dentro do espaço de políticas de controle possíveis.

Quando o sistema é controlado por uma política markoviana estacionária determinística R fixada, pode-se considerar a cadeia de Markov imersa no processo {X₀, X₁, X₂ ,...}. Esta cadeia representa a seqüência de estados visitados pelo processo, ou seja, X₀ é o estado inicial do processo e, para n = 1, 2,..., X_né o estado atingido pelo processo logo após a n-ésima transição. Esta cadeia de Markov tem o mesmo espaço de estados do processo original e probabilidades de transição dadas por p_ij(R_i), onde R_i é a ação prescrita pela política R para o estado i. Se sob a política R, a cadeia de Markov imersa no processo é unichain, então esta possui probabilidades limites denotadas {(R), i Î E}. Tijms (1994) mostra que o custo g(R) pode ser escrito como:

A expressão do custo de uma política R, em função das probabilidades limites da cadeia de Markov imersa no processo, não é utilizada no Algoritmo de Iteração de Valores considerado neste trabalho para a obtenção de uma política R* de custo mínimo. Apesar disto, esta é importante porque pode facilmente ser estendida para a obtenção de medidas de desempenho do sistema sob esta política. De forma geral estas medidas representam o valor esperado médio de "funções de estado" definidas de forma análoga aos custos.

O tratamento computacional do modelo baseado num PSMD apresentado neste trabalho pode ser resumido em três partes: (1) obtenção de uma política de controle markoviana estacionária determinística ótima pelo Algoritmo de Iteração de Valores apresentado em Tijms (1994); (2) cálculo das probabilidades limite da cadeia de Markov imersa no processo quando a política de controle ótima é utilizada e (3) cálculo de medidas de desempenho do processo sob a política de controle ótima baseado nas probabilidades limite calculadas.

Mais especificamente, o modelo apresentado neste trabalho baseia-se num processo markoviano de decisão a tempo contínuo (PMDTC). Os PMDTCs são casos particulares dos PSMD onde o tempo entre decisões sucessivas são exponencialmente distribuídos com parâmetro dependente do último estado observado. Para estes processos, define-se L_ij(a) como a taxa de transição do estado i ao estado j (i, j Î E), quando a última ação escolhida foi a Î A(i). A partir das taxas de transição, obtém-se facilmente a taxa total de saída de cada estado dada por L_i(a) = å_j¹i L_ij(a). Note que L_i(a) é o parâmetro da distribuição exponencial negativa que descreve o tempo de permanência no estado i quando a ação a é escolhida. A partir das taxas de transição, as probabilidades de transição são dadas por p_ij(a) = L_ij(a)/L_i(a) e o tempo esperado entre transições é dado por t_i(a) = 1/L_i(a). Assim, um PMDTC pode ser caracterizado pelo espaço de estados E, pelos conjuntos de ações A(i), pelas taxas de transição L_ij(a) e pelos custos C_i(a).

O tratamento matemático e computacional dos PMDTCs é idêntico àquele dos PSMDs. Na prática, a diferença entre esses dois processos se encontra na forma que são construídos. Geralmente, para um PSMD, a obtenção das probabilidades de transição p_ij(a) e dos custos C_i(a) envolve a teoria das renovações (Çinlar, 1975) e dificilmente os cálculos efetuados para um modelo podem ser diretamente reutilizado num outro modelo. Por outro lado, as probabilidades de transição e os custos necessários à construção de um PMDTC possuem expressões simples. A construção de um PMDTC permite o uso direto de uma modelagem por eventos, onde cada taxa de transição L_ij(a) está associada a um evento.

A seguir, apresentam-se dois casos particulares que ilustram o raciocínio usado no cálculo das taxas de transição.

Se em um instante de decisão o sistema está no estado:

i)

i = (M, M_r, 0, A_o, D, 0, 0) com M_r ³ 1, o único evento possível é a quebra de uma máquina. Assim, o número de máquinas quebradas, que era zero, aumenta de uma unidade e o número de máquinas de reserva diminui de uma unidade. Neste caso, se a ação escolhida for:

1) a = AA, ambos os servidores são ativados, então s₁ = A_o e s₂ = A_e, o servidor 2 começa a consertar a máquina quebrada, f₂ = 1, e o servidor 1 fica ativado mas ocioso, f₁ = 0. O estado do sistema passa a ser j₁= (M, M_r –1, 1, A_o, A_e, 0, 1).

2) a = NA, o servidor 1 é desativado, s₁ = D e f₁ = 0, enquanto o servidor 2 conserta a máquina, s₂ = A_e e f₂ = 1, o estado do sistema passa a ser j₂ = (M, M_r–1, 1, D, A_e, 0, 1).

3) a = AN, o servidor 1 começa a consertar a máquina quebrada, s₁ = A_e e f₁ = 1, o servidor 2 é desativado, s₂ = D e f₂ = 0, e o estado do sistema passa a ser j₃ = (M, M_r–1, 1, A_e, D, 1, 0).

4) a = NN, ambos os servidores são desativados, s₁ = D, s₂ = D, f₁ = 0 e f₂ = 0, e o estado do sistema passa a ser j₄ = (M, M_r–1, 1, D, D, 0, 0).

A taxa de transição do estado i para j₁, j₂, j₃ ou j₄é Ml.

ii)

i = (0, 0, M+M_r, A_e, A_e, f₁, f₂) com M+M_r ³ 2, 0 < f₁ < n₁ e 0 < f₂ < n₂, dois eventos podem ocorrer: o final de um reparo ou a mudança de fase de reparo de uma das máquinas que está sendo consertada. Se ocorrer o final de um reparo, o número de máquinas quebradas diminui de uma unidade, o número de máquinas na linha de produção aumenta de uma unidade e a fase de reparo do servidor que terminou o reparo passa a ser zero. Caso contrário, apenas o reparo que mudou de fase é acrescido de uma unidade. Assim, se a ação escolhida é:

1) a = AA mantém ativados ambos os servidores. Neste caso, existem as seguintes possibilidades:

• servidor 1 pode acabar o reparo da máquina, s₁ = A_o e f₁ = 0, e o estado do sistema passa a ser j₁= (1, 0, M+M_r–1, A_o, A_e, 0, f₂) com taxa de transição L_ij(a) = (1- p_1f1)m_1f1;

• o servidor 2 pode terminar o reparo, s₂ = A_o e f₂ = 0, e o estado do sistema passa a ser j₃= (1, 0, M+M_r- 1, A_e, A_o, f₁, 0) com taxa de transição (1–p_2f2)m_2f2;

• o reparo executado pelo servidor 1 pode mudar de fase, e o estado do sistema passa a ser j₂= (0, 0, M+M_r, A_e, A_e, f₁+1, f₂) com taxa de transição L_ij(a) = p_1f1m_1f1;

• o reparo executado pelo servidor 2 pode mudar de fase, e o estado passa a ser j₄= (0, 0, M+M_r, A_e, A_e, f₁, f₂+1) com taxa de transição p_2f2m_2f2.

2) a = AN mantém ativado o servidor 1 e desativa-se o servidor 2, s₂ = D e f₂ = 0. Então, existem as seguintes possibilidades:

• o reparo executado pelo servidor 1 termina, s₁ = A_o e f₁ = 0, e o estado passa a ser j₅ = (1, 0, M+M_r–1, A_o, D, 0, 0) com taxa de transição L_ij(a) = (1-p_1f1)m_1f1;

• reparo executado pelo servidor 1 muda de fase e o estado passa a ser j₆ = (0, 0, M+M_r, A_e, D, f₁+1, 0) com taxa de transição p_1f1m_1f1.

3) a = NA desativa-se o servidor 1, s₁ = D e f₁ = 0, e mantém ativado o servidor 2. Então, existem as seguintes possibilidades:

• reparo executado pelo servidor 2 termina, s₂ = A_o e f₂ = 0, e o estado passa a ser j₇ = (1, 0, M+M_r–1, D, A_o, 0, 0) com taxa de transição (1–p_2f2)m_2f2;

• reparo executado pelo servidor 2 muda de fase e o estado passa a ser j₈= (0 0, M+M_r, D, A_e, 0, f₂+1) com taxa de transição p_2f2m_2f2.

O custo esperado entre decisões C_i(a) é composto por todos os custos acarretados ao sistema. Assim,

onde C_l(i,a), C_e(i,a), C_h(i,a), C_m1(i,a), C_m2(i,a), C_a1(i,a) e C_a2(i,a) são, respectivamente, os custos esperados de perda de produção, de reparo, de espera no sistema de reparo, de manter o servidor 1 ativado, de manter o servidor 2 ativado, de ativar o servidor 1 e de ativar o servidor 2 incorridos até o próximo instante de decisão, dado que o estado i = (m, r, q, s₁, s₂, f₁, f₂) Î E e a ação a Î A(i) foi adotada.

Suponha que o sistema está no estado i = (m, r, q, s₁, s₂, f₁, f₂). Se q > M_r, isto significa que faltam q – M_rmáquinas na linha de produção. Então, tem-se que o custo esperado de perda de produção é dado pelo produto entre a taxa de perda de produção, o número de máquinas que faltam na linha de produção e o tempo esperado até a próxima decisão. Ou seja,

Se q > 0 e a ação escolhida é a = AN, ou seja, ativa-se o servidor 1 e desativa-se o servidor 2, o custo esperado de reparo é dado pelo produto entre a taxa de execução de reparo do servidor 1 e o tempo esperado até o próximo instante de decisão. Analogamente, se q > 0 mas escolhe-se a ação a = NA, o custo esperado de reparo é o produto entre a taxa de execução de reparo do servidor 2 e o tempo esperado até o próximo instante de decisão. Se q > 1 e a = AA, tem-se que o custo esperado de reparo é dado pelo produto entre a taxa de execução de reparo do servidor 1 somada a taxa de reparo do servidor 2 e o tempo esperado até o próximo instante de decisão. Finalmente, se q = 1 e a ação escolhida é a = AA, ou seja, ambos os servidores são ativados, tem-se que o custo esperado de reparo é o produto entre a taxa de execução de reparo do servidor que está realizando o reparo e o tempo esperado até o próximo instante de decisão. Então,

Se q > 0, ou seja, se existem máquinas quebradas, o custo médio de espera no sistema de reparo é dado pelo produto entre a taxa de espera no sistema, o número de máquinas quebradas no sistema de reparo (incluindo a máquina em reparo) e o tempo esperado até o próximo instante de decisão. Assim, tem-se que:

Se a ação escolhida é a = AA ou a = AN, ou seja, ativa-se o servidor 1, o custo esperado de manter o servidor 1 ativado é dado pelo produto entre a taxa de manter o servidor 1 ativado c_m1 e o tempo esperado até o próximo instante de decisão. Logo,

Se a ação escolhida é a = AA ou a = NA, o custo esperado de manter o servidor 2 ativado é dado pelo produto entre a taxa de manter o servidor 2 ativado c_m2 e o tempo esperado até o próximo instante de decisão. Logo,

O custo de ativar o servidor 1, C_a1(i,a), assume o valor fixo c_a1quando o servidor 1 está desativado e a ação escolhida prescreve sua ativação. Ou seja,

Analogamente, o custo de ativar o servidor 2, C_a2(i,a), assume o valor fixo c_a2 quando o servidor 2 está desativado e a ação escolhida prescreve sua ativação. Então,

3. Processo Markoviano de Decisão com Informação Parcial

Neste trabalho, para modelar o sistema em estudo, quando não é possível observar as fases das distribuições PH, utilizam-se processos markovianos de decisão com informação parcial. Nestes processos, o espaço de estados E é particionado em subconjuntos {E₁, E₂,..., E_k}, onde e E_iÇ E_j= Æ se i ¹ j, tal que no instante de decisão a única informação disponível é o subconjunto E_j no qual o estado está contido.

Observa-se E_s, s = 1, 2,..., k, e escolhe-se uma ação, ou seja, para todos os estados pertencentes ao subconjunto E_s observado a mesma decisão é tomada. Isto segue para todos os subconjuntos de estados pertencentes à partição. A regra de decisão que satisfaz esta condição é chamada markoviana admissível ou, simplesmente, admissível.

Uma regra de decisão markoviana depende apenas do estado corrente, ou seja, ela determina, para cada estado i Î E, que ação a Î A(i) deve ser escolhida se o estado i for observado no instante de decisão t. Logo, em cada instante de decisão t, a regra de decisão p^t é um elemento do conjunto P, onde P é o conjunto de regras de decisão markovianas aleatórias dado por:

e denota-se por F o conjunto de todas as regras de decisão markovianas determinísticas:

onde A= .

Uma regra de decisão aleatória admissível p e uma regra de decisão admissível determinística f são, respectivamente, elementos dos conjuntos:

onde o conjunto de ações possíveis é A= .

Além das políticas estacionárias consideradas no modelo com informação completa, no modelo com informação parcial deve-se considerar as políticas markovianas periódicas. As políticas markovianas periódicas formam uma subclasse das políticas markovianas definida por:

onde (p¹, p², , p^L )^¥ é uma política que usa a regra de decisão p^u, u Î {1, 2,..., L}, em cada instante de decisão t, u = t (mod L) se t (mod L) > 0 e u = L se t (mod L) = 0, e C_Mé a classe das políticas markovianas.

L é chamado período da política. Note que se L = 1 a política não é realmente periódica, mas uma política estacionária. Por todo o texto, u será chamado de passo do período.

3.1 Algoritmo HL

Para otimizar os processos markovianos de decisão com informação parcial, Hordijk & Loeve (1994) propõem um algoritmo (Algoritmo HL) baseado no Algoritmo de Iteração de Valores. Ao contrário dos processos markovianos de decisão a tempo contínuo, não se pode garantir a existência de uma política markoviana de custo mínimo para um processo markoviano de decisão com informação parcial pois, como estes processos são um caso particular dos processos markovianos de decisão parcialmente observáveis, a política ótima pode depender de todo o histórico do processo. Portanto, este algoritmo busca uma "boa" política dentro da classe das políticas admissíveis.

Denotando-se por P(f) = [p_ij(f)]_i,jÎE, a matriz de transição do processo e c(f) o vetor do custo até a próxima transição quando a regra de decisão f é usada, e V o vetor do custo esperado total mínimo, o Algoritmo HL é dado por:

Algoritmo HL

Escolher uma regra de decisão determinística admissível f 1 e e > 0;

Escolher o vetor das probabilidades iniciais x¹ e V¹ e Â^N ;

Para n = 1, 2, 3,... fazer {

Para cada s, s = 1, 2,..., k, calcular

Para cada s, s = 1, 2,..., k, e para " i Î E_s

se f ⁿ(i) minimiza gⁿ (s,.)

então f ⁿ⁺¹( i ) ¬ f ⁿ ( i );

senão f ⁿ⁺¹( i ) ¬ a para algum aÎ arg min _bÎAs gⁿ (s,b);

x ⁿ⁺¹¬ xⁿP (f ⁿ⁺¹);

Vⁿ⁺¹¬ c( f ⁿ⁺¹)+P (f ⁿ⁺¹)V ⁿ.

Verificar se critério de parada é atingido.

}

Critério de Parada: o algoritmo pára se para algum L e m = n – L é assegurado que:

• f ^m+L = f ^m,

• ||x ^m+L – x ^m|| < e e

• span ( V ^m+L – V ^{m ) <} e;

onde span(V) = max_i V_i – min_i V_i, para um vetor V, e ||x|| é a norma de x, tal que ||x|| < e para x Î Â^N significa que |x_i| < e, "i.

O Algoritmo HL foi proposto para modelos markovianos de decisão a tempo discreto. Para utilizá-lo em modelos a tempo contínuo, aplicou-se o método de uniformização apresentado em Tijms (1994).

Dois problemas se apresentam quando se consideram políticas periódicas em modelos a tempo contínuo:

• Ao se aplicar o método da uniformização, a equação funcional de um processo a tempo contínuo sob uma política markoviana periódica R = (f ¹, f² ,...,f ^L-1, f ^L)^¥ é dada por:

onde:

( R ) = c(f ¹) + P(f ¹)c(f ²) + ... + P(f ¹)P(f ²) ... P(f ^L-1)c(f ^L)

( R )= t(f ¹) + P(f ¹)t(f ²) + ... + P(f ¹)P(f ²) ... P(f ^L-1)t(f ^L)

( R ) = P(p¹) P(p²) ... P(p^L)

Esta equação funcional pode ser reduzida àquela do processo original somente se os tempos esperados

( R ) forem iguais para todos os estados do processo. Neste caso, a equação anterior praticamente se reduz àquela do tempo discreto. Testes computacionais confirmaram este fato.

• Quando existem transições não observáveis, ou seja, transições entre estados de um mesmo subconjunto da partição do espaço de estados, pode ser inviável na prática a implementação da política pela impossibilidade de se saber em que passo do período o sistema se encontra. No modelo apresentado neste trabalho, tais transições ocorrem quando há mudanças de fase em uma distribuição PH inserida no modelo.

3.2 Heurística para obtenção de uma política admissível estacionária

Para evitar os problemas apresentados na Seção 3.1, se a política obtida pelo Algoritmo HL for periódica, ou seja, se R = (f ¹ , f ² ,..., f ^L-1, f ^L)^¥, propõe-se a seguinte heurística:

• extraem-se todas as políticas estacionárias possíveis a partir das regras de decisão da política periódica obtida, ou seja, f ¹, f ² ,..., f ^L-1, f ^L;

• calcula-se o custo de cada uma destas políticas estacionárias;

• comparam-se os custos e escolhe-se a política estacionária caracterizada pela regra de decisão de menor custo.

A política assim obtida é admissível e será adotada como uma solução sub-ótima para o problema.

4. Modelo com Informação Parcial

Considera-se um modelo com informação parcial em que nos instantes de decisão as informações disponíveis são o número de máquinas na linha de produção, o número de máquinas de reserva, o número de máquinas quebradas, o estado do servidor 1 e o estado do servidor 2. Não se tem nenhuma informação sobre as fases de reparo do servidor 1 e as fases de reparo do servidor 2.

Para este modelo consideram-se somente políticas admissíveis, ou seja, políticas que determinam a mesma ação para todos os estados de um mesmo subconjunto da partição.

Analogamente ao modelo anterior, neste modelo com informação parcial existe a possibilidade de utilizar os dois servidores, lento e rápido, simultaneamente. Então, quando o sistema muda de um conjunto da partição para outro deve-se escolher entre não utilizar nenhum servidor, utilizar o servidor lento, o servidor rápido (supostamente mais caro) ou ambos os servidores.

Portanto, o espaço de estados E é particionado em subconjuntos E_{(m,r,q,s1,s2)} tal que, para m = 0, 1,..., M; r = 0, 1,..., M_r; q = 0, 1,..., M+M_r; s₁ Î {D, A_o, A_e}; s₂ Î {D, A_o, A_e}, tem-se que:

E_{(m,r,q,s1,s2)} = { (m’,r’,q’,s’₁,s’₂,f’₁,f’₂) Î E / m’ = m, r’ = r, q’ = q, s’₁ = s₁, s’₂ = s₂}

Neste modelo com informação parcial, consideram-se os mesmos custos do modelo com informação completa. Para se obter a política admissível de custo mínimo utiliza-se o Algoritmo HL.

5. Exemplo

Nesta seção analisam-se os modelos descritos nas Seções 2 e 4 considerando-se os seguintes parâmetros para o sistema modelado:

máquinas na linha de produção (M = 8)

máquinas de reserva (M_r= 4)

quebra de cada máquina: tempo médio = 3,33 Þ l = 0,3

reparo tipo 1: tempo médio = 0,5; desvio padrão = 0,25

n₁ = 4 m₁₁ = m₁₂ = m₁₃ = m₁₄ = 8

p₁₁ = p₁₂ = p₁₃ = p₁₄ = 1

reparo tipo 2: tempo médio = 0,25; desvio padrão = 0,1

n₂ = 7 m₂₁ = m₂₂ = m₂₃ = m₂₄ =m₂₅ = m₂₆ = m₂₇ = 25

p₂₁ = p₂₂ = p₂₃ = p₂₄ = p₂₅ = 1, p₂₆ = 0,25, p₂₇ = 1

constantes de custo:

l = 200 h = 10 e₁ = 100 e₂ = 400 c_a1 = c_a2 = 10 c_m1 = c_m2 = 0

Estes parâmetros foram considerados por já terem sido utilizados em trabalhos anteriores do autores (Carvalho, 1987; Rodrigues et al., 1994).

Considerando-se os dados anteriores, no modelo com informação completa, o custo médio do sistema a longo prazo foi de 181,98 sob a política ótima apresentada na Tabela 1.

O símbolo "---" utilizado nas tabelas significa que a ação escolhida independe do valor da variável correspondente à coluna.. Por exemplo, na Tabela 1 se existem de 4 a 12 máquinas quebradas, independente dos valores de s₁, s₂, f₁ e f₂, a ação escolhida é AA, ou seja, ativar ambos os servidores.

No modelo com informação parcial, o custo médio mínimo obtido foi de 182,63 sob a política apresentada na Tabela 2. Como esta política é estacionária, não foi necessário utilizar a heurística apresentada na Seção 3.2 deste trabalho.

Na Tabela 3 apresenta-se uma comparação de medidas de desempenho obtidas no modelo com informação completa e no modelo com informação parcial sob as políticas apresentadas nas Tabelas 1 e 2.

A política descrita na Tabela 2 acarreta um custo 0,36% maior que o obtido ao se aplicar a política da Tabela 1. Este aumento se deve ao fato de no modelo com informação parcial, por não se levar em conta a fase do reparo, utilizou-se mais o servidor 1. Este servidor, embora mais barato, é mais lento e por isto aumentou-se o número de máquinas quebradas e, conseqüentemente, o custo de perda de produção e o custo de espera no sistema de reparo.

5.1 Análise da influência dos parâmetros nos custos

Nesta seção analisam-se os modelos descrito nas Seções 2 e 4 variando-se alguns parâmetros considerados na Seção 6.1.

Inicialmente, variou-se o número de máquinas de reserva. Na Tabela 4 são apresentados os custos obtidos para ambos os modelos quando se variou o número de máquinas de reserva de zero (sistema sem máquinas de reserva) até oito (número de maquinas de reserva igual ao número de máquinas na linha de produção).

Na Tabela 5 apresentam-se os custos obtidos quando se considerou o sistema com quatro máquinas de reserva e variou-se a taxa de quebra das máquinas.

Como a maior diferença observada entres os custos obtidos para ambos os modelos foi quando se considerou o sistema com duas máquinas de reserva, realizou-se um experimento variando-se a taxa de quebra de máquinas para este sistema. Os resultados obtidos estão apresentados na Tabela 6.

Dos exemplos apresentados, aquele em que se obteve a maior diferença entre os custos obtidos para o modelo com informação completa e para o modelo com informação parcial foi quando se considerou o sistema com duas máquinas de reserva e taxa de quebra das máquinas igual a 0,3. Na Tabela 7 são apresentadas as medidas de desempenho para este sistema.

Observando-se os custos incorridos com os diversos experimentos realizados, nos quais vários parâmetros foram variados, nota-se que as diferenças não foram significativas, sendo que no máximo o custo incorrido com o modelo de informação parcial foi 1,89% maior que o incorrido com o modelo com informação total.

6. Comentários

O tratamento matemático analítico e computacional de sistemas onde os eventos relevantes ocorrem em intervalos de tempos não exponenciais são muitos complexos. Para contornar algumas dificuldades de modelagem propõe-se a utilização da distribuição PH com configuração de Cox para modelar estes tempos. A distribuição PH com configuração de Cox é uma mistura de distribuições exponenciais com diferentes médias. A grande vantagem da utilização destas distribuições é o fato de elas aproximarem bem qualquer variável aleatória contínua positiva.

Por ser a distribuição PH construída a partir de componentes exponenciais (fases) pode-se modelar sistemas por processos markovianos de decisão, bastando para isto supor que as fases são observáveis e tomar as decisões nos instantes de final de fases.

Em sistemas reais dois casos podem ocorrer: as fases são realmente observáveis (por exemplo, no sistema analisado neste trabalho, o reparo seria executado em duas etapas: 1 – diagnóstico do defeito e reparo menores e 2 – reparos maiores) ou as fases são um artifício matemático para aproximar distribuições não exponenciais negativas. No primeiro caso, a hipótese de se observar as fases é realística mas no segundo não corresponde à realidade.

A questão que se coloca, portanto, é como tomar decisões em final de fases que não são observáveis. A solução proposta neste trabalho é modelar o sistema por um processo markoviano de decisão com informação parcial e utilizar o algoritmo apresentado em Hordijk & Loeve (1994) para obtenção da política admissível de custo mínimo. Quando esta política é periódica, propõe-se uma heurística para obtenção de uma política admissível estacionária.

Deste modo, neste trabalho, considerou-se um sistema que foi modelado admitindo-se que as fases de reparo são observadas – modelo com informação completa – e que estas não são observadas – modelo com informação parcial. Testes computacionais foram realizados utilizando dados numéricos e observou-se que, no modelo com informação parcial, o custo médio a longo prazo do sistema teve um aumento de no máximo 1,89% quando comparado com o custo obtido no modelo com informação completa. Este aumento pode ser dependente dos dados considerados e se deve ao fato que as fases não são observáveis. Finalmente salienta-se que para os experimentos computacionais realizados, utilizou-se uma biblioteca de classes desenvolvida por um dos autores em linguagem C++.

Talvez seja interessante comentar que para obtenção dos parâmetros das distribuições PH várias autores têm utilizado o método dos momentos, o método da máxima verossimilhança e o método da minimização de distâncias. Os procedimentos baseados em ajustes de momentos podem ser divididos em dois grupos distintos: o método dos momentos tradicional onde se utiliza os momentos de baixa ordem, média e desvio padrão (Tijms, 1994 e Lima, 1997), e as técnicas nas quais momentos de mais alta ordem são ajustados (Carvalho, 1991). O método dos momentos pode ser usado tanto para estimar parâmetros a partir de dados amostrais como para obter parâmetros para uma distribuição PH que aproxime uma distribuição contínua e positiva dada. O método da máxima verossimilhança foi empregado em Carvalho (1991) para estimação de parâmetros a partir de dados amostrais e em Bobbio & Cumani (1992) para obtenção de parâmetros a partir de uma distribuição dada, para isso, esta referência se serve da geração de amostras sistemáticas. Em Miranda (1996) é proposto um método de minimização de distância estocástica para obtenção dos parâmetros de uma distribuição PH a partir de uma distribuição dada.

O problema da obtenção de parâmetros das distribuições PH foge do escopo deste trabalho. Assim, para a construção dos modelos apresentados, optou-se por supor conhecidos os parâmetros e fornecê-los aos modelos.

Agradecimentos

Agradecemos aos revisores pelas sugestões que melhoraram a apresentação deste trabalho.

• (1) Bobbio, A. & Cumani, A. (1992). ML estimation of the parameters os a PH distribution in triangular canonical form. Computer Performance and Evaluation, 33-48.
• (2) Carvalho, S.V. (1987). Controle da taxa de reparo em um sistema de manutençăo com máquina de reserva. Tese (Doutorado) INPE-4337-TDL/292, Instituto Nacional de Pesquisas Espaciais, Săo José dos Campos.
• (3) Carvalho, S.V. (1991). Modčles stochastiques appliqués a loptimisation de la performance et de la sűreté de fonctionnement des systčmes de production. Tese (Doutorado) No. 1032, Université Paul Sabatier, Toulouse.
• (4) Çinlar, E. (1975). Introduction to Stochastic Processes. Prentice-Hall, Inc., New Jersey.
• (5) Cumani, A. (1982). On the canonical representation of homogeneous Markov processes modeling failure-time distributions. Microelectronics and Reliability, 22, 583-602.
• (6) Hordijk, A. & Loeve, J.A. (1994). Undiscounted Markov decision chain with partial information; an algorithm for computing a locally optimal periodic policy. ZOR-Mathematical Methods of Operations Research, 40, 163-181.
• (7) Lima, L.G.F. (1997). Modelagem e validaçăo estatística do uso de métodos de estágio em modelos markovianos. Dissertaçăo (Mestrado), Instituto Tecnológico de Aeronáutica, Săo José dos Campos.
• (8) Miranda, M.N. Aproximaçăo de distribuiçőes de probabilidades năo exponenciais por distribuiçăo do tipo fase. Dissertaçăo (Mestrado), Instituto Nacional de Pesquisas Espaciais, Săo José dos Campos.
• (9) Neuts, M.F. (1981). Matrix-geometric Solutions in Stochastic Models John Hopkins, Baltimore.
• (10) OCinneide, C.A. (1991). Phase-type distributions and invariant polytopes. Advances in Applied Probability, 23, n. 3, 515-535.
• (11) Rodrigues, R.C.M. (1990). Controle de um sistema de manutençăo quando os tempos de falha e reparo tęm distribuiçăo do tipo fase. Dissertaçăo (Mestrado) INPE-5104-TDL/418, Instituto Nacional de Pesquisas Espaciais, Săo José dos Campos.
• (12) Rodrigues, R.C.M.; Morais, P.R. & Carvalho, S.V. (1994). Um modelo markoviano para o controle da taxa de reparo de um sistema de manutençăo com um único servidor. Publicado nos anais do XIV Encontro Nacional de Engenharia de Produçăo (ENEGEP), 2, 745-750, Joăo Pessoa, PB.
• (13) Tijms, H.C. (1994). Stochastic Modelling and Analysis: A Computational Approach. Wiley, New York.

Datas de Publicação

• Publicação nesta coleção
  24 Abr 2002
• Data do Fascículo
  Jul 2001

Histórico

• Recebido
  Mar 2001
• Aceito
  Nov 2001