Filtros recursivos lineares e controle ótimo para sistemas lineares com variações abruptas e observações parciais

SISTEMAS ESTOCÁSTICOS

Filtros recursivos lineares e controle ótimo para sistemas lineares com variações abruptas e observações parciais

Oswaldo L. V. Costa; Susset Guerra Jiménez

Departamento de Engenharia de Telecomunicações e Controle, Escola Politécnica da Universidade de São Paulo, CEP: 05508 900 São Paulo SP Brazil. [e-mail], [e-mail]

RESUMO

Neste trabalho estuda-se o problema de filtragem e controle ótimo para sistemas lineares com parâmetros sujeitos a variações abruptas e observações parciais. Assume-se que as variações abruptas são representadas por variáveis aleatórias independentes e igualmente distribuídas ao longo do tempo, tomando valores em um conjunto contável de elementos. Inicialmente apresentam-se filtros recursivos lineares de mínimo erro médio quadrático para esta família de sistemas. Este resultado generaliza alguns resultados apresentados anteriormente na literatura que apenas consideravam modelos com variações abruptas binárias nas variáveis de saída do sistema. Em seguida considera-se o problema de controle ótimo quadrático para o caso com observações parciais. Utilizando-se o filtro desenvolvido anteriormente apresenta-se uma solução sub-ótima para o problema, uma vez que o princípio da separação não se aplica neste caso.

Palavras-chave: Filtros recursivos, variações abruptas, sistemas lineares, controle quadrático.

ABSTRACT

In this work we study the filtering and optimal control problems for linear systems subject to abrupt changes in the parameters and partial observations. We assume that the abrupt changes are represented by independent and identically distributed random variables along the time, taking values in a finite set of numbers. Initially we present recursive filters of minimum mean square quadratic errors for this family of systems. These results generalize some previous results in the literature which only considered binary abrupt variations in the output variables of the system. Next we consider the quadratic optimal control problem for the partial observation case. Using the filter previously developed we present a sub-optimal solution for the problem, since that the separation principles cannot be applied to this case.

Keywords: Recursive filters, abrupt variations, linear systems, quadratic control.

1 INTRODUÇÃO

O problema de controle ótimo linear quadrático para sistemas lineares discretos no tempo com saltos aleatórios nos parâmetros tem sido intensamente estudado na literatura. Quando a variável de salto é conhecida e segue uma cadeia de Markov, a solução do problema de controle ótimo quadrático é obtida a partir de um conjunto de equações algébricas de Riccati acopladas entre si (EARA). Entretanto para obter esta solução, é crucial o fato do controlador ter aceso em cada instante de tempo k às variáveis de estado x(k) (de dimensão n) e de salto q(k). Em (Blair e Sworder, 1975), (Chizeck et al., 1986), (Yuandong e Chizeck, 1988) estuda-se o sistema sem considerar ruídos. Os trabalhos (Costa e do Val, 1998), (Costa e Fragoso, 1995), (Costa, 1995), (Marques, 1997) abordam sistemas ruidosos. Em (Marques, 1997) obtêm-se algoritmos para resolução das EARA e do problema de controle ótimo, fazendo uso de programação convexa através das LMI's. Uma outra abordagem LMI robusta é obtida em (Bernard et al., 1997). Casos a tempo contínuo são apresentados em (Dufour e Bertrand, 1994) e (Dufour e Elliott, 1998). Existem casos em que nem as variáveis de estado nem as variáveis de salto são acessíveis ao controlador. Na teoria de sistemas lineares estocásticos sem saltos, problemas deste tipo são conhecidos como controle ótimo com observações parciais, e são resolvidos aplicando-se o princípio da separação, que consiste em usar a lei de realimentação ótima para o estado estimado pelo filtro de Kalman (veja, por exemplo, (Davis e Vinter, 1985)). Para o caso de sistemas com saltos não foram encontrados na literatura consultada trabalhos com esta abordagem.

Neste trabalho consideram-se sistemas lineares com parâmetros sujeitos a variações abruptas para o caso em que essas variações q(k) são variáveis aleatórias independentes e igualmente distribuídas ao longo do tempo. Obteremos na seção um filtro linear recursivo de ordem n de mínimo erro médio quadrático (LMMSE) para esta família de sistemas. Nossos resultados generalizam os resultados em (Nahi, 1969),(Hadidi e Schwartz, 1979), e (Wang, 1984) pois nesses artigos os autores consideram q(k) como sendo uma variável aleatória binária que determina se a observação atual y(k) possui o sinal x(k) que se deseja estimar ou apenas ruído. Os autores desses artigos deduzem filtros lineares recursivos LMMSE de dimensão n que fornecem um estimador para a variável de estado. Em (Costa, 1994) o autor considera o problema de determinação de filtros lineares recursivos LMMSE para sistemas lineares sujeitos a saltos Markovianos, que incluem os modelos de variáveis aleatórias independentes e binárias mencionados acima. Entretanto a dimensão deste filtro é Nn, onde N representa o número de modos de operação do sistema. A principal diferença deste artigo em relação a (Costa, 1994) é que, conforme mencionado anteriormente, assumimos que q(k) são variáveis aleatórias independentes e igualmente distribuídas ao longo do tempo. Esta hipótese nos permite obter um filtro de ordem reduzida n, ao invés de Nn como apresentado em (Costa, 1994). Outra diferença importante é que consideramos no filtro a presença de uma variável de controle de realimentação linear. A seção 4 trata do caso em que se deseja minimizar um funcional quadrático quando não se tem acesso direto nem às variáveis de estado nem às variáveis de salto. O problema é resolvido parcialmente traçando um paralelo com o problema de controle ótimo quadrático para sistemas lineares estocásticos a tempo discreto, sem considerar saltos nos parâmetros. Cabe destacar que a matriz de covariância do erro de estimação depende da lei de controle utilizada, impedindo assim que o princípio da separação valha para este problema. Para o caso sem saltos estes termos desaparecem. A lei de controle ótima para sistemas com saltos e observações parciais é em geral difícil de ser obtida, o que nos motivou a analisar neste artigo uma solução sub-ótima.

2 PRELIMINARIES

Considere o seguinte sistema linear a tempo discreto

sendo {q(k)} uma sequência aleatória tomando valores no conjunto {1,...,N}, com q(k) e q(t) independentes entre si sempre que k ¹ t. Denotaremos por p_i as probabilidades de q(k) assumir o valor i, isto é, P(q(k) = i) = p_i. Obviamente temos que p_i > 0,i = 1,...,N, p_i = 1. Assumiremos que a sequência {q(k)} é independente da sequência de ruído branco no sentido amplo (média nula, matriz convariância identidade) {x(k),n(k)}, que por sua vez são independentes entre si. Assumimos também que G_i> 0 para cada i = 1,...,N. As matrizes A_i, C_i, H_i, G_i, i = 1,...,N e B possuem dimensões n×n, n×r₁, q×n, q×r₂ e n×m respectivamente, e poderiam variar com k. Por simplicidade notacional não explicitaremos esta possível dependência.

A lei de controle para (1a) tem a seguinte forma

para matrices G(k) e (k) de dimensões apropriadas, onde o vetor aleatório kq dimensional y^k–1 é formado pelas componentes y(l), l = 0,...,k – 1.

Apresentaremos agora algumas definições que serão úteis para o que se segue. Para uma variável aleatória qualquer r(k), definimos a variável aleatória centrada

Representaremos por (k|l) o melhor estimador linear (no sentido da média quadrática) de r(k) dadas as observações {y(0),...,y(l)}, e

Da mesma forma definimos

_i(k + 1|l) como sendo o melhor estimador linear de

z_i(k) := x(k)1_{q(k)=i},

onde 1_{.} representa a medida de Dirac, e

Definimos os vetores aleatórios Nn dimensionais z(k),(k + 1|l) e (k + 1|l) como sendo formado pelas componentes z_i(k),_i(k + 1|l) e _i(k + 1|l),i = 1,...,N respectivamente. Denotamos por ((y^c)^k) o espaço de todas as combinações lineares de y^c(l), l = 0,...,k. Considerando o produto interno < .;. > entre 2 variáveis aleatórias r e z dado por

tem-se, conforme apresentado em (Davis e Vinter, 1985), capítulo 3, página 108, que o melhor estimador linear centrado

^c(k|l) é dado pela projeção ortogonal de r^c(k) em ((y^c)^l), isto é, ^c(k|l) é a única variável aleatória (a menos de um conjunto com probabilidade nula) que satisfaz

Mais ainda, temos as seguintes propriedades:

Proposição 1 ((Davis e Vinter, 1985), capítulo 3) Se cov((y^c)^l) é não singular então

Tem-se também que

e

Denotamos por

_k o s – campo gerado por {y(t); t = 0,..., k}. Concluímos esta seção com as seguintes definições

e as matrizes de segundo momento

3 O FILTRO LMMSE DE ORDEM REDUZIDA

Em (Costa, 1994) foi obtido um filtro linear de dimensão Nn para (1a),(1b), quando não se tem informação da variável de salto q(k) e assumindo que esta seja uma cadeia de Markov. O filtro inclui a covariância do erro da estimação, que é calculado mediante uma equação recursiva de Riccati. Na equação que descreve o sistema não foi considerada a entrada correspondente ao controle.

O objetivo desta seção é obter o filtro LMMSE para o sistema (1a), (1b), assumindo, conforme mencionado anteriormente, independência entre as variáveis de salto q(k). As vantagens desta simplificação são as de que o filtro resultante será de ordem n (menor portanto que a ordem Nn para o caso Markoviano), e de incluir a variável de controle conforme (2). Comparando com os artigos (Nahi, 1969),(Hadidi e Schwartz, 1979),(Wang, 1984), obtemos uma generalização do modelo considerado, já que lá os autores apenas estudaram o caso em que u(k) = 0, N = 2, A₁ = A₂, C₁ = C₂, G₁ = G₂ e H₂ = 0, ou seja, o modo de operação q(k) = 1 representa a observação y(k) = H₁x(k) + G₁n(k), portanto com o sinal a ser estimado x(k), e o modo de operação q(k) = 2 representa a observação y(k) = G₁n(k), ou seja, a saída contém apenas ruído.

O principal resultado desta seção é apresentado no seguinte Teorema.

Teorema 1 O filtro LMMSE para o sistema (1a), (1b) é dado por

onde

Definindo-se

U(k) = E(u(k)u(k)'),

e

tem-se que a equação recursiva para (k +1|k) é dada por

A matriz de covariância de erros (k|k – 1) é dada por

Prova. Tem-se de (5) que

e dado que q(k) é independente de x(k) e de (y^c)^k–1, segue de (13) que

Portanto, como e E(z_i(k)) = p_iE(x(k)), segue de (7) que . Como visto em (Costa, 1994),

e de (14), segue que

e

Da independência entre x(k) e q(k), e lembrando que E(x(k)) = 0, segue que

E(C_q(k)x(k)) = E(C_q(k))E(x(k)) = 0,

e portanto

Segue de (17) que x^c(k + 1) é dado por

x^c(k + 1) = z^c(k) + Bu^c(k) + C_q(k)x(k)

e de (5) tem-se que

De (2) segue que

e portanto de (19) tem-se que u^c(k) Î ((y^c)^k), o que leva a

Da independência entre x(k) e y(k),q(k), segue que

já que E(x(k)) = 0. De (20), (21), e lembrando de (5) que

^c(k|k) = E(z^c(k))(y^c)^k')cov((y^c)^k)^–1(y^c)^k

segue de (18) que

De (6) tem-se que

^c(k|k) pode ser expresso como:

e substituindo (14), (15), (16) na expressão anterior, tem-se de (22), que

De (7) tem-se que (k + 1|k) é expresso como

Substituindo (23) e (17) na equação anterior, obtém-se que

De (14) e lembrando que

(k|k – 1) = y(k) – H(k|k – 1),

obtém-se de (25) que

e

mostrando (8), (9). Mais ainda, dado que

(k + 1|k) = x(k + 1) – (k + 1|k),

e

tem-se de (26) e (28) que

onde

T(k) = (k|k – 1)H'(H(k|k – 1)H' + GG')^–1.

Lembrando que (k + 1|k) = E((k + 1|k)(k + 1|k)'), tem-se

mostrando (10). Obtém-se (k + 1|k) de (26) pois, considerando a ortogonalidade entre (k|k – 1) e (k|k – 1), u(k) (veja (3) e (4)) tem-se

e assim

mostrando (11). Por fim resta mostrar (12). Tem-se que

Definindo

e

tem-se que

z(k + 1) – (k + 1|k) = (k + 1|k) + (k + 1|k).

Logo (31) pode ser escrito como

Da ortogonalidade entre (k + 1|k) e (k + 1|k) (veja (3) e (4)), segue que

No que se segue omitiremos por simplicidade notacional o subscrito i,j = 1,...,N para denotar os elementos da matriz considerada. Como q(k + 1) é independente de (k + 1|k), tem-se que

que é igual a

Novamente da independência entre q(k + 1) e (k + 1|k),

Juntando as equações (32), (33), (34) e (35) tem-se (12), completando a prova do teorema.

4 O PROBLEMA DE CONTROLE

Deseja-se agora minimizar o seguinte custo quadrático:

onde a seqüência de controle u = {u(k); k = 0, ..., T – 1} satisfaz (2) para cada k. Para

tem-se que

onde usamos o fato da ortogonalidade entre (k|k – 1) e (k|k – 1) (veja (3) e (4)) implicar que E((k|k - 1)(k|k – 1)') = 0. Similarmente,

Portanto, o índice de custo (36) pode ser expresso como:

O custo dado por (39) é função de (k|k – 1), que por sua vez é dado pelo filtro LMMSE. Os termos tr(M(k|k – 1)) e tr(S(T)(T|T – 1)) dependem do controle, e por isto o princípio da separação não vale para este problema. Note que no caso sem saltos, esses termos seriam zero. Desta forma temos que o problema de controle ótimo para sistemas com saltos e observações parciais é em geral de difícil resolução. Para qualquer seqüência de controle u = {u(k);k = 0,..., T – 1} que satisfaça (2), definimos como sendo

onde d^u(t) satisfaz à seguinte equação recursiva:

e S(k) é dado pela seguinte equação de Riccati a diferenças:

para t = T – 1,...,0. Definimos também

Tem-se que

Suponha que

De (37), (38) e (42) tem-se que

Segue de (43) o resultado final deste trabalho, que apresenta um controle sub-ótimo para o problema proposto originalmente.

Teorema 2 Se u^*(k) = –K(k)(k|k – 1) para k = 0,1,...,T – 1, então

onde (k|k – 1) é dado no Teorema 1, com

Prova. É imediato de (43), (26) e do Teorema 1. Resta verificar (42). Realmente de (26), (27), e da ortogonalidade entre (k|k – 1) e (k|k – 1), u(k) (veja (3) e (4)), tem-se que

que é igual a

Deve-se notar que o controle u^* deve ser visto como um controle sub-ótimo já que o termo

é cancelado pela escolha u^* = –K(k)(k|k – 1). Conforme mencionado anteriormente, o controle ótimo sobre a classe definida por (2) é em geral difícil de ser obtido.

5 CONCLUSÕES

Neste artigo obteve-se um filtro linear recursivo de mínimo erro médio quadrático (LMMSE) de ordem reduzida (ordem n) para sistemas lineares com parâmetros sujeitos a variações abruptas, considerando que as variações são determinadas por variáveis aleatórias independentes. Na formulação do filtro considerou-se a presença de uma variável de controle de realimentação linear. Percebe-se das equações (11) e (12) que a matriz de covariância do erro (k|k – 1) depende de (k|k - 1), que por sua vez depende da lei de controle u(k – 1) sendo aplicada. Como no funcional quadrático (43) o termo (k|k – 1) está presente, não podemos aplicar o princípio da separação para obter a lei de controle ótima. Apresenta-se no Teorema 2 uma solução sub-ótima, baseada no cancelamento do termo que depende diretamente de u(k) no funcional quadrático (43).

AGRADECIMENTOS

Este trabalho contou com o auxílio financeiro da CAPES, FAPESP, e CNPq. Agradecemos os comentários feitos pelos revisores, que ajudaram a melhorar a qualidade do trabalho.

Artigo submetido em 12/12/02

1a. Revisão em 27/05/03

Aceito sob recomendação do Ed. Assoc. Prof. Liu Hsu

• Bernard, F., Dufour, F. e Bertrand, P. (1997). On the JLQ problem with uncertainty, IEEE Trans. on Automatic Control 42(6): 869-872.
• Blair, W. e Sworder, D. (1975). Feedback control of a class of linear discrete systems with jump parameters and quadratic cost criteria, International Journal of Control 21(5): 833-841.
• Chizeck, H., Willsky, A. e Castanon, D. (1986). Discrete-time markovian-jump linear quadratic optimal control, International Journal of Control 43(1): 213-231.
• Costa, O. (1994). Linear minimum mean square error estimation for discrete-time markovian jump linear systems, IEEE Trans. on Automatic Control 39(8): 1685-1689.
• Costa, O. (1995). Discrete-time coupled Riccati equations for systems with Markov switching parameters, Journal of Mathematical Analysis and Aplications 194: 197-216.
• Costa, O. e do Val, J. (1998). Jump LQ-optimal control for discrete-time markovian systems with stochastic inputs, Stochastic Analysis and Applications 16(5): 843-858.
• Costa, O. e Fragoso, M. (1995). Discrete-time LQ-otimal control problems for infinite Markov jump parameter system, IEEE Trans. on Automatic Control 40(12): 2076-2088.
• Davis, M. e Vinter, R. (1985). Stochastic Modelling and Control, Chapman and Hall.
• Dufour, F. e Bertrand, P. (1994). Stabilizing control law for hybrid models, IEEE Trans. on Automatic Control 39(11): 2354-2357.
• Dufour, F. e Elliott, R. (1998). Adaptive control of linear systems with Markov perturbations, IEEE Trans. on Automatic Control 43(3): 351-372.
• Hadidi, M. e Schwartz, C. (1979). Linear recursive state estimators under uncertain observations, IEEE Trans. on Automatic Control 24: 944-948.
• Marques, R. (1997). Algoritmos de Controle para Sistemas Sujeitos a Saltos Markovianos, PhD thesis, Escola Politécnica da USP.
• Nahi, N. (1969). Optimal recursive estimation with uncertain observation, IEEE. Trans. Inform. Theory 15: 457-462.
• Wang, X. (1984). Recursive algorithms for linear lmse estimators under uncertain observations, IEEE Trans. Automat. Cotr. 29: 853-854.
• Yuandong, J. e Chizeck, H. (1988). Controllability, observability and discrete-time markovian jump linear quadratic control, International Journal and Control 48(2): 481-498.

Datas de Publicação

• Publicação nesta coleção
  14 Jun 2004
• Data do Fascículo
  Mar 2004

Histórico

• Revisado
  27 Maio 2003
• Recebido
  12 Dez 2002