Neste trabalho apresentaremos uma técnica iterativa baseada em simulações de Monte Carlo para calcular o controle ótimo de um problema de regulador linear quadrático de horizonte infinito para um sistema linear com saltos Markovianos a tempo discreto, quando a matriz de transição de probabilidade não é conhecida. Sabemos que o controle ótimo deste problema é dado em termos da solução maximal de um conjunto de equações algébricas de Riccati acopladas entre si (EARA) a tempo discreto, que foram extensivamente estudadas nos últimos anos. Traçaremos um paralelo com a teoria do algoritmo TD(lambda) para Processos Markovianos de Decisão (PMD) para desenvolver o algoritmo TD(lambda) para o controle ótimo associado à solução maximal de uma EARA.
Simulações de monte carlo; equações algébricas de Riccati acopladas entre si; sistemas com saltos; controle ótimo
