Método de pontos interiores barreira logarítmica preditor-corretor especializado para o problema de regressão pela norma Lp

Método de pontos interiores barreira logarítmica preditor-corretor especializado para o problema de regressão pela norma Lp

D.R. Cantane^I; E.G. Contharteze^II; A.R.L. Oliveira^II

^IDepartamento de Bioestatística, Instituto de Biociências, IBB, UNESP - Univ. Estadual Paulista, Distrito de Rubião Júnior, s/n, 18618-970 Botucatu, SP, Brasil. [e-mail]

^IIInstituto de Matemática, Estatística e Computação Científica, IMECC, UNICAMP - Universidade Estadual de Campinas, Rua Sérgio Buarque de Holanda, 651, 13083-859 Cidade Universitária "Zeferino Vaz", Distr. Barão Geraldo, Campinas, SP, Brasil. [e-mail], [e-mail]

RESUMO

Os métodos de pontos interiores barreira logarítmica e preditor-corretor são aplicados ao problema de regressão pela norma L_p com algumas particularidades com o objetivo de obter uma implementação eficiente. O problema de regressão tem inúmeras aplicações em diversas áreas. A norma-2 é muito popular, entre outros motivos, por permitir uma solução direta. Por sua vez, a norma-1 permite reduzir o efeito de pontos discrepantes enquanto que a norma-∞ garante proteção contra o pior caso. A norma-p permite pensar estas características de diferentes formas, adaptando o método ao problema a ser resolvido. A implementação do método de pontos interiores desenvolvida é comparada com métodos existentes.

Palavras chave: Métodos de pontos interiores, problema de regressão, norma L_p.

ABSTRACT

The logaritmie barrier and predictor-corretor interior point methods are applied to the L_p norm fitting problem exploiting the matrix structure in order to obtain an efficient implementation.The fitting problem has numerous applications in various areas. The 2-norin is very popular, among other reasons, for allowing a direct solution. The 1-norin allows the reduction of the effect of outliers while the ∞-norin provides protection against the worst case. The pnorm allows to think these characteristics in different ways adapting the method to the problem to be solved. The interior point method implementation to be developed is compared with existing methods.

Keywords: Interior point methods, fitting problems, L_p norm.

1. Introdução

O método IRLS iteratively reweighted least-squares [5] foi por muito tempo a única alternativa prática para a resolução do problema de regressão pela norma L_p. Mais recentemente este método foi aperfeiçoado, no que diz respeito a robustez, por meio da inclusão de uma busca linear [4]. No mesmo trabalho, foi também proposto um novo método que apresenta características similares aos métodos de pontos interiores. Este método apresentou resultados computacionais superiores ao IRLS.

Ambos métodos apresentados em [4] têm uma importante desvantagem: a busca linear é computacionalmente cara. Os métodos de pontos interiores aplicados a este problema obtém resultados computacionais superiores, repetindo o desempenho obtido na minimização pelas normas L₁ e L_∞ em [8] e [7], respectivamente.

Em [1] e [6] são descritos os métodos de pontos interiores barreira logarítmica, barreira logarítmica preditor corretor, primal dual barreira logarítmica e primai dual barreira logarítmica preditor corretor para resolver problemas de regressão pela norma L_p, com 1 < p < 2. Esses métodos foram implementados em MATLAB e os resultados computacionais comprovam que são mais eficientes que o GNCS em [1] e [6], um método de Newton globalizado que usa as condições de folgas complementares.

O objetivo desse trabalho é aperfeiçoar e implementar métodos de pontos interiores para resolver de maneira eficiente problemas de otimização não-linear

onde é uma matriz de posto completo, . O sistema linear Ax = b pode ser inconsistente e a matriz A é uma matriz de Vandermonde no caso particular do problema de regressão polinomial.

Apresentamos neste trabalho os métodos barreira logarítmica e barreira logarítmica preditor corretor, desenvolvidos [1] e [6], com modificações nos pontos iniciais, no cálculo dos resíduos e direções, com a intenção de reduzir o número de operações e fazer com que estes métodos sejam computacionalmente mais eficientes. Os novos métodos implementados são comparados com os métodos descritos em [1] e [6].

2. O problema de regressão pela norma L_p

O problema de regressão (1.1), quando p = 1 e p = ∞, pode ser formulado por programação linear e os métodos de pontos interiores aplicados a esses problemas permitem a exploração da estrutura matricial do problema de forma muito eficiente. A norma-2 permite solução direta. A norma L_p, com 1 < p < ∞ é estritamente convexa. O problema (1.1) possui formulação convexa e portanto é garantida a existência de mínimo global. O problema de regressão pode ser reescrito como

Observe que minimizar é equivalente a minimizar Ф(u, v) desde que se verifiquem as restrições u_iv_i = 0, i = 1, ...,m. Temos que, dado r_i sempre podemos escreve-lo como u_i - v_i de forma que u_iv_i = 0, por exemplo, se r-i < 0, basta fazer u = 0 e v_i = -ri, por outro lado, se r_i > 0, podemos fazer u_i = r_i e v_i = 0, assim teremos .

3. Modificação nos métodos dos pontos interiores aplicados ao problema de regressão pela norma L_p

Os métodos de pontos interiores desenvolvidos em [1]: barreira logarítimica e barreira logarítimica preditor corretor foram modificados. As modificações foram feitas no ponto inicial, inserindo o parâmetro σ nos vetores u e v e no cálculo dos resíduos e R_{1 e}R₂, que não eram considerados anteriormente. Essas modifições foram realizadas no intuito de reduzir o número de operações necessárias por iteração. Além disso, os métodos também foram implementados na linguagem C, e não somente em Matlab, como em [1], com o objetivo de obter maior eficiência computacional.

3.1. Método barreira logarítimica

O método descrito a seguir foi desenvolvido em [1]. Nesse caso, as alterações foram realizadas no ponto inicial. Considerando o problema (2.2), a função objetivo é denotada em termos de u e v por Ф(u,v) = , o gradiente é denotado por , onde é uma matriz diagonal.

Utilizando o Método Barreira Logarítmica [3], temos

,

onde µ > 0 é o parâmetro barreira (µ -> 0). A Lagrangeana é dada por

onde y é o multiplicador de Lagrange.

Aplicando as condições de otimalidade [9], obtemos

onde U e V são matrizes diagonais cujos elementos não nulos são u e v, respectivamente e e = (1,1,..., 1)^t. O sistema (3.1) pode ser reescrito como

Usando o método de Newton [9], chegamos a

Resolvendo o sistema, obtemos as direções dx,dy,du e dv. Por meio de eliminação de variáveis, o sistema se reduz a

Calculadas as direções, o tamanho do passo α é definido de forma a manter as u e v estritamente positivas

Conhecendo as direções e o tamanho do passo, a atualização das variáveis e do parâmetro barreira são dados por:

Os critérios de convergência são baseados nas condições de otimalidade (3.1) e na diferença dos valores de N atual e da iteração anterior

O ponto inicial é calculado baseado nas idéias desenvolvidas em [2], com modificações nos vetores u e v

Em [2] u e v não estão definidos, no entanto, esta escolha foi proposta em Oliveira, Nascimento e Lyra [8] para satisfazer a relação u⁰+v⁰ = |σ\r°\|. Estabelecemos κ = 0, 975.

3.2. Método Preditor-Corretor

Este método, desenvolvido também em [6], é apresentado com modificações no cálculo dos resíduos R₁ e R₂, além do ponto inicial. Considere o sistema de equações (3.3). No método preditor-corretor, inicialmente considera-se a direção afim, onde o parâmetro barreira µ = 0. Assim, precisa-se resolver o sistema

Resolvendo o sistema (3.4), obtém-se as direções do passo preditor

Para calcular os novos resíduos, deve-se substituir x por x + dx, y por y + dy, u por u + du e v por v + dv no sistema de equações (3.2) e compará-lo ao sistema de equações (3.3). As diferenças encontradas, R₁ e R₂ dados abaixo, são os resíduos. O primeiro sistema de equações do sistema (3.2) é dado por

Comparando com o sistema (3.3), vemos que não existe resíduo. O segundo sistema de equações do sistema (3.2) é dado por

Comparando com o sistema (3.3), vemos que nesse sistema também não existe resíduo. O terceiro sistema de equações do sistema (3.2) é dado por

onde assim Entretanto, pode resultar em um número imaginário, para corrigir esse problema devemos fazer onde β é da forma

Com base nos testes computacionais, não afeta a convergência deste método. Nesse sistema de equações, temos o resíduo

O quarto sistema de equações do sistema (3.2) é dado por

onde e β é calculado como em (3.5). Nesse sistema de equações, temos o resíduo

No passo carretor, pode-se impor um valor para o parâmetro barreira µ e resolver o sistema

O tamanho do passo, a atualização das variáveis, o parâmetro barreira, o critério de convergência e o ponto inicial são calculados como no método barreira logarítmica.

4. Experimentos computacionais

A seguir, encontram-se os resultados computacionais em Matlab comparando essas modificações com os resultados obtidos em [1] e [6]. Os testes computacionais foram feitos no Matlab R2009a, sistema computacional Linux, memória 4GB, processador Intel(R) Core(TM)2. Para todos os problemas foi suposto que modelo de regressão adotado é a aproximação dos pontos por um polinômio de grau um (uma reta).

Utiliza-se as seguintes notações nas Tabelas a seguir: BL - Método Barreira Logarítmica; BL (antigo) - Método Barreira Logarítmica existente [1]; BLPC -Método Barreira Logarítmica Preditor-Corretor; BLPC (antigo) - Método Barreira Logarítmica Preditor-Corretor existente [1].

4.1. Problema de grande porte

Esse problema, descrito em [1] e [6], compreende valores de juros diários ao longo de 40 anos, totalizando 10958 valores observados, os dados foram normalizados no intervalo [0,1] e assim, temos que a matriz de Vandermonde possui m = 10958 linhas. Utiliza-se µ = 0,001, τ = 0, 99995, β =10, є = 10-10, є₁ = 10^-8, onde є e є₁ são do critério de convergência, e σ = 10-1.

Pode-se observar nas Tabelas 1 e 2 que o número de iterações foi reduzido. Na Tabela 1 o tempo computacional também foi reduzido, porém na Tabela 2 o tempo computacional piorou, pois a nova forma de encontrar os resíduos no método barreira logarítmica preditor-corretor exige mais cálculos que a forma antiga.

4.2. Função cosseno

Esse problema contêm 20001 pontos. A segunda coluna d a matriz A é formada por elementos no intervalo [0, 2π], o vetor b consiste no cosseno desses valores. Utiliza-se µ = 0, 001, τ = 0, 99995, β = 10, є= 10^-10, є₁ = 10^-8, onde є e є₁ são usados para a verificação do critério de convergência, e σ= 10^-10.

Analisando as Tabelas 3 e 4 percebe-se uma redução no número de iterações e no tempo computacional na maioria dos casos, o valor da função objetivo não se alterou.

4.3. Função logaritmo

Esse problema contém 15 mil pontos, os valores da segunda coluna de A são obtidos dividindo-se o intervalo [1,4] em 15 mil. O vetor b é o valor do logaritmo neperiano do valor correspondente à segunda coluna de A. Obtém-se a matriz A_15000x2 e o vetor b. Utiliza-se µ = 0,001, τ= 0, 99995, β= 10, є= 10-10, є₁ = 10^-8, onde є e є₁ são usados para a verificação do critério de convergência, e σ=10 .

Na Tabela 5 observa-se que para p = 1, 1 o número de intereações aumentou,mas o valor da função objetivo reduziu. Nas Tabelas 5 e 6 o número de iterações diminuiu em aproximadamente 28% dos casos, no entanto, o tempo computacional foi reduzido na maior parte deles.

4.4. Função seno

Os valores da segunda coluna de A são obtidos dividindo-se o intervalo [-2, 2] em 40 mil e o vetor b é o valor do seno hiperbólico do valor correspondente na segunda coluna de A. Utiliza-se µ = 0, 001, τ = 0, 99995, β =10, є = 10^-10, є ₁ = 10^-8, e є 1 σ = 10^-1

Na Tabela 7 pode-se observar que o número de iterações e o tempo computacional foram reduzidos à media que o valor de p aumenta. Na Tabela 8 o número de iterações e o tempo computacional diminuíram na maioria dos casos e a função objetivo foi ligeiramente maior em poucos casos.

Com um critério de parada mais rígido, os dois métodos tendem a obter um número de iterações semelhantes, o que beneficia a nova abordagem.

5. Conclusões

Nesse trabalho, os métodos de pontos interiores já existentes são aperfeiçoados. Modifica-se a forma de calcular o ponto inicial, as direções e os resíduos dos métodos. Como conseqüência, o número de iterações e o valor da função objetivo foram reduzidos na maioria dos casos. Testes computacionais foram realizados para comprovar que pode-se escolher σ, que é usado no cálculo do ponto inicial, de forma a diminuir ainda mais o valor da função objetivo.

Com as modificações no cálculo dos resíduos, o tempo por iteração aumenta ligeiramente, pois a nova forma de calculá-los é mais trabalhosa que a forma antiga, porém consegue-se diminuir o número de iterações no método barreira logarítmica preditor-corretor.

O problema (2.2) possui mínimo global, assim a solução ótima é única. Ao alterar o ponto inicial, o valor da função objetivo é menor e, consequentemente, mais próximo da solução ótima global.

A nova formulação obtida através das modificações para os métodos de pontos interiores traz melhoras tanto nos testes computacionais em MATLAB quanto na implementação eficiente na linguagem C. Na implementação eficiente, aproveitamos a estrutura matricial dos métodos para economizar memória, isso é possível porque muitos valores deixam de ser armazenados. Com isso, a complexidade computacional é reduzida e podemos resolver problemas de maior porte de forma eficiente. Em particular, não é necessário armazenar nenhuma matriz durante a solução de um problema.

Pode-se concluir que as modificações realizadas nos métodos BL e BLPC possuem melhor desempenho computacional em comparação aos resultados obtidos em [1] e [6], porém se o problema convergir em poucas iterações e o objetivo for diminuir o tempo computacional, o BLPC (antigo) é mais indicado, pois a forma de calcular os resíduos é mais simples.

O método BLPC é mais indicado quando temos problemas de grande porte, pois tem uma convergência mais rápida e reduz o número de iterações, entretanto, quando os problemas convergem em poucas iterações, o uso do método BL é mais indicado, pois os cálculos envolvidos são mais simples e conseguimos assim uma redução do tempo computacional.

Recebido em 21 Outubro 2011;

Aceito em 07 Setembro 2012.

Agradecimentos à FAPESP, CNPq e CAPES; Trabalho apresentado no Congresso de Matemátia Apliada e Computacional - CMAC 2011

• [1] D.R. Cantane, "Métodos de Pontos Interiores Aplicados ao Problema de Regressão pela Norma L_p", dissertação de mestrado ICMC-USP, São Carlos, 2004.
• [2] T.F. Coleman, Y. Li, A globally and quadratically convergent affine scaling method for linear l₁ problems, Math. Programming, 56 (1992), 189-222.
• [3] A.S. El-Bakry, R.A. Tapia, T. Tsuchiya, Y. Zhang, On the formulation and the theory of the Newton interior-point method for nonlinear programming, Journal of Optimization Theory and Applications, 89 (1996), 507-541.
• [4] Y. Li, A globally convergent method for l_p problems, SIAM J. Optimization, 3 (1993), 609-629.
• [5] G. Merle, H. Spaeth, Computational experience with discrete l_p approximation, Computing, 12 (1974), 315-321.
• [6] A.R.L. Oliveira, D.R. Cantane, Métodos de pontos interiores aplicados ao problema de regressão pela norma Lp, TEMA. Tendências em Matemática Aplicada e Computacional, 5 2004, p. 281-291.
• [7] A.R.L. Oliveira, C. Lyra, Interior point methods for the polynomial L_TO fitting problems, Internacional Transactions in Operational Research, 11 (2004), 309322.
• [8] A.R.L. Oliveira, M.A. Nascimento, C. Lyra, Efficient implementation and benchmark of interior point methods for the polynomial L₁ fitting problems, Statistics & Data Analysis, 35 (2000), 119-135.
• [9] S.J. Wright, "Primal-Dual Interior-Point Methods", SIAM Publications, SIAM Philadelphia, PA, USA, 1996.

Datas de Publicação

• Publicação nesta coleção
  16 Jan 2013
• Data do Fascículo
  Dez 2012

Histórico

• Recebido
  21 Out 2011
• Aceito
  07 Set 2012