Acessibilidade / Reportar erro

Prevendo o crescimento da produção industrial usando um número limitado de combinações de previsões

Resumos

O objetivo central deste artigo é o de propor e avaliar modelos econométricos de previsão para o PIB industrial brasileiro. Para tanto, foram utilizados diversos modelos de previsão como também combinações de modelos. Foi realizada uma análise criteriosa das séries a serem utilizadas na previsão. Nós concluímos que a utilização de vetores de cointegração melhora substancialmente a performance da previsão. Além disso, os modelos de combinação de previsão, na maioria dos casos, tiveram uma performance superior aos demais modelos, que já apresentavam boa capacidade preditiva.

produção industrial; combinação de previsões; modelos VAR


The purpose of this article is to propose and evaluate forecasting models for the Brazilian industrial GDP. Most models are based on vector auto-regressions (VARs) or on restricted VARs, but models on the ARMA class are also entertained. We used many forecasting models and also combinations of these models. The use of cointegration vectors improves substantially the forecast performance of industrial GDP. Furthermore, in general, combining models out-performed individual models, even when the performance of the later was acceptable.

industrial production; forecast combination; VAR models


ARTIGOS

Prevendo o crescimento da produção industrial usando um número limitado de combinações de previsões

Gilberto HollauerI; João Victor IsslerII; Hilton H. NotiniIII

IMinistério das Minas e Energia. Endereço para contato: Esplanada dos Ministérios Bloco "U". CEP: 70.065-900 - Brasília - DF. Email: gilberto.hollauer@mme.gov.br

IIFundação Getulio Vargas, Escola de Pós-Graduação em Economia. Endereço para contato: P. Botafogo, 190, s. 1100, Rio de Janeiro, RJ. CEP: 22250-900. E-mail: joao.issler@fgv.br

IIIFundação Getulio Vargas, Escola de Pós-Graduação em Economia. Endereço para contato: P. Botafogo, 190, s. 1100, Rio de Janeiro, RJ. CEP: 22250-900. E-mail: hilton@fgvmail.br

RESUMO

O objetivo central deste artigo é o de propor e avaliar modelos econométricos de previsão para o PIB industrial brasileiro. Para tanto, foram utilizados diversos modelos de previsão como também combinações de modelos. Foi realizada uma análise criteriosa das séries a serem utilizadas na previsão. Nós concluímos que a utilização de vetores de cointegração melhora substancialmente a performance da previsão. Além disso, os modelos de combinação de previsão, na maioria dos casos, tiveram uma performance superior aos demais modelos, que já apresentavam boa capacidade preditiva.

Palavras-chave: produção industrial, combinação de previsões, modelos VAR.

ABSTRACT

The purpose of this article is to propose and evaluate forecasting models for the Brazilian industrial GDP. Most models are based on vector auto-regressions (VARs) or on restricted VARs, but models on the ARMA class are also entertained. We used many forecasting models and also combinations of these models. The use of cointegration vectors improves substantially the forecast performance of industrial GDP. Furthermore, in general, combining models out-performed individual models, even when the performance of the later was acceptable.

Keywords: industrial production, forecast combination, VAR models.

JEL classification: C52, C53.

1 Introdução

O objetivo central desse artigo é o de propor e avaliar modelos econométricos de previsão para o PIB industrial. Para tanto, serão utilizados modelos vetoriais auto-regressivos (VAR) em freqüência trimestral, em que serão impostas restrições de longo prazo advindas da cointegração dentre as séries consideradas. Estas incluem, além do PIB industrial brasileiro, séries que tenham alguma capacidade preditiva com relação a este, como o spread da taxa de juros longa e curta, a taxa de juros real - o spread entre a taxa de juros e a inflação, e a previsão dos saldos da indústria , proporção de firmas que crêem num aumento de produção no próximo trimestre, subtraído da proporção de firmas que crêem numa queda. O poder preditivo dessas variáveis é bem documentado na literatura internacional, e.g., Stock e Watson (1993), Estrella e Mishkin (1999) e, na literatura brasileira, e.g., Duarte, Issler e Spacov (2004). Modelos ARMA simples também são considerados em nossa análise.

As restrições de cointegração, no contexto acima, dizem respeito ao fato de poderem existir séries econômicas que tenham uma raiz unitária no seu polinômio auto-regressivo, mas que, ao serem combinadas linearmente, eliminem a raiz unitária da combinação linear. Estas são de fato restrições quanto ao comportamento das séries econômicas no longo prazo, e.g., o consumo e a renda, não podem ter comportamento distinto no longo prazo. Exemplos desse fenômeno são freqüentes em Economia, sendo que, em alguns casos, as restrições são justificadas pela teoria econômica e, em outros, por uma motivação estatística.1 1 Ver Johston e Dinardo (1997).

A avaliação dos modelos de previsão se dará por meio do uso de uma função critério a ser minimizada, que é a função dos erros de previsão de fora da amostra para cada possível modelo. Diferentes modelos dinâmicos serão considerados e a escolha recairá sobre aquele que obtiver o menor valor para essa função. Além de avaliar modelos específicos, seguindo o trabalho seminal de Bates e Granger (1969), iremos também considerar a combinação de modelos como um potencial modelo de previsão. Como documentado na literatura de previsão, combinações de modelos prevêem bem porque podem haver instâncias onde um deles prevê bem enquanto outro mal, sendo que alguma combinação de ambos preverá melhor do que cada um individualmente. Ocorre aqui algo muito parecido com a literatura de finanças, na qual, para se minimizar o risco, se adota a estratégia de diversificação da carteira de ativos.

Ao final desse exercício econométrico, será possível escolher modelos de previsão ou suas combinações, de forma a auxiliar na previsão da atividade industrial futura. Essa informação é relevante sob o ponto de vista governamental, haja vista pelo menos dois aspectos: primeiro, tem-se a questão de sabermos o estado atual da economia e poder prevê-lo num horizonte não muito longo; segundo, tem-se a relevância de se poder prever com maior exatidão a arrecadação tributária, que é função do nível de atividade.

O trabalho está organizado como segue. Na Seção 2, apresentamos e discutimos os modelos. Na Seção 3, analisamos as séries utilizadas e testamos sua cointegração. Na Seção 4, fazemos uma pequena digressão sobre a avaliação dos modelos. Na Seção 5, expomos os resultados obtidos e, finalmente, na Seção 6, são apresentadas nossas conclusões.

2 MODELOS

2.1 Modelos Vetoriais Auto-Regressivos

Muito embora conjeturemos que modelos estruturados da economia possam ser preferíveis a modelos não-estruturados, após a crítica de Lucas (1976),2 2 Lucas, em 1976, observa que o esforço na montagem de modelos estruturados muitas vezes caiu por terra, devido a alterações de políticas. Desse modo os coeficientes mudam de modo súbito quebrando estruturalmente o comportamento da série. o aparecimento da metodologia Box-Jenkins e da crítica de Sims,3 3 Sims argumenta que as restrições impostas aos modelos estruturados para torná-los identificáveis são demasiado fortes e leva à diminuição de sua eficácia e da qualidade da previsão. os modelos estruturados de equações simultâneas deixaram há muito tempo de ser o centro das atenções na literatura de previsão.

Inspiradas pela metodologia Box-Jenkins e a introdução dos modelos ARIMA em 1978, a análise dos dados assumiu maior importância. Posteriormente, Sims introduziu na literatura econômica o modelo Vetorial Auto-Regressivo (VAR), que se mostrou superior, em testes de performance de previsão, com respeito aos modelos estruturados.4 4 Ver, por exemplo, Litterman (1986).

2.2 Cointegração e Modelos Vetoriais de Correção de Erros (VECM)

Esta classe de VAR foi introduzida por Granger (1981) e Engle e Granger (1987). A inclusão de tais relações de longo prazo tem sido proveitosa ao trabalho de previsão, como sugerem diversos estudos, e.g., Clements e Hendry (1985), Engle e Yoo (1987), Lin e Tsay (1996).

Esta classe de modelos tem como principal vantagem permitir a utilização das variáveis nãoestacionárias em nível, evitando, assim, problemas envolvidos na estimação de um VAR com as séries não-estacionárias diferenciadas (perda de informação) ou em nível (regressão espúria).5 5 Para maiores detalhes, ver Harvey (1997). Podese mostrar que os estimadores são superconsistentes, isto é, convergem mais rapidamente do que o usual.

Havendo presença de cointegração, usualmente utiliza-se uma representação VECM (Vector Error Correction Model). Esta representação pode ou não incluir uma variável exógena, tanto no vetor de cointegração, quanto externamente em termos de nível.6 6 Christoffersen e Diebold (1998) mostraram que a inclusão de variáveis exógenas no vetor de correção de erro pode melhorar a previsão do modelo em comparação com vetores de cointegração puramente endógenos. A inclusão de variáveis exógenas, quando econométricamente justificada, é também útil na medida em que ancora previsões condicionais, conveniente em certas situações.7 7 Landerretche, Morandé e Schmidt-Hebbel (2000) mostram que, no Chile, em relação a um preditor VAR para a inflação, sob regime de metas de inflação, a meta pré-anunciada era um preditor superior para a taxa de inflação ex post, sugerindo a possibilidade de se construir um caminho para a variável exógena em uma previsão condicional. Mais ainda, o VAR incondicional sistematicamente sobreestimava a taxa de inflação para o período.

2.3 Combinação de modelos de previsão (combining forecast)

Algumas razões sugerem que a combinação de modelos pode construir previsões de performance superior.8 8 Fang, Y. (2003). Primeiro, a pura diversificação de previsões leva à diminuição do erro diversificável. A segunda razão diz respeito à robustez, na medida em que, não sendo particular a uma especificação, não padece também de suas deficiências, além de incluir mais variáveis e informações de especificação de outros modelos, na medida em que se pesam informações de modelos que incluem outras variáveis e seus lags. Ademais, a experiência mostra que modelos parcimoniosos combinados possuem desempenho preditivo superior, até porque a sobreparametrização dos modelos VAR deteriora o seu desempenho preditivo. Nesse sentido, a combinação pode ser usada para examinar um número maior de variáveis, sem que seja necessário sobreparametrizar algum VAR em específico.

A combinação pode ser feita desde a simples média aritmética ou ponderada, até a utilização de pesos adaptativos, segundo o desempenho preditivo passado. Naturalmente, o ajuste dos pesos, normalizados ou não, pode ser feito por meio de mínimos quadrados ordinários (OLS) com ou sem o termo constante. Especificamente:

onde: os são os pesos e são as previsões provenientes do modelo n para o instante t.

No caso, se a escolha dos pesos for feita por meio de OLS sobre os erros cometidos, por exemplo, inclui-se uma memória no ajustamento. Freqüentemente, impõe-se a condição de ausência de constante (ausência de viés da combinação), bem como a normalização dos pesos com ou sem restrição de sinal . Outra opção é se realizar a composição sobre subgrupos das previsões, sob algum critério. Observa-se que a simples média aritmética possui um desempenho superior aos métodos de OLS gerais.9 9 Jordan e Savioz (2002). Finalmente, pode-se realizar a combinação posteriormente à seleção de subgrupos de modelos. Assim, faz-se uma pré-seleção, em tempo real dos modelos e, em seguida, a combinação propriamente dita.

2.4 Seleção da ordem dos modelos

Usualmente, utilizam-se critérios de informação na determinação do número de defasagens. Os critérios de informação geralmente utilizados na literatura são: o Critério de Informação de Akaike (AIC), o Hannan-Quinn (HQ) e o Schwarz (SC ou BIC). Esses critérios objetivam a parcimônia dos modelos, impondo penalidades pelo número de regressores utilizados. A diferença entre os diversos critérios, além da origem, é o grau de severidade da penalidade. Infelizmente, devido ao fato de tais critérios imporem penalizações distintas, também escolhem modelos distintos.10 10 Lutkepohl (1985) e Gonzalo e Pitarakis (2002) são boas referências sobre artigos que tratam da escolha do critério mais adequado.

Um segundo problema é que tais critérios são definidos dentro da amostra (in-sample). Isto significa que nada garante, em teoria, que o melhor modelo de previsão dentro da amostra é o de melhor fora da amostra. Nesse tópico, somente a pesquisa empírica pode servir de orientação. No entanto, os critérios de informação são de grande auxílio, na medida em que, dentre outras coisas, queremos decidir acerca de inclusão ou não de variáveis.

3 ANÁLISE DOS DADOS

No que diz respeito à escolha das séries, o critério adotado objetiva reforçar a capacidade de previsão, mais do que perseguir algum modelo preconcebido. Sob esse prisma, procede-se à escolha das séries, com base na correlação cruzada das séries com o PIB industrial e na indicação de causalidade de Granger destas, individualmente, com o PIB industrial. Experimentos outros detectaram que a inclusão de indicadores antecedentes per se melhorou a capacidade de previsão das séries.11 11 Camacho e Perez-Quiros (2002), Huh (2002), Hamilton e Perez-Quiros (1996), Emerson e Hendry (1996) e Saltoğlu e Şenyüz, (2003).

O maior problema consiste no fato de que as séries, no Brasil, apresentam mudanças metodológicas em suas respectivas coletas, de modo que, por vezes, ou se recorre a artifícios, ou trabalha-se com amostras menores. No caso do PIB industrial, a série existe desde 1980. A produção física de Papel e Papelão, por exemplo, uma das séries testada e considerada como indicador coincidente relevante, foi descontinuada em 1991. Nesse diapasão, a reconstituímos e conectamos à série de produção Física de Papel, Papelão e celulose existente.

A busca por indicadores antecedentes nos levou a considerar uma série que pesquisa a expectativa de aumento da produção do empresariado. A série utilizada foi a de sondagem industrial da Fundação Getúlio Vargas, disponível desde 1966. A partir de quatro séries, de um survey de empresas do setor de transformação, computa-se o porcentual de empresas que esperam aumento de produção no trimestre seguinte, diminuição de produção e que mantenham a produção em nível constante. A quarta série é uma série de saldos entre previsões de crescimento e de diminuição da produção. Todas as séries mencionadas são séries de previsão de expectativas e existem desde 1978. Correspondentemente, existem quatro séries que, de fato, foram observadas ex post à previsão.

Outras séries consideradas foram: horas pagas pela indústria de transformação, importações e o consumo de energia elétrica na indústria.

A taxa de juros é também de reconhecida importância na previsão do PIB,12 12 Estrella e Mishkin (1999). destarte, examinamos a importância da taxa de juros real, como indicador antecedente, e do spread entre uma taxa de juros longa e uma taxa de juros curta referencial. A taxa de juros de curto prazo escolhida foi a Taxa Selic, a qual remunera as aplicações de curto prazo, sendo a taxa referencial da economia, disponível desde 1974. Uma dificuldade foi escolher uma série que servisse de proxy para uma taxa de juros de longo prazo. A escolha da série longa se deu com base na análise de causalidade. Foram testadas séries de juros pré-DI Swap de 180 e 360 dias, bem como uma série de Certificado de Depósitos Bancário (CDB) de 30 dias à frente. Essa última existe desde 1985, sendo escolhida dado o tamanho da amostra disponível, muito embora a série de Swap tenha tido resultados superiores na amostra comum, mas pelo fato de ser diminuta, significaria a necessidade de reconstruir-se a série. Uma série promissora, também testada, mas que não apresentou significância no VAR, foi a série de crescimento do IBOVESPA.

O índice de inflação escolhido foi o Índice de Preços no Atacado IPA-OG, existente desde 1951, por ser condizente com os custos industriais. Testadas todas as variáveis, chegamos a um conjunto pequeno de séries antecedentes da economia, sendo elas: a taxa de inflação (IPA-OG), a taxa de juros curta (SELIC), uma taxa de juros longa (CDB), o próprio PIB industrial e o indicadorsaldo de expectativas (IBRE). De modo a reduzir a variância, utilizamos, como usual, o logaritmo das variáveis. As séries nível do PIB Industrial e índice de expectativa foram dessazonalizadas pelo algoritmo X12. Ademais, as séries das taxas utilizadas foram escritas como Log(1+ ), sendo a taxa. Na Figura 1, são apresentados os gráficos das séries transformadas.


3.1 Testes de estacionaridade

A primeira etapa da análise empírica é o estudo das propriedades estocásticas das séries envolvidas. Nesse contexto, a estacionaridade das séries de juros, do logaritmo do PIB industrial dessazonalizado e da taxa de inflação foi testada utilizando o teste Augmented Dickey-Fuller (ADF), ajustado pelo critério de informação de Akaike. Foram realizados os testes tanto para as séries em nível, como em primeira diferença. Os resultados encontram-se na Tabela 1. Como os tamanhos da amostra das diversas séries são diferentes, limitamos-nos ao intervalo comum, a saber, a partir de 1984.2 até 2004.1.

Como é possível observar, há forte evidência de uma raiz unitária nas séries do logaritmo do PIB industrial, Selic e CDB. Mais ainda, a primeira diferença de cada uma das séries é estacionária, indicando que as séries devem ser integradas de ordem um. Com relação à série IPA-OG, rejeitamos a hipótese nula de presença de raiz unitária a 1% de significância. Logo, concluímos tratar-se de uma série I(0).

Tendo em vista a existência de choques externos, é prudente perfazer os testes de Perron (1997). Os resultados se encontram na Tabela 2.

Com base nos resultados acima, temos que a série do logaritmo do PIB industrial, Selic e CDB é I(1), enquanto que a série IPA-OG é I(0). Logo, o teste ADF e o teste de Perron chegaram às mesmas conclusões.

Finalmente, um último teste, que considera o conjunto das séries, é o teste de razão da máxima verossimilhança sob a restrição da existência de um vetor de cointegração canônico. A imposição de vetores canônicos como vetores de cointegração é, efetivamente, um teste de raiz unitária. A realização desse teste classificou todas as séries como I(1) ao nível de 1%.13 13 Os resultados dos testes estão disponíveis e podem ser requeridos aos autores. Logo, os testes ADF e de Perron chegaram a conclusões distintas do teste de vetores canônicos com relação à ordem de integração da série IPA-OG. Essa dubiedade pode estar revelando um problema apontado por Cati, Garcia e Perron (1999) muito comum em séries de dados brasileiros de inflação: a presença de fortes "inliers" - observações que representam uma rápida queda do nível da série - o que pode viesar as conclusões dos testes de raiz unitária no sentido de rejeição de sua existência, quando de fato há uma raiz unitária. Sendo assim, decidimos tratar a série IPA-OG como sendo I(1).

3.2 Vetores de cointegração

3.2.1 vetores de cointegração não-restritos

A existência de cointegração é investigada utilizando a metodologia de Johansen (1988). O ajustamento do VAR, no primeiro momento, utilizando todas as variáveis, é feito com base no critério do AIC, BIC e HQ. Os critérios BIC e HQ apontaram uma estrutura de, no máximo, uma defasagem (um lag), enquanto o critério AIC apontava uma estrutura muito superior. Optamos por uma estrutura parcimoniosa dos regressores, verificando, concomitantemente, o comportamento dos resíduos, que não apresentaram correlação serial. Testamos duas estruturas. A primeira permitindo a existência de uma tendência linear e uma constante na relação de cointegração e a segunda sem tendência, mas com intercepto na equação de cointegração. A estrutura mais significativa foi a sem tendência.14 14 Os resultados dos testes com tendência e intercepto estão disponíveis e podem ser requeridos aos autores.

Na Tabela 3, é apresentado, para o caso sem tendência linear e com intercepto, o teste do traço e, na Tabela 4, o teste do autovalor máximo.

De acordo com os resultados da Tabela 3 e da Tabela 4, existem três vetores de cointegração a 1% e a 5% de significância.

Os três vetores de cointegração, ao nível de 1% e de 5%, são dados na Tabela 5, normalizados para o caso sem tendência linear e com intercepto.

Dois comentários são necessários. O primeiro diz respeito à heterocedasticidade encontrada nos resíduos que, embora não altere os coeficientes, torna imprecisas as estimativas e o p-valor. Por hora, apenas o desvio padrão associado ao OLS é apresentado. De qualquer forma, Gonzalo (1994) encontra pouco efeito de heterocedasticidade sobre os resultados dos testes de cointegração, razão pela qual não faremos qualquer correção. Um segundo comentário diz respeito à interpretação econômica das variáveis. Ressalte-se que a taxa de juros real longo surge naturalmente, bem como o spread. Isso sugere uma estrutura mais parcimoniosa de cointegração.

3.2.2 vetores de cointegração restritos

Observada a ocorrência natural do spread, bem como das taxas reais de juros, somos levados a pesquisar relações de cointegração mais parcimoniosas. Impomos os seguintes vetores de cointegração: um vetor de cointegração para o saldo de previsão, dado que, por construção, essa variável é estacionária; um vetor de cointegração para o spread entre a taxa de juros longa e a taxa de juros curta e um vetor de cointegração para a taxa de juros real longo. A taxa de juros real curta é tão-somente uma combinação linear dos vetores precedentes e, portanto, não necessária. Essas restrições conjuntas foram aceitas ao nível de 5% na amostra inteira.15 15 .

4 AVALIAÇÃO DOS MODELOS

4.1 Modelos avaliados

Derivadas as especificações possíveis para os modelos, examinamos os modelos a seguir nos testes para fora da amostra (out of sample).

4.1.1 Modelo a: modelo univariado AR (4)

O modelo de benchmark escolhido foi um AR (4), por ser o modelo que melhor se adaptou à amostra pela abordagem de Box-Jenkins.

4.1.2 Modelo b: modelo univariado ARMA(2,2)

O modelo é um auto-regressivo de ordem dois e ruído com componente regressiva de ordem dois. Também teve um bom ajuste pela abordagem Box-Jenkins.

4.1.3 Modelo c: VECM irrestrito e com três vetores de cointegração

Este modelo utiliza a especificação de três vetores de cointegração, estimados a cada janela, e com atrasos unitários.

4.1.4 Modelo D: VECM restrito

O vetor restrito com vetores de cointegração impostos foi aceito a um p-valor de 5% na amostra inteira. Tal estrutura é re-estimada a cada janela, mantendo-se a especificação.

4.1.5 Modelo E: var em nível irrestrito

É o nosso modelo dinâmico irrestrito, re-estimado a cada janela.

4.1.6 Modelo F: combinação de modelos por média aritmética

O primeiro método de combinação a ser testado é o da média aritmética dos modelos anteriores.

4.1.7 Modelo G: combinação de modelos por média ponderada

O segundo método utilizado foi de uma média ponderada quadrática, em que a ponderação se deu pela última previsão. Desse modo, quanto melhor a performance anterior maior a sua importância na combinação.

4.2 Tipos de avaliação

Com respeito à avaliação de predição, existem quatro grandes linhas:

4.2.1 Abordagem de amostra completa (the whole sample approach)

Seleciona-se o modelo em uma amostra de (T1-T0) observações, estimando-se o modelo sobre as mesmas observações e, em seguida, avalia-se o modelo no mesmo intervalo. Naturalmente, essa abordagem é apropriada quando se espera que os coeficientes da amostra sejam constantes.

4.2.2 Abordagem recursiva (the recursive approach)

Nesta, especifica-se e estima-se o modelo sobre uma amostra de T0 a T1, realizando-se predições h-passos à frente. Em seguida, re-estima-se o modelo na janela de observações amostrais de T0 a T1+1, repetindo-se a previsão h-passos à frente. Isso é feito até que se utilize toda a amostra disponível, e.g., Diebold e Rudebusch (1991), Swansson e White (1995).

4.2.3 Abordagem de janela com especificação invariante (the rolling-window approach with invariant specification)

Nesta abordagem, a especificação é invariante e a janela de estimação sempre do mesmo tamanho. Assim, primeiro estima-se na janela amostral de T0 até T1. Realiza-se uma predição h-passos à frente e passa-se à estimação da janela seguinte de T0+1 até T1+1, realizando-se novamente uma predição h-passos à frente - Swanson e White (1997), Stock e Watson (1998). O tamanho da janela é assunto de natureza experimental e de disponibilidade de dados.

4.2.4 Abordagem de janela com especificação adaptativa (the rolling-window approach with adaptive specification)

Semelhante ao anterior, contudo tem a possibilidade de alteração da especificação do modelo a cada nova janela. Isto significa que esta abordagem permite o ingresso de novos conjuntos de informações à especificação.

4.3 Indicadores de performance

Vários indicadores têm sido desenvolvidos para avaliar e comparar a performance de modelos. Tais ferramentas estatísticas têm valor ao permitir o julgamento isento das vantagens dos modelos. Alguns indicadores são de precisão, outros de adequação relativa e, finalmente, outros tentam capturar a capacidade de acerto de tendência dos modelos em questão. Para uma revisão, consulte Diebold e Lopez (1996).

4.3.1 avaliação de acurácia (evaluating forecasting accuracy):

Os critérios usuais de avaliação incluem o valor médio quadrático dos erros de previsão (MSE) ou a sua raiz quadrada (RMSE), o valor médio dos erros absolutos (MAE), o valor médio dos erros absolutos porcentuais (MAPE), e o coeficiente de U-Theil.

O RMSE é dependente da escala e, em geral, é utilizado para comparação de preditores:

onde: n é o número de previsões avaliadas. Aqui cabe uma observação: as comparações são feitas entre previsões i-passos à frente, para o mesmo i e modelos distintos, então, esses índices, rigorosamente, são indexados em i.

Uma variante possível é a generalização da potência de maneira a penalizar a maior dispersão, que deteriora fortemente a previsão da primeira diferença da série. A formulação seria, no caso testado, o caso de d-potência:

O MAE tem propriedades semelhantes e define-se como:

O MAPE tenta capturar a importância do erro relativo e define-se como:

Finalmente, o coeficiente de U-Theil é a razão entre dois RMSE de previsões, variando entre zero e um e sendo escala-invariante:

4.3.2 avaliação de tendência de previsão (evaluating direction-of-change forecasts):

Afora previsões quantitativas, é importante argüir-se o acerto de tendência da previsão ou quantas vezes uma predição, independentemente do erro cometido, acerta a tendência ou direção da previsão. Nessa linha, o confusion index (CI) calcula a proporção do tempo que o modelo fornece tendências equivocadas. O cálculo se dá por meio da contagem desses eventos em uma mesma amostra. Além desse índice simples, existem testes propostos por Pesaran e Timmermann (1992).

4.4 Comparação de previsores

Diversos testes para comparação de indicadores foram sugeridos,16 16 Ver: Diebold, Gunther e Tay (1998) e Harvey e Newbold (2000). neste trabalho vamos utilizar a estatística Diebold-Mariano (1995), como proposta por Harvey (1997). A estatística de Diebold e Mariano (DM), modificada por Harvey, testa as seguintes hipóteses sobre os indicadores escolhidos:

A estatística do teste utiliza as diferenças das funções perda do modelo i, gi () , no caso, exemplificado, seja o indicador e definindo dt = g0() - gp () ou qualquer outro de interesse. No caso do MSE, a função perda é quadrática e, no caso do MAE, é simplesmente o módulo. Para h-passos à frente em um vetor de predições de comprimento n, a estatística DM é dada por:

onde:, sendo .

No caso particular, para h é igual a um a expressão torna-se um OLS de uma constante. DM possui então distribuição t com (n-1) graus de liberdade. Finalmente, a utilização da estatística de DM deve ser vista com alguma cautela, primeiro devido à baixa potência do teste e segundo porque não é apoiado em qualquer critério de informação. Nessa linha, simulações de Monte Carlo têm apontado tais deficiências e sugerido cuidados.17 17 Kunst (2003).

4.5 Forecast encompassing

O conceito de Forecast Encompassing, diferentemente da avaliação direta, prende-se à possibilidade de que uma combinação com desempenho superior pode ser alcançada a partir das previsões obtidas. A sugestão de Clements e Hendry (1998) é testar a significância dos estimadores da regressão:

sujeito a 1 = a1 + a2 . Analogamente, a equação anterior pode ser reescrita para os desvios como sendo . Sob alguma significância, o teste acerca da não-nulidade de a significa testar se a previsão do Modelo I, no passo h à frente, agrega informação à previsão do Modelo J. Caso isto não ocorra, diremos que o Modelo J domina o Modelo I.

5 RESULTADOS

5.1 Resultados dentro da amostra (in-sample)

Utilizamos a amostra completa de 1984.3 até 2004.1 para comparação dos modelos por meio dos critérios de informação. Os valores foram calculados na maior amostra comum e os resultados são apresentados na Tabela 6. Os modelos de combinação não estão exibidos.

5.2 Resultados fora da amostra (out-of-sample)

Para a análise fora da amostra, utilizamos uma janela deslizante de 41 trimestres com especificação invariante, iniciando em 1984.2, sendo a primeira janela de 1984.2 até 1996.2, portanto, na melhor hipótese, produzindo uma amostra de predições de 34 passos à frente. Utilizamos a previsão até oito passos adiante. Testes foram realizados utilizando-se os testes de Diebold e Mariano (1995), para a função perda quadrática (DM-MSE), função perda modular (DM-MAE) e a função perda com potência à quarta (DM-MdAE). Foi utilizado o modelo A como benchmark. Os resultados de previsões dos modelos para um passo à frente e oito passos à frente se encontram na Tabela 7 e 8, respectivamente. Os resultados para os restantes horizontes se encontram na Tabela A1 do Apêndice.

Tabela 7

Na tabela acima, temos os comparativos entre os sete modelos de previsão um passo à frente. Os critérios de comparação reportados são: os três critérios de avaliação de acurácia (RMSE, U-Theil, MAE), o confusion index (CI) e os testes de Diebold e Mariano - para a função perda quadrática (DM-MSE), função perda modular (DM-MAE) e a função perda com potência à quarta (DM-MdAE).

De acordo com os critérios de acurácia, todos os modelos apresentaram uma boa capacidade preditiva, sendo que os Modelos D e F apresentaram o menor erro de previsão. Com relação ao CI, o Modelo E foi o que apresentou menor erro de tendência da previsão. No caso do teste DM, valores absolutos maiores que 1,96 correspondem a uma rejeição da hipótese nula a um nível de confiança de 95%. Todos os modelos, em pelo menos um dos testes de DM, rejeitam a hipótese nula de diferença desprezível entre as funções perdas. No caso dos modelos de combinação de previsão (Modelos F e G) para os três critérios, temos a rejeição da hipótese nula.

Com relação à Tabela 8, podemos fazer uma análise similar à realizada para a Tabela 7. De acordo com os critérios de acurácia, todos os modelos apresentaram uma boa capacidade preditiva, sendo que, agora, os modelos de combinação de previsão (Modelo F e Modelo G) apresentam uma performance bastante superior se comparados com os demais modelos. No aspecto de acerto da tendência da previsão, os modelos apresentaram comportamento bastante similar. No caso do teste DM, todos os modelos rejeitam a hipótese nula de diferença desprezível entre as funções perdas (com exceção do Modelo C nos critérios MDM-MAE e MDM-MdAE).

Análises semelhantes podem ser realizadas para os demais horizontes de previsão, a partir da Tabela A1.

5.3 Resultados de forecast encompassing

Utilizamos uma janela deslizante de 41 trimestres com especificação invariante, iniciando em 1984.2, sendo a primeira janela de 1984.2 até 1996.2, portanto, na melhor hipótese, produzindo uma amostra de predições de 34 passos à frente. Utilizamos a previsão até oito passos adiante. Realizamos o teste de Clements e Hendry (1998) para cada um dos modelos. A hipótese nula testada é de que a previsão h-passos à frente do Modelo J não pode ser melhorada pela inclusão do Modelo I. Na Tabela 9, se encontra o p-valor do teste para cada uma das hipóteses testadas. O nível de significância utilizado é de 5%.

De um modo geral, rejeitamos, a 5% de significância, as diferentes hipóteses nulas testadas para a maioria dos modelos individuais, isto é, não rejeitamos a hipótese de ocorrer melhorias de previsão, caso se combine estes modelos. Já com relação aos modelos de combinação (Modelo F e Modelo G), não rejeitamos H0 na maioria dos casos. Para a previsão de um e dois passos à frente, os modelos de combinação podem ter suas previsões melhoradas com a inclusão dos demais modelos, mas isso raramente ocorre quando se analisa horizontes mais distantes de previsão. Esse resultado reforça os resultados encontrados nas Tabelas 7 e 8, onde os modelos de combinação apresentam uma performance bastante superior, se comparados com os demais modelos, quando o horizonte de previsão é mais longo.

CONCLUSÕES

O artigo propôs e avaliou diferentes modelos econométricos de previsão para o PIB da indústria dentro da classe de modelos vetoriais auto-regressivos (VAR) em freqüência trimestral. A avaliação se deu por vários procedimentos de teste e de modo intensivo. Em vários casos, usaram-se adicionalmente restrições de longo prazo advindas da cointegração entre as séries consideradas: o PIB industrial brasileiro, a taxa de juros longa e curta, a inflação e a previsão dos saldos da indústria - proporção de firmas que crêem num aumento de produção no próximo trimestre, subtraído da proporção de firmas que crêem numa queda.

O poder preditivo dos diferentes modelos envolvendo essas variáveis foi avaliado a partir do uso de diferentes funções de perda (função dos erros de previsão de fora da amostra), que são minimizadas. Adicionalmente, consideramos também a combinação das previsões de diferentes modelos, seguindo a literatura de combinação de previsões iniciada por Bates e Granger (1969).

Nossos principais resultados são:

1. O uso dos vetores de cointegração defasados como previsores - o spread da taxa de juros longa e curta, o spread entre a taxa de juros e a inflação, e a previsão dos saldos da indústria, que em muito melhora a capacidade preditiva dos modelos considerados.

2. A combinação dos diferentes modelos de previsão, seja por média aritmética simples ou por média ponderada, gerou, de forma geral, os melhores modelos de previsão para fora da amostra. Entretanto, houve casos em que modelos individuais tiveram um desempenho razoável e mesmo superior ao das combinações. Estes, no entanto, são esporádicos. Logo, nossa sugestão seria o uso dessas combinações de previsões como forma final de prever o PIB industrial.

Nossa lista de sugestões para aperfeiçoamentos futuros inclui:

1. Modelar a heterocedasticidade presente nos resíduos dos modelos utilizados, fazendo correções nas estatísticas apropriadas, lembrando que este fenômeno não gera viés nem inconsistência das estimativas apresentadas acima.

2. Considerar futuramente modelos não-lineares de várias formas (modelos isolados ou nas combinações de previsões).

3. Investigar a existência de características comuns de correlação serial (BICCF) dentre as séries usadas, fenômeno que, se presente, admite a construção de modelos mais parcimoniosos e eficientes para a previsão do PIB industrial.

Recebido em outubro de 2006.

Aceito para publicação em maio de 2008.

APÊNDICE

Tabela A1
- clique para ampliar
  • BATES, J. M.; Granger, C. W. J. The combination of forecasts. Operations Research Quaterly, v. 20, p. 319-25, 1969.
  • BOX, G. E. P.; JENKINS, G. M. Time series analysis: forecasting and control. San Francisco: Holden Day, 1978.
  • CAMACHO, M.; PEREZ-QUIROS, G. This is what the leading indicators lead. Journal of Applied Econometrics, v. 117, p. 61-80, 2002.
  • CLEMENTS, M.; D. HENDRY. Forecasting Economic Time Series Cambridge University Press, 1998.
  • CHRISTOFFERSEN, P. F.; Diebold, F. X. Cointegration and long-horizon forecasting. Journal of Business; Economic Statistics, n. 16, p. 450-458, 1998.
  • DIEBOLD, F. X., GUNTHER, T. A.; TAY, A. S. Evaluating density forecasts with applications to financial risk management. International Economic Review, v. 39, iss. 4, p. 863-83, 1998.
  • DIEBOLD, F. X.; LOPEZ, J. A. Forecast evaluation and combination. In: NBER Working Paper n. T0192 Mar. 1996. Available at: <http://ssrn.com/abstract=225136>
  • DIEBOLD, F.; MARIANO, R. Comparing predictive accuracy. Journal of Business and Economics Statistics, v. 13, p. 253-65, 1995.
  • DUARTE, A. J., ISSLER, J. V.; SPACOV, A. D. Indicadores coincidentes de atividade econômica e uma cronologia de recessões para o Brasil. Pesquisa e Planejamento Econômico, v. 34, n. 1, 2004.
  • EMERSON, A.; HENDRY, D. An evaluation of forecasting using leading indicators. Journal of Forecasting v. 15, p. 271-291, 1996.
  • ENGLE, R. F.; GRANGER, C. W. J. Co-integration and error-correction: representation, estimation and testing, Econometrica, v. 37, p. 424-438, 1987.
  • _____., YOO, S. Forecasting and testing in co-integrated system. Journal of Econometrics, v. 35, p. 143159, 1987.
  • ESTRELLA, A., MISHKIN, F. Predicting U.S. recessions: Financial variables as leading indicators. Review of Economics and Statics, v. 80, p. 45-61, 1999.
  • FANG, Y. Forecasting combination and encompassing tests. International Journal of Forecasting, v. 19, p. 87-94, 2003.
  • GARCIA, M. G. P., PERRON, P.; CATI, R. C. Unit root in the presence of ABRPT governmental interventions with an application to Brazilian data. Journal of Applied Econometrics, v. 14, p. 27-45, 1999.
  • GONZALO, J. Five alternative methods of estimating long-run equilibrium relationships. Journal of Econometrics, v. 60, n. 1, p. 203-233, 1994.
  • _____.; PITARAKIS, J. Y. Lag length estimation in large dimensional systems. Journal of Time Series Analysis, v. 23, iss. 4, p. 401-423, July 2002.
  • GRANGER, C. W. J. Some properties of time series data and their use in econometric models. Journal of Econometrics, v. 16, p. 121-130, 1981.
  • HAMILTON, J. D. Time series analysis. Princeton University Press, 1994.
  • HAMILTON, J.; PEREZ-QUIROS, G. What do the leading indicators lead? Journal of Business, v. 69,p. 27-49, 1996.
  • HARVEY, B. Inference in TAR models, studies in nonlinear dynamics. Econometrics, v. 2, p. 1-14, 1997.
  • HARVEY, D.; NEWBOLD, P. Tests for multiple forecast encompassing. Journal of Applied Econometrics, v. 15, n. 5, p. 471-482, 2000.
  • HUH, H. S. GDP growth and the composite leading index: a nonlinear causality analysis for eleven countries. Economics Letters, v. 77, p. 93-99, 2002.
  • JOHANSEN, S. Statistical analysis of cointegration vectors. Journal of Economic Dynamics and Control, v. 12, p. 231-254, 1988.
  • JOHSTON, J.; DINARDO, J. Econometric methods 4th ed., MCGraw-Hill Companies, Inc., 1997
  • JORDAN, T. J.; SAVIOZ, M. R. Does it make sense to combine forecasts from VAR models? An empirical analysis with inflation forecasts Switzerland research. Zurich: Swiss National Bank, 2002.
  • KUNST, R. Testing for relative predictive accuracy: a critical viewpoint. University of Vienna. In: METU Conference. Sept. 2003, Ankara. Available at: <http://elaine.ihs.ac.at/~webera/stokk.pdf>
    » link
  • LANDERRETCHE, O. MORANDÉ, F.; BICHMIDT-HEBBEL, K. Inflation targets and stabilization in Chile. In: MAHADEVA, L.; STERNE, G. (Ed.). Monetary policy frameworks in a global context London: Routledge, 2000.
  • LIN, J. L.; TSAY, R. Co-integration constraint; forecasting: an empirical examination. Journal of Applied Econometrics, v. 11, p. 519-538, 1996.
  • LITTERMAN, R. Forecasting with bayesian vestor autoregressive-five years of experience Journal of Business and Economics Statistics, v. 4, n. 1, p. 25-38, 1986.
  • LUCAS JR., R. E. Econometric policy evaluation: a critique. Carnegie Rochester Conference Series on Public Policy, v. 1, p. 19-46, 1976.
  • LUTKEPOHL, H. Comparison of criteria for estimating the order of a vector autoregressive process. Journal of Time Series Analysis, v. 6, p. 35-52, 1985.
  • PERRON, P. Further evidence on breaking trend functions in macroeconomic variables. Journal of Econometrics, v. 80, p. 355-385, 1997.
  • PESARAN, M. H.; TIMMERMANN, A. A simple nonparametric test of predictive performance Journal of Business and Economic Statistics, v. 10, p. 461-65, 1992.
  • SALTOGLU, B.; SENYÜZ, Z.; YOLDAŞ, E. Modeling business cycles with markov switching Varmodel: an application on turkish business cycles. In: METU CONFERENCE IN ECONOMICS, VII, Sept. 2003, Ankara, Turkey.
  • SIMS, C. Macroeconomics; reality. Econometrica, v. 48, n. 1, p. 1-48, 1980.
  • STOCK, J.; WATSON, M. A procedure for predicting recessions with leading indicators: econometric issues and recent experience. In: _____. (Ed.). new research on business cycles, indicators and forecasting Chicago: University of Chicago Press, 1993.
  • _____. A comparison of linear; nonlinear univariate models for forecasting macroeconomic time series. In: NBER Working Papers 6607 National Bureau of Economic Research, Inc, 1998. Revised.
  • _____. Business Cycle Fluctuations in U.S. Macroeconomic Time Series. In: NBER Working Papers 6528 National Bureau of Economic Research, Inc, 1998. Revised.
  • SWANSON, N. R.; White, H. A model selection approach to assessing the information in the term structure using linear models and artificial neural networks. Journal of Business and Economic Statistics, 1995.
  • _____. A model selection approach to real-time macroeconomic forecasting using linear models and artificial neural networks. Review of Economics and Statistics, v. 79, p. 540-550, 1997.
  • 1
    Ver Johston e Dinardo (1997).
  • 2
    Lucas, em 1976, observa que o esforço na montagem de modelos estruturados muitas vezes caiu por terra, devido a alterações de políticas. Desse modo os coeficientes mudam de modo súbito quebrando estruturalmente o comportamento da série.
  • 3
    Sims argumenta que as restrições impostas aos modelos estruturados para torná-los identificáveis são demasiado fortes e leva à diminuição de sua eficácia e da qualidade da previsão.
  • 4
    Ver, por exemplo, Litterman (1986).
  • 5
    Para maiores detalhes, ver Harvey (1997).
  • 6
    Christoffersen e Diebold (1998) mostraram que a inclusão de variáveis exógenas no vetor de correção de erro pode melhorar a previsão do modelo em comparação com vetores de cointegração puramente endógenos.
  • 7
    Landerretche, Morandé e Schmidt-Hebbel (2000) mostram que, no Chile, em relação a um preditor VAR para a inflação, sob regime de metas de inflação, a meta pré-anunciada era um preditor superior para a taxa de inflação
    ex post, sugerindo a possibilidade de se construir um caminho para a variável exógena em uma previsão condicional. Mais ainda, o VAR incondicional sistematicamente sobreestimava a taxa de inflação para o período.
  • 8
    Fang, Y. (2003).
  • 9
    Jordan e Savioz (2002).
  • 10
    Lutkepohl (1985) e Gonzalo e Pitarakis (2002) são boas referências sobre artigos que tratam da escolha do critério mais adequado.
  • 11
    Camacho e Perez-Quiros (2002), Huh (2002), Hamilton e Perez-Quiros (1996), Emerson e Hendry (1996) e Saltoğlu e Şenyüz, (2003).
  • 12
    Estrella e Mishkin (1999).
  • 13
    Os resultados dos testes estão disponíveis e podem ser requeridos aos autores.
  • 14
    Os resultados dos testes com tendência e intercepto estão disponíveis e podem ser requeridos aos autores.
  • 15
    .
  • 16
    Ver: Diebold, Gunther e Tay (1998) e Harvey e Newbold (2000).
  • 17
    Kunst (2003).
  • Datas de Publicação

    • Publicação nesta coleção
      03 Jul 2008
    • Data do Fascículo
      2008

    Histórico

    • Aceito
      Maio 2008
    • Recebido
      Out 2006
    Faculdade de Economia, Administração e Contabilidade de Ribeirão Preto da Universidade de São Paulo Avenida dos Bandeirantes, 3.900, CEP 14040-900 Ribeirão Preto SP Brasil, Tel.: +55 16 3315-3910 - Ribeirão Preto - SP - Brazil
    E-mail: revecap@usp.br