Acessibilidade / Reportar erro

Redes Bayesianas: um método para avaliação de interdependência e contágio em séries temporais multivariadas

Resumos

O objetivo deste trabalho consiste em identificar a existência de contágio financeiro utilizando a inovadora metodologia de Redes Bayesianas, executando-se uma análise sequencial. A análise da interdependência de mercados internacionais é realizada em períodos de crises financeiras, ocorridas entre os anos 1996 e 2009, envolvendo países nos quais foi possível avaliar seus efeitos e objetos de estudos similares na literatura. Os resultados apontaram para diversas evidências de contágio em períodos de crise, com causadores bem definidos. Por fim, verificou-se que, após as diversas crises, os mercados estavam muito mais interligados do que no período inicialmente adotado.

Interdependência; Contágio Financeiro; Redes Bayesianas


This work aims to identify the existence of financial contagion using the innovative metodology of Bayesian networks, executing a sequential analysis. The analysis of the interdependence of international markets is performed in periods of financial crises that occurred between the years 1996 and 2009, involving countries in which it was possible to evaluate their effects and objects of similar studies in the literature. The results pointed to various evidence of contagion in times of crisis, with well-defined cause. Finally, it was found that after several crises, markets were much more interconnected than in the initially assumed.


Redes Bayesianas: um método para avaliação de interdependência e contágio em séries temporais multivariadas

João Vinícius de França CarvalhoI; Chang ChiannII

IEscola Superior de Administração e Gestão. E-mail: jvfcarvalho@gmail.com

IIUniversidade de São Paulo. E-mail: chang@ime.usp.br

RESUMO

O objetivo deste trabalho consiste em identificar a existência de contágio financeiro utilizando a inovadora metodologia de Redes Bayesianas, executando-se uma análise sequencial. A análise da interdependência de mercados internacionais é realizada em períodos de crises financeiras, ocorridas entre os anos 1996 e 2009, envolvendo países nos quais foi possível avaliar seus efeitos e objetos de estudos similares na literatura. Os resultados apontaram para diversas evidências de contágio em períodos de crise, com causadores bem definidos. Por fim, verificou-se que, após as diversas crises, os mercados estavam muito mais interligados do que no período inicialmente adotado.

Palavras-chave: Interdependência, Contágio Financeiro, Redes Bayesianas.

Códigos JEL: C11, C32, C45, G01.

ABSTRACT

This work aims to identify the existence of financial contagion using the innovative metodology of Bayesian networks, executing a sequential analysis. The analysis of the interdependence of international markets is performed in periods of financial crises that occurred between the years 1996 and 2009, involving countries in which it was possible to evaluate their effects and objects of similar studies in the literature. The results pointed to various evidence of contagion in times of crisis, with well-defined cause. Finally, it was found that after several crises, markets were much more interconnected than in the initially assumed.

1. INTRODUÇÃO

Em uma economia com muitas interligações, sinais de crise financeira em um determinado país pode se propagar a ponto de se tornar mundial. O desenvolvimento de tecnologias da informação e de meios de transporte criou condições para fortalecimento do setor financeiro, de modo que, com apenas um aperto de botão em um microcomputador, é possível realocar grandes cifras monetárias em questão de segundos, sendo factível para os investidores, portanto, obter lucros rapidamente. No entanto, como um jogo de soma zero, esta mesma rápida operação pode trazer consigo consequências importantes para a contraparte.

O capital especulativo não possui compromisso com a produção, tampouco com o país e, ao menor sinal de instabilidade na economia, as aplicações financeiras são realocadas e países com baixas reservas perdem altos montantes, aumentando a probabilidade de ocorrerem problemas internos decorrentes da falta de liquidez. Em momentos de instabilidade, há a tendência de que os países mais fragilizados recorram a fortes e sucessivos aumentos da taxa de juros paga a investidores estrangeiros, com o intuito de evitar a saída de capital, além de tentar incentivar outros investidores a depositar suas riquezas. No entanto, pode haver um efeito perverso nesta política de aumento de juros: a diminuição de investimentos, uma vez que as contas do governo ficam ainda mais vulneráveis, e as dívidas serão pagas a uma taxa ainda maior.

No caso de esta política não se mostrar eficaz, os compromissos assumidos por este país podem se tornar inexequíveis, abalando a confiança dos investidores e promovendo quebra de empresas, aumento nas taxas de desemprego, desvalorização da moeda e de seu poder de compra e, no limite, a propagação desta situação - que será denominada crise - para outros países. Em maior ou menor grau, foram estes os fenômenos observados no México em 1994, com diversos países asiáticos em 1997, com a Rússia em 1998, com o Brasil em 1999, com a Argentina entre 2001 e 2002 e com os EUA em 2008.

Por conta desta última, após anos de expansão das economias por todo o mundo, foi retomada a discussão sobre a dinâmica de interligação da economia e o possível contágio de crises econômicas, devido à chamada crise do subprime nos EUA, que fez com que diversos setores da economia daquele país - e também em outros países - entrassem em recessão. Além disso, o tema ganhou notoriedade pelas altas cifras emprestadas pelo governo a companhias de determinados setores de atividade econômica nos EUA, revelando as preocupações governamentais com a solvência de algumas empresas consideradas relevantes para não propagar insolvência.

Este trabalho tem como objetivo principal a utilização de uma técnica de inteligência artificial como alternativa de modelagem de dados financeiros, a qual é denominada de Rede Bayesiana, com a avaliação da interdependência de mercados internacionais em períodos de crises financeiras, ocorridas entre os anos 1996 e 2009, envolvendo países nos quais foi possível avaliar seus efeitos e que foram objetos de estudos similares na literatura.

Um outro objetivo é estudar os efeitos da crise do subprime no contexto internacional, evento ainda pouco explorado na literatura.

O trabalho está dividido em mais cinco seções, além desta introdução. Na seção seguinte é feita uma breve revisão da literatura sobre o tema e apresentado o conceito utilizado. Na terceira seção são apresentadas as definições gerais do modelo de séries temporais que será utilizado para filtragem das séries. Já na Seção 4, será abordada a teoria de redes bayesianas para avaliar a estrutura de interdependência e detecção de possíveis contágios, por meio de análises gráficas e estimação de parâmetros. Na Seção 5 serão evidenciados os resultados da aplicação prática: desde a análise descritiva da base de dados, filtragem das séries e as Redes Bayesianas estimadas. Finalizando, serão discutidas as conclusões obtidas neste trabalho sobre as aplicações abordadas.

2. REFERENCIAL TEÓRICO

Com o advento das sucessivas crises financeiras internacionais descritas no capítulo anterior, embora o conceito de interdependência entre os mercados possua um razoável consenso, a definição de contágio financeiro11 Para ver outras definições de contágio, acessar o sítio do Banco Mundial, disponível em: http://go.worldbank.org/ JIBDRK3YC0. está longe de ser uma questão definitiva. Diversos autores atentaram-se ao tema após as crises dos mercados financeiros emergentes, entre os anos de 1997 e 2001, e este assunto foi uma das maiores fontes para desenvolvimento de técnicas matemáticas avançadas visando explicar e até mesmo prever o surgimento de crises em mercados financeiros. Nesta revisão será dada prioridade para os trabalhos que representaram evolução na detecção de contágio por meio de modelos estatísticos, em vez de apresentar aqueles que somente descrevem os mecanismos de transmissão.

Dornbusch et alii (2000) discutem sobre a arquitetura do mercado financeiro, principalmente sobre uma reforma a fim de reduzir os riscos de contaminação, que estariam ligados a fatores mais específicos como co-movimentos de taxas de câmbio, preços de ações e títulos públicos, entre outros. Em um segundo trabalho, Dornbusch et alii (2001) ampliam as suspeitas de que o espalhamento de crises não se dá somente em períodos de crises e introduzem a idéia de que os choques podem ocorrer também em períodos de relativa tranquilidade e, para verificar empiricamente, utilizam os mesmos fatores citados no primeiro trabalho. Este trabalho foi deveras relevante pelo fato de os autores sugerirem uma proposição bastante importante: seja qual for a definição adotada para contágio, este pode ser causado por fundamentos macroeconômicos estruturais de uma economia ou por decisões de investidores e outros agentes financeiros.

Existem diversos artigos que tratam dos fundamentos macroeconômicos como propagadores de crises. Hernández e Valdés (2001) afirmam que os principais canais de contaminação de crises seriam os fundamentos dos países em questão. Os autores listaram como mecanismos de transmissão as ligações comerciais entre países, similaridades e fragilidades macroeconômicas, além de outras ligações financeiras, tais como corporações de um país atuando em outro, práticas institucionais de hedge em países cujos retornos são correlacionados, problemas de liquidez de investidores, informações assimétricas e comportamento de manadas por parte de investidores estrangeiros. As políticas de hedge, executadas principalmente com títulos públicos e com ações de empresas sólidas de diferentes países, mostram-se particularmente interessantes para ilustrar uma situação em que grandes investidores possuem mecanismos capazes de influenciar as suas taxas de retorno, sobretudo quando o mercado possui a possibilidade de arbitragem.

Forbes e Rigobon (2002), em artigo clássico, vão para uma linha mais ortodoxa, considerando o conceito de contágio como um aumento significativo nas correlações entre países, por meio do retorno de seus mercados acionários, em momentos de crise. E vão além: este aumento verificado só é considerado como contágio se for sabido que se está em período de crise, senão tal incremento advém somente da maior interdependência entre os mercados financeiros. Esta definição seria posteriormente mais recorrente na literatura e é denominada shift-contagion.

Em complemento ao trabalho de Forbes e Rigobon (2002), Corsetti et alii (2005) apresentam uma vasta lista de referências para outros trabalhos, além de uma visão crítica do aumento da correlação como indicativo de ocorrência de contágio, argumentando que aumento da volatilidade dos retornos durante um período de crise pode ser causado por uma variância maior, advinda não só de alguns fatores comuns, mas também por algum ruído específico de um determinado país. Em contraste aos predecessores, os autores derivam uma medida de interdependência a partir de um modelo fatorial padrão dos retornos, que não impõe quaisquer restrições sobre a variância dos fatores comuns relativos à variância do choque específico de um país. Além disso, eles demonstram que restrições aplicadas sobre ruídos específicos de cada país, implícitas nos modelos utilizados pela literatura até então, podem gravemente enviesar os testes em direção à hipótese de "não contágio".

Ainda nesta época, Lopes e Migon (2002) utilizaram Análise Fatorial incorporando modelos de volatilidade estocástica. Além da referida contribuição, os autores foram os pioneiros também na utilização de uma abordagem bayesiana para o problema de comovimentos em índices de preços de ações e, adotando a mesma definição de Forbes e Rigobon (2002), mostraram que a estrutura de covariância variando no tempo pode ser modelada por um ou dois fatores comuns. Além disso, algum tipo de contágio, medido por mudanças bruscas nas correlações das séries temporais, esteve presente na maioria das séries em análise durante períodos de instabilidade econômica verificados entre 1994 e 2001.

Uma vez que as discussões correntes tratavam da estrutura da volatilidade condicional e, consequentemente, usavam o conceito de shift-contagion, era natural a utilização dos modelos de séries temporiais que tratassem do problema da heterocedasticidade condicional. Tendo como cerne os GARCH multivariados e suas diferentes estruturas de correlação e distribuição de resíduos, surgiram diversos trabalhos abordando desta forma o problema de interdependência e contágio. Os principais são os trabalhos de Lombardi et alii (2004), Marçal e Pereira (2008) e Filetti et alii (2008).

Já mais recentemente, o conceito de contágio associado a choques na volatilidade e mesmo no conceito linear de correlação foi ampliado, passando a entrar no campo das medidas de dependência não lineares. Um dos trabalhos pioneiros, Chollete et alii (2005) propuseram-se a modelar a estrutura de dependência do mercado internacional de ações, utilizando modelos paramétricos de cópulas. O artigo de Rodriguez (2007), amplia a metodologia de se mensurar as crises, não só fazendo a avaliação da interdependência por meio dos coeficientes globais, como também com a defesa, feita pelo autor, do argumento de que as quebras estruturais na dependência da cauda formam uma dimensão importante de contágio; para isso, ele se utiliza dos índices de cauda, inclusive para averiguar potenciais assimetrias.

Utilizando as cópulas condicionais, trivariadas com coeficiente variando no tempo, o trabalho de Abbara (2009) traz um grande avanço ao estudo da análise de contágio, realizando a modelagem de retornos de índices dos mercados norte-americanos, latino-americanos e europeus, no período compreendido entre 1995 e 2008, contendo, portanto, o início da crise dos EUA. O trabalho, além de fornecer uma ampla gama de artigos sobre aplicação de cópulas, chega a diversas conclusões. A principal delas é que, utilizando metodologias combinadas, o mercado dos EUA determina grande parte das características da dependência entre os mercados financeiros latino-americanos, como a assimetria na dependência nas caudas e evolução na dependência em fortes quedas.

Apesar de todo o esforço para determinar movimentos simultâneos na evolução das séries, sempre se abordou na literatura as medidas de associação, sejam elas lineares ou não lineares. Naturalmente, o desejável seria determinar eventuais causalidades para os movimentos observados em períodos tranquilos e naqueles em que as crises possam ser verificadas. Apesar de a interdependência entre mercados acionários nacionais ser amplamente estudada, a aplicação de metodologias causais neste tema de contágio ainda é bastante escassa. O primeiro trabalho que procurou dar este tratamento de causalidade foi Granger (1969), cujo conceito de causalidade sugere que toda informação relevante para a predição de duas variáveis X e Y está contida apenas nas próprias séries de tempo sobre essas duas variáveis. Dessa forma, uma série temporal estacionária X causa, no sentido de Granger, uma outra série estacionária Y se as melhores predições estatisticamente significantes de Y puderem ser obtidas com a inclusão de valores defasados de X aos valores defasados de Y. Existem versões mais modernas deste conceito, mas como essa é a idéia central, as demais não serão abordadas.

No entanto, com o desenvolvimento de técnicas estatísticas avançadas em concomitância com o aumento do poder computacional, foi possível explorar os conceitos mais fortes de (in)dependência probabilística mesmo dispondo de muitas variáveis simultaneamente, uma estrutura que convencionou-se chamar de grafos acíclicos direcionais (DAG). O trabalho de Bessler e Yang (2003) é o primeiro a explorar esta técnica dos DAG's para abordar o problema da dinâmica de interdependência dos mercados de ações, utilizando conjuntamente um modelo de correção de erros (para estrutura de longo prazo) e um modelo VAR (denotando a análise de curto prazo).

Combinando as últimas duas metodologias citadas - cópulas e estrutura causal por meio de um DAG - Viale et alii (2008) inovam no tratamento do conceito de contágio. Seguindo o conceito proposto por Chang e Majnoni (2002), que definem o contágio financeiro como uma mudança na estrutura de dependência entre um determinado conjunto de retornos do mercado financeiro, os autores sugerem que a propagação dos choques depende tanto dos fundamentos econômicos específicos de um determinado país quanto dos mecanismos de transmissão (por meio de expectativas) que ligam os fundamentos às correlações de retornos dos ativos. Como estratégia de análise, Viale et alii (2008) implementam um estimador semi-paramétrico, Bayesiano, robusto e não-padrão para a função de uma mistura de cópula. Esta abordagem robusta pode ser considerada uma extensão do classificador quadrático de Bayes, que utiliza uma mistura de modelos para estimar a densidade de classe subordinada, com a vantagem de ser capaz de gerenciar mais classes de distribuições a priori.

Para este trabalho, o conceito de contágio que será adotado é similar ao proposto por Chang e Majnoni (2002), porém com a vantagem de se ter amplo sentido estatístico: eventuais alterações da estrutura de dependência probabilística em um cenário de crise, relativamente aos de tranquilidade verificados anteriormente, serão denominadas contágio financeiro.

3. FILTRAGEM UNIVARIADA DAS SÉRIES VIA ARMA-GARCH

Seja (Zt)t∈ um processo ruído branco padrão. O processo (Xt)t∈ segue um GARCH(p,q) se é estritamente estacionário e satisfaz, para todo t e valores estritamente positivos (σt)t∈ , as equações:

em que α0 > 0, αi > 0, i =1, . . . ,p, βj > 0, j =1, . . . ,q.

Na prática, modelos GARCH de ordem baixa são amplamente utilizados. É possível demonstrar que um modelo GARCH(1,1) é equivalente a um ARCH(∞), o que indica que períodos de grande volatilidade tendem a ser persistentes, no sentido de que, sendo |Xt| grande, basta que ou |Xt-1| ou σt-1 seja grande. Desta maneira, modelos GARCH tendem a ser mais parcimoniosos na quantidade de parâmetros do que modelos ARCH.

No entanto, uma extensão simples do modelo GARCH pode ser útil para quando existir estrutura autorregressiva na média e não só na variância e sua estimação é feita de modo conjunto. Este modelo é chamado de ARMA-GARCH e pode ser visto com mais detalhes teóricos em Morettin (2008).

Seja (Zt)t∈ um processo ruído branco padrão. O processo (Xt)t∈ é dito um processo ARMA(p1,q1) com erros GARCH(p2,q2) se é estacionário em covariância e satisfaz conjuntamente as equações:

em que α0 > 0, αi > 0, i =1, . . . ,p2, βj> 0, j =1, . . . ,q2 e αi + βj < 1.

Para a avaliação da interdependência, o processo ARMA-GARCH será importante para a posterior filtragem de cada uma das séries, uma vez que o interesse reside na interdependência das variáveis, desconsiderando os efeitos dos passados univariados, que poderiam ocultar relações multivariadas relevantes.

4. A METODOLOGIA DAS REDES BAYESIANAS

Nesta seção será feita uma breve revisão dos aspectos relevantes que envolvem a metodologia das Redes Bayesianas. Maiores detalhes podem ser obtidos em Neapolitan (2004).

Define-se como um grafo direcional um par (V,E), em que V é um conjunto finito e não vazio, cujos elementos atribuem-se a nomenclatura de (ou vértices), e E é um conjunto de pares cordenados de V, que são chamados de arestas (ou arcos).

Seja =(V,E) um grafo direcional e acíclico (DAG), em que V é um conjunto finito de nós e E é um conjunto finito de arcos direcionais entre os nós. Desta maneira, a Rede Bayesiana está estruturada por .

Cada um dos nós vV deste grafo representa uma variável aleatória Xv, e será referido apenas por v, e comporá o conjunto de variáveis constantes no grafo com as demais variáveis. Para cada nó pai de v, será adotada a nomenclatura de pa(v). Além disso, é atribuída uma função de probabilidade relacional entre v e pa(v) definida, condicionalmente, por p(xv|xpa(v)). Já o conjunto das funções de probabilidades relacionais da rede é P. Uma Rede Bayesiana para um dado conjunto de variáveis aleatórias é o par (G,P).

Notadamente, não se consegue controlar ou mesmo avaliar o que não se observa. Existem técnicas que se propõem a tratar exclusivamente deste problema, como Modelos de Espaços de Estados e Cadeias de Markov Ocultas, mas este trabalho se propõe apenas a estudar o caso observável. Como tampouco é possível controlar todas as variáveis do universo, dentro dos limites, são necessárias as adoções de premissas razoáveis e o reconhecimento das limitações do estudo.

Um conceito muito famoso em Redes Bayesianas é a d-Separação, a qual garante a independência condicional e direcional de um conjunto de variáveis aleatórias. Neapolitan (2004) demonstra que a condição de Markov implica que todas as d-separações são independências condicionais, e todas as independências condicionais implicadas pela condição de Markov são identificadas pela d-separação. Ou seja, se (,P ) satisfaz a condição de Markov, toda d-separação em é uma independência condicional em P . Mais ainda, toda independência condicional, que é comum a todas as distribuições de probabilidade satisfazendo a condição de Markov com o DAG , é identificada pela d-separação.

Em suma, toda e qualquer variável é independente de seus não-descendentes e de seus não-pais, condicionados em seus pais. E isso significa que toda e qualquer Rede Bayesiana representa uma função densidade de probabilidade única que pode ser fatorada como p() = Πip(Xi|pa(Xi)).

Além disso, é possível mostrar que se A e B são d-separados por C em , a condição de Markov implica em IP (A,B|C), o que representa independência também na distribuição conjunta. Devido a este fato, se a Rede Bayesiana satisfizer a condição de Markov, pode-se afirmar que ela representa um mapa de independência da distribuição conjunta de probabilidades P. Por fim, uma eventual falta de arcos direcionais em G denota independência condicional entre duas variáveis aleatórias por meio do critério da fatoração da função de probabilidade conjunta usual, decorrente do Teorema de Bayes.

5. INFERÊNCIA EM REDES BAYESIANAS

A Inferência Estatística constitui um método estruturado e científico para a tomada de decisões a partir de valores observáveis, tendo uma medida de incerteza (probabilidades, não observáveis) acerca do fenômeno. A teoria bayesiana atribui à probabilidade um grau de crença, subjetivo, portanto, à veracidade de alguma proposição, o que se distingue fundamentalmente do que se convencionou chamar de teoria clássica.

Esta seção seguirá de perto a metodologia de Boettcher e Dethlefsen (2003).

5.1. Aprendizagem dos parâmetros: A abordagem bayesiana

Do ponto de vista estatístico, diz-se que o treinamento de uma rede corresponde à estimação de parâmetros do modelo, segundo algum critério e tendo o conhecimento de algum conjunto de dados. Para estimar os parâmetros em uma rede, usa-se a abordagem bayesiana, tendo como objetivo codificar a incerteza sobre parâmetros θ em uma distribuição a priori p(θ), e utilizando os dados (por meio da função de verossimilhança), atualiza-se a incerteza com a distribuição a posteriori p(θ|), usando o Teorema de Bayes:

em que Θ representa o espaço paramétrico, é a amostra aleatória da ditribuição de probabilidades p(x|θ) e p(|θ) é a função de verossimilhança. Por se tratar de um mecanismo de atualização, a Equação 3 será chamada de aprendizagem do parâmetro ou simplesmente aprendizagem. É fácil demonstrar que, utilizando este mecanismo de aprendizagem, é possível atualizar o parâmetro ao longo do tempo. Por se tratar de um problema temporal, por definição, utilizar-se-á esta análise sequencial, em que o passado dos parâmetros de dependência influencia na estimação da dependência futura.

No problema específico deste artigo, a suposição desde o início é a de distribuição contínua para cada uma das variáveis aleatórias, de tal forma que daqui por diante só serão feitas as definições do modo de cálculo e distribuições inerentes a esta classe de nós. A distribuição a priori para os parâmetros será a distribuição Normal Gamma-Inversa (NGI), devido à sua propriedade de conjugação com a distribuição Normal das observações, o que garante facilidade nos cálculos das distribuições a posteriori. A partir deste instante, a função Gamma-Inversa será generalizada para a versão multivariada, que é denotada por função Wishart-Inversa (WI).

Tais suposições não são absurdas, na medida em que, caso a Normal não seja aderente aos resíduos dos modelos ARMA-GARCH, eles podem ser bem ajustados por uma distribuição t-Student, que é uma distribuição com muita similaridade a uma Normal, apenas possuindo curtose mais elevada. Pode ser demonstrada a propriedade de conjugação da Normal e da Wishart-Inversa, bem como a construção da distribuição t-Student como uma mistura de Normal com uma Wishart-Inversa para a sua variância.

Neste trabalho é utilizado o procedimento de Boettcher e Dethlefsen (2003), automatizado para a especificação das distribuições associadas a qualquer DAG possível, bem como o mecanismo de obtenção de distribuições a posteriori. A idéia básica deste procedimento é que, de uma dada Rede Bayesiana, pode-se deduzir todas as possíveis distribuições a priori para qualquer DAG. O funcionamento do algoritmo é o seguinte:

1. Especificar uma Rede Bayesiana a priori, isto é, estabelecer um DAG a priori e distribuições a priori para cada um de seus nós;

2. Calcular a distribuição de probabilidades a priori conjunta para todos os nós;

3. A partir desta distribuição conjunta, determinar a distribuição marginal de todos os parâmetros envolvidos, consistindo de um nó e seus pais. A este passo, dá-se o nome de distribuição Master Prior, e;

4. As distribuições a priori dos parâmetros para cada nó são determinadas pelo condicionamento na distribuição Master Prior.

É possível deduzir as distribuições de probabilidade para cada nó e suas distribuições a priori a partir das distribuições conjuntas. Além disso, devido à independência dos parâmetros, a função densidade de probabilidade conjunta a priori para qualquer rede Gaussiana pode ser especificada como produto de prioris individuais.

DeGroot (1970) mostra que uma distribuição Gaussiana-Wishart Inversa é conjugada a observações de uma distribuição Gaussiana. Assim, tomada a distribuição de probabilidade e suas prioris já definidas e dado um conjunto de observações = y1,...,yn, as distribuições a posteriori são:

em que:

com n representando o tamanho amostral, = i=1 e SQ =(yi - )(yi - )T . Os elementos

ν e ρ são estimados a partir do tamanho de uma amostra imaginária, de treinamento da rede. O racional desta amostra imaginária provém da noção da confiança que o pesquisador tem na estrutura de dependência definida na Rede Bayesiana a priori: quanto maior for a confiança na subjetividade, maior deverá ser o ν.

A partir das Equações dadas em 4, nota-se que ν' e ρ' são atualizados com função do número de observações na base de dados. Já µ' é uma combinação linear entre a média µ a priori e a média amostral, ponderadas por seus respectivos pesos. Finalmente, Φ é atualizada pela soma dos quadrados, que representa os desvios observacionais em torno da média amostral e o quanto a média a priori difere da média amostral.

5.2. A seleção da melhor estrutura para a Rede Bayesiana

Existem diversos critérios e algoritmos para avaliar a melhor estrutura em redes para um certo conjunto de variáveis aleatórias. Algumas dessas abordagens são descritas em Neapolitan (2004). Este trabalho seguirá de perto a abordagem de Boettcher (2004).

Neste trabalho, os autores sugerem como medida de quão bem um DAG

representa as independências condicionais entre as variáveis aleatórias, a seguinte métrica:

que será chamada de função score da rede.

Pode ser demonstrado que os scores calculados de dois DAGs equivalentes (que informam a mesma independência condicional) são equivalentes. Essa propriedade é chamada de equivalência das verossimilhanças e é uma propriedade do procedimento Master Prior.

Na busca pelo melhor modelo de rede para ajustar a função conjunta, o pesquisador depara-se com um número fatorialmente crescente de redes possíveis à medida que o número de nós aumenta e, com isso, fica impossível avaliar os scores de todos os DAGs possíveis. Como é preciso escolher a rede com o maior valor para o score, faz-se necessário criar um método de busca. Em Boettcher e Dethlefsen (2003), os autores implementam um método eficiente chamado greedy search with random starts baseado em Heckerman et alii (1995).

Uma forma de comparar o score de duas redes distintas e é calculando a chance das posterioris, dada por:

em que é a chance das prioris e é o fator de Bayes. Como, em geral, a distribuição a priori será a mesma para a estrutura inicial da rede, a chance das prioris será igual a 1 e, pela igualdade da Equação 6, pode-se comparar o ganho obtido em adotar uma rede tanto pela chance das posterioris quanto pelo fator de Bayes.

6. RESULTADOS

6.1. Análise das séries

A base de dados é composta por índices de bolsas de valores22 Todas as informações foram obtidas no sítio http://finance.yahoo.com/, acessado em julho de 2010. de 6 países que, segundo a literatura, estão associados a crises financeiras. Esses países são Brasil (BRA), utilizando o índice Ibovespa; Argentina (ARG), com o índice Merval; México (MEX), pelo índice IPC; Estados Unidos (EUA), utilizando o índice Dow Jones; Malásia (MAL), a partir do índice KLSE; e, finalmente, a Rússia (RUS) com o seu índice RTSI. A amostra contém informações diárias, no período compreendido entre os dias 08/10/1996 e 30/12/2009, o que resultaria em 3452 dias úteis de observações.

De modo a dispor de informações completas a respeito de uma distribuição conjunta entre os países, fez-se necessária uma combinação entre as datas dos países, devido à existência de feriados em alguns países sem correspondência nos demais. Desta maneira, optou-se por descartar as datas que não tivessem informação de todos os países simultaneamente. Ao final do processo, sobraram 2608 observações que satisfaziam esta condição. Em seguida, foi a vez de determinar os períodos de crise. Com base em pesquisas de notícias de jornais diários, foi possível determinar a data exata do começo das crises. No entanto, o fim da crise foi uma determinação ad-hoc dos autores, com base visual na estabilização das volatilidades dos principais envolvidos nas crises. Como resumo destas datas, a Tabela 1 traz as partições definidas como marcos de início e fim de crises.

Conclui-se, pela Tabela 1, que ocorreram 5 crises financeiras no período de análise e estas crises correspondem a aproximadamente 11% do conjunto de observações. Nas figuras subsequentes, os períodos mencionados na Tabela 1 terão como regra a seguinte definição: as datas de início e fim de crise estarão representadas por, respectivamente, uma linha contínua vertical e uma linha vertical tracejada.

Inicialmente, a fim de ignorar a escala dos dados, todos os dados foram divididos pelo seu respectivo valor inicial (e multiplicados, posteriormente, por 100), de tal maneira que seja factível analisar apenas um gráfico contendo todas as séries. A Figura 1 mostra a evolução dos índices de todos os países em questão ao longo do período de análise.


De acordo com a Figura 1 é possível perceber que algumas séries apresentam grande crescimento no período de análise. Como maiores destaques, tem-se o Brasil e o México, que estiveram sempre entre os países que apresentaram maior crescimento, além da Rússia, que durante três anos (meados de 2005 até a véspera da crise dos EUA) era o país que mais havia crescido. Por outro lado, é notória a estabilidade dos índices dos EUA e Malásia, tendo sofrido (relativamente) fortes oscilações somente em períodos de crises. Finalmente, o caso da Argentina parece ser o caso intermediário entre os dois grupos supradescritos: no início do período analisado, comportou-se como a Malásia; já após a crise do Brasil, descolou-se e passou a experimentar tendência similar à verificada no grupo dos países emergentes, composto por Brasil, México e Rússia.

6.2. Filtragens univariadas e modelagem das Redes Bayesianas

Será ajustado um modelo ARMA(1,1)-GARCH(1,1) para cada uma das séries a fim de garantir que as relações multivariadas não sejam mascaradas pela autodependência temporal de cada uma das séries. A ordem dos modelos tanto para a média e variância condicional foi fixa por simplicidade, uma vez que o objetivo não é a parcimônia na escolha da quantidade de parâmetros, mas sim que os resíduos sejam estacionários nos dois momentos. Desta maneira, a Tabela 2 apresenta a estimativa dos parâmetros do modelo univariado ajustado33 Todos os resultados, uni e multivariados, desta seção foram obtidos no módulo Finmetrics da verão 8.0 do software S-PLUS versão 8.0. em cada série.

Adotando um nível de singnificância de 5%, pode-se observar, a partir da Tabela 2, que tanto os resíduos padronizados quanto os seus quadrados são estacionários, o que evidencia uma boa escolha dos modelos adotados. Percebe-se, também, que não há a necessidade de se aumentar a ordem do modelo GARCH, uma vez que o menor p-valor obtido dentre as séries para o teste LM (Multiplicadores de Lagrangre) foi de 0,1842 para o Brasil, série mais volátil dentre as analisadas. A série mais estável é a dos EUA, como é possível avaliar pelo maior valor de graus de liberdade estimado (6,94) da distribuição t-Student. Adicionalmente, nota-se que todos os efeitos GARCH mostraram-se significantes, implicando que há forte persistência do aumento de volatilidade.

A partir dos resíduos de cada um dos modelos ARMA(1,1)-GARCH(1,1) univariados, procedeu-se o ajuste das Redes Bayesianas. e, de modo sequencial, estimou-se uma Rede Bayesiana para cada um dos momentos, de tal forma que o período 1 sirva como estrutura a priori para os eventos (verossimilhanças) do período 2. Utilizando o procedimento bayesiano, esta combinação resulta em uma estrutura a posteriori, que servirá como priori para o período subsequente (momento 3) e assim por diante, até o período 11. O tamanho da base imaginária foi 5, de tal forma a minimizar o peso da subjetividade na estrutura inicial da Rede Bayesiana.

A seguir serão apresentadas as figuras dos resultados44 Todos os resultados de procedimentos empíricos deste capítulo foram obtidos no software R versão 2.10.1. das estruturas estimadas por meio do procedimento sequencial de obtenção das Redes Bayesianas. A presença de arcos entre os países denota interdependência entre eles e as setas, a direção da dependência. Já o critério para a detecção de contágio financeiro, em conformidade à definição adotada para este trabalho, será a observação de existência de quaisquer mudanças na estrutura de dependência condicional de um dado país no momento de uma crise, relativamente ao período anterior, com ausência de crise. Isto é, se com o advento de uma crise observa-se a criação ou alteração de sentido de um arco, têm-se evidência de contágio.

Comparando as Figuras 2 e 3, percebe-se que há oito evidências de contágio. Com o advento da crise asiática, houve a criação de arcos da Malásia para a Rússia e também para a Argentina. A partir da Argentina, criou-se um arco para a Rússia e alterou-se a relação de sentido com os EUA e com o Brasil: com a crise, a Argentina passa a afetar os três países. Assim, a Argentina propaga a crise de forma secundária, tornando-se um cobertor de Markov para a Malásia ser d-separada dos EUA e do Brasil, isto é, a Malásia é condicionalmente independente dos EUA e do Brasil, dada a Argentina. Já a relação da Argentina e da Rússia parece ser endógena, uma vez que a Malásia não funciona como condicionador para a independência entre os dois países. É a típica cadeia do tipo forquilha.



Além disso, o México também passou a exercer um papel de destaque: este país passa a ser um nó pai para o Brasil, por meio da criação de um arco entre ambos, e para a Argentina e EUA, a partir de alteração de sentido do arco já existente. A cadeia entre EUA, México, Brasil e Argentina mostra uma forte relação entre estes países neste período de crise, pois o México é um nó forquilha para a Argentina, os EUA e o Brasil, sendo estes dois últimos nós collider para México e Argentina.

Observando as Figuras 4 e 5, nota-se que a crise russa apresentou menos evidências de contágio do que a crise asiática, com 2 novas conexões e alteração de 3 ligações pré-existentes. A Rússia foi a maior propagadora de contaminação, uma vez que ela tornou-se um nó pai para os EUA, ao criar um arco entre estes países, e para a Argentina, com a alteração de sentido do arco. No entanto, é possível notar que os demais países emergentes também sofreram reflexos, uma vez que foi criado um arco entre México (emissor) e EUA, e alterados os sentidos de dois arcos (Malásia - emissor - para a Rússia e Brasil - emissor - para a Argentina). Portanto, a Rússia funciona como um cobertor de Markov entre a Malásia e os EUA e Argentina. Desta forma, a Argentina e os EUA são condicionalmente independentes da Malásia e também entre si dada a Rússia.



Uma cadeia característica das Redes Bayesianas pode ser identificada entre a Rússia, Argentina e Brasil: trata-se de uma cadeia do tipo collider, uma vez que Brasil e Rússia são condicionalmente independentes dada a Argentina. Da mesma maneira, a cadeia entre Rússia, México e EUA, em que a Rússia é condicionalmente independente do México, dados os EUA.

A partir das Figuras 6 e 7 é possível inferir que a crise brasileira apresentou um grau ainda menor de contágio do que as crises já descritas, com apenas quatro situações distintas em relação ao período anterior. Tendo o Brasil como epicentro, este país passou a ser nó pai da Argentina (com alteração de sentido do arco), do México e dos EUA, de modo que para estes dois últimos, criaram-se arcos direcionais. Adicionalmente, foi criado um arco da Rússia em direção ao México, de tal forma que o Brasil e a Rússia tornam-se condicionalmente independentes entre si, dado o México, que é um nó collider. Este fato evidencia que a propagação ficou restrita, com exceção da Rússia, a apenas um grupo de países, sem que houvesse propagação secundária.



Por meio das Figuras 8 e 9, nota-se que a crise argentina mostrou um isolamento da Argentina, evidenciado pela exclusão de todos os arcos, à exceção de sua ligação com a Rússia, que já existia antes da ocorrência da crise e, portanto, não evidencia um contágio financeiro.



Esta foi a crise com menor proporção, visto que a única evidência de contágio foi a alteração de sentido do arco entre EUA e Brasil, tendo os EUA como nó pai. Como a única evidência de contágio desta crise não está na Argentina, faz-se necessária uma conjectura acerca desta ocorrência. Uma possível explicação para a existência deste contágio é a desconfiança dos investidores nos mercados argentino e de seus parceiros comerciais. Desta maneira, os investidores optaram por realocar seus investimentos para títulos mais seguros, como os do tesouro americano, em detrimento dos papéis especulativos na bolsa brasileira.

A crise do subprime, de acordo com as Figuras 10 e 11, mostrou-se a maior propagadora de contágio financeiro durante o período analisado, corroborando a opinião da imprensa especializada em Economia de que se tratou de uma das piores crises da história.55 Diversas publicações nacionais e internacionais da imprensa apresentam citações similares, entre outras: reportagem da edição de 10/mar/2009 no sítio da BBC na internet, a edição de 18/set/2008 do diário The Wall Street Journal e, no Brasil, um artigo de 09/jul/2010 da revista Veja. Como mostra a Figura 10, os EUA, considerados o epicentro desta crise, já eram bastante interligados com os outros mercados. Apesar de serem, tradicionalmente, receptores de crises (como já comentado anteriormente, os EUA aparecem como contaminados nas crises asiática, russa e brasileira), durante esta crise os EUA são o principal emissor, tendo como receptores o Brasil, a Argentina, o México e a Rússia, todos com alteração de sentido do arco em relação ao período anterior.



Algumas contaminações secundárias puderam ser observadas, a maioria com alteração de sentido do arco. O México passou a propagar para a Rússia e Argentina; O Brasil também tornou-se responsável por propagar para a Argentina e para a Rússia. Todavia, como é possível perceber pela teoria das Redes Bayesianas, tanto o Brasil quanto o México não se tornaram cobertores de Markov entre EUA e o grupo formado por Argentina e Rússia. Desta maneira, estes três países não são d-separados por Brasil e México, de tal forma que essa propagação foi causada diretamente pelos EUA e esses contágios podem ser considerados endógenos.

Finalmente, contaminações indiretas ocorreram. A Malásia pode ser considerada condicionalmente independente dos EUA, dadas as transmissões a partir da Argentina e da Rússia, sendo esses dois países cobertores de Markov entre Malásia e EUA, que são, portanto, d-separados.

Uma característica que pode ser identificada nas Redes Bayesianas mostradas nas Figuras 2 a 12 é a forte interligação entre os mercados em períodos posteriores a crises financeiras, sugerindo a existência de preferência por diversificação de portfólio. Outros fatores que podem ter colaborado com esse fenômeno são o aumento do grau de abertura dos mercados financeiros dos países analisados durante o período considerado, e avanços recentes nos meios de comunicação e de pagamento, facilitando a obtenção de informações e a realização de transações entre países.


 












A seguir, será feito um resumo dos contágios detectados pela metodologia das Redes Bayesianas.

O corpo da Tabela 3 está preenchido com os períodos de crises financeiras, em conformidade com as descrições apresentadas na Tabela 1. A partir do resumo apresentado nesta tabela, percebe-se que houve evidências de contágio financeiro para todos os pares de países, com a notória exceção dos pares formado pela Malásia e pelo grupo Brasil, México e EUA.

Finalmente, o país mais envolvido com contágios financeiros foi a Argentina, com 12 evidências ao todo (4 como emissor e 8 como receptor), seguida pela Rússia, com 10 contaminações (4 como emissor e 6 como receptor), pelo Brasil com 10 (6 como emissor e 4 como receptor) e pelos EUA também com 10 (5 como emissor e 5 como receptor). O México esteve envolvido em 9 situações de contágio (6 como emissor e 3 como receptor) e a Malásia em apenas 5 (3 como emissor e 2 como receptor). Esta consolidação demonstra que o grupo formado por Brasil, Argentina, México e EUA foi responsável por 73,2% dos contágios identificados (dos quais 75% como emissores) e, portanto, são mercados fortemente interligados.

7. COMENTÁRIOS FINAIS

Neste trabalho buscou-se modelar a estrutura de interdependência entre mercados financeiros de uma maneira distinta da usualmente abordada pela literatura clássica do tema, utilizando Redes Bayesianas. Nota-se que as Redes Bayesianas fornecem, de um modo geral, uma boa aderência à realidade, uma vez que encontram grande respaldo nas descrições das crises apresentadas na literatura. Desta forma, esta metodologia constitui-se na principal contribuição acadêmica deste trabalho.

Com relação aos aspectos de modelagem encontrados no presente trabalho, após a análise descritiva das séries realizou-se, em cada uma delas, uma filtragem univariada a fim de eliminar eventuais distorções que poderiam atrapalhar as estimativas obtidas pelo modelo de Redes Bayesianas.

Visando encontrar um condicionamento ótimo para a propagação de crises nos mercados, buscou-se a metodologia das Redes Bayesianas. Com os períodos de crise bem definidos e método calcado na teoria de inferência bayesiana, executou-se uma análise sequencial, em que as realidades que precediam períodos de crise foram consideradas situações a priori para os eventos (verossimilhanças). Desta combinação resulta a nova realidade (a posteriori), que serve como priori para o período subsequente e assim por diante. Os resultados apontaram para grande interligação entre os mercados e diversas evidências de contágio em períodos de crise financeira, com causadores bem definidos.

Destaca-se a impossibilidade de decretar relações de causa e efeito nas evidências encontradas neste trabalho, uma vez que são inúmeros os motivos (sejam eles objetivos, como taxas de câmbio ou juros, ou subjetivos, como a confiança de investidores) que podem influenciar na volatilidade dos índices de bolsas de valores, e qualquer que seja a causa, esta seria considerada uma variável oculta para a Rede Bayesiana. Desta maneira, é preciso ter cautela ao realizar inferências sobre a causalidade das redes aqui apresentadas, sendo esta a principal limitação deste estudo.

BIBLIOGRAFIA

Abbara, O. M. F. (2009). Modelagem de dependência em séries financeiras multivariadas. Dissertação de mestrado, Unicamp, Campinas.

Bessler, D. A. & Yang, J. (2003). The structure of interdependence in international stock markets. Journal of International Money and Finance, 22:261-287.

Boettcher, S. G. (2004). Learning Bayesian networks with mixed variables. Tese de Doutorado, Aalborg University, Dinamarca.

Boettcher, S. G. & Dethlefsen, C. (2003). Deal: A package for learning bayesian networks. Journal of Statistical Software, 8(20):1-40.

Chang, R. & Majnoni, G. (2002). Financial crises, fundamentals, beliefs, and financial contagion. European Economic Review, 46:801-808.

Chollete, L., de la Peña, V., & Lu, C. (2005). Comovement of international financial markets. Working paper, Columbia University.

Corsetti, G., Pericoli, M., & Sbracia, M. (2005). Some contagion, some interdependence: More pitfalls in tests of financial contagion. Journal of International Money and Finance, 24:1177-1199.

DeGroot, M. H. (1970). Optimal Statistical Decisions. McGraw-Hill, New York.

Dornbusch, R., Park, Y. C., & Claessens, S. (2000). Contagion: Understanding how it spreads. The World Bank Observer, 15(2):177-197.

Dornbusch, R., Park, Y. C., & Claessens, S. (2001). Contagion: Why crises spread and how this can be stopped. Washington: Springer, In: CLAESSENS, S.; FORBES, K. (Ed.). International Financial Contagion.

Filetti, J. P., Hotta, L. K., & Zevallos, M. (2008). Analysis of contagion in emerging markets. Journal of Data Science, 6:601-626.

Forbes, K. & Rigobon, R. (2002). No contagion, only interdependence: Measuring stock market comovements. The Journal of Finance, LVII(5):2223-2261.

Granger, C. W. J. (1969). Investigating casual relationships by econometric models and cross-spectral methods. Econometrica, 37:424-438.

Heckerman, D., Geiger, D., & Chickering, D. (1995). Learning bayesian networks: The combination of knowledge and statistical data. Machine Learning.

Hernández, L. & Valdés, R. O. (2001). What drives contagion: Trade, neighborhood, or financial links? IMF Working Paper, 01/29:1-22.

Lombardi, I. T., Galvão, A. B., Laurini, M. P., & Valls Pereira, P. L. (2004). A dinâmica do contágio entre Brasil e Argentina. Working paper IBMEC-SP.

Lopes, H. F. & Migon, H. S. (2002). Comovements and contagion in emergent markets: Stock indeexes volatilities. case studies on bayesian statistics. Case Studies On Bayesian Statistics VI, 167:285-300.

Marçal, E. F. & Pereira, P. L. V. (2008). Testing the hypothesis of contagion using multivariate volatility models. Brazilian Review of Econometrics, 28(2):191-216.

Morettin, P. A. (2008). Econometria Financeira. Edgard Blücher, São Paulo.

Neapolitan, R. E. (2004). Learning Bayesian Networks. Upper Saddle River: Pearson, New Jersey.

Rodriguez, J. C. (2007). Measuring financial contagion: A Copula approach. Journal of Empirical Finance, 14:401-423.

Viale, A. M., Kolari, J. W., Bessler, D., & Pynnönen, S. (2008). On the structure of financial contagion: Econometric tests and mercosur evidence. Anais do LACEA-LAMES, Rio de Janeiro, Brasil.

  • Abbara, O. M. F. (2009). Modelagem de dependência em séries financeiras multivariadas. Dissertação de mestrado, Unicamp, Campinas.
  • Bessler, D. A. & Yang, J. (2003). The structure of interdependence in international stock markets. Journal of International Money and Finance, 22:261-287.
  • Boettcher, S. G. (2004). Learning Bayesian networks with mixed variables Tese de Doutorado, Aalborg University, Dinamarca.
  • Boettcher, S. G. & Dethlefsen, C. (2003). Deal: A package for learning bayesian networks. Journal of Statistical Software, 8(20):1-40.
  • Chang, R. & Majnoni, G. (2002). Financial crises, fundamentals, beliefs, and financial contagion. European Economic Review, 46:801-808.
  • Chollete, L., de la Peña, V., & Lu, C. (2005). Comovement of international financial markets. Working paper, Columbia University.
  • Corsetti, G., Pericoli, M., & Sbracia, M. (2005). Some contagion, some interdependence: More pitfalls in tests of financial contagion. Journal of International Money and Finance, 24:1177-1199.
  • DeGroot, M. H. (1970). Optimal Statistical Decisions McGraw-Hill, New York.
  • Dornbusch, R., Park, Y. C., & Claessens, S. (2000). Contagion: Understanding how it spreads. The World Bank Observer, 15(2):177-197.
  • Dornbusch, R., Park, Y. C., & Claessens, S. (2001). Contagion: Why crises spread and how this can be stopped Washington: Springer,
  • In: CLAESSENS, S.; FORBES, K. (Ed.). International Financial Contagion.
  • Filetti, J. P., Hotta, L. K., & Zevallos, M. (2008). Analysis of contagion in emerging markets. Journal of Data Science, 6:601-626.
  • Forbes, K. & Rigobon, R. (2002). No contagion, only interdependence: Measuring stock market comovements. The Journal of Finance, LVII(5):2223-2261.
  • Granger, C. W. J. (1969). Investigating casual relationships by econometric models and cross-spectral methods. Econometrica, 37:424-438.
  • Heckerman, D., Geiger, D., & Chickering, D. (1995). Learning bayesian networks: The combination of knowledge and statistical data. Machine Learning
  • Hernández, L. & Valdés, R. O. (2001). What drives contagion: Trade, neighborhood, or financial links? IMF Working Paper, 01/29:1-22.
  • Lombardi, I. T., Galvão, A. B., Laurini, M. P., & Valls Pereira, P. L. (2004). A dinâmica do contágio entre Brasil e Argentina. Working paper IBMEC-SP
  • Lopes, H. F. & Migon, H. S. (2002). Comovements and contagion in emergent markets: Stock indeexes volatilities. case studies on bayesian statistics. Case Studies On Bayesian Statistics VI, 167:285-300.
  • Marçal, E. F. & Pereira, P. L. V. (2008). Testing the hypothesis of contagion using multivariate volatility models. Brazilian Review of Econometrics, 28(2):191-216.
  • Morettin, P. A. (2008). Econometria Financeira Edgard Blücher, São Paulo.
  • Neapolitan, R. E. (2004). Learning Bayesian Networks Upper Saddle River: Pearson, New Jersey.
  • Rodriguez, J. C. (2007). Measuring financial contagion: A Copula approach. Journal of Empirical Finance, 14:401-423.
  • Viale, A. M., Kolari, J. W., Bessler, D., & Pynnönen, S. (2008). On the structure of financial contagion: Econometric tests and mercosur evidence. Anais do LACEA-LAMES, Rio de Janeiro, Brasil
  • 1
    Para ver outras definições de contágio, acessar o sítio do Banco Mundial, disponível em:
  • 2
    Todas as informações foram obtidas no sítio
    http://finance.yahoo.com/, acessado em julho de 2010.
  • 3
    Todos os resultados, uni e multivariados, desta seção foram obtidos no módulo
    Finmetrics da verão 8.0 do software
    S-PLUS versão 8.0.
  • 4
    Todos os resultados de procedimentos empíricos deste capítulo foram obtidos no software R versão 2.10.1.
  • 5
    Diversas publicações nacionais e internacionais da imprensa apresentam citações similares, entre outras: reportagem da edição de 10/mar/2009 no sítio da BBC na internet, a edição de 18/set/2008 do diário The Wall Street Journal e, no Brasil, um artigo de 09/jul/2010 da revista Veja.
  • Datas de Publicação

    • Publicação nesta coleção
      09 Ago 2013
    • Data do Fascículo
      Jun 2013
    Fundação Getúlio Vargas Praia de Botafogo, 190 11º andar, 22253-900 Rio de Janeiro RJ Brazil, Tel.: +55 21 3799-5831 , Fax: +55 21 2553-8821 - Rio de Janeiro - RJ - Brazil
    E-mail: rbe@fgv.br