Sobre o Uso da Persistência de Previsões Determinísticas de Vazão para a Tomada de Decisão

On the Use of Deterministic Streamflow Forecasts Persistence for Decision Making

Resumo

Previsões de vazão de médio prazo, que são geradas utilizando um modelo chuva-vazão forçado por previsões numéricas de precipitação, são muito úteis para a antecipação de eventos hidrológicos. Tradicionalmente estas previsões eram geradas de forma determinística, porém na última década o movimento por geração de previsões de vazão por conjunto vem ganhando força. No meio termo entre estas duas técnicas (determinísticas e por conjunto) o uso da informação de persistência de previsões determinísticas de vazão para a tomada de decisões, usando ela como uma medida do grau de incerteza dos resultados aparenta ser uma estratégia interessante. Esta pesquisa investiga justamente estes possíveis benefícios do uso da persistência, das previsões como informação de incerteza. Os resultados sugerem que o uso da previsão com base na persistência apresenta vantagens sobre a previsão simples determinística nos horizontes de previsão mais distantes.

Palavras chave:
previsão hidrológica; persistência; previsão por conjunto

Abstract

Medium-range streamflow forecasts, which are generated using rainfall-runoff models forced by numerical precipitation predictions, are very useful for the anticipation of hydrological events. Traditionally these predictions are deterministic, but in the last decade the movement for generating ensemble streamflow forecasts has been gaining strength. In the middle ground between these two techniques (deterministic and ensembles) the use of persistence information from deterministic streamflow forecasts for decision making, using it as an uncertainty measurement, appears to be an interesting strategy. This research investigates precisely these possible benefits of using forecasts based on persistence as uncertainty information measurement. Results suggest that the use of forecasts based on persistence have advantages over single deterministic forecasts on the higher lead times.

Keywords:
hydrological forecasting; persistence; ensemble forecasting

1. Introdução

Uma previsão de vazão é uma estimativa do volume de água que deve passar no futuro em determinado ponto de uma bacia hidrográfica ao longo de um determinado horizonte de previsão. Este tipo de informação é muito útil para a antecipação de eventos como cheias e secas, e para a operação de obras hidráulicas, como barragens, canais de drenagem e diques de proteção. Um dos principais usos de previsões de vazão no Brasil é para a operação de reservatórios de usinas hidrelétricas.

Previsões de vazão consideradas como de médio prazo são geralmente feitas utilizando modelos hidrológicos de transformação chuva-vazão. Esses modelos hidrológicos utilizam a informação de chuva quantitativa, além da possibilidade da utilização de outras variáveis climáticas, provindas de modelos meteorológicos de previsão do tempo, para originar previsões entre 3 e 15 dias de horizonte (Tucci et al., 2008; Bravo et al., 2009; Sene, 2010; Meller et al., 2014; Siqueira, 2015).

Até cerca de duas décadas atrás previsões de vazão de médio prazo eram predominantemente feitas de forma determinística, estimando apenas uma possível trajetória de futuro para a vazão a partir de uma única saída de um modelo meteorológico usado para alimentar um modelo hidrológico (Cloke e Pappenberger, 2009; Fan, 2015). Mais recentemente, uma série de estudos tem demonstrado que existem mais benefícios no uso de previsões de vazão por conjunto, ou por ensemble, baseadas geralmente em múltiplas rodadas de um modelo hidrológico forçado por um conjunto de previsões meteorológicas (Georgakakos e Krzysztofowicz, 2001; Cloke e Pappenberger, 2009; Pappenberger e Brown, 2013; Fan et al., 2014a; Meller et al., 2014).

Esta abordagem probabilística é comum há mais tempo na meteorologia, pois a natureza caótica das equações que descrevem a atmosfera faz com que a previsão do tempo tenha muitas incertezas (Lorenz, 1963, 1965, 1969). Mas somente recentemente ela vem sendo aplicada na hidrologia, e a investigação sobre seus benefícios é um tema atual de pesquisa, bem como o desenvolvimento de sistemas de previsão de vazão por conjunto é uma atividade técnica recente (Cloke e Pappenberger, 2009; Pappenberger e Brown, 2013; Meller et al., 2014; Fan et al., 2014a).

Assim, muitos sistemas de previsão de vazão de médio prazo da atualidade trabalham com previsões de vazão determinísticas, e não existe uma expectativa clara sobre quando deve ocorrer a substituição desses por sistemas baseados em técnicas de previsão por conjunto. Pois além do uso de previsões por ensemble ser relativamente inovador, ele também requer mais capacidade computacional, mais tempo de processamento, tecnologias que possibilitem o tratamento de grande quantidade de informação, e maior aptidão para a interpretação dos resultados.

Neste cenário atual, onde previsões determinísticas ainda são amplamente utilizadas, existe pouco uso das incertezas nas previsões como ponderador para a tomada de decisões, uma vez que ela não é quantificada. Na geração de previsões de vazão determinísticas é comum que a cada nova previsão gerada os prognósticos para o futuro mudem em função de alterações na previsão meteorológica (Pappenberger et al., 2011; Fan et al., 2015). Todavia, muitos eventos meteorológicos são por vezes previstos com boa antecedência, mesmo que com alguma imprecisão em termos de localização, intensidade, e timing (resposta no momento certo). Esses eventos tendem a aparecer nas previsões hidrológicas emitidas continuamente (e.g. diariamente) com respostas similares em termos de alteração de vazão. Quando um desses eventos é previsto com boa antecedência e se mantém por várias previsões consecutivas, pode-se dizer que ele é persistente. Ou, que a previsão possui uma boa persistência. Outras denominações dadas para estes casos são que a previsão está “consistente” com a anterior, ou que ela “converge” com a anterior (Pappenberger et al., 2011).

Por outro lado, quando as previsões mudam muito, ela é geralmente chamada de pouco persistente, pouco consistente, ou diz-se que ela não está convergindo para um mesmo resultado. A Fig. 1 apresenta estes conceitos de persistência de forma esquemática.

Figura 1
Exemplo esquemático de a) previsão persistente e b) previsão pouco persistente. A linha azul mostra a vazão observada e as coloridas as previsões. A linha vermelha horizontal é o limiar de cheia.

Assim, o uso desta informação de persistência das previsões de vazão para a tomada de decisões, usando ela como uma medida do grau de incerteza dos resultados, aparenta ser uma estratégia possível. Até mesmo por que é um tipo de tática que pode ser aplicada imediatamente, simplesmente analisando não apenas a previsão mais recente, mas também previsões anteriores.

Porém, apesar da aparente facilidade, não existem investigações que tenham feito uma avaliação concreta se o uso deste tipo de informação baseada na persistência de previsões determinísticas é realmente benéfico se comparado apenas ao uso de uma única previsão determinística mais atual. Por este motivo, talvez, esta prática também não seja muito adotada por usuários ou previsores operacionais.

Sendo assim, esse estudo se enquadra nessa lacuna, e tem como objetivo avaliar de forma quantitativa (através de métricas) se existe algum benefício no uso de previsões de dias anteriores junto com a previsão mais atual para agregar qualidade e persistência a previsões de vazão.

Para tanto, foi adotada uma estratégia que consistiu em montar previsões por conjunto agrupando uma previsão mais atual e mais algumas do passado, criando um ensemble de previsões de vazão baseado na persistência. Depois, foram utilizadas algumas métricas de qualidade e consistência para verificar se este ensemble é melhor do que a previsão determinística mais atual sozinha. Com isto foi possível traduzir para números o benefício aparentemente subjetivo do uso de previsões do passado, e comparar se impressões como a “previsão está mudando muito” ou a “previsão está mudando pouco” são uma informação útil que pode ser considerada na hora da tomada de decisão.

2. Métodos

Nesta pesquisa foram utilizados dados do sistema de previsões de vazão experimental (para realização de pesquisas científicas) da região do Alto Rio Uruguai. Este sistema é apresentado por Fan et al. (2014b) e Fan et al. (2012) e consiste em uma plataforma operacional de previsão de vazões que é rodada diariamente gerando previsões hidrológicas para locais de interesse na bacia. Neste caso, os dois locais de maior interesse são as usinas de Barra Grande e de Campos Novos, respectivamente nos rios Pelotas e Canoas. A Fig. 2 apresenta a abrangência do sistema, com destaque para as bacias onde os resultados são focados.

Figura 2
Bacia do alto Uruguai (abrangência do Sistema de previsão), com destaque para as bacias do rio Pelotas e do Rio Canoas.

O sistema é baseado no modelo hidrológico MGB-IPH (Collischonn e Tucci, 2001; Fan e Collischonn, 2014; Fan et al., 2014a), roda em passo de tempo horário, e gera previsões com até dez dias de antecedência. O modelo MGB-IPH é um modelo semi-distribuído, em que a bacia hidrográfica é sub-dividida em unidades menores utilizando ferramentas de geoprocessamento em uma etapa de pre-processamento dos dados. A variabilidade espacial da precipitação no modelo é considerada através da interpolação dos dados de postos pluviométricos para o centróide de cada minibacia. Nesse processo é utilizado o método do inverso do quadrado da distância. A variabilidade dos solos quanto ao tipo e uso é considerada através da utilização de planos de informação, determinados a partir de imagens de satélite ou mapas digitalizados. A variabilidade espacial do relevo é considerada através da utilização do MDE do SRTM.

O tipo de vegetação e uso do solo dentro de cada minibacia é categorizado dentro de uma ou mais classes utilizando a abordagem de Unidades de Resposta Hidrológica-URH.As URH's são áreas de comportamento hidrológico similar, definidas pela combinação dos mapas de tipo e uso do solo. Dessa forma, o balanço hidrológico é calculado para cada URH em cada minibacia e as vazões estimadas em cada URH são posteriormente somadas e propagadas até a rede de drenagem.

O balanço de água no solo é realizado utilizando um método baseado na geração de escoamento superficial por excesso de capacidade de armazenamento, porém com uma relação probabilística entre a umidade do solo e a fração de área de solo saturada. A evapotranspiração é estimada pelo método de Penman-Monteith.

A propagação de vazão é realizada em duas etapas. Em primeiro lugar é realizada a propagação de vazão no interior da minibacia, utilizando-se modelos de reservatórios lineares simples. Cada minibacia tem três reservatórios lineares que representam a propagação dos escoamentos superficial, subsuperficial e subterrâneo. A vazão de saída dos três reservatórios é somada e propagada pela rede de drenagem utilizando o método Muskingum-Cunge.

Embora alguns processos sejam representados de forma empírica, o modelo hidrológico conta com uma forte base física, o que fortalece a relação entre os parâmetros e as características físicas da bacia. Uma descrição mais detalhada do modelo é apresentada por Collischonn e Tucci (2001) e Fan e Collischonn (2014).

Para alimentar o modelo hidrológico dentro do horizonte de previsão são usados diariamente os dados do modelo ETA-15 km (Chou, 1996; Chou et al., 2001) fornecidos pelo CPTEC-INPE (Centro de Previsão de Tempo e Estudos Climáticos - Instituto Nacional de Pesquisas Espaciais). Os dados do ETA-15 km possuem horizonte de previsão de chuva de 7 dias, e para a preparação da previsão hidrológica de até 10 dias os últimos três dias da previsão são incluídos com chuva nula (zero) no modelo hidrológico. Os dados do modelo meteorológico estão disponíveis de 3 em 3 h, e são desagregados para 1 h para serem usados como entrada no modelo hidrológico.

Para a realização dos testes aqui apresentados foram utilizadas as previsões hidrológicas salvas no banco de dados do sistema de previsão entre as datas de 07/08/2014 até 27/12/2014 para o exutório da sub-bacia hidrográfica do rio Pelotas, no ponto da usina hidrelétrica de Barra Grande. Neste local, também existem dados de vazão afluente disponíveis para comparar os resultados das previsões.

As previsões hidrológicas salvas no banco de dados do sistema foram processadas para compor previsões de vazão por conjunto, que teoricamente permitem quantificar o benefício da consideração das previsões prévias na tomada de decisão.

Foram compostos os seguintes conjuntos e utilizada a seguinte denominação para as análises:

• Previsão simples: previsão determinística realizada às 8 h da manhã de cada dia;

• Previsão 3 dias: previsão por conjunto dada pela previsão realizada no dia, mais as outras duas previsões hidrológicas dos dois dias anteriores, totalizando uma previsão com três membros com horizonte de 8 dias;

• Previsão 4 dias: previsão por conjunto dada pela previsão realizada no dia, mais as três previsões hidrológicas dos três dias anteriores, totalizando uma previsão com quatro membros com horizonte variável de 7 dias;

• Previsão 5 dias: previsão por conjunto dada pela previsão realizada no dia, mais as quatro previsões hidrológicas dos quatro dias anteriores, totalizando uma previsão com cinco membros com horizonte de 6 dias;

• Previsão ponderada 1: previsão por conjunto dada pela previsão realizada no dia, mais as quatro previsões hidrológicas dos quatro dias anteriores. Contudo, foi dado um peso de 50% à previsão do dia, 20% para a previsão do dia anterior, e 10% para cada uma das outras três previsões dos dias anteriores, no cálculo das métricas;

• Previsão ponderada 2: previsão por conjunto dada pela previsão realizada no dia, mais as quatro previsões hidrológicas dos quatro dias anteriores. Contudo, foi dado um peso de 40% à previsão do dia, 30% para a previsão do dia anterior, e 10% para cada uma das outras três previsões dos dias anteriores, no cálculo das métricas;

• Previsão ponderada 3: previsão por conjunto dada pela previsão realizada no dia, mais as quatro previsões hidrológicas dos quatro dias anteriores. Contudo, foi dado um peso de 40% à previsão do dia, 20% para a previsão do dia anterior, 20% para a previsão emitida dois dias antes, e 10% para cada uma das outras duas previsões dos dias anteriores, no cálculo das métricas;

A Fig. 3 apresenta um exemplo de forma gráfica de como estes conjuntos foram compostos, onde no eixo vertical é mostrado o dia em que a previsão é emitida, e no eixo horizontal são mostrados os horizontes da previsão também em dias, para simplificar. As células pintadas representam os horizontes em que existe informação referente à determinada previsão emitida.

Figura 3
Exemplo de como as previsões por conjunto foram computadas.

No exemplo, a previsão simples é uma previsão determinística emitida no dia 13/08/2014, com horizonte de 10 dias, portanto, até o dia 22/08/2014. A previsão de 3 dias é composta pela previsão do dia 13/08/2014 mais as previsões dos dias 12/08/2014 e 11/08/2014, e seu horizonte é de 8 dias (até o dia 20/08/2014), que corresponde ao horizonte da previsão mais antiga. A previsão de 4 dias é composta pela previsão do dia 13/08/2014 mais as três previsões dos dias 12/08/2014, 11/08/2014 e 10/08/2014, e seu horizonte é de 7 dias (até o dia 19/08/2014). A previsão de 5 dias e as previsões ponderadas (que usam os mesmos dados da previsão de cinco dias) é composta pela previsão do dia 13/08/2014 mais as quatro previsões dos dias 12/08/2014, 11/08/2014, 10/08/2014 e 09/08/2014, e seu horizonte é de 6 dias (até o dia 18/08/2014).

Estas previsões foram montadas e avaliadas em comparação com os dados de vazões observadas. Cada um dos conjuntos gerados foi comparado com as observações existentes. As comparações foram feitas em passo de tempo horário, pois este é o passo de tempo em que as previsões são geradas e em que os dados observados estão disponíveis.

Para a avaliação do desempenho das previsões foram realizadas análises visuais dos hidrogramas e computadas cinco métricas comumente usadas na avaliação de sistemas de previsão determinísticos e por conjunto (Brown et al., 2010; Bradley e Schwartz, 2011; Hersbach, 2000; Jolliffe e Stephenson; 2012; Stanski et al., 1989; Wilks, 2006). São elas: Mean Continuous Probability Score (CRPS), Brier Score (BS), Diagrama ROC (Relative Operative Characteristic), ROC Score, e Forecast Convergence Score (FCS).

Detalhes sobre como estas métricas são calculadas e exemplos de seu uso podem ser amplamente encontrados na literatura (Brown et al., 2010; Bradley e Schwartz, 2011; Hersbach, 2000; Jaun e Ahrens, 2009; Jolliffe e Stephenson; 2012; Stanski et al., 1989; Wilks, 2006). A seguir, é feita uma breve introdução sobre o significado de cada uma das métricas e como seus resultados devem ser interpretados:

• Brier Score (BS): é uma métrica para a avaliação de eventos dicsretos e que considera a distribuição das previsões por conjunto. O BS mede o erro médio quadrático da probabilidade de uma previsão para a ocorrência de um evento determinado, como a excedência de um limiar de vazão que define uma cheia. As unidades de erro são dadas em probabilidades ao quadrado. Uma previsão perfeita, que sempre acerta a ocorrência ou a não ocorrência do limiar definido, sempre terá um BS igual à zero.

• Mean Continuous Ranked Probability Score (CRPS médio): é uma estatística que resume a qualidade de uma previsão probabilística contínua em um único número, através da comparação da integral dos quadrados das diferenças entre a função de probabilidades acumuladas das previsões e respectivas observações. O valor numérico do CRPS médio não é diretamente interpretável em termos de erro na previsão por si só, mas pode ser utilizado para fins comparativos entre duas previsões por conjunto ou entre previsões por conjunto e determinísticas. Este último caso se deve ao fato dos seus valores serem exatamente iguais ao Erro Médio Absoluto (EMA) para previsões determinísticas. Quanto mais próximo o valor de CRPS médio estiverem de zero, melhores são os resultados das previsões.

• Relative Operating Characteristic diagram (diagrama ROC): também mede a qualidade de uma previsão para a ocorrência de um evento discreto, como a excedência de um limiar de uma cheia. Para a sua composição, em cada um dos horizontes de previsão são calculados dois índices: o POD (Probabilidade de detecção) e o POFD (probabilidade de falsa detecção). Os valores desejados de POD para um sistema perfeito são iguais a unidade. Ou seja, que o modelo sempre acerte a ocorrência do limiar. Da mesma forma, os valores desejados para POFD são iguais à zero. Ou seja, que o modelo nunca emita alarmes falsos. No caso de previsões por ensemble, os índices de POD e POFD são calculados para diferentes percentis que compõem a previsão por conjunto.

• ROC Score: este score consiste na sumarização dos resultados do diagrama ROC para um único número. Este número consiste na área formada entre a os pontos do diagrama ROC e uma linha de quarenta e cinco graus que corta o diagrama. O valor obtido por esta área é então comparado com o valor obtido por uma referência. Valores maiores do que zero indicam que o sistema comparado é melhor do que a referência. Valores iguais a zero indicam que é igual a referência. E valores menores indicam que o sistema testado é menor do que a referência.

• Forecast Convergence Score (FCS): O FCS usado neste trabalho é uma medida de consistência entre previsões consecutivas apresentada por Pappenberger et al. (2011). O FCS mostrado pelos autores é baseado no Brier Score (BS), porque ele é uma medida relacionada com a ocorrência de um evento discreto (ultrapassagem de um limiar) e sua unidade de medida é dada pela diferença ao quadrado das probabilidades de ocorrência do evento. Porém, a comparação é feita entre previsões com dois instantes de tempo iniciais diferentes. No Brier Score ela é feita com a observação. O raciocínio por trás do FCS é bem simples: quando duas previsões consecutivas indicam a mesma decisão em termos de probabilidades (por exemplo, 10% de chance de ultrapassagem do limiar) elas são consistentes, e, portanto, o valor do FCS é zero. Contudo, caso elas apresentem uma diferença entre suas decisões, o valor do FCS será maior do que zero e proporcional às diferenças nas probabilidades indicadas elevadas ao quadrado. Assim, quanto mais próximas de zero for o valor do FCS, mais consistentes são as previsões consecutivas entre si. É importante destacar que o FCS não é uma métrica de avaliação de qualidade das previsões, ao contrário das demais citadas até o momento, não sendo baseada em dados observados, apenas nas próprias previsões. Dessa forma, o FCS é uma métrica de medição de consistência, ou convergência, das previsões.

No caso das métricas que necessitam de um limiar para serem computadas (BS, Curvas ROC, ROC Score, e FCS) foi utilizado o limiar de vazão de 1000 m³.s⁻¹, pois este é o limite de atenção adotado na operação do sistema de previsão para a definição se a cheia deve ser acompanhada mais de perto. Este limiar é tratado neste trabalho como “limiar de atenção”. Para o caso do ROC Score, a previsão de referência usada foi a previsão determinística mais atual, a chamada previsão simples.

3. Resultados

Da Fig. 4 até a Fig. 6, a seguir, são apresentas análises visuais de três eventos de previsão de cheias do sistema dentro do período testado.

Figura 4
Previsão no dia 29/08/2014 às 8 h.

Na Fig. 4 é apresentado o conjunto de previsões feitas no dia 29/08/2014 às 08 h. A linha azul apresenta os dados observados, onde uma cheia com pico de aproximadamente 1700 m³.s⁻¹ ocorreu no dia 02/09/2014, quatro dias após o início da previsão. A linha preta mostra a previsão feita no próprio dia 29/08/2014 às 08 h. As demais linhas coloridas apresentam as previsões feitas nos quatro dias anteriores, já adaptadas na forma de uma previsão por conjunto, com início mostrado também a partir do dia 29/08/2014 às 08 h.

Neste exemplo nota-se que a previsão atual (linha preta), sugere a ocorrência de uma cheia entre os dias 02 e 03/09. Contudo, a cheia não chega até o valor de 1000 m³.s⁻¹ (limiar de atenção). A previsão feita um dia antes (linha verde) e a previsão feita quatro dias antes (linha vermelha) não indicam a ocorrência do evento. Contudo, as previsões feitas dois e três dias antes indicam a ocorrência de uma cheia, onde a previsão feita três dias antes inclusive indica a ocorrência de um pico muito próximo do observado.

Assim, caso a decisão sobre a ocorrência limiar de 1000 m³.s⁻¹ fosse baseada apenas nas previsões mais atuais, provavelmente ela deixaria de ser considerada desde dois dias antes, pois nenhuma previsão estava anunciando a ocorrência do evento mais. Contudo, caso o conjunto de previsões composto pelos dias anteriores seja levado em conta, esta decisão sobre manter o sistema em estado de atenção poderia não ser revogada. Pois a análise das previsões indica que elas estão mudando muito (ou seja, elas podem possuir um elevado grau de incerteza) e um dos membros do conjunto ainda indica a possível ocorrência do evento. Assim, uma decisão mais ponderada é possível considerando todo o conjunto.

Na Fig. 5 é apresentado o conjunto de previsões feitas no dia 17/10/2014 às 08 h. A linha azul apresenta os dados observados, onde duas cheias com picos maiores do que 2300 m³.s⁻¹ ocorreram no dia 19/10/2014 e 21/10/2014, respectivamente dois e quatro dias após o início da previsão. A linha preta mostra a previsão feita no próprio dia 17/10/2014 às 08 h. As demais linhas coloridas apresentam as previsões feitas nos quatro dias anteriores, já adaptadas na forma de uma previsão por conjunto, com início mostrado também a partir do dia 17/10/2014 às 08 h.

Figura 5
Previsão no dia 17/10/2014 às 8 h.

Neste segundo exemplo nota-se que a previsão atual (linha preta), até sugere a ocorrência de uma primeira cheia um pouco acima do limiar de 1000 m³.s⁻¹ (mas com pico bem menor que o observado), e não sugere a ocorrência da segunda cheia no período. A previsão feita um dia antes (linha verde), a previsão feita dois dias antes (linha laranja), e a previsão feita três dias antes (linha cinza) indicam com consistência a ocorrência do segundo evento de cheia. E a previsão feita quatro dias antes (linha vermelha) indica a ocorrência também dos dois picos de cheia acima do limiar de 1000 m³.s⁻¹, sendo o primeiro com volume muito próximo do observado.

Assim, caso as decisões dadas pelo sistema fossem baseadas apenas na previsão mais atual, possivelmente apenas um nível de atenção seria mantido devido ao pico atingir valores próximos de 1200 m³.s⁻¹. Contudo, as vazões observadas foram bem maiores do que as previstas na previsão mais atual. E a consideração do conjunto dado pelas previsões mais antigas e a atual abrange os eventos observados. Assim, uma decisão baseada neste conjunto permitiria ponderar as escolhas com base no risco que vem sendo observado. Por exemplo, a possível ocorrência da primeira cheia não seria completamente descartada. E a ocorrência da segunda seria levada seriamente em consideração, pois ela foi prevista de forma consecutiva e crescente durante três dias, e só diminuiu na mais atual.

Na Fig. 6 é apresentado o conjunto de previsões feitas no dia 12/12/2014 às 08 h. A linha azul apresenta os dados observados, onde uma pequena cheia na ordem de 620 m³.s⁻¹ ocorreu no dia 13/12/2014, um dia após o início da previsão. A linha preta mostra a previsão feita no próprio dia 12/12/2014 às 08 h. As demais linhas coloridas apresentam as previsões feitas nos quatro dias anteriores, já adaptadas na forma de uma previsão por conjunto, com início mostrado também a partir do dia 12/12/2014 às 08 h.

Figura 6
Previsão dia 12/12/2014 08 h.

Neste terceiro exemplo o caso é um pouco diferente dos dois exemplos anteriormente mostrados. A previsão atual (linha preta) sugere, com um pequeno deslocamento, a ocorrência da pequena cheia abaixo do limiar de 1000 m³.s⁻¹. As previsões feitas um dia antes (linha verde) e dois dias antes (linha laranja) mostram também uma pequena cheia abaixo do limiar, e com o pico posicionado mais próximo do observado. Já as previsões feitas três dias antes (linha cinza) e quatro dias antes (linha vermelha) indicam a ocorrência de uma cheia acima do limiar de 1000 m³.s⁻¹, tendo a previsão de três dias antes um grande volume.

Assim, caso as decisões dadas pelo sistema fossem baseadas apenas na previsão mais atual, um erro muito grande não seria cometido, já que a previsão é similar às observações. Uma interpretação baseada em todo o conjunto daria maior peso para a não ocorrência de uma grande cheia, já que três dos membros (previsão atual, um dia antes, e dois dias antes) indicam sito. Apesar de dois dos membros apontarem para a possível ocorrência de um elevado pico, o que poderia causar um alarme falso indesejado. Ou seja, a previsão baseada na persistência neste caso é mais útil se considerados apenas as previsões de um e dois dias antes. Apesar do uso da previsão até quatro dias atrás não ser totalmente errada. Adicionalmente, é possível incluir na tomada de decisão o fato de que ela é baseada em uma não ocorrência que é persistente nos cenários mais atualizados, pois as previsões mais recentes são persistentes entre si.

Em resumo, nestes exemplos de conjuntos de previsões foram observadas as seguintes considerações: No primeiro exemplo mostrado (para o dia 29/08/2014) as previsões nos últimos dias antes da previsão atual variaram bastante, sendo isto um indicador de muitas incertezas no futuro, advertindo que a previsão mais atual também poderia ser incerta. Já no segundo exemplo, (para o dia 17/10/2014) as previsões foram muito persistentes sobre a ocorrência da cheia até a previsão mais atual, que foi diferente, sendo isto um indicativo de que talvez não valesse a pena considerar apenas a previsão mais atual. Já no terceiro e último exemplo (para o dia 12/12/2014) as previsões mostram que a previsão mais atual e as duas que foram feitas nos dois dias anteriores são bem consistentes entre si. Sendo isto também um indicativo de que a interpretação das previsões poderia ser baseada nesta tendência de que o evento mostrado pelas mais antigas já possui baixa chance de acontecer, uma vez que as previsões mais recentes concordam com isto. Assim, em todos estes casos o conhecimento das previsões dos dias anteriores mostrou-se benéfico, uma vez que ele deu mais abrangência para a possibilidade de análise dos resultados, e possivelmente permite uma tomada de decisão mais ponderada.

Estas considerações são derivadas das análises visuais dos hidrogramas mostrados. Todavia, esta análise é subjetiva, depende de interpretação, e mostrou apenas alguns exemplos ilustrativos. Para verificar se o uso dos conjuntos baseados nas persistências é mesmo superior ao uso da previsão mais atual individualmente foram calculadas as métricas de desempenho de previsão citadas na metodologia para cada um dos conjuntos citados, e para somente a previsão atual.

Da Fig. 7 até a Fig. 11 são apresentados os resultados de cada uma destas métricas. Os resultados são apresentados e analisados para até 7 dias (168 h) de horizonte de previsão. Acima deste horizonte a maioria das composições analisadas não possui informação. Conforme comentado anteriormente, esta é a limitação das previsões baseadas na persistência.

Figura 7
Brier Score para as previsões utilizando um limiar de 1000 m³/s.

Os resultados de Brier Score (Fig. 7) têm duas interpretações importantes. O primeiro é que todas as previsões por conjunto construídas apresentaram valores menores (entre 0,05 e 0,1) do que a previsão simples (entre 0,1 e 0,18) a partir do horizonte de previsão de aproximadamente 48 h até 168 h. Isto quer dizer que a consideração da persistência na detecção do limiar de 1000 m³.s⁻¹ resulta em menores erros em termos de BS do que a consideração de apenas a previsão mais atual, independente de como o conjunto foi composto.

A segunda interpretação do resultado diz respeito a comparação da forma como os conjuntos foram compostos. Apesar da diferença nos valores ser relativamente pequena, os conjuntos de 4 e 5 dias geralmente apresentaram os menos erros em termos de BS do que as demais composições.

A análise da Curva ROC para o horizonte de 72 h (Fig. 8), utilizado como exemplo, mostra que com as previsões por conjunto baseadas na persistência é possível obter taxas de detecção mais elevadas do que a simples utilização da previsão determinística diária sozinha.

Figura 8
Curva ROC para o horizonte de 72 h, como exemplo.

Com o uso apenas da previsão diária as taxas de detecção são de cerca de 0,12 para taxas de alarmes falsos de aproximadamente 0,05. Já com o uso das previsões por conjunto é possível obter taxas intermediárias, com valores de taxa de detecção de até 0,63, com um incremento nas taxas de alarme falso para 0,22.

A Fig. 9 mostra os resultados do ROC Score, calculados para todos os horizontes de previsão. Esta métrica pode ser encarada como um sumário da curva ROC para todas as múltiplas antecedências.

Figura 9
ROC Score para todos os horizontes de previsão, comparando o desempenho dos conjuntos testados com o desempenho da previsão determinística diária simples.

Os resultados do ROC Score para todos os horizontes de previsão, mostram que, para a detecção do limiar de cheia de 1000 m³.s⁻¹, no que tange o relação de compromisso entre taxa de detecção e taxas de alarmes falsos, as previsões por conjunto baseadas na persistência geralmente possuem desempenho superior ao das previsões determinísticas diárias sozinhas entre os horizontes de 48 h e 144 h. Isto por que os valores de ROC Score são geralmente maiores do que zero nestas faixas.

Os resultados de CRPS (Fig. 10) mostram que a partir de cerca de 72 h de horizonte de previsão a consideração do conjunto permite um melhor desempenho do que a previsão mais atual determinística. Isto por que, principalmente a partir das 72 h de horizonte de previsão, as previsões com os conjuntos gerados, que consideram as previsões antecedentes, resultam em erros menores (cerca de 250 m³.s⁻¹) do que os obtidos somente com a previsão mais atual (400 m³.s⁻¹).

Figura 10
CRPS para as previsões.

Em relação à comparação entre as formas de fazer as combinações, os resultados de CRPS sugerem que as combinações de 5 dias e 4 dias foram ligeiramente melhores do que as demais.

Nesta métrica de CRPS médio e também na métrica de BS o maior distanciamento entre a curva dada pelas previsões determinísticas atuais somente e pelas curvas obtidas com os conjuntos testados apareceu a partir do horizonte de previsão de 96 h. Acredita-se que isto acontece por que a partir destes horizontes de previsão é onde as incertezas são maiores na previsão determinística simples, e então a inclusão de informações do passado, por mais que também sejam incertas, ajudam a amenizar ponderar os riscos.

Os resultados do FCSbs para as previsões (Fig. 11) demonstram que as decisões tomadas com base nos conjuntos gerados são sempre mais consistentes entre si (entre uma previsão e a previsão imediatamente anterior ou posterior) que o uso apenas da previsão determinística, pois os valores de FCSbs são sempre menores para os conjuntos. Com a maior diferença ocorrendo nos maiores horizontes de previsão (a partir de 72 h).

Figura 11
FCSbs para as previsões utilizando um limiar de 1000 m³/s.

Também, na comparação entre os conjuntos estudados, todos eles apresentaram valores de FCSbs similares, com os conjuntos que incluem 4 dias e 5 dias ligeiramente menores que os demais.

É importante ressaltar que esta métrica não mede a qualidade das previsões, mas apenas a consistência entre si das decisões sobre a ocorrência do limiar dadas por elas. O resultado desta métrica somado ao resultado das métricas anteriores, que avaliam a qualidade propriamente dita, permite dizer que as previsões feitas usando os conjuntos baseados na persistência são superiores, pois resultam em mais qualidade e persistência entre si.

4. Discussões

Na análise visual dos exemplos de previsões onde são plotadas não apenas a previsão mais atual, mas também as previsões de até quatro dias anteriores na forma de um conjunto, foi verificado que considerar esta informação adicional pode trazer vantagens para a detecção ou não detecção de cheias, especialmente por que o uso desta informação permite entender melhor como os eventos previstos estão evoluindo com o tempo e assim adicionar mais dimensões à decisão, que pode ser ponderada por esta análise.

Em termos de métricas, tentou-se traduzir em números os potenciais benefícios da consideração das previsões anteriores, através da montagem de previsões por conjunto baseadas na persistência. A análise dos resultados das métricas mostrou melhores valores de métricas para os conjuntos em comparação com a previsão determinística atual usada sozinha, especialmente para os maiores horizontes de previsão, a partir de 48 h.

As previsões com os conjuntos também indicaram ser mais persistentes entre si do que a previsão determinística atual de cada dia. Ou seja, que as decisões consecutivas tendem a mudar menos quando o conjunto é considerado.

Na comparação entre os conjuntos gerados os denominados de 5 dias e de 4 dias mostraram-se ligeiramente melhores que os demais, embora esta diferença seja relativamente pequena se comparada a diferença verificada comparando com a previsão atual sozinha. Acredita-se que este desempenho ligeiramente melhor resultante do uso dos conjuntos denominados de 5 dias e de 4 dias esteja relacionado com o fato de que o uso de mais dias permita uma abrangência maior de incertezas na previsão final construída. Ou seja, eles resultam em conjuntos com mais membros, o que simboliza um melhor mapeamento das incertezas. Também, a estratégia de montar conjuntos ponderados, onde as previsões mais atuais tem mais peso do que as previsões mais antigas, não apresentou vantagens em comparação com a montagem de conjuntos simples, onde todos os membros tem o mesmo peso no conjunto.

Em relação a recursos computacionais para o uso do tipo de técnica testada aqui neste trabalho, eles seriam mínimos se comparados a técnicas mais avançadas de previsão de vazão por conjunto do tipo mostradas, por exemplo, for Fan et al. (2014). No caso da técnica aqui proposta, basta que seja montado um esquema para análise dos resultados das previsões que leve em consideração também as previsões feitas nos dias anteriores. Os recursos computacionais para rodar novas previsões são os mesmos que já são necessários para rodar as previsões determinísticas diariamente, pois o que se busca é justamente fazer uso de resultados que já tenham sido gerados em dias anteriores, sem que sejam feitas novas rodadas de previsões. Ou seja, não existem barreiras computacionais para a operacionalização deste tipo de técnica.

5. Conclusões

A partir dos resultados e discussões apresentados, as seguintes conclusões são delineadas:

• Segundo as estatísticas de desempenho, utilizar a persistência gera melhores resultados em termos de detecção de limiares e erros médios na previsão, bem como detecções de limiares mais consistentes. Principalmente para os maiores horizontes de previsão, onde as incertezas são maiores. Assim, espera-se que a tomada de decisão calcada na consideração adicional de previsões anteriores resulte também em decisões mais ponderadas que levam a mais benefícios, ou a menos prejuízos.

• Para o estudo de caso específico, o benefício verificado passou a ser maior a partir de 48 h, onde as maiores diferenças se manifestaram a partir das 72 h. Nos intervalos de tempo menores os benefícios não são tão claros por que as previsões do passado são menos influenciadas pelas condições da bacia no momento da previsão, que é conhecida no momento da emissão da previsão atual.

• A montagem de conjuntos ponderados, com mais peso para as previsões mais atuais, não trouxe benefícios aos resultados medidos pelas estatísticas.

• A prática do uso da persistência é fácil de ser aplicada, pois pode ser implementada imediatamente por operadores que recebem as previsões determinísticas diariamente, ou este tipo de saída pode ser acoplada a boletins gerados por sistemas de previsão;

• Os usuários de previsões, como operadores de barragens, poderiam utilizar a informação tanto de maneira qualitativa, verificando a persistência e a previsibilidade dos eventos, quanto de maneira quantitativa, montando ensembles como os usados aqui. Esta última alternativa poderia ainda ser complementada por métodos estocásticos de otimização;

• Um ponto negativo na montagem de conjuntos como os testados é o encurtamento dos horizontes de previsão. Ou seja, o benefício é limitado pelo horizonte máximo até onde o conjunto pode ser preparado.

Como trabalhos futuros, uma segunda etapa de geração deste tipo de previsão baseada na persistência deverá ser testada, onde seriam usadas previsões meteorológicas do passado para compor um conjunto de previsões meteorológicas para rodar o modelo hidrológico várias vezes em um mesmo dia. Esta abordagem futura terá a vantagem de eliminar a incerteza da falta de atualização do modelo hidrológico no início da previsão, e a principal fonte de mudanças na previsão será a persistência meteorológica. Todavia, a elaboração deste tipo de previsão seria operacionalmente bem mais custosa do que o simples uso de previsões hidrológicas do passado prontas, pois necessitam que o modelo hidrológico seja rodado mais vezes para um mesmo dia, e que uma estrutura de organização de previsões de chuva seja montada. Assim, seu uso é menos provável.

Também, acompanhando a evolução atual do desenvolvimento de sistemas de previsão de vazão, resultados dos tipos testados aqui poderiam ser aplicados futuramente também para sistemas operacionais de previsão de vazão por ensemble, buscando verificar também se existem benefícios no uso da persistência também para previsões que já são por conjunto e já consideram incertezas em sua geração.

Referências

• BRADLEY, A.A.; SCHWARTZ, S.S. Summary verification measures and their interpretation for ensemble forecasts. Monthly Weather Review, v. 139, n. 9, p. 3075–3089, 2011.
• BRAVO, J. M.; COLLISCHONN, W.; PILAR, J.V. ; SILVA, B.C.. ; TUCCI, C. Avaliação dos benefícios de previsões de vazão na operação de reservatórios. Revista Brasileira de Recursos Hídricos, v. 13, p. 197–213, 2009.
• BROWN, J.D.; DEMARGNE, J.; SEO, D.-J.; LIU, Y. The ensemble verification system (EVS): a software tool for verifying ensemble forecasts of hydrometeorological and hydrologic variables at discrete locations. Environmental Modelling & Software, v. 25, n. 7, p. 854–872, 2010.
• CHOU, S.C. Regional Eta Model. In Climanálise Edição Comemorativa de 10 anos. Instituto Nacional de Pesquisas Espaciais. Cachoeira Paulista, SP, 2010.
• CHOU, S.C.; NUNES, A.M.B.; CAVALCANTI, I.F. A. Extended range forecasts over South America using the regional eta model. Journal of Geophysical Research-Atmospheres, v. 105, n. D 8, p. 10147–10160, 2001.
• CLOKE, H.L.; PAPPENBERGER, F. Ensemble flood forecasting: A review. Journal of Hydrology, v. 375, n. 3–4, p. 613–626, 2009.
• COLLISCHONN, W.; TUCCI, C.E.M. Simulação hidrológica de grandes bacias. Revista Brasileira de Recursos Hídricos, v. 6, n. 2, 2001.
• FAN, F.M.; COLLISCHONN, W.; MELLER, A.; BOTELHO, L.C.M. Ensemble streamflow forecasting experiments in a tropical basin: The São Francisco river case study. Journal of Hydrology, v. SI, p. 10.1016/j.jhydr, 2014a.
• FAN, F.M.; PONTES, P.R.M.; BELTRAME, L.F.S.; COLLISCHONN, W.; BUARQUE, D.C. Operational Flood Forecasting System to the Uruguay River Basin Using the Hydrological Model MGB-IPH. ICFM-6 proceedings São Paulo, Brasil, 2014b.
• FAN, F.M.; COLLISCHONN, W. .Integração do modelo MGB-IPH com sistema de informação geográfica. Revista Brasileira de Recursos Hídricos, v. 19, p. 243–254, 2014.
• FAN, F.M.; PONTES, P.R.M.; COLLISCHONN, W.; BELTRAME, L.F.S. Sistema de previsão de vazões para as bacias dos rios Taquari-Antas e Pelotas. In: XI Simpósio de Recursos Hídricos do Nordeste, João Pessoa PB. Anais do XI Simpósio de Recursos Hídricos do Nordeste, 2012.
• FAN, F.M. Previsão por conjunto de vazões afluentes a reservatórios em grandes bacias hidrográficas brasileiras Tese de Doutorado em Recursos Hidricos e Saneamento Ambiental, Universidade Federal do Rio Grande do Sul, UFRGS, Brasil. 424 p., 2015.
• GEORGAKAKOS, K.P.; KRZYSZTOFOWICZ, R. Probabilistic and ensemble forecasting. Journal of Hydrology, v. 249, p. 1, 2001.
• HERSBACH, H. Decomposition of the continuous ranked probability score for ensemble prediction systems. Weather and Forecasting, v. 15, p. 559–570, 2000.
• JAUN, S.; AHRENS, B. Evaluation of a probabilistic hydrometeorological forecast system, Hydrol. Earth Syst. Sci, v. 13, p. 1031–1043, doi:10.5194/hess-13–1031–2009, 2009.
• JOLLIFFE, I.T.; STEPHENSON, D.B. (Eds.). Forecast Verification: A Practitioner's Guide in Atmospheric Science, second ed. 2012.
• LORENZ, E.N. A study of the predictability of a 28-variable atmospheric model. Tellus, v. 17, p. 321–333, 1965.
• LORENZ, E.N. Deterministic non-periodic flow. J. Atmos. Sci, v. 20, p. 130–141, 1963.
• LORENZ, E.N. The predictability of a flow which contains many scales of motion. Tellus, v. 21A, p. 289–307, 1969.
• MELLER, A.; COLLISCHONN, W.; FAN, F.M.; BUARQUE, D.C.; PAIVA, R.C.D.; DIAS, P.; MOREIRA, D. Previsão de Cheias por Conjunto em Curto Prazo. Revista Brasileira de Recursos Hídricos, v. 19, p. 33–49, 2014.
• PAPPENBERGER F.; BROWN, J.D. HP today: on the pursuit of (im) perfection in flood forecasting. Hydrological Processes HEPS Special Issue, v. 27, p. 162–163, 2013.
• PAPPENBERGER, F.; CLOKE, H.L.; PERSSON, A.; DEMERITT, D. HESS Opinions “On forecast (in)consistency in a hydro-meteorological chain: curse or blessing?”, Hydrol. Earth Syst. Sci. Discuss, v. 8, p. 1225–1245, doi:10.5194/hessd-8–1225–2011, 2011.
• SENE, K. Hydrometeorology: Forecasting and Applications Publisher: Springer, 1 edition , 366 p., 2010.
• SIQUEIRA, V.A. Previsão de cheias por conjunto em curto a médio prazo: Bacia do Taquari-Antas/RS Dissertação de Mestrado. Programa de Pós Graduação em Recursos Hídricos e Saneamento Ambiental. Instituto de Pesquisas Hidráulicas (IPH), Universidade Federal do Rio Grande do Sul (UFRGS). 164 p., 2015.
• STANSKI, H.; WILSON, L.; BURROWS, W. Survey of common verification methods in meteorology World Meteorological Organization, Geneva, 1989.
• TUCCI, C.E.M.; COLLISCHONN, W.; CLARKE, R.T.; PAZ, A.R.; ALLASIA, D.. Short- and long-term flow forecasting in the Rio Grande watershed (Brazil). Atmospheric Science Letters, v. 9, p. 53–56, 2008.
• WILKS, D.S. Statistical Methods in the Atmospheric Sciences Academic Press, 2a ed., 2006, 627 p.

Datas de Publicação

• Publicação nesta coleção
  22 Apr-Jun 2016

Histórico

• Recebido
  13 Abr 2015
• Aceito
  22 Jun 2015