Procedimento para implantar um modelo de previsão de demanda com incorporação de julgamento de especialistas

A procedure to implement a judgmental adjustment of the statistical forecasts model

Resumo

As informações do mercado, quando interpretadas pelo especialista e incorporadas na previsão quantitativa de forma adequada, aumentam a acuracidade da previsão final. Entretanto, o julgamento humano pode inserir vieses na previsão e uma forma de evitá-1os é estruturar a incorporação do julgamento. Este artigo apresenta um procedimento estruturado para que as empresas possam implantar um sistema de previsão de demanda considerando a incorporação de julgamento à saída de previsões estatísticas. A utilização do procedimento em uma pequena empresa demonstra a aplicação do método. Na análise dos resultados verificou-se que os ajustes por julgamento reduziram os erros das previsões quantitativas em média em 5%. Além disso, o melhor desempenho dos ajustes ocorreu para o produto com maior variabilidade na série histórica de dados e os maiores ajustes trouxeram os melhores resultados.

Palavras-chave:
Integração de previsões; Ajuste por julgamento; Previsão de demanda

Abstract

When marketing information is well interpreted and incorporated into a quantitative forecast by an expert, forecast accuracy may be enhanced. However, human judgment might introduce biases into the forecast. One way to avoid these biases is to use structured adjustment approaches. This article presents a procedure to help companies implement a demand forecasting system with a judgmental adjustment of statistical forecasts. The use of this procedure in a small company shows its implementation. The results demonstrated that judgmental adjustments improved quantitative forecast accuracy by an average of 5%. The results also showed that the product with the greatest variability in a time series had the best adjustment performance and that the best outcomes came from the larger adjustments.

Keywords:
Judgmental forecasting; Forecast adjustment; Demand forecasting

1. Introdução

Vários trabalhos constataram, através de comprovações empíricas e simuladas, os benefícios causados pela inserção do julgamento em processos preditivos.

A habilidade, o domínio do conhecimento e quaisquer outros conhecimentos contextuais que não utilizem análise quantitativa têm sido identificados em estudos empíricos como os principais fatores responsáveis pelos efeitos benéficos do julgamento humano na acuracidade das previsões (Leitner & Leopold-Wildburger, 2011).

A integração de métodos de previsão (união do conhecimento de especialistas com previsões quantitativas) é o método mais utilizado no meio empresarial, correspondendo a 50% dos casos. Desses, 34% referem-se à ajustes realizados em previsões quantitativas (Fildes & Goodwin, 2007). Mas a introdução de julgamentos na previsão estatística deve possuir uma análise posterior de suas discrepâncias, pois a utilização do ajuste por julgamento sem critérios e estrutura prévia pode piorar os resultados em termos de precisão (Samohyl, 2006).

Nesse sentido, De Gooijer & Hyndman (2006) afirmam que ainda existe a necessidade de desenvo1verem-se procedimentos para seleção de mode1os que tornem efetivo o uso tanto de dados quantitativos quanto do conhecimento de especialistas.

Como os modelos de incorporação de julgamento de especialistas nas previsões são uma área nova de estudo, com muitos trabalhos recentes, verifica-se que a implantação de métodos de previsão integrativos é um campo pouco explorado. Assim, este artigo propõe um procedimento para implantar um modelo de previsão quantitativo com posterior incorporação de julgamento de especialistas.

Neste trabalho será dada ênfase à realização de previsões pontuais (um período à frente) integrando métodos estatísticos (que utilizam dados de séries temporais) com julgamentos de especialistas (pessoa da empresa responsável pela previsão). Mas, como os métodos estatísticos já são amplamente difundidos na literatura, não serão objeto de estudo neste artigo. Na seção 2 serão apresentados alguns métodos de integração de previsões de demanda com foco na extrapolação corrigida, método base utilizado para elaborar o procedimento proposto. Os principais problemas da incorporação de julgamento são os vieses inseridos pelos especialistas, assunto abordado na seção 3. Para eliminar esses v'eses, a seção 4 apresenta diversas estruturações de julgamento certificadas pela literatura. A partir da base bibliográfica, na seção 5 apresenta-se o procedimento proposto, detalhando-se os passos para sua execução, desde tratamento dos dados e desenvolvimento da previsão estatística até formas de estruturar o julgamento do especialista. Na seção 6 demonstra-se a aplicação do procedimento em uma pequena empresa e, na seção 7, avaliam-se os resultados obtidos. Na seção 8 estão as conclusões do trabalho e as sugestões para futuros trabalhos.

2. Métodos de integração de previsões de demanda

Os métodos quantitativos de previsão têm como características a sua objetividade e imparcialidade (sempre produzem a mesma previsão para os mesmos dados) e podem trabalhar com um grande volume de dados. Por outro lado, não é possível adaptá-los a mudanças dinâmicas (eventos especiais) e estruturais nos dados das séries temporais, além de o desempenho do modelo vincular-se à qualidade dos dados obtidos. Já previsões provenientes de julgamento são adaptáveis às mudanças do ambiente devido ao conhecimento atualizado dos especialistas. Porém o julgamento humano pode conter inconsistências e tendências (Sanders & Ritzman, 2001).

Assim, verifica-se que cada abordagem de previsão (quantitativa e qualitativa) possui pontos fortes e fracos, tornando-se interessante unir as características positivas de cada método a fim de oferecer maior robustez ao processo de previsão.

Diversos estudos apresentam evidências de que a integração, de métodos qualitativos e quantitativos em especial, é a melhor abordagem para a obtenção de previsões mais acuradas (Armstrong & Collopy, 1998; Goodwin, 2002; Lemos, 2006; Werner, 2004; Staudt, 2011).

De forma geral, Armstrong & Collopy (1998) apresentam três caminhos nos quais o julgamento pode ser incorporado à previsão de séries temporais:

O julgamento pode informar quais dados são relevantes para a tarefa de previsão;

O julgamento pode influenciar quanto ao método estatístico de previsão a utilizar;

O julgamento pode ser incorporado diretamente na previsão.

Dessas associações de dados, previsões quantitativas e domínio do conhecimento de especialistas surgem inúmeras formas de integrar previsões. Algumas delas são apresentadas por Armstrong (2001), como pode ser visualizado na Figura 1.

Figura 1:
Métodos de integração de julgamentos e previsões estatísticas.

Verifica-se na Figura 1 que a fonte de recursos para todas as formas de integração é o domínio do conhecimento. Segundo Webby & O'Connor (2001), o domínio do conhecimento é resultado da aplicação de interpretação humana de informações contextuais no âmbito da previsão. Por informação contextual entende-se o montante de informações, disponíveis no ambiente da previsão, que auxiliam na explicação, interpretação e antecipação do comportamento da série temporal.

A informação contextual disponível pode ser na forma de previsões estatísticas, o valor de um indicador de referência, a estimativa de um conselheiro ou informação qualitativa como rumores ou notícias políticas recentes que não podem ser modeladas quantitativamente (Leitner & Leopold-Wildburger, 2011). Os rumores normalmente são comunicações processadas pelos gerentes de maneira informal e verbal, sendo por isso particularmente preferidas pelos gerentes a uma análise pura contida em relatórios. Por esse motivo, a maior parte das informações contextuais tem por origem esses rumores, o que pode reduzir a acuracidade das previsões caso não seja estabelecido um processo estruturado de incorporação do julgamento (Webby & O'Connor, 1996).

Na Figura 1, a estrutura e complexidade dos métodos aumentam da esquerda para a direita. Assim, o julgamento revisado é o método mais simples e a previsão econométrica, o mais estruturado. Pelo fato de o método extrapolação corrigida ser utilizado no modelo proposto neste artigo, inseriu-se uma subseção para apresentá-lo.

No método julgamento revisado os especialistas fazem uma previsão por julgamento inicial e posteriormente a revisam a partir do provimento de extrapolações estatísticas. Contudo, os especialistas podem ser resistentes às novas informações fornecidas pelas previsões estatísticas, colocando um peso maior na previsão por julgamento inicial ao combinar as duas informações (Armstrong & Collopy, 1998).

Por previsão combinada entende-se toda e qualquer forma de atrelamento de previsões de base estatística, por julgamento ou ambas, a partir de pesos fixos ou variáveis, de forma objetiva ou subjetiva em cada uma das previsões constituintes (Souza, 2008). Os métodos objetivos de combinar previsões mais básicos são a média simples e a média ponderada, que funcionam razoavelmente bem quando comparados aos métodos mais complexos (Clemen, 1989). extrapola a série temporal integrando o domínio do conhecimento do especialista sobre o ambiente e os processos de previsão. Utilizando regras condicionais if-then, determinam-se os pesos dos métodos simples de previsão. As características do ambiente são identificadas na parte condicional (if das regras e os pesos são ajustados de acordo com as características da série assumidas anteriormente pelo especialista (Armstrong, 2001).

O método de previsão baseado em regras (rulebased forecasts) é um tipo de sistema especialista que extrapola a série temporal integrando o domínio do conhecimento do especialista sobre o ambiente e os processos de previsão. Utilizando regras condicionais if-then, determinam-se os pesos dos métodos simples de previsão. As características do ambiente são identificadas na parte condicional (if) das regras e os pesos são ajustados de acordo com as características da série assumidas anteriormente pelo especialista (Armstrong, 2001).

Para estimar a previsão econométrica, conforme o esquema da Figura 1, inicialmente os especialistas identificam as variáveis causais que explicam o comportamento da demanda e, em seguida, por análise de regressão obtêm as estimativas para os coeficientes do modelo.

2.1. Extrapolação corrigida

A "extrapolação corrigida" (Armstrong, 2001) ou "ajuste por julgamento de previsões estatísticas" (Goodwin, 2002; Webby & O'Connor, 1996) era considerada uma forma de combinação, contudo esse conceito mudou e atualmente ela é classificada como método de integração de previsões (Werner & Ribeiro, 2006).

O método de extrapolação corrigida consiste na elaboração de uma previsão quantitativa que é posteriormente ajustada por especialistas. Assim, os especialistas julgam, de acordo com seu domínio de conhecimento e informações contextuais disponíveis, se o valor da previsão estatística deve ser alterado.

Webby & O'Connor (1996) apresentam três formas de julgamento realizadas por especialistas na saída de uma previsão estatística: ajuste sem contexto, ajuste contextual e ajuste estruturado. O ajuste sem contexto pode ser usado como uma alternativa quando o especialista sente que a previsão está imprecisa, apesar de ele não conseguir associar nenhuma informação contextual com a série. O ajuste sem contexto está baseado na intuição e, para Armstrong (2001), na compreensão imediata de um assunto sem o uso de qualquer processo de raciocínio. O ajuste contextual ocorre quando informações contextuais estão disponíveis e o especialista ajusta a previsão inicial para incorporar os efeitos da informação extra. Normalmente, esse tipo de ajuste é efetivo, apesar de ser difícil atribuir o aumento da acuracidade somente ao contexto, pois a experiência e a motivação do especialista também influenciam. Por fim, o ajuste estruturado consiste na aplicação de métodos para construir um julgamento sem informalidade, visto que a principal crítica do ajuste por julgamento está em ele ser, na grande maioria das vezes, de natureza empírica.

Quando a série temporal é a única informação disponível tanto para o método estatístico quanto para o especialista, a maioria dos estudos sugere que o ajuste por julgamento da previsão quantitativa irá reduzir a acuracidade. Isso ocorre porque as pessoas tendem a encontrar padrões no ruído aleatório da série temporal e a fazer ajustes prejudiciais na previsão quantitativa, na tentativa de prever o comportamento desse ruído. Em contraste, quando o especialista tem acesso exclusivo a informações contextuais, existe um grande número de evidências que demonstram o ajuste por julgamento melhorando a acuracidade de previsões estatísticas (Goodwin, 2002).

Sanders & Ritzman (2001) apresentam quatro princípios que devem ser utilizados para decidir quando e como usar o julgamento no ajuste de previsões estatísticas:

(i) ajustar a previsão estatística quando existe um significativo domínio de conhecimento;

(ii) ajustar em situações com alto grau de incerteza;

(iii) ajustar quando as mudanças no ambiente são conhecidas;

(iv) o processo de ajuste deve ser estruturado.

3. Vieses na incorporação de julgamento

Um viés se caracteriza quando os especialistas realizam julgamentos influenciados por algum motivo particular (meta pessoal, motivação), por uma pressão externa (do chefe ou da empresa) para alcançar determinados resultados ou simplesmente por encontrarem problemas na interpretação da previsão quantitativa.

Adicionalmente, a variável prevista pode ser parcialmente controlada pelo gerente que está fazendo as previsões. Há uma tendência da pessoa que realiza o ajuste subestimar a previsão estatística em favor do seu próprio julgamento, mesmo quando ele conhece a superioridade da precisão da previsão matemática (Goodwin, 2002).

Como os julgamentos são realizados por pessoas, toda a complexidade que cerca o entendimento da mente humana e suas relações com o ambiente pode interferir nos resultados da previsão. A começar pelas limitações intrínsecas das pessoas para avaliar inúmeras informações ao mesmo tempo. Webby et al. (2005), citando outros estudos anteriores, afirmam que qualquer número entre três e dez partes de informação (sinais) representam os limites da capacidade humana de processamento de informações. A fonte dessa variação está não apenas na tarefa e nas diferenças de personalidade, mas também nas diferentes definições do que constituem os "sinais".

Segundo Herzog & Hertwig (2009), uma previsão subjetiva que origina um valor quantitativo pode ser expressa como uma função aditiva de três componentes: a realidade (o valor real da previsão quantitativa), o erro aleatório (flutuações aleatórias no desempenho do especialista) e o erro sistemático (a tendência sistemática de o especialista superestimar ou subestimar o valor real).

Para Werner (2004), o erro aleatório refere-se à dispersão das previsões em torno da média. Já o erro sistemático (ou tendência, ou viés) refere-se à distância entre o valor da previsão e o valor verdadeiro, sendo esse o maior problema do julgamento.

A Tabela 1 descreve os principais tipos de vieses que podem ser introduzidos nas previsões.

Tabela 1:
Descrição dos tipos de vieses realizados por especialistas.

Tipo de viés	Descrição
Inconsistência	Falta de habilidade para aplicar o mesmo critério de decisão em situações similares (Werner, 2004).
Conservadorismo	O especialista considera que a variável em estudo poderá continuar se comportando da mesma forma como se comportou no passado. Por isso, o especialista não muda ou muda lentamente o ponto de vista quando novas informações/evidências estão disponíveis (Lemos, 2006).
Otimismo	É um estado da mente que motiva um respondente a prever que eventos favoráveis são mais prováveis de ocorrer do que seria justificável pelos fatos (Werner, 2004).
Ancoramento	No ancoramento existe uma relutância de o especialista se desviar de um dado valor "âncora", que pode ser obtido por previsões estatísticas, pela forma como o problema é apresentado ou por informações aleatórias (Eroglu & Croxton (2010).
Disponibilidade	A disponibilidade caracteriza-se pela avaliação de probabilidade de um determinado evento ocorrer, pela frequência com que exemplos ou ocorrências desse evento estão disponíveis na memória (Julianelli, 2007).
Recência	A recência refere-se aos eventos mais recentes, que têm maior domínio sobre a previsão que eventos que ocorreram há mais tempo, sendo esses desprezados ou ignorados (Werner, 2004).
Reação exagerada	A reação exagerada (overreaction bias) acontece quando a direção do ajuste por julgamento é correto mas a magnitude é tão grande que o ajuste produz um erro maior na direção oposta (Julianelli, 2007).
Dupla contagem	A dupla contagem ocorre se existem duas variáveis colineares e uma é considerada no modelo matemático e outra não. Nesse caso, o previsor pode incorporar os problemas da outra variável no seu julgamento, realizando uma dupla contagem do problema (Goodwin, 2002).

Eroglu & Croxton (2010) complementam a descrição de otimismo apresentada na Tabela 1, afirmando ser uma tendência dos especialistas ajustar as previsões predominantemente no sentido para mais. Nesse sentido, o estudo de Fildes et al. (2009) conclui que os ajustes positivos resultaram em menos aumentos da acuracidade das previsões que os ajustes negativos. Isso porque eles foram feitos frequentemente na direção errada, sugerindo uma tendência geral em direção ao otimismo.

Além das tendências intrínsecas aos especialistas, outros fatores externos também influenciam a acuracidade da previsão. Webby & O'Connor (1996) afirmam que a motivação, uma característica do ambiente, pode influenciar a inflexibilidade do especialista em relação a uma estratégia traçada por ele.

Os autores descrevem quatro características motivacionais do ambiente de previsão: (i) o benefício extrínseco de realizar uma previsão acurada; (ii) se a previsão será revisada à luz de mais informações antes da acuracidade ser estimada; (iii) se é percebido que a previsão está com os especialistas da área de competência; (iv) a adequação, confiança e entendimento da informação (a motivação será maior com informação de qualidade, pois não haverá desculpas para a "falta de acuracidade"). Como conclusão, inúmeros estudos empíricos sustentam a relação entre incentivos e desempenho.

Eroglu & Croxton (2010) avaliaram a influência de fatores internos e externos nos tipos de tendência introduzidos durante os ajustes por julgamento em relação às diferentes características dos indivíduos. Eles exploraram os efeitos das particularidades "personalidade" e "orientação motivacional" nos vieses de previsão otimismo, ancoramento e tendência de reação exagerada. Os resultados indicaram que a personalidade e a orientação motivacional dos especialistas têm efeitos significativos nos vieses das previsões.

Como a tomada de decisão humana depende de inúmeros fatores, para obter-se maior eficácia, regras de decisões devem ser consideradas para estruturar o processo de integração de previsões. Os principais procedimentos que podem ser usados para estruturar julgamentos serão abordados na próxima seção.

4. Estruturação de julgamentos

Como um subdomínio da teoria das decisões, a explicação e melhoria do comportamento humano em previsões é um problema interdisciplinar e tem sido tema de extensivas pesquisas no campo empírico e laboratorial (Leitner & Leopold-Wildburger, 2011).

Assim, a forma como os especialistas incorporam o domínio do conhecimento em suas previsões é o problema mais crucial em previsão de vendas (Webby & O'Connor, 2001).

O julgamento estruturado vem, portanto, tentar cobrir essa lacuna. Ele consiste no estabelecimento de procedimentos que formalizam o processo de julgamento. De acordo com Armstrong (2001), o julgamento estruturado é uma tentativa de ir além da intuição ao se fazerem previsões por julgamento. As características consideradas essenciais para o bom desempenho dos especialistas incluem a motivação dessas pessoas para a função e a sua experiência, que é adquirida com o entendimento do contexto ou natureza da série.

A experiência do especialista pode ser subdividida em "conhecimento técnico" e "conhecimento causal".

O primeiro corresponde ao conhecimento sobre a análise de dados e procedimentos formais de previsão. O segundo faz parte do entendimento das relações de causa-efeito envolvidas (Webby & O'Connor, 1996).

Para utilizar as qualidades apresentadas pelos especialistas deve-se estruturar a maneira como o julgamento é realizado. A Tabela 2 demonstra alguns aspectos que ajudam a estruturar o julgamento, testados e analisados na literatura quanto ao aumento da acuracidade da previsão.

Tabela 2:
Estruturações de julgamento testadas na literatura.

Autor	Forma de estruturação de julgamento	Aumentou a acuracidade da previsão?
Harvey & Bolger, 1996)	Apresentação dos dados em gráfico para séries com tendência e em tabela para outras séries.	Sim
Lim & O'Connor (1996)	Método do julgamento revisado.	Sim
Armstrong & Collopy (1998)	Os especialistas primeiro decidem que ajuste irão realizar para o modelo e somente depois têm acesso às previsões estatísticas.	Sim
Goodwin (2000); Sanders & Ritzman, 2001); Arkes (2001)	Registrar as razões para o ajuste e a acuracidade das previsões.	Sim
Arkes (2001)	Listar os motivos pelos quais a previsão pode estar errada.	Sim
Arkes (2001)	Dar feedback ao especialista sobre seu desempenho. Adequar o feedback a eventuais novas informações.	Sim
Goodwin, 2002)	Realizar ajuste somente quando o erro for maior que a previsão ingênua.	Sim
Goodwin, 2002)	Informar aos especialistas que os ajustes reduzirão a acuracidade da previsão.	Não
Goodwin, 2002)	Retirar a carga mental de fazer cálculos de médias e pesos dos especialistas.	Não
Goodwin, 2002)	Aumentar o conhecimento técnico do especialista sobre métodos estatísticos e julgamentos tendenciosos.	Não
Goodwin, 2002)	Os especialistas primeiramente solicitam o ajuste e depois executam, além de justificar o motivo do ajuste.	Sim
Lawrence et al. (2006)	O feedback sobre as propriedades da tarefa (task properties feedback) é a forma de feedback mais eficiente.	Sim
Werner & Ribeiro (2006)	Estabeler um percentual máximo e mínimo de ajuste e montar uma lista dos fatores que podem influenciar o comportamento da demanda.	Sim
Fildes & Goodwin (2007)	Solicitar aos especialistas que justifiquem seu ajuste por escrito. Limitar o ajuste subjetivo de previsões quantitativas.	Sim
Marmier et al. (2009)	Utilizar sistema de suporte à decisão.	Sim
Goodwin et al. (2011)	Proibir os especialistas de realizarem pequenos ajustes nas previsões estatísticas geradas pelo sistema.	Não

Verifica-se na Tabela 2 que quanto à estruturação do julgamento, em si, ela pode ser realizada desde simplificadamente, através de um procedimento formal conhecido pelos especialistas, até a utilização de um sistema de suporte à decisão. Cada empresa, entretanto, deve avaliar quais métodos melhor se adéquam a sua realidade e necessidade.

De qualquer forma, Fildes et al. (2006) recomendam a participação do especialista na concepção da previsão. Isso porque se o resultado é gerado de uma caixa preta sem interação, o usuário provavelmente irá ajustar a previsão de forma nociva.

5. Procedimento para implantar o modelo de previsão com incorporação de julgamento

Estudos de previsão de demanda em empresas têm revelado que os ajustes nas previsões realizadas por especialistas são feitos mesmo quando softwares estatísticos avançados e caros são empregados para gerar as previsões e mesmo onde há evidências de que esses ajustes reduzem a acuracidade média (Gonül et al., 2009).

Por esse motivo tornam-se pertinentes os estudos relacionados à incorporação de julgamentos em previsões estatísticas. Apesar de a extrapolação corrigida apresentar algumas limitações (Sanders & Ritzman, 2001; Armstrong & Collopy, 1998), a comunidade científica reconhece que os ajustes por julgamentos baseados em domínio de conhecimento aumentam a acuracidade das previsões. Para Syntetos et al. (2009), quando métodos quantitativos de previsão são usados, eles são frequentemente ajustados por julgamento, sendo esta uma das formas de associação de previsões mais utilizadas na prática. Por esse motivo, o trabalho propõe um modelo que estruture esse processo de extrapolação revisado por julgamento como demonstra a Figura 2.

Figura 2:
Procedimento proposto.

De forma geral, para implantação de um sistema de previsão de demanda quantitativo, Vondouris et al. (2008) descrevem sete etapas: (i) identificar o fenômeno a ser previsto; (ii) obter e tratar os dados; (iii) analisar os dados históricos; (iv) selecionar uma abordagem de previsão apropriada; (v) desenvolver vários modelos de previsão e testar nos dados históricos; (vi) aplicar o melhor modelo nos dados atuais; (vii) implementar e monitorar.

A proposta desse trabalho (Figura 2) inclui a incorporação de julgamento de especialistas no processo preditivo.

Na primeira etapa da Figura 2, definição do problema, determina-se o que será previsto, o nível de detalhamento e o horizonte de previsão. Segundo Pellegrini & Fogliatto (2001), a definição do nível de detalhe requerido para o sistema é influenciada por diversos fatores, tais como disponibilidade de dados, acurácia, custo da análise e preferências gerenciais.

Na obtenção e tratamento dos dados inicialmente faz-se um levantamento e avaliação dos fatores internos e externos que influenciam as vendas de cada produto ou família de produtos. Vondouris et al. (2008) afirmam que dados representativos e suficientes são um pré-requisito para o sucesso de qualquer processo preditivo. Para Pellegrini & Fogliatto (2001), ao menos dois tipos de informações devem estar disponíveis na elaboração de um sistema de previsão: dados estatísticos e julgamentos de especialistas.

Depois de os dados estarem disponíveis é necessário realizar a sua limpeza, retirando eventos influentes que são de natureza não repetitiva (como promoções), outliers e valores faltantes (Vondouris et al., 2008).

Na forma de dados estatísticos, a série histórica de vendas é a informação mais importante, pois permite identificar padrões de venda do produto que podem se repetir no futuro.

Já as informações contextuais podem ser provenientes de uma série histórica que possa ser relacionada com as vendas do produto (quantitativas), ou de informações que influenciam a demanda, mas não podem ser calculadas numericamente, como o conhecimento sobre promoções ou futuros anúncios de concorrentes.

A previsão quantitativa está relacionada com a seleção da técnica de previsão e mensuração do desempenho dos modelos testados. O erro de previsão é utilizado para auxiliar na escolha do modelo de previsão. Assim, os métodos que possuem os menores erros, de acordo com as medidas de erro previamente escolhidas, são os candidatos a serem utilizados na elaboração da previsão. O trabalho de Pellegrini & Fogliatto (2001) demonstra em mais detalhes como analisar diversos métodos quantitativos e escolher o mais apropriado. Contudo, deve-se avaliar também a disponibilidade de recursos humanos e materiais para a implementação do modelo. Caso os erros não variem muito entre os modelos de previsão, as restrições humanas e materiais podem ser os fatores mais relevantes para a definição do método de previsão.

Após a obtenção da previsão quantitativa deve ser realizada a incorporação de julgamentos. Para isso é necessário escolher os especialistas responsáveis pelos ajustes. A seleção dos especialistas pode compreender somente colaboradores da empresa ou também pessoas externas como de universidades, empresas públicas ou privadas. Em relação à experiência dos especialistas, Gonül et al. (2009) afirmam que a senioridade e a experiência dos usuários têm pouco efeito em suas atitudes ou inclinação de realizar ajustes. Contudo, antes de a pessoa realizar o julgamento, deve ser definida uma estrutura que indique a forma como ele deve incorporar a informação contextual, aplicando ações que tiveram bons resultados, como demonstrado na Tabela 2.

Para avaliar o desempenho da previsão final são escolhidas medidas de erro que monitoram a acuracidade do modelo. O intuito do monitoramento é avaliar se o método escolhido continua aderente aos dados. Além disso, o contínuo monitoramento do sistema de previsão justifica-se, também, por proporcionar um feedback a respeito da sensibilidade do especialista. Ainda, ao se comparar a previsão do método estatístico e a previsão ajustada pelo responsável com as vendas reais é possível determinar se o especialista incorre em vieses (Wanke & Julianelli, 2006).

Quando os erros ultrapassarem os limites impostos pela empresa, uma seleção de técnicas quantitativas que possuam melhor desempenho deve ser realizada, novamente, e/ou a forma de incorporação de julgamento deve ser revista.

6. Aplicação do procedimento proposto

O procedimento de previsão apresentado na seção anterior foi aplicado em uma indústria madeireira de pequeno porte do norte do estado de Santa Catarina. O ramo madeireiro possui um complexo sistema de obtenção e transporte de seu produto, pois a matéria- prima que abastece a empresa provém do estado do Mato Grosso. As matérias-primas são transportadas via terrestre por caminhões e após a realização de um pedido ao fornecedor, a entrega ocorre em até oito dias. A medida padrão utilizada para compra e venda de madeira é o metro cúbico (m³⁾.

Os insumos adquiridos pela empresa para industrialização são pranchas, tábuas e vigas de madeira, recebidas em diferentes dimensões de largura, espessura e comprimento. Elas são transformadas em inúmeros itens industrializados na madeireira, como: rodapés, tabeiras, batentes de portas, assoalhos, forros, decks e outros. O tempo de produção é de dois a três dias, dependendo da quantidade, e são realizados pedidos de reabastecimento conforme a necessidade.

A empresa não possui um sistema de previsão de demanda nem de gestão de estoques estruturado, apenas um cronograma de fluxo de produtos, atualizado diariamente, que informa as necessidades ao fornecedor.

6.1. Definição do problema

Em função do contexto da empresa e de suas necessidades, o estudo fará a previsão de vendas das principais matérias-primas comercializadas. Essa decisão foi embasada na seguinte conjuntura: (i) a empresa possui um estoque maior de insumos pelo lead time produtivo ser menor que o tempo de reabastecimento de produtos; (ii) existe uma variedade de itens finais produzidos a partir da mesma matéria-prima; (iii) a empresa demonstrou maior interesse na previsão de matérias-primas por ter dificuldade nessa área.

As previsões e o horizonte de previsão serão realizados mensalmente devido à disponibilidade dos dados e adequação à realidade da empresa.

6.2. Aquisição e tratamento dos dados

A aquisição dos dados foi realizada através de um relatório mensal de faturamento no período de janeiro de 2005 a novembro de 2009.

Após a obtenção dos dados, foi realizada a classificação ABC dos produtos para a quantidade vendida em metros cúbicos (Tabela 3). O estudo focará somente na previsão de demanda das matérias-primas classe A, quais sejam: Peroba, Itaúba e Cambará. As outras espécies de madeira normalmente têm os pedidos feitos sob encomenda com prazos negociados com clientes e por isso não entrarão na análise.

Tabela 3:
Classificação ABC das matérias-primas (em m³/mês).

Após a classificação dos produtos, avaliou-se a existência de outliers para a série histórica de cada uma das três matérias-primas. A abordagem utilizada para o tratamento dos dados foi substituir os outliers pelo valor teto estabelecido de dois desvios padrões (Allemão, 2004).

As Figuras 3, 4 e 5 demonstram o histórico de vendas de 2005 a 2009 das três madeiras selecionadas. Verifica-se que para o Cambará e a Peroba existe uma leve tendência de crescimento, ao contrário de para a Itaúba, que possui tendência de decréscimo nas vendas. Além disso, a demanda dos três tipos de madeira possui grande variabilidade, não sendo possível concluir-se inicialmente a existência de padrões de sazonalidade.

Figura 3:
Série histórica Cambará sem outliers.

Figura 4:
Série histórica Peroba sem outliers

Figura 5:
Série histórica Itaúba sem outliers.

Além da análise gráfica das séries realizou-se um levantamento de dados causais que poderiam demonstrar relação e sugerir modelos de previsão causais. Contudo, não se encontrou relação entre a venda das madeiras e outros dados.

As séries temporais foram analisadas utilizando-se o software Minitab(r) 16.1.0. Avaliou-se a estacionariedade das séries assim como a autocorrelação entre os dados. A Figura 6 demonstra os correlogramas de autocorrelação e autocorrelação parcial para as três madeiras.

Pode-se observar na Figura 6 que não há correlogramas cheios, visto que a primeira defasagem não ultrapassa o valor 0,6. Isso indica a estacionariedade dos dados, o que permite o teste de modelos ARIMA para a escolha do método de previsão.

Figura 6:
Função de autocorrelação (FAC) e autocorrelação parcial (FACP) para as madeiras Cambará, Itaúba e Peroba.

6.3. Previsão quantitativa

6.3.1. Aplicação dos métodos quantitativos

A partir da análise dos dados testaram-se previsões com modelos ARIMA, modelos de suavização exponencial e um método dinâmico denominado Focus Forecasting (Wild, 1997). No Focus Forecasting, a escolha do método de previsão e a determinação dos parâmetros são dinâmicas, ocorrendo a cada período. Dessa forma, ao invés de monitorar os erros de previsão de um único método a cada período avaliam-se sempre os erros de todos os métodos testados e os coeficientes que fornecem a previsão.

Como a escolha do melhor método quantitativo provém da análise dos erros de previsão, utilizaram-se como base de dados os anos de 2005 a 2007 e geraram-se previsões de janeiro de 2008 até novembro de 2009. Para avaliar a utilização de modelos ARIMA nas previsões de produtos, um teste foi realizado com a madeira Itaúba, visto possuir a menor variabilidade, o que sugere maior aderência do modelo. Assim, elaboraram-se diversas variações do modelo ARIMA, assim como de modelos exponenciais. Os erros das previsões foram calculados pela medida de erro MAPE (erro percentual absoluto médio). Para se verificar a possibilidade de comparação entre os erros médios, executou-se o teste de homogeneidade das variâncias no software Minitab(r) 16.1.0 para cinco métodos quantitativos, conforme demonstra a Figura 7.

Figura 7:
Resultado do teste de homogeneidade das variâncias.

O resultado do teste de Bartlett e Levene, apresentado na Figura 7, rejeita a hipótese nula de homogeneidade das variâncias, o que exige a utilização de testes não paramétricos para se avaliar a possibilidade de comparação entre os erros.

O teste de Kruskal-Wallis foi escolhido por avaliar a igualdade entre as medianas de duas ou mais populações sem exigir a homocedasticidade dos erros. Além disso, o teste classifica as variáveis de acordo com seu desempenho (Montgomery & Runger, 2003). O software utilizado para realizar o teste Kruskal-Wallis foi o Minitab(r) 16.1.0 e a hipótese nula, que permite a comparação de amostras, seria rejeitada se p < 0,05.

O resultado do teste apresentou p = 0,512, admitindo-se a comparação dos MAPES das previsões. Além disso, o resultado classificou em primeiro lugar o método AR 2 (menor erro médio), o que demonstra a superioridade dos modelos ARIMA em relação a um único método de alisamento exponencial.

Posteriormente, avaliou-se o desempenho do modelo AR 2 com métodos de alisamento exponencial, só que dessa vez utilizando o método Focus Forecasting. Nesse caso, os erros dos modelos AR 2 e Focus Forecasting foram avaliados segundo o teste estatístico ANOVA (Análise de Variâncias), a fim de se verificar se seus erros médios poderiam ser posteriormente comparados, para realizar-se a escolha do melhor método. O nível de significância adotado foi de 95%. Após o resultado do teste admitir a hipótese nula, a comparação entre os modelos Focus Forecasting e AR 2 implicou na superioridade do primeiro, sendo ele o escolhido para gerar as previsões nos próximos nove meses de estudo.

Um dos possíveis motivos para a maior acuracidade do método Focus Forecasting decorre da variabilidade dos dados históricos apresentados, o que não permite a aderência adequada de um único método à série temporal.

Assim, para a execução do método Focus Forecasting, uma planilha Excel(r) foi criada para cada tipo de madeira, agregando-se diversos métodos quantitativos como: previsão ingênua ("Ingênua"), média simples ("MSimples"), média móvel dois períodos ("MM2P"), média móvel quatro períodos ("MM4P"), média móvel seis períodos ("MM6P"), média móvel dupla ("MMDupla"), média móvel ponderada ("MMPond"), decomposição aditiva ("Decomp. Adit."), decomposição multiplicativa ("Decomp. Mult."), suavização exponencial simples ("SExpon."), método de Brown ("Brown"), método de Holt ("Holt"). A forma de cálculo de cada um desses métodos pode ser encontrada em diversos trabalhos como Makridakis et al. (1998) e Samohyl et al. (2007).

As previsões de demanda foram realizadas mensalmente de dezembro de 2009 a agosto de 2010, sendo avaliadas através de medidas de erro: erro médio absoluto (MAD), erro quadrado médio (MSE), erro percentual absoluto médio (MAPE) (Ansuj et al., 1994) e U de Theil (Samohyl et al., 2007). No modelo dinâmico utilizou-se a média móvel dos últimos quatro meses para mensurar os erros de cada método quantitativo.

Para os métodos testados que possuem índices de suavização (média móvel ponderada, suavização exponencial, Brown e Holt), utilizou-se a ferramenta Solver do programa Excel(r) para se encontrar os valores dos índices, de forma que a medida de erro MAPE fosse minimizada. Além disso, os coeficientes de amortização foram limitados ao intervalo 0,01 ≤ α ≤ 0,99, conforme Samohyl et al. (2007) (menos para média móvel ponderada, que pode ter coeficiente igual a zero e um).

6.3.2. Avaliação dos métodos quantitativos

Utilizando-se o método Focus Forecasting, determinou-se a previsão para todos os meses. Pode-se visualizar na Tabela 4 o erro MAPE da previsão quantitativa em relação ao valor real de vendas. Verifica-se que para todas as madeiras houve situações em que a previsão quantitativa não conseguiu acompanhar as oscilações da demanda, gerando grandes erros. A previsão de demanda da madeira cambará obteve o pior resultado, com média de erro 32,7%.

Em casos como esses, com grandes variações na demanda, é recomendado tentar melhorar esse resultado através da inserção da opinião do especialista.

Tabela 4:
Erros de previsão dos métodos quantitativos.

6.4. Incorporação de julgamentos

6.4.1. Seleção do especialista

Visto que a empresa em estudo possui poucos funcionários, por ser de pequeno porte, é comum acontecer o acúmulo de funções em um só cargo, não havendo uma disseminação de tarefas. No caso, o gerente da empresa, além de verificar se as vendas estão ocorrendo dentro do esperado, é o responsável por avaliar os níveis de estoque e, consequentemente, a necessidade de fazer pedidos de matéria-prima. Portanto, ele foi o especialista escolhido para realizar a incorporação de julgamentos nas previsões quantitativas.

6.4.2. Estruturação do julgamento

As ações tomadas como forma de estruturar o julgamento estão baseadas na Tabela 2.

• Os dados foram apresentados ao especialista em tabelas (Harvey & Bolger, 1996);

• Registraram-se as razões para o ajuste e a acuracidade das previsões (Goodwin, 2000; Sanders & Ritzman, 2001; Arkes, 2001);

• Apresentou-se um feedback ao especialista sobre seu desempenho e os valores reais a cada mês (Arkes, 2001; Lawrence et al., 2006);

• Determinaram-se visualmente os limites máximo e mínimo de ajuste ao especialista. Porém isso não foi imposto como regra, sendo os ajustes realizados de acordo com a sua vontade (Werner & Ribeiro, 2006; Fildes & Goodwin, 2007; Goodwin et al., 2011).

Aplicação dos ajustes por julgamento

As previsões quantitativas foram elaboradas no início de cada mês e levadas ao especialista para que realizasse, ou não, ajustes. A Figura 8 demonstra as informações apresentadas ao gerente a cada mês, em uma planilha para cada espécie de madeira. Os dados fornecidos foram: o histórico de vendas dos últimos meses (coluna Venda Cambará), a previsão quantitativa selecionada no mês (coluna Previsão FOCUS) e o ajuste realizado pelo próprio especialista nos meses anteriores (coluna Previsão Ajustada), juntamente com o seu desempenho mensurado através do MAPE (coluna MAPE).

Figura 8:
Ilustração das informações apresentadas mensalmente ao especialista.

Além da tabela principal com o valor da previsão do método quantitativo escolhido, incluíram-se os valores das previsões dos métodos que ficaram em segundo e terceiro lugares na seleção mensal. Essa área da Figura 8 está intitulada "Previsões outros métodos".

Por fim, adicionou-se também uma oscilação estimada da demanda, chamada na planilha de "Variação das Vendas". Armstrong (2001) afirma que intervalos de previsão devem ser apresentados quando a incerteza é grande e as tomadas de decisão dependem do risco envolvido. No trabalho de Lemos (2006, p. 111), o autor comenta que "os intervalos de previsão foram disponibilizados para auxiliar na tomada de decisão dos especialistas da empresa". Pelo fato de existir grande variabilidade nas séries e também como forma de estruturação de julgamentos avaliou-se a utilização de intervalos de confiança. Os resultados demonstraram que os intervalos de segurança clássicos, de 95%, traziam faixas de valores muito grandes, o que não agregaria muito como informação ao especialista (por exemplo: previsão de 39 unidades com intervalo inferior de oito unidades e intervalo superior de 70 unidades). Para tentar driblar esse problema, adicionou-se uma oscilação estimada da demanda, chamada na planilha de "Variação das Vendas". Os valores máximo e mínimo são obtidos através da soma e subtração do erro absoluto (MAD) do método escolhido ao valor da previsão. Assim, esse erro absoluto pode ser traduzido aproximadamente como um intervalo da previsão simplificado.

Além de apresentar essa planilha de dados ao especialista, no momento de realizar o ajuste solicitou-se que ele informasse o motivo do ajuste. Essas informações foram transcritas para posterior análise com os resultados.

6.5. Monitoramento

6.5.1. Determinação de medidas de erro

De acordo com o modelo dinâmico de escolha da previsão quantitativa utilizado neste trabalho, quatro medidas de erro são responsáveis pela determinação do método a ser aplicado: erro médio absoluto (MAD), erro quadrado médio (MSE), erro percentual absoluto médio (MAPE) e U de Theil.

Como após a implantação do sistema de previsão na empresa a metodologia permanece a mesma, o monitoramento deverá ser realizado pelas mesmas medidas.

O erro médio (ME) pode ser utilizado para avaliar a introdução de vieses pelo especialista na previsão (análise realizada na próxima seção).

6.5.2. Feedback aos especialistas

Neste trabalho realizaram-se duas formas de feedback ao especialista. Disponibilizou-se o valor da venda mensal do mês anterior (outcome feedback ) e o desempenho do mesmo através do MAPE (performance feedback) (Lawrence et al., 2006). As duas abordagens estavam presentes na planilha mensal e devem ser utilizadas no monitoramento do desempenho do especialista.

7. Avaliação dos resultados

Nas Tabelas 5, 6 e 7 são exibidos os valores das previsões com os erros associados para cada mês da pesquisa. De forma geral, a incorporação de julgamento resultou em melhorias no desempenho das previsões.

Tabela 5:
Erros associados à previsão quantitativa e ajustada - madeira Cambará.

Tabela 6:
Erros associados à previsão quantitativa e ajustada - madeira Itaúba.

Tabela 7:
Erros associados à previsão quantitativa e ajustada - madeira Peroba.

Armstrong & Collopy (1998) afirmam que diversos estudos encontraram melhorias quando o ajuste por julgamento foi realizado em séries que possuíam alta variabilidade. Em função do exposto, verificou-se a oscilação máxima da demanda para cada madeira: 45 m³, o Cambará, 24,5m³, a Peroba e 19,41 m³, a Itaúba. Avaliando-se os incrementos em acuracidade (diferença entre MAPE 1 e MAPE 2), verifica-se que para a série com maior variabilidade (Cambará) ocorreu o maior incremento na acuracidade da previsão (7,3%), confirmando estudos anteriores.

Para analisar o desempenho do especialista utiliza-se o erro médio. Através dele, tendências como otimismo são identificadas a partir de um erro médio positivo. A Tabela 8 demonstra o erro médio para cada tipo de madeira. Pode-se visualizar que o especialista tende a realizar ajustes positivos na previsão, caracterizando certo otimismo, principalmente para a madeira Peroba, em que foi verificado o maior erro médio (6,69).

Tabela 8:
Erros médios das previsões ajustadas.

Os ajustes mais altos ocorreram na madeira Cambará (-22,87 em fevereiro e 21,20 em junho). Entretanto, essa também foi a espécie em que houve os maiores ganhos com a incorporação de julgamento (7,3%). Verifica-se, então, que grandes ajustes não reduzem a acuracidade média das previsões, pois nesses casos os especialistas possuem informações relevantes para realizar os ajustes. Fildes et al. (2009) também chegam a essa conclusão no seu trabalho, afirmando que enquanto os maiores ajustes tendem a melhorias na acuracidade, os menores ajustes normalmente a prejudicam. Além disso, os autores verificam que normalmente os ajustes são realizados na direção errada, sugerindo uma tendência geral ao otimismo.

Para verificar a eficiência dos ajustes avaliou-se o número de vezes que eles foram benéficos (o erro diminuiu) em relação ao total de meses estudados. Nas situações em que o especialista não realizou ajuste na previsão quantitativa também se contabilizou a eficiência da previsão final visto que a decisão de não alterar o valor previsto também é um ajuste. Em conversa com o especialista, nesse ramo de mercado, um erro nas previsões de 20% pode ser considerado aceitável. Por isso, os meses nos quais o gerente não ajustou as previsões e os erros ficaram abaixo de 20% foram avaliados como favoráveis. Para a madeira Cambará, de todos os meses de ajustes, 55% deles foram favoráveis, para a Peroba, 67%, e para a Itaúba, 78%. Ou seja, apesar de na maioria das vezes os ajustes na Itaúba serem bons, não trouxeram melhorias substanciais como os ajustes feitos no Cambará, que teve o menor índice de acertos, mas o melhor resultado final.

Contudo, os ajustes foram favoráveis à acuracidade em mais de 50% para todos os casos, o que confirma o bom desempenho e a importância da incorporação de julgamentos. Também se pode concluir que o especialista possui grande habilidade em traduzir como informações contextuais influenciam nas vendas, em sua maior parte proveniente do seu conhecimento sobre o produto e o mercado.

8. Conclusões

No dia a dia da maioria das organizações, os modelos preditivos geram números que passam pelo crivo dos gestores antes de tornarem-se ações, caracterizando uma integração de métodos quantitativos com incorporação de julgamentos. Quando o julgamento é utilizado, o especialista deve possuir informações contextuais não existentes no modelo estatístico e domínio de conhecimento para interpretar corretamente os eventos inesperados e as informações informais. Para que isso aconteça, é necessária a implantação de um processo estruturado para realizar a previsão, evitando os possíveis vieses e limitações do julgamento humano que comprometem o desempenho e a credibilidade das previsões.

Dessa forma, este trabalho apresentou um procedimento para implantação de um método de previsão de demanda quantitativo com posterior incorporação de julgamento de especialistas.

A metodologia proposta neste artigo foi aplicada em uma empresa madeireira de pequeno porte. Os produtos escolhidos para o estudo foram três madeiras classificadas como de alta rotatividade e participação financeira (classe A). Realizou-se inicialmente uma previsão quantitativa considerando diversos métodos de previsão de séries temporais. A escolha do método quantitativo foi executada de forma dinâmica através da metodologia Focus Forecasting. Posteriormente, efetuou-se a estruturação do processo de incorporação de julgamentos, baseando-se em trabalhos anteriores da literatura. A pesquisa foi realizada ao longo de nove meses, sendo que todo início de mês apresentaram-se ao especialista os dados quantitativos para que fossem realizados os ajustes.

Na análise dos resultados verificou-se que o método estruturado utilizado para incorporar os ajustes por julgamento reduziu os erros das previsões quantitativas em média em 5%. Observou-se que o melhor desempenho dos ajustes ocorreu para o tipo de madeira com maior variabilidade na série (Cambará), confirmando estudos anteriores sobre a existência dessa relação. Além disso, avaliou-se o desempenho do especialista, verificando-se uma pequena tendência ao otimismo. Já em relação ao tamanho dos ajustes, os melhores resultados foram verificados nos maiores ajustes, visto que nesses casos o especialista normalmente possui uma informação contextual importante para incorporar.

Como trabalho futuro sugere-se a determinação de um processo para implantação de um sistema de previsão que considere a influência do especialista em diversas partes do processo e não somente na verificação da previsão estatística. Também, novas formas de estruturação do julgamento podem ser criadas e testadas. Ainda, pode-se realizar uma análise dos resíduos das previsões com julgamentos para identificar algum erro sistemático do especialista.

Referências

• Allemão, M. A. F. (2004). Redes neurais aplicadas à previsão de demanda de numerário em agências bancárias (Dissertação de mestrado). Universidade Federal do Rio de Janeiro, Rio de Janeiro.
• Ansuj, P. A., Camargo, M. E., & Petry, D. G. (1994). Redes neurais: uma aplicação na previsão de vendas. Produção 4, 58-63. http://dx.doi.org/10.1590/S0103-65131994000300007
  » http://dx.doi.org/10.1590/S0103-65131994000300007
• Arkes, H. R. (2001). Overconfidence in judgmental forecasting. In J. S. Armstrong. Principles of forecasting: a handbook for researches and practitioners (pp. 495 -516). Dordrecht: Kluwer Academic Publishers. http://dx.doi.org/10.1007/978-0-306-47630-3_22
  » http://dx.doi.org/10.1007/978-0-306-47630-3_22
• Armstrong, J. S. (2001). Principles of forecasting: a handbook for researches and practitioners . Dordrecht: Kluwer Academic Publishers http://dx.doi.org/10.1007/978-0-306-47630-3
  » http://dx.doi.org/10.1007/978-0-306-47630-3
• Armstrong, J. S., & Collopy, F. (1998). Integration of statistical methods and judgment for time series forecasting: principles from empirical research. In G. Wright & P. Goodwin (Eds.), Forecasting with judgment (pp. 269- 293). Chichester: John Wiley & Sons. PMid:9921536.
• Clemen, R. T. (1989). Combining forecasts: a review and annotated bibliography. International Journal of Forecasting 5, 559-583. http://dx.doi.org/10.1016/0169-2070(89)90012-5
  » http://dx.doi.org/10.1016/0169-2070(89)90012-5
• De Gooijer, J. G., & Hyndman, R. J. (2006). 25 years of time series forecasting. International Journal of Forecasting 22(3), 443-473. http://dx.doi.org/10.1016/j.ijforecast.2006.01.001
  » http://dx.doi.org/10.1016/j.ijforecast.2006.01.001
• Eroglu, C., & Croxton, K. L. (2010). Biases in judgmental adjustments of statistical forecasts: the role of individual differences. International Journal of Forecasting 26(1), 116-133. http://dx.doi.org/10.1016/j.ijforecast.2009.02.005
  » http://dx.doi.org/10.1016/j.ijforecast.2009.02.005
• Fildes, R., & Goodwin, P. (2007). Against your betterjudgment? How organizations can improve their use of management judgment in forecasting. Interfaces 37(6), 570-576. http://dx.doi.org/10.1287/inte.1070.0309
  » http://dx.doi.org/10.1287/inte.1070.0309
• Fildes, R., Lawrence, M., & Goodwin, P. (2006). The design features of forecasting support systems and their effectiveness. Decision Support Systems 42(1), 351-361. http://dx.doi.org/10.1016/pdss.2005.01.003
  » http://dx.doi.org/10.1016/pdss.2005.01.003
• Fildes, R., Goodwin, P., Lawrence, M., & Nikolopoulos, K. (2009). Effective forecasting and judgmental adjustments: an empirical evaluation and strategies for improvement in supply-chain planning. International Journal of Forecasting 25(1), 3-23. http://dx.doi.org/10.1016/j.ijforecast.2008.11.010
  » http://dx.doi.org/10.1016/j.ijforecast.2008.11.010
• Gonül, S., Õnkal, D., & Goodwin, P. (2009). Expectations, use and judgmental adjustment of external financial and economic forecasts: an empirical investigation. Journal of Forecasting 28(1), 19-37. http://dx.doi.org/10.1002/for.1082
  » http://dx.doi.org/10.1002/for.1082
• Goodwin, P. (2000). Improving the voluntary integration of statistical forecasts and judgement. International Journal of Forecasting 16(1), 85-99. http://dx.doi.org/10.1016/S0169-2070(99)00026-6
  » http://dx.doi.org/10.1016/S0169-2070(99)00026-6
• Goodwin, P. (2002). Integrating management judgment and statistical methods to improve short-term forecasts. Omega International Journal of Management Science 30(2), 127-135. http://dx.doi.org/10.1016/S0305-0483(01)00062-7
  » http://dx.doi.org/10.1016/S0305-0483(01)00062-7
• Goodwin, P., Fildes, R., Lawrence, M., & Stephens, G. (2011). Restrictiveness and guidance in support systems. Omega 39(3), 242-253. http://dx.doi.org/10.1016Zj.omega.2010.07.001
  » http://dx.doi.org/10.1016Zj.omega.2010.07.001
• Harvey, N., & Bolger, F. (1996). Graphs versus tables: effects of data presentation format on judgmental forecasting. International Journal of Forecasting 12(1), 119-137. http://dx.doi.org/10.1016/0169-2070(95)00634-6
  » http://dx.doi.org/10.1016/0169-2070(95)00634-6
• Herzog, S. M., & Hertwig, R. (2009). The Wisdom of many in one mind: improving individual judgments with Dialectical Bootstrapping. Psychological Science 20(2) 231-237. PMid:19170937. http://dx.doi.org/10.1111/j.1467-9280.2009.02271.x
  » http://dx.doi.org/10.1111/j.1467-9280.2009.02271.x
• Julianelli, L. (2007). Problemas de julgamento e tomada de decisão no atendimento da demanda Rio de Janeiro: Coppead. Recuperado em 20/03/2012, de Recuperado em 20/03/2012, de http://www.coppead.ufrj.br
  » http://www.coppead.ufrj.br
• Lawrence, M., Goodwin, P., O'Connor, M., & Õnkal, D. (2006). Judgmental forecasting: a review of progress over the last 25 years. International Journal of Forecasting 22(3), 493-518. http://dx.doi.Org/10.1016/j.ijforecast.2006.03.007
  » http://dx.doi.Org/10.1016/j.ijforecast.2006.03.007
• Leitner, J., & Leopold-Wildburger, U. (2011). Experiments on forecasting behavior with several sources of information: a review of the literature. European Journal of Operational Research 23(3), 459-469. http://dx.doi.org/10.1016/j.ejor.2011.01.006
  » http://dx.doi.org/10.1016/j.ejor.2011.01.006
• Lemos, F. O. (2006). Metodologia para seleção de métodos de previsão de demanda (Dissertação de mestrado). Universidade Federal do Rio Grande do Sul, Porto Alegre.
• Lim, J. S., & O'Connor, M. (1996). Judgmental forecasting with time series and causal information. International Journal of Forecasting 72(1), 139-153. http://dx.doi.org/10.1016/0169-2070(95)00635-4
  » http://dx.doi.org/10.1016/0169-2070(95)00635-4
• Makridakis, S., Wheelwright, S., & Hyndman, R. (1998). Forecasting: methods and applications New York: John Wiley & Sons.
• Marmier, F., Gonzales-Blanch, M., & Cheikhrouhou, N. (2009). A new structured adjustment approach for demand forecasting. In International Conference on Computers & Industrial Engineering Lausanne, Switzerland.
• Montgomery, D. C., & Runger, G. C. (2003). Applied statistics and probability for engineers Phoenix: John Wiley & Sons.
• Pellegrini, F. R., & Fogliatto, F. S. (2001). Passos para implantação de sistemas de previsão de demanda: técnicas e estudo de caso. Produção 11(1), 43-64.
• Samohyl, R. W. (2006). Measuring the efficiency of an informal forecasting process. Foresight: The International Journal of Applied Forecasting (3), 16-21.
• Samohyl, R. W., Souza, G. P., & Miranda, R. G. (2007). Métodos simplificados de previsão empresarial Rio de Janeiro: Ciência Moderna. (Apostila).
• Sanders, N. R., & Ritzman, L. P. (2001). Judgmental adjustment of statistical forecasting. In J. S. Armstrong, Principles of forecasting: a handbook for researches and practitioners (pp. 405-416). Dordrecht: Kluwer Academic Publishers http://dx.doi.org/10.1007/978-0-306-47630-3_18
  » http://dx.doi.org/10.1007/978-0-306-47630-3_18
• Souza, G. P. (2008). Método para estruturar a integração de previsões utilizando a técnica Delphi (Tese de doutorado). Universidade Federal de Santa Catarina, Florianópolis.
• Staudt, F. H. (2011). Estudo de métodos de previsão de demanda com incorporação de julgamentos (Dissertação de mestrado). Universidade Federal de Santa Catarina, Florianópolis.
• Syntetos, A. A., Nikolopoulos, K., Boylan, J. E., Fildes, R., & Goodwin, P. (2009). The effects of integrating management judgement into intermittent demand forecasts. International Journal Production Economics 18(1), 72-81. http://dx.doi.org/10.1016Zj.ijpe.2008.08.011
  » http://dx.doi.org/10.1016Zj.ijpe.2008.08.011
• Vondouris, C., Owusu, G., Dorne, R., & Lesaint, D. (2008). Service chain management: technology innovation for the service business Berlin: Springer. http://dx.doi.org/10.1007/978-3-540-75504-3
  » http://dx.doi.org/10.1007/978-3-540-75504-3
• Wanke, P., & Julianelli, L. (2006). Previsão de vendas: processos organizacionais e métodos quantitativos e qualitativos (Coleção Coppead de Administração). São Paulo: Atlas.
• Webby, R., & O'Connor, M. (1996). Judgemental and statistical time series forecasting: a review of the literature. International Journal of Forecasting 12(1), 91-118. http://dx.doi.org/10.1016/0169-2070(95)00644-3
  » http://dx.doi.org/10.1016/0169-2070(95)00644-3
• Webby, R., & O'Connor, M. (2001). Judgmental time-series forecasting using domain knowledge. In J. S. Armstrong, Principles of forecasting: a handbook for researches and practitioners (pp. 389-404).. Dordrecht: Kluwer Academic Publishers http://dx.doi.org/10.1007/978-0-306-47630-3_17
  » http://dx.doi.org/10.1007/978-0-306-47630-3_17
• Webby, R., Connor, M. O., & Edmundson, B. (2005). Forecasting support systems for the incorporation of event information: an empirical investigation. International Journal of Forecasting 27(3), 411-423. http://dx.doi.Org/10.1016/j.ijforecast.2004.10.005
  » http://dx.doi.Org/10.1016/j.ijforecast.2004.10.005
• Werner, L. (2004). Um modelo composto para realizar previsão de demanda através da integração da combinação de previsões e do ajuste baseado na opinião (Tese de doutorado). Universidade Federal do Rio Grande do Sul, Porto Alegre.
• Werner, L., & Ribeiro, J. L. D. (2006). Modelo composto para prever demanda através da integração de previsões. Produção 1(6,3),493-509. http://dx.doi.org/10.1590/S0103-65132006000300011
  » http://dx.doi.org/10.1590/S0103-65132006000300011
• Wild, T. (1997). Best practice in inventory management . New York: John Wiley & Sons

Datas de Publicação

• Publicação nesta coleção
  10 Nov 2015
• Data do Fascículo
  Apr-Jun 2016

Histórico

• Recebido
  20 Mar 2012
• Aceito
  28 Jan 2014