A recomendação MMOG/LE: uma análise da influência prática de sua adoção na melhoria de processos logísticos

The MMOG/LE recommendation: a practical assessment of the influence of its adoption to improve logistics processes

ARTIGOS CIENT͍FICOS

A recomendação MMOG/LE: uma análise da influência prática de sua adoção na melhoria de processos logísticos

The MMOG/LE recommendation: a practical assessment of the influence of its adoption to improve logistics processes

Jurandir Peinado^I; Alexandre Reis Graeml^II

^IUniversidade Positivo - Curitiba, PR/Brasil. [e-mail]

^IIUniversidade Positivo - Curitiba, PR/Brasil. [e-mail]

RESUMO

Este artigo analisa a influência prática de uma ferramenta de avaliação do desempenho logístico de empresas do setor automotivo no Brasil. Os participantes, que receberam treinamento e implantaram a recomendação MMOG/LE (Materials Management Operating Guideline/Logistics Evaluation) em suas empresas, responderam a um questionário com perguntas de escala Likert. Foi utilizado um conjuntos de variáveis constituído por 32 perguntas elaboradas de forma a cobrir as diversas áreas de preocupação da MMOG-LE e os processos logísticos a elas relacionados, na tentativa de compreender a sua influência na melhoria dos processos logísticos das empresas pesquisadas, a partir da percepção dos respondentes. Também se buscou identificar "dimensões logísticas" em torno das quais os participantes percebem contribuição mais efetiva da MMOG/LE. O principal resultado consistiu na identificação de três dimensões logísticas valorizadas pelos respondentes. Os respondentes evidenciaram ter percepções alinhadas para três grupos (fatores) de variáveis: (1) preocupações com os processos produtivos e logísticos; (2) preocupações com os detalhes do relacionamento com os clientes; e (3) preocupações com uma visão sistêmica da importância das operações e logística no contexto de suas organizações e com o alinhamento dos objetivos funcionais à estratégia das empresas. Os respondentes consideram que a MMOG/LE foi mais importante no sentido de proporcionar a visão sistêmica sobre os processos logísticos, tão necessária quando estes começam a ficar mais complexos e envolver uma quantidade maior de partes envolvidas.

Palavras-chave: logística, avaliação de desempenho, MMOG-LE.

ABSTRACT

This paper analyses the practical influence of a logistics performance assessment tool as perceived by operations managers from the automotive industry in Brazil. Participants that had been trained and had implemented the MMOG/LE Recommendation (Materials Management Operating Guideline/Logistics Evaluation) in their organizations filled in a Likert scale survey. A set of variables was used comprising 32 questions covering all areas of concern of the MMOG/LE and the logistics processes related to them, in an attempt to understand its contribution to the improvement of the logistics processes in the surveyed organizations. There was also an attempt to identify "logistics dimensions" for which the recommendation provides most effective contributions. The main result was the identification of three such dimensions that were value by the respondents: (1) concerns with the manufacturing and logistics processes; (2) concerns with the details involved in the relationship with customers; and (3) concerns with the development of a systemic understanding of the importance of operations and logistics to the organization as a whole and the alignment of functional objectives to the organization's strategy. Respondents consider that MMOG/LE is more important to provide a holistic view of the logistics processes that anything else, which is really important considering that such processes are becoming more and more complex and each time involve a greater number of different parties.

Keywords: logistics, performance assessment, MMOG-LE.

1. Introdução

As mudanças no ambiente de negócios nas últimas décadas exigiram a substituição do gerenciamento empresarial baseado na produtividade por um novo modelo baseado na competitividade, que se resume na capacidade da organização se diferenciar dos concorrentes, além de operar a baixo custo (STALK, EVANS e SHULMAN, 1992). Isto ocorreu porque, com o passar do tempo, as vias tradicionais para melhorar a produtividade e a qualidade e reduzir os custos foram se esgotando (CHRISTOPHER e PECK, 2004; CHAN e CHAN, 2005).

Neste cenário, a logística passou a atrair mais atenção dos executivos de empresas em sua tentativa de conseguir ganhos para suas organizações, o que levou autores como Taboada (2002) a descrevê-la como a "última fronteira competitiva". Kiefer e Novack (1999) compartilham dessa percepção, afirmando que o gerenciamento da cadeia de suprimentos (SCM) tornou-se o conceito mais popular como forma de proporcionar vantagem competitiva na década de 1990. As empresas perceberam que não era mais possível se manter competitivas apenas reduzindo os custos internos de suas operações. Uma parte do esforço de aumento de eficiência precisava ser direcionada para a coordenação de atividades com fornecedores e clientes (HARRINGTON, 2005), procurando explorar sistemicamente as potencialidades das cadeias de valor. Empresas dos mais diversos setores industriais estão, agora, envolvidas em projetos interempresariais que visam a melhorar o fluxo de produtos e de informações entre os diversos elos que unem fornecedores a clientes, desde os produtores das matérias-primas mais básicas até aqueles que colocam produtos e serviços finais à disposição dos consumidores (DAUGHERTY, STANK e ELLINGER, 1998; STALK, EVANS e SHULMAN, 1992).

De acordo com Parry, Graves e James-Moore (2006), a logística de entrada de muitas empresas foi racionalizada e agora poucos "escolhidos" fazem parte do seleto grupo de fornecedores, mantendo contato direto e muito mais próximo com seus clientes, que demandam maior atenção e grande responsabilidade. O desenvolvimento de relacionamentos mais próximos e a troca de informações tornaram-se uma prioridade competitiva dessas empresas. Neste sentido, Chan e Chan (2005, p. 1006) definem "cadeia de suprimentos como uma rede conectada e interdependente de organizações trabalhando conjuntamente, de forma cooperada, para controlar, gerenciar e melhorar o fluxo de materiais e informações dos fornecedores e usuários finais". Segundo esses autores o novo paradigma consiste em cadeias de suprimentos competindo com cadeias de suprimentos. O sucesso de qualquer de seus membros irá depender de quão bem eles são capazes de gerenciar seu relacionamento na cadeia de suprimentos.

Průša e Tilkeridis (2006) ressaltam que se tornou essencial para qualquer empresa dispor de uma política para a logística que ajude a empresa a convergir esforços para os principais objetivos logísticos: o melhor gerenciamento de estoques, confiabilidade das entregas e precisão do fluxo de materiais, com a melhor utilização dos recursos disponíveis.

O SCM está ganhando reconhecimento em empresas de todo o mundo, concluem Mollenkopf e Dapiran (2005) em um estudo que reúne grande número de empresas da Austrália e Nova Zelândia, as quais precisam dispor de especial competência logística para conseguir competir nos grandes mercados, geograficamente distantes de suas bases.

A percepção pelo mercado de que a logística representa uma fronteira a ser explorada, embora não se deva esperar que seja a "última" (ao menos não no sentido de derradeira), tem aumentado significativamente o nível de detalhamento a que as questões relacionadas à logística são submetidas nas organizações. Isto ocorre concomitantemente com o aumento da complexidade dos processos logísticos e, consequentemente, do risco de perda de efetividade, caso não se criem mecanismos para garantir que ela esteja sempre presente. O foco no detalhe, natural mas paradoxalmente, faz com que os envolvidos tendam a perder a perspectiva do todo, que é justamente o que se pretende otimizar com os esforços de aperfeiçoamento logístico. Por isso, começam a ser demandadas métricas de avaliação da real eficácia das ações realizadas pelas empresas e pelas cadeias em que estão envolvidas para garantir o melhor fluxo possível de produtos e informações por todas as interfaces entre funções, unidades de negócio ou empresas, sem que se gerem custos desnecessários, ou seja, custos que não estejam relacionados à geração de valor para o consumidor (PORTER, 1992).

Graeml e Peinado (2011, p. 1) lembram que, "embora a logística tenha assumido essa posição de destaque entre as atividades empresariais, nos últimos anos [...] ainda são raras as ferramentas de avaliação que ajudem a mensurar a efetividade do desempenho logístico". Salientam que ainda mais raros são os estudos sobre a implantação de ferramentas de avaliação do desempenho logístico nas empresas.

Para tentar, de alguma forma, contribuir para a mudança deste cenário (falta de pesquisa sobre mecanismos de avaliação da eficácia dos esforços logísticos), a pesquisa aqui relatada teve como principal objetivo avaliar a percepção dos usuários sobre uma destas ferramentas de avaliação dos processos logísticos e sua capacidade de influenciar o SCM das empresas que a adotam. Trata-se da MMOG/LE, uma recomendação elaborada pelas associações das empresas montadoras de veículos automotores da Europa e América do Norte com o intuito de orientar seus associados sobre como avaliar o alinhamento da função logística/operações à estratégia empresarial, a organização do trabalho, o planejamento da capacidade e da produção, a melhoria da interface com clientes, o controle do produto e da produção e a melhoria da interface com fornecedores.

O desenvolvimento da pesquisa se justificava, do ponto de vista prático, pela possibilidade de divulgação da percepção dos usuários sobre uma ferramenta que atualmente tem sido usada quase que exclusivamente pela indústria automotiva, mas que pode ser ajustada para outros contextos industriais. Tratando-se de um modelo prontamente disponível (acessível a partir dos web sites das entidades propositoras) e de baixo custo de implantação, já que consiste em um formulário de avaliação contido em um arquivo do MS Excel, a MMOG-LE pode ser uma alternativa para proporcionar padronização das expectativas sobre o desempenho logístico, ao longo de um determinado setor industrial, como já vem fazendo no automotivo.

A partir de uma perspectiva teórica, a relevância da realização da pesquisa também é clara, em face da constatação que, embora a logística e a gestão de cadeias de suprimentos estejam em evidência, tanto em trabalhos acadêmicos como na prática empresarial, como já mencionado, poucos são os estudos que tratam da avaliação do seu desempenho.

Nas seções seguintes, após esta breve introdução, são discutidas diversas formas de mensuração do desempenho da cadeia de suprimentos, para então se apresentar a ferramenta MMOG-LE. Depois, é explicada a metodologia utilizada na coleta e na análise dos dados, são analisados os dados e discutidos os resultados da pesquisa. Por fim, encerra-se o artigo com a conclusão e algumas considerações finais, que incluem possíveis encaminhamentos para futuros estudos, além de limitações deste trabalho.

2. Revisão da Literatura

2.1 Mensuração do desempenho da cadeia de suprimentos

Bastos Jr (2007) constata a existência de diversos trabalhos acadêmicos e científicos que exploram o enfoque estratégico do SCM. Segundo o autor, uma gama de técnicas e metodologias vem sendo difundida com o objetivo de aumentar a lucratividade e eficiência operacional das empresas, adotando visão mais sistêmica e de longo prazo, com maior coordenação de atividades com agentes externos à própria organização. Christopher e Peck (2004) percebem, contudo, que, em função da prospecção de fornecedores em nível mundial (global sourcing) e da aplicação da produção enxuta (lean production), entre outros esforços que levam à sofisticação da logística adotada pelos seus diversos integrantes, as cadeias de suprimentos acabaram se tornando também mais vulneráveis. Aumentou significativamente, na visão desses autores, o risco de ruptura nas cadeias de suprimentos, o que exige que se dedique especial atenção aos processos logísticos nas organizações e entre elas, e à definição de formas e sistemas de mensuração e avaliação do desempenho logístico.

Chan e Chan (2005) reiteram a importância estratégica do SCM e salientam a importância de modelos de análise do desempenho das cadeias de suprimentos. Segundo esses autores, a cadeia de suprimentos é um modelo complexo e de difícil análise, em particular, a respeito de seu desempenho.

Kiefer e Novack (1999) afirmam que, dentre os principais problemas associados ao SCM, está a medição da performance da cadeia de suprimentos. Isto decorre, na visão desses autores, da dificuldade de definir quais processos da cadeia podem ser gerenciados e mesmo quais organizações ou intermediários fazem parte da cadeia de suprimentos. De acordo com Liang et al. (2006), um sistema apropriado de mensuração da performance é fundamental para o efetivo gerenciamento da cadeia de suprimentos. Segundo eles, existem duas dificuldades principais na mensuração do desempenho da cadeia de suprimentos: (1) a existência de múltiplas medidas de desempenho dos membros da cadeia e indefinição dos dados que devem ser levantados para a realização das medidas; e (2) a existência de conflitos entre os membros da cadeia a respeito de medições específicas.

Ponomarov e Holcomb (2009) definem a resiliência da cadeia de suprimentos como sendo a capacidade da cadeia de suprimentos de preparar-se para eventos inesperados e responder às rupturas por meio da recuperação da manutenção da continuidade das operações no nível desejado de conectividade e controle das funções e estruturas. Pettit (2008) apresenta uma ferramenta para mensurar e gerenciar a resiliência da cadeia de suprimentos. De acordo com esse autor, a resiliência da cadeia de suprimentos pode ser calculada por meio de duas dimensões: vulnerabilidades e capacidades, que seriam os atributos que habilitam uma empresa a antecipar e superar rupturas na cadeia de suprimentos. Sua pesquisa identifica sete vulnerabilidades e quatorze formas de capacidades distintas.

Kleindorfer e Saad (2005), também preocupados com a temática, apresentam uma estrutura conceitual e um modelo para identificar, mensurar e gerenciar prováveis riscos de ruptura da cadeia de suprimentos. Os autores chamam de "SAM-SAC" o modelo criado para representar as três principais tarefas ligadas aos riscos: (1) especificação de fontes de riscos e vulnerabilidades, (2) avaliação e mitigação dos riscos e (3) estratégias, ações e condições necessárias para a efetiva implementação. Apesar do modelo proposto, Kleindorfer e Saad (2005) concluem seu trabalho afirmando que o gerenciamento dos riscos na cadeia de suprimentos não pode ser visto sob o prisma único da ciência, mas também como uma forma de arte.

Ratick, Meacham e Aoyama (2008) apresentam outro estudo para mitigação do risco de ruptura na cadeia de suprimentos. Sua pesquisa conclui que os custos extras relacionados a estoques backup em instalações adicionais resultantes de ações que procuram mitigar os potenciais efeitos dos vários riscos (ex. inundações, incêndios, roubos, vandalismo etc.) acabam sendo compensadores quando existe probabilidade significativa de a ruptura perdurar.

Liang et al. (2006) alertam que o método convencional DEA (data envelopment analysis) não pode ser empregado diretamente para medir o desempenho da cadeia de suprimentos em função da existência de medidas intermediárias conectando os membros da cadeia de suprimentos. A cadeia de suprimentos poderia ser considerada eficiente mesmo que seus membros fossem ineficientes, caso o método DEA fosse aplicado de forma convencional. Por isso, apresentam uma forma do modelo DEA baseada em programação não linear para solucionar o problema. Wong e Wong (2008) também alertam para o fato que a utilização do modelo DEA em estudos de

benchmarking na cadeia de suprimentos só pode ser feita com modificações no modelo. Martins e Gonçalves (2004) discutem a eficácia de um sistema de indicadores de desempenho composto de aspectos técnicos e comerciais, tendo como objetivo contribuir para um melhor entendimento na relação entre montadoras de automóveis e a cadeia de fornecedores. Na verdade, antecipam uma discussão que se intensificou nos anos que se seguiram, levando diversas montadoras europeias e norte-americanas a unificar os seus padrões e requisitos de avaliação de desempenho logístico, a partir de iniciativas das associações de montadoras nos dois continentes (Odette e AIAG, respectivamente), que desenvolveram a recomendação MMOG-LE (GRAEML e PEINADO, 2011), conforme indicado a seguir.

2. 2. A recomendação MMOG/LE

A MMOG/LE - Materials Management Operating Guideline/Logistics Evaluation - é um conjunto de recomendações de práticas e procedimentos referentes à gestão de materiais e logística criado por membros da indústria automobilística (HARRINGTON, 2005) com possibilidade de utilização nos mais variados ramos industriais. Afinal, "todas as cadeias de suprimento globais têm essencialmente as mesmas atividades: receber, armazenar, embarcar e transportar" (WITT, 2005, p. 20).

A MMOG/LE é uma ferramenta desenvolvida para auxiliar os fornecedores da indústria automotiva no aprimoramento dos controles de seus processos de gerenciamento de materiais (ANDEL, 2008). Isto permite reduções em custo de inventários próprios, fretes especiais, retrabalho, paradas de linha e tempo de ressuprimento (lead-time). Para Andel (2008), a MMOG/LE é uma forma de auto avaliação que auxilia os fornecedores a tornarem mais objetivas algumas ações que sempre foram encaradas com subjetividade, como a visibilidade dos inventários (matéria-prima, material em processo e produtos acabados) e os riscos na cadeia de suprimentos. Barrett (2009) comenta que a implantação da MMOG/LE por um fornecedor de médio porte da indústria automotiva na China permitiu que a empresa identificasse e resolvesse problemas em algumas áreas. A ação resultou em 50% de redução nos inventários de matéria-prima e produtos acabados, um escore perfeito de precisão de entregas, diminuição dos fretes especiais e aumento da qualidade. Ainda mais importante que tudo isto: a empresa obteve novos clientes e acredita que isso se deveu às suas iniciativas de controle e mensuração mais eficazes dos processos logísticos. Průša e Tilkeridis (2006), por sua vez, ressaltam características da MMOG/LE que permitem sua utilização na auto avaliação, mas também na melhoria contínua, alinhada à ISO/TS 16949:2002 que provê os fornecedores automotivos com os meios para medir e direcionar seu planejamento de materiais e processos logísticos. Neste sentido, apresentam um trabalho a respeito de um sistema de melhoramento contínuo da cadeia de suprimentos. O modelo baseia-se em três ferramentas: (1) um sistema de melhoria comum para todos os ativos da logística; (2) uma linguagem comum para todo o pessoal da logística: o Global MMOG/LE; e (3) uma estrutura comum para compartilhamento das melhores práticas: reuniões dos grupos de trabalho.

Para Witt (2005), a MMOG/LE é um profundo programa de diretrizes unificadas de auto avaliação para auxiliar a empresa na implantação de um eficiente programa de gerenciamento de materiais, possibilitando medir e pontuar os processos logísticos da empresa.

A recomendação vem ganhando, cada vez mais, popularidade na indústria automotiva como padrão recomendado para a gestão de materiais e da logística (BARRETT, 2009). Isto não se dá apenas em função da força de persuasão ou mera exigência das grandes montadoras. Outra boa razão para o elevado nível de adesão pelo setor consiste no ganho obtido pelas empresas usuárias, que ficam mais aptas a sustentar seu ROI, de acordo com pesquisa da AMR, citada por Barrett (2009). Os benefícios da adoção seriam significativos, incluindo reduções de 85% em fretes especiais, 80% nos custos por obsolescência, 43% em custos de inventário e 20% no tempo de entrada de dados.

As questões da MMOG/LE estão reunidas em uma planilha eletrônica e envolvem práticas de negócios e procedimentos da gestão logística. O formulário pode ser respondido pelos funcionários envolvidos com a produção, a logística e os processos de gestão da qualidade da empresa, possibilitando uma reflexão sobre o desempenho da empresa. De acordo com o próprio documento, sua utilização proporciona três resultados importantes (ODETTE e AIAG, 2006):

auto avaliação: a MMOG/LE orienta e permite a condução de uma auditoria interna da gestão dos procedimentos logísticos, realizada pela própria empresa, sem intervenção de outras partes;

mensuração: a auto avaliação conduzida utilizando-se a MMOG/LE permite atribuir nota ao desempenho logístico da organização. A padronização das avaliações proporciona importante subsídio para benchmarking; e

elaboração de planos de melhoria: a auto avaliação promove o levantamento dos pontos que precisam ser aprimorados, denominados gaps, podendo ser utilizada para nortear a implantação de planos de melhoria contínua, internamente à empresa, ou como ferramenta de desenvolvimento de fornecedores.

As empresas que fornecem componentes para várias montadoras distintas, ao mesmo tempo, enfrentavam dificuldade para comprovar a qualidade dos seus procedimentos logísticos para cada um dos seus clientes, porque cada montadora apresentava exigências diferentes, embora com o mesmo propósito, em função das diferentes normativas utilizadas. A montadora norte-americana Ford adotava o sistema de certificação logística Q1, a francesa Renault utilizava EAQL, o que também acontecia com a sueca Volvo. Todas elas já migraram ou estão migrando para a MMOG-LE. Por isso, a AIAG e a Odette trabalharam em conjunto para criar um documento de avaliação logística que pudesse ser utilizado de forma global no setor (AIAG, 2006). A importância da unificação dos diversos procedimentos de avaliação logística para a indústria automobilística é destacada por Witt (2005, p. 20), que lembra que, antes do advento da MMOG/LE, não havia padronização e "as cadeias de suprimento falavam línguas diferentes".

Assim, a recomendação MMOG/LE surgiu para atender duas importantes demandas específicas da indústria automotiva: (1) a necessidade de definir um critério de avaliação de desempenho logístico e (2) a necessidade de unificar o grande número de diferentes recomendações e normas, de todos os tipos, exigidas dos fornecedores pelas grandes montadoras (HARRINGTON, 2005; INTERNET AUTOGUIDE, 2004). O seu principal propósito é, portanto, propiciar uma avaliação comum do planejamento de materiais e logística que possa ser utilizada tanto por fornecedores como pelas montadoras do setor automotivo.

Witt (2005) considera que a avaliação logística proporcionada pela recomendação MMOG/LE traduz a terminologia da gerência de materiais e esboça seus processos de forma que todos, em toda parte, possam compreender o seu significado. Assim, o documento foi concebido para poder ser utilizado por qualquer integrante da cadeia de suprimentos, como uma ferramenta de auto avaliação, ou entre parceiros de negócios como uma ferramenta de auditoria do desempenho da outra parte.

3. Procedimentos Metodológicos

O estudo aqui apresentado envolve uma pesquisa de natureza descritivo-exploratória, pois intenta efetuar a descrição dos processos, dos mecanismos e dos relacionamentos possíveis na realidade do fenômeno estudado, explorando-o de modo a alcançar melhor compreensão (GOODE e HATT, 1979; KERLINGER, 1980; CASTRO, 1978). É retrospectiva e transversal, pois investiga um fenômeno já acontecido a partir de contato com os respondentes que o testemunharam e dele tomaram parte para a coleta de dados em uma única ocasião, temporalmente delimitada (KUMAR, 2005).

Foi utilizado um conjunto de variáveis constituído por 32 perguntas elaboradas de forma a cobrir as diversas áreas de preocupação da MMOG-LE e os processos logísticos a elas relacionados, na tentativa de compreender a sua influência na melhoria dos processos logísticos das empresas pesquisadas, a partir da percepção dos respondentes. Também se buscou identificar "dimensões logísticas" em torno das quais os participantes percebem contribuição mais efetiva da MMOG/LE. Para tal, foram elaboradas questões sobre os processos discutidos nos seis capítulos da recomendação MMOG/LE: (1) Estratégia e melhoria; (2) Organização do trabalho; (3) Planejamento da capacidade de produção; (4) Interface com o cliente; (5) Controle do produto e da produção; e (6) Interface com os fornecedores (ODETTE e AIAG, 2006). Tais questões consistiam em afirmações com as quais os respondentes podiam concordar ou discordar, o que foi operacionalizado por meio de uma escala Likert de sete pontos, variando entre "concordo totalmente" e "discordo totalmente". O número ímpar de alternativas foi adotado para permitir que aqueles que não tivessem opinião formada pudessem explicitar essa situação.

A opção pela análise quantitativa decorreu da intenção de generalização dos resultados, a partir da análise dos dados coletados para a amostra de pesquisa (BABBIE, 2001). Seguindo as orientações de Netemeyer, Bearden e Sharma (2003), buscou-se a validação do instrumento de coleta, com relação ao conteúdo, por meio da análise do questionário por três especialistas no tema. A validação de face foi obtida por meio do pré-teste do questionário com respondentes que se sabia terem coordenado pessoalmente o processo de implantação da recomendação MMOG/LE em suas empresas.

3. 1. Procedimentos de coleta de dados, população e amostra

O questionário foi enviado no início de agosto de 2009, via email, contendo um link do programa Survey Monkey para cerca de 700 profissionais de logística atuantes em empresas do ramo automotivo, fornecedoras das grandes montadoras, com plantas industriais localizadas no território brasileiro. Muitos desses profissionais haviam sido treinados na utilização da ferramenta de avaliação logística MMOG/LE pelos pesquisadores, nos anos anteriores. O motivo de não se ter enviado o questionário para profissionais treinados muito recentemente é que eles, provavelmente, ainda não tinham tido tempo suficiente para conhecer a ferramenta em profundidade e implementar as suas recomendações na prática, o que tornaria sua participação na pesquisa pouco produtiva. Estas ações visaram a garantir a qualidade das respostas obtidas.

A aplicação da survey resultou na obtenção de 89 questionários, dos quais 69 haviam sido totalmente preenchidos. Verificou-se que dos 89 questionários recebidos, todos eram provenientes de respondentes de empresas distintas. A taxa de adesão foi relativamente elevada (cerca de 20%), considerando que dos 700 emails enviados aproximadamente 250 retornaram por problemas com o endereço de email ou barrados pelo servidor de email dos destinatários, que tratou o convite como spam. A existência de certo vínculo entre participantes e pesquisadores, uma vez que foram todos treinados pelos pesquisadores na utilização da ferramenta, pode ter colaborado para a taxa de retorno mais elevada do que o usualmente obtido em muitas surveys eletrônicas. Cohen (2003), Graeml e Csillag (2008), entre outros pesquisadores, trabalharam com taxas de retorno bastante inferiores em suas pesquisas.

Apesar do bom nível de retorno, a amostra obtida não é probabilística, já que os respondentes voluntariamente aceitaram colaborar com a pesquisa. Isto implica em risco de se realizar inferências.

3. 2. Procedimentos de tratamento e análise dos dados

Os dados de escala ordinal das respostas (de "concordo totalmente" até "discordo totalmente") foram, inicialmente, convertidos em uma escala intervalar, de 1 a 7, para permitir o cálculo de médias. Este procedimento, apesar da flexibilização que impõe ao rigor do método, tem sido utilizado em estudos que se baseiam em questionários com escala Likert, por facilitar a análise. Segundo Malhotra, "em uma escala intervalar, distâncias numericamente iguais na escala representam valores iguais na característica que está sendo avaliada. Uma escala intervalar não só possui toda a informação de uma escala ordinal, como também permite comparar as diferenças entre objetos" (2001, p. 240).

Os dados obtidos na pesquisa foram então analisados estatisticamente com o auxílio do Software SPSS (Statistical Package for the Social Sciences), versão 15. Inicialmente procedeu-se uma análise descritiva de cada uma das 32 variáveis por meio da AED (Análise Exploratória de Dados), que consiste, basicamente, em explorar os dados por meio de técnicas gráficas, como recomendado por Dancey e Reidy (2006). A identificação das dimensões sobre as áreas de avaliação logística do MMOG/LE pretendidas ocorreu por meio da análise fatorial, cujo método de extração foi a análise dos componentes principais. Avaliou-se a adequação fatorial por meio dos testes Kaiser-Meyer-Olkin (KMO) e esfericidade de Bartlett. Como havia vários fatores, que apresentavam eigenvalues maiores que um, optou-se por definir o número de fatores a adotar por meio do método screee plot, utilizando procedimento similar ao de Gobara et al. (2010) e Rossoni e Crubellate (2008). A análise fatorial foi complementada com rotação varimax, objetivando fazer com que as variáveis "carregassem" mais em fatores específicos, facilitando a sua interpretação (DANCEY e REIDY, 2006; HAIR et al., 2005). Conforme recomendado por Dancey e Reidy (2006), as variáveis com cargas fatoriais menores que 0,4 para todos os fatores gerados foram excluídas do estudo. Nenhuma variável apresentou valor negativo de carga fatorial de modo que precisasse ser interpretada de forma invertida. Após a definição de quais variáveis enquadravam-se em cada fator, avaliou-se a confiabilidade por meio do teste alfa de Cronbach. As variáveis com α < 0,5 foram descartadas, para evitar que reduzissem a confiabilidade da escala, seguindo-se o procedimento adotado por Glaser-Segura e Anghel (2003) e por Nunnally (1967) em pesquisas também de caráter exploratório. Alguns outros autores, mais conservadores, preferem trabalhar com α > 0,7 (DANCEY e REIDY, 2006; HAIR et al., 2005).

O passo seguinte consistiu em obter as médias das notas das variáveis relacionadas a cada constructo identificado pela análise fatorial.

4. Resultados Obtidos

Nesta seção são apresentados e discutidos os constructos identificados a partir da análise fatorial exploratória.

A análise dos histogramas de frequência e caixa de bigodes (box plots) gerados não provocou a exclusão de nenhuma variável do conjunto. A Tabela 1 expõe os resultados da análise fatorial exploratória. O teste de esfericidade de Bartlett mostrou-se significativo (p-value < 0,001) e o teste de Kaiser-Meyer-Olkin (KMO) também se mostrou adequado (KMO > 0,7), o que indica que a análise fatorial é uma técnica de exploração apropriada para o estudo pretendido.

Dos 32 itens originalmente sugeridos, descartou-se apenas um (P6.2: A adoção da MMOG/LE provocou a adequação do envio/recebimento de comunicação eletrônica -EDI ou Web-EDI com os fornecedores principais), pois contribuía negativamente para a confiabilidade do fator a que ficou relacionado, restando os 31 itens identificados na Tabela 1. Em função do que foi discutido na seção sobre procedimentos metodológicos, optou-se pela adoção de três fatores com o total de variância explicada de 67,46%. A Tabela 1 mostra detalhadamente a estrutura fatorial. Adicionalmente, apresenta na parte inferior as médias dos fatores, os eigenvalues (valores próprios) de cada um deles, a variância explicada e acumulada, além do índice de consistência interna (alfa de Cronbach).

Dentre os três agrupamentos que sobressaíram na análise fatorial, o primeiro remete a ações de melhoria voltadas para "processos logísticos", o segundo remete a ações de melhoria na "estratégia e organização do trabalho logístico" e o terceiro agrupamento remete a ações de melhoria voltadas à "interface com os clientes".

O fator 1 ficou composto por 19 itens que, considerando as cargas fatoriais mais expressivas, são em sua maioria, questões relacionadas aos capítulos 3, 4, 5 e 6 da recomendação MMOG/LE (Planejamento da capacidade de produção; Interface com os clientes; Controle do produto e da produção; e Interface com os fornecedores, respectivamente). A predominância destes aspectos levou os autores a identificar esse fator como processos logísticos. Este fator apresentou um índice de consistência interna, alfa de Cronbach, igual a 0,967, e itens com carga fatorial variando entre 0,543 e 0,822. A média obtida para as variáveis que compõem esse fator foi de 2,79 (entre "concordo ligeiramente" e "concordo"), mostrando que os respondentes demonstram algum grau de concordância com o fato de a adoção da MMOG/LE proporcionar melhoria nesse aspecto.

O fator 2 ficou composto por oito itens, sendo que todos se referem ao capítulo 1 - Estratégia e melhoria - e ao capítulo 2 - Organização do trabalho. A predominância destes aspectos levou a que se chamasse esse fator de estratégia e organização do trabalho. Este fator apresentou um índice de consistência interna, alfa de Cronbach, igual a 0,912 e itens com carga fatorial variando entre 0,505 e 0,867. A média deste fator foi de 2,39 (entre "concordo ligeiramente" e "concordo"), mostrando que os respondentes também concordam ligeiramente que a adoção da MMOG/LE possibilitou melhorias na estratégia e na organização do trabalho logístico.

O fator 3 ficou composto por quatro variáveis, relativas a questões dos capítulos 3 e 4 (Planejamento da capacidade de produção e Interface com os clientes, respectivamente). Todas as questões que "carregaram" nesse fator, estão de alguma forma, relacionadas à troca de informações com os clientes. Por isso, o fator foi nominado interface com os clientes. Este fator apresentou um índice de consistência interna, alfa de Cronbach, igual a 0,925 e variáveis com carga fatorial variando entre 0,623 e 0,819. A média deste fator foi de 2,59 (também entre "concordo ligeiramente" e "concordo"), mostrando que, assim como já havia ocorrido para os dois fatores anteriores, os respondentes concordam ligeiramente que a adoção da MMOG/LE gerou oportunidades de melhoria na interface com os clientes.

Buscando-se compreender a intensidade com que os respondentes concordaram com as variáveis representadas pelas três dimensões obtidas pela análise fatorial, construiu-se o gráfico com os intervalos de confiança para as médias obtidas, apresentado na Figura 1.

Médias para as dimensões logísticas entre 2 e 3, como as obtidas no estudo, indicam um posicionamento dos respondentes com tendência a ligeira concordância com as afirmações que compõem cada fator (4 era o centro da escala). Embora não haja distribuição que se aproxime de uma curva normal para as respostas, o tamanho da amostra é suficientemente grande para se poder utilizar a estatística t de student para o cálculo de intervalos de confiança para a média das respostas da população, a partir dos dados da amostra. Os intervalos de 95% de confiança obtidos para as três dimensões enquadram-se totalmente entre as médias 2 ("concordo") e 3 ("concordo ligeiramente"). Não se pode afirmar que os respondentes têm níveis de percepção do impacto da MMOG/LE diferentes para "interface com os clientes" e "processos logísticos", uma vez que os intervalos gerados se sobrepõem. Mas o impacto sobre a "estratégia e organização do trabalho" é percebido como superior ao impacto sobre "Processos logísticos" (ver Figura 1).

Embora a intenção com a aplicação da survey tenha sido, conforme mencionado no início do trabalho, procurar compreender a extensão em que a MMOG/LE, especificamente, é percebida por aqueles que a implementam como ferramenta capaz de contribuir para melhorar o gerenciamento da cadeia de suprimentos, o fato de os respondentes salientarem as suas virtudes no sentido de proporcionar uma visão sistêmica da logística nas empresas, colaborando para o alinhamento da área com as estratégias corporativas, é uma evidência de que a logística, de fato, assumiu um papel mais relevante nas organizações do que tinha no passado, conforme já nos alertavam Taboada (2002), Christopher e Peck (2004), Chan e Chan (2005), Bastos Jr (2007) e tantos outros.

O aumento da complexidade dos processos logísticos e a necessidade de integração e sincronismo entre os elos da cadeia (internos ou externos à empresa) não só tornaram necessária a sofisticação das atividades da área como também passaram a demandar meios de avaliar se os esforços dispendidos estavam sendo eficazes, conforme já haviam percebido Kiefer e Novack (1999), Kleindorfer e Saad (2005) e Liang et al. (2006). A criação de inúmeras ferramentas de avaliação logística pelas empresas do setor automobilístico, em um primeiro momento, e o movimento de consolidação de padrões de avaliação logística, a seguir - do qual a MMOG/LE é consequência direta - representam evidência de que a indústria percebeu a importância de se ter bons processos logísticos, mas também mecanismos simples para auditá-los, de modo a reduzir riscos e incertezas. O reconhecimento dos participantes de que a MMOG/LE ajuda a organizar os processos logísticos e a melhorar a informação na interface com os clientes, mostra que essa é uma preocupação que têm, o que está alinhado à preocupação demonstrada por Pettit (2008) e Ponomarov e Holcomb (2009) de proporcionar resiliência à cadeia, apesar de ela ser cada vez mais fragmentada (e talvez por causa disso!).

Assim, ao reconhecerem possibilidades de avanço na execução e acompanhamento dos processos logísticos, aperfeiçoamento da comunicação com os clientes e, principalmente, de alinhamento entre os objetivos da logística e a estratégia da organização, por meio da utilização da ferramenta de avaliação de processos logísticos ora estudada, os respondentes também demonstraram considerar essas questões relevantes para o sucesso de suas atividades, corroborando o que já estava sendo evidenciado na literatura.

5. Conclusões

Tentando responder ao objetivo deste estudo, que era analisar de que forma a recomendação MMOG/LE vem influenciando na prática o SCM das empresas localizadas no território brasileiro que a adotam, chegou-se a algumas conclusões.

A primeira delas é que, embora não sejam, em geral, "entusiastas" da utilização da recomendação MMOG/LE, pois não demonstraram um nível elevado de concordância com as afirmações sobre o impacto da sua adoção sobre a melhoria do desempenho logístico, os respondentes reconhecem suas virtudes, "concordando ligeiramente" ou "concordando" com a maioria das afirmações.

Outro resultado importante consistiu na identificação de três dimensões logísticas valorizadas pelos respondentes, que evidenciaram ter percepções alinhadas para três grupos (fatores) de variáveis: (1) preocupações com os processos produtivos e logísticos a eles associados; (2) preocupações com os detalhes do relacionamento com os clientes; e (3) preocupações com o desenvolvimento de uma visão sistêmica da importância das operações e logística no contexto de suas organizações e com o alinhamento dos objetivos funcionais à estratégia de suas empresas.

Essas preocupações corroboram a discussão que é feita na literatura sobre o aumento da complexidade e da relevância da logística para as organizações, nas últimas décadas.

Embora não exista evidência estatística de diferença no nível de concordância com as afirmativas relacionadas ao impacto positivo da MMOG/LE sobre duas das três dimensões de preocupação logística detectadas (processos logísticos e interface com os clientes), a dimensão estratégia e organização do trabalho apareceu com um ligeiro destaque. Ou seja, os respondentes consideram que a MMOG/LE foi mais importante no sentido de proporcionar visão sistêmica sobre os processos logísticos, o que se torna essencial à medida que as empresas deixam de realizar diretamente diversas atividades de agregação de valor relacionadas aos seus produtos e serviços, mas não podem prescindir de controlar sua execução, correta e diligentemente, pelos seus parceiros, para que seus próprios negócios não sejam negativamente afetados.

Embora a análise fatorial tenha tornado clara a preocupação dos respondentes com o fluxo de informações entre suas empresas e seus clientes, essa preocupação não ficou evidente na direção dos fornecedores. O esforço de melhorar o fluxo de informações com os fornecedores permaneceu, de certa forma, oculto dentro de outro fator, que se refere aos processos logísticos, mais genericamente. Este resultado pode decorrer, no caso dos respondentes (a maioria deles fornecedores de primeira camada da indústria automotiva), de os clientes representarem um elo muito forte e importante da cadeia, drenando para suas necessidades a preocupação dos fornecedores pesquisados.

Apesar do resultado interessante obtido, este estudo apresenta algumas limitações que reduzem o alcance das suas conclusões. As principais delas estão relacionadas ao método adotado: quando se adota um questionário por adesão, não se pode afirmar que os respondentes façam parte da mesma população (do ponto de vista estatístico) daqueles que deixaram de responder à pesquisa, o que, por sua vez, impediria a realização de inferências. Ainda assim, embora não tenham realizado nenhum teste adicional para procurar garantir a representatividade amostral, os autores não acreditam que exista nenhum motivo significativo para eventuais diferenças entre amostra e população.

Outra possível limitação se relaciona à possibilidade de alguns participantes terem se sentido inclinados a responder não com base em sua percepção, mas naquilo que imaginavam que os pesquisadores gostariam de ver nas respostas, principalmente considerando que houve um relacionamento prévio entre muitos respondentes e os autores da pesquisa, uma vez que os últimos atuaram como difusores do uso da MMOG/LE na indústria brasileira.

Na continuidade dos trabalhos, os autores pretendem verificar as capacidades logísticas cujo desenvolvimento é afetado positivamente pela adoção da MMOG/LE, lembrando que, de acordo com Daugherty et al. (2009), capacidades são o que as empresas fazem efetivamente com seus ativos, ou seja, a forma como elas os utilizam, considerando que precisam transformá-los em algo interessante (ex. melhores serviços, produtos inovadores), que assegure seu espaço no mercado.

Os autores também pretendem verificar em que extensão o aprimoramento dessas capacidades contribui para aumentar a resiliência da cadeia de suprimentos. Os autores intencionam verificar ainda, em estudos futuros, o motivo de haver despontado um fator que trata especificamente da preocupação como o fluxo de informações com os clientes, enquanto que a preocupação com os fornecedores não se evidenciou de forma destacada.

Independentemente da ferramenta adotada para se realizar a avaliação do desempenho logístico de uma empresa, é importante que isto não deixe de ser feito, para permitir que melhorias possam ser incorporadas constantemente à rotina da logística, como já acontece com outras atividades da operação de uma empresa. Nesse sentido, considera-se que a discussão realizada neste trabalho sobre a MMOG-LE tenha sido importante não só pelos resultados obtidos, mas por continuar a estimular o debate sobre a necessidade de medir o desempenho logístico para poder gerenciá-lo.

REFERÊNCIAS

AIAG. AIAG and Odette announce release of updated Global Materials Management Operations Guideline/Logistics Evaluation (MMOG/LE). AIAG Press Release, July 24, 2006. Disponível em: http://www.aiag.org/staticcontent/press/releases/GENERAL/PR_MMOGLE06_final.pdf. Acesso em: 03/02/2012.

ANDEL, T. Engaged by the ungauged: Modern materials handling. Reed Business Information, p. 9, Mar., 2008.

BABBIE, E. R. Métodos de pesquisa de survey. Belo Horizonte: Editora UFMG, 2001.

BARRETT, J. Improving supplier performance: MMOG/LE for automotive and beyond. Automotive Industries, vol. 189, n. 6, p. 5-5, Jun. 2009.

BASTOS JR, A. F. Gestão de riscos na cadeia de suprimentos de papel e celulose no Brasil: um estudo exploratório. Dissertação de mestrado. Escola de Administração de Empresas de São Paulo -FGV, 2007.

CASTRO, C. M. A prática da pesquisa. São Paulo: McGraw-Hill do Brasil, 1978.

CHAN, F. T. S.; CHAN, H. K. Simulation modeling for comparative evaluation of supply chain management strategies. International Journal of Advanced Manufacturing Technology, vol. 25, issue 9/10, p. 998-1006. May, 2005.

CHRISTOPHER, M; PECK, H. Building the resilient supply chain. International Journal of Logistics Management, vol. 15, issue 2, p. 1-14, 2004.

COHEN, M. Uso da informação na economia de informação: um estudo na indústria do estado de São Paulo. Tese de doutorado. Escola de Administração de Empresas de São Paulo -FGV, São Paulo, 2003.

DANCEY, C. P.; REIDY. J. Estatística sem matemática para psicologia. 3. ed. Porto Alegre: Artmed, 2006.

DAUGHERTY, P. J.; HAOZHE, C.; MATTIODA, D. D.; GRAWE, S. J. Marketing/logistics relationships: influence on capabilities and performance. Journal of Business Logistics, vol. 30, issue 1, p. 1-18, 2009.

DAUGHERTY, P. J.; STANK, T. P.; ELLINGER, A. E. Leveraging logistics/distribution capabilities: the effect of logistics service on market share. Journal of Business Logistics, vol. 19, issue 2, p. 35-51, 1998.

ERICSSON, K. A.; PRIETULA, M. J.; COKELY, Edward T. The making of an expert. Harvard Business Review, vol. 85, issue 7/8, p. 114-121, Jul/Aug., 2007.

GEBLER, D. Is your culture a risk factor? Business & Society Review. vol. 111, issue 3, p. 337-362. Fall, 2006.

GLASER-SEGURA, D. A.; ANGHEL, L. D. Empirical study of institutions: Romania. In: International IPSERA Conference. 12., 2003, Budapest. Proceedings... Budapest: IPSERA, 2003.

GOBARA, C.; ROSSONI, L.; KATO, E.; DOSSA, A. A.; HOCAYEN-DA-SILVA, A. J. A influência das dimensões da cultura organizacional na inovação em serviços: uma análise do setor hoteleiro. Base (UNISINOS), vol. 7, p. 252-265, 2010.

GOODE, W. J.; HATT, P. K. Métodos em pesquisa social. 7. ed. São Paulo: Nacional, 1979.

GRAEML, A. R.; CSILLAG, J. M. E-mail survey com formulário anexado: uma alternativa para coleta de dados off-line pela internet. Revista Organizações em Contexto (ROC), vol. 4, n. 7, jan/jun, 2008.

GRAEML, Alexandre Reis; PEINADO, Jurandir. Measuring logistics performance: the effectiveness of MMOG-LE as perceived by suppliers in the automobile industry. Journal of Operations and Supply Chain Management (JOSCM), vol. 4, n. 1, p. 1-12, Jan-Jun, 2011.

HAIR, J.; ANDERSON, R. E.; TATHAM, R. L.; BLACK, W. C. Análise multivariada de dados. 5. ed. Porto Alegre: Bookman, 2005.

HARRINGTON, L. Supplier logistics in the driver's seat. Inbound Logistics. Jul. 2005. Disponível em: http://www.inboundlogistics.com/articles/features/0705_feature04.shtml. Acesso em: 03/02/2012.

HIJJAR, M. F.; GERVÁSIO, M. H.; FIGUEIREDO, K. F. Mensuração de desempenho logístico e o modelo world class logistics. 2005. Disponível em: http://www.centrodelogistica.org/new/fs-busca.htm?fr-public.htm. Acesso em 21/02/2008.

INTERNET AUTOGUIDE. AIAG announces global materials management guidelines. April 6, 2004. Disponível em: http://www.internetautoguide.com/auto-news/25-int/639/index.html. Acesso em: 03/02/2012.

KERLINGER, F. Metodologia da pesquisa em ciências sociais: um tratamento conceitual. São Paulo: EPU, 1980.

KIEFER, A. W.; NOVACK, R. A. An empirical analysis of warehouse measurement systems in the context of supply chain implementation. Transportation Journal, vol. 38, issue 3, p. 18-27, Spring, 1999.

KLEINDORFER, P. R.; SAAD, G. H. Managing disruption risks in supply chains. Production and Operations Management, vol. 14, issue 1, p. 1-16. 2005.

KUMAR, R. Research methodology: a step-by-step guide for beginners. London: SAGE, 2005.

LIANG, L.; YANG, F.; COOK, W.; ZHU, J. DEA models for supply chain efficiency evaluation. Annals of Operations Research, vol. 145, issue 1, p. 35-49, Jul., 2006.

MALHOTRA, N. K. Pesquisa de marketing: uma orientação aplicada. Porto Alegre: Bookman, 2001.

MARTINS, D. M.; GONÇALVES, M. A. Eficácia dos indicadores de desempenho na cadeia de fornecimento automotivo. In:Simpósio de Administração da Produção, Logística e Operações Industriais (Simpoi). 7., 2004, São Paulo. Anais... São Paulo: FGV, outubro de 2004.

MOLLENKOPF, D.; DAPIRAN, G. P. The importance of developing logistics competencies: a study of Australian and New Zealand firms. International Journal of Logistics, vol. 8, n. 1, p. 1-14, Mar., 2005.

NELSON, B. Strategic recognition. Leadership Excellence, vol. 24, issue 2. Feb., 2007.

NETEMEYER, R. G.; BEARDEN, W. O.; SHARMA, S. Scaling procedures: issues and applications. Thousand Oaks: SAGE, 2003.

NUGENT, P. Add value with measurement. Quality. vol. 46, issue 9, p. 30-32, Sep., 2007.

NUNNALLY, J. Psychometric theory. New York: McGraw-Hill, 1967.

ODETTE; AIAG. Global Materials Management Operating Guideline/Logistics Evaluation. Odette's global document downloads. 2006. Disponível em: http://www.odette.org/html/home.htm. Acesso em: 03/02/2012.

PARRY, G.; GRAVES, A.; JAMES-MOORE, M. The threat to core competence posed by developing closer supply chain relationships. International Journal of Logistics, vol. 9, n. 3, p. 295-305, Sep., 2006.

PETTIT, T. J. Supply chain resilience: development of a conceptual framework, an assessment tool and an implementation process. PhD Dissertation. Ohio State University, 2008.

PONOMAROV, S. Y.; HOLCOMB, M. C. Building supply chain resilience through logistics capabilities. In: Production and Operations Management Society Proceedings of the Seventeenth Annual Conference of (POMS). 20., 2009, Orlando. Proceedings... Orlando: POMS, 2009.

PORTER, M. E. Vantagem competitiva: criando e sustentando um desempenho superior. Rio de Janeiro: Campus, 1992.

PRŮŠA, P.; TILKERIDIS. D. Logistics continuous improvement system. Scientific Papers of the University of Pardubice Series B -The Jan Perner Transport Faculty, p. 143-149. Dez., 2006.

RATICK, S.; MEACHAM, B.; AOYAMA, Y. Locating backup facilities to enhance supply chain disaster resilience. Growth and Change, vol. 39, n. 4, p. 642-666, Dec., 2008.

ROSSONI, L.; CRUBELLATE, J. M. A influência dos recursos, contexto de referência e legitimidade na diferenciação da cultura organizacional: indícios de emersão institucional. In: Encontro da ANPAD. 32., 2008, Rio de Janeiro. Anais... Rio de Janeiro: ANPAD, 2008.

STALK, G.; EVANS, P.; SHULMAN, L. Competing on capabilities: the new rules of corporate strategy. Harvard Business Review, vol. 70, issue 2, p. 57-69, Mar-Apr., 1992.

TABOADA, C. Logística: o diferencial da empresa competitiva. Revista FAE Business, n. 2, p. 4-8, jun., 2002.

WITT, C. E. Global Standard Improves Material Flow. Material Handling Management, vol. 60, issue 5, p. 20-29, May, 2005.

WONG, W. P.; WONG, K. Y. A review on benchmarking of supply chain performance measures. Benchmarking: An International Journal, vol. 15, issue 1, p. 25-51, Feb., 2008.

Recebido em 29/03/2011

Aprovado em 25/06/2012

Disponibilizado em 01/12/2012

Avaliado pelo sistema double blind review

Revista Eletrônica de Administração

Editor: Luís Felipe Nascimento

ISSN 1413-2311 (versão on-line)

Editada pela Escola de Administração da Universidade Federal do Rio Grande do Sul.

Periodicidade: Quadrimestral

Sistema requerido: Adobe Acrobat Reader.

Datas de Publicação

• Publicação nesta coleção
  07 Dez 2012
• Data do Fascículo
  Dez 2012

Histórico

• Recebido
  29 Mar 2011
• Aceito
  25 Jun 2012