Acessibilidade / Reportar erro

Pela aplicabilidade: com um maior rigor científico - dos estudos de caso em sistemas de informação

Resumos

O objetivo deste trabalho é aprofundar o conhecimento sobre o estudo de caso como método de pesquisa. Entre os métodos qualitativos, o estudo de caso mostra-se potencialmente valioso para exploração do relacionamento entre os sistemas de informação e as percepções e comportamentos dos usuários, foco das nossas atuais investigações. Nossa proposta é, a partir de uma análise de importantes trabalhos realizados na área que utiliza a metodologia em estudo, formular uma série de passos, uma espécie de guia, para conduzir nossa pesquisa ainda em andamento. Acreditamos que as recomendações e lições compiladas neste trabalho, embora ainda em fase de aprendizagem, possam fornecer valiosas contribuições para outros pesquisadores que também estejam envolvidos com aplicação de estudos de caso. A busca de um maior rigor científico na aplicação de métodos qualitativos - como o estudo de caso - será uma das formas de buscar maior legitimidade para os resultados esperados.

sistemas de informação; métodos de pesquisa; estudo de caso; métodos de pesquisa qualitativos


This study attemps to deepen the knowledge of the Case Study as a research method. The Case Study, among the qualitative research methods, seems to be potentialy valuable for the exploration of the relationship of the information systems and the user perceptions and behaviours. Our purpose is, after an analysis of important articles in the area using that methodology, to organize a set of steps to lead our research, still under construction. We believe the recomendations of this work, though in learning phase, can provide valuable contributions for other researches that are envolved with Case Study applications. The search of higher scientific rigour on the qualitative method application, e.g. Case Study, will be one of the ways to reach a bigger validity for the results.

information systems; research methods; case study; qualitatives research methods


ARTIGOS

Pela aplicabilidade - com um maior rigor científico - dos estudos de caso em sistemas de informação

Marlei Pozzebon; Henrique M. R. de Freitas

RESUMO

O objetivo deste trabalho é aprofundar o conhecimento sobre o estudo de caso como método de pesquisa. Entre os métodos qualitativos, o estudo de caso mostra-se potencialmente valioso para exploração do relacionamento entre os sistemas de informação e as percepções e comportamentos dos usuários, foco das nossas atuais investigações. Nossa proposta é, a partir de uma análise de importantes trabalhos realizados na área que utiliza a metodologia em estudo, formular uma série de passos, uma espécie de guia, para conduzir nossa pesquisa ainda em andamento. Acreditamos que as recomendações e lições compiladas neste trabalho, embora ainda em fase de aprendizagem, possam fornecer valiosas contribuições para outros pesquisadores que também estejam envolvidos com aplicação de estudos de caso. A busca de um maior rigor científico na aplicação de métodos qualitativos - como o estudo de caso - será uma das formas de buscar maior legitimidade para os resultados esperados.

Palavras-chaves: sistemas de informação; métodos de pesquisa; estudo de caso; métodos de pesquisa qualitativos.

ABSTRACT

This study attemps to deepen the knowledge of the Case Study as a research method. The Case Study, among the qualitative research methods, seems to be potentialy valuable for the exploration of the relationship of the information systems and the user perceptions and behaviours. Our purpose is, after an analysis of important articles in the area using that methodology, to organize a set of steps to lead our research, still under construction. We believe the recomendations of this work, though in learning phase, can provide valuable contributions for other researches that are envolved with Case Study applications. The search of higher scientific rigour on the qualitative method application, e.g. Case Study, will be one of the ways to reach a bigger validity for the results.

Key words: information systems; research methods; case study; qualitatives research methods.

INTRODUÇÃO

"A ciência está longe de ser um instrumento

perfeito de conhecimento. É apenas o melhor

que temos" (Sagan, 1996).

A construção do conhecimento é marcada pela incansável busca de evidências que comprovem hipóteses formuladas. Assim, para enfrentar a complexidade do mundo real e detectar-lhe as estruturas invisíveis, é preciso adotar métodos. Sem métodos, a ciência não progride, as organizações menos ainda. De fato, a ciência se nutre dos próprios erros, que não são descobertos ao acaso, mas por meio da busca sistemática de melhores explicações para os fenômenos naturais e sociais.

Na área de Sistemas de Informação, as evidências que buscamos se inserem no contexto formado pela interação entre homem e computador. Por essa razão, adota-se uma perspectiva sociotécnica: aspectos humanos (cognitivos, psicológicos, sociais, culturais) e aspectos técnicos (ergonomia, projeto) devem ser levados em conta não de forma isolada, mas integrada.

A necessidade de investigar o relacionamento entre os sistemas computadorizados e as percepções ou comportamentos dos seus usuários (indivíduos ou grupos), mais do que unilateralmente determinar impactos e métodos de desenvolvimento dos sistemas, remete-nos à exploração de diversos métodos de pesquisa. O rigor científico que se espera atingir na área de sistemas de informação enquanto disciplina científica sugere a não restrição a uma única abordagem, notadamente a quantitativa, mas que se busque explorar uma variedade de métodos, sobretudo qualitativos (estudo de caso, pesquisa-ação, pesquisa participante, etc). Somente então será possível fazer escolhas, com a própria combinação de métodos quantitativos e qualitativos.

Entre os métodos qualitativos, pode-se destacar a importância potencial que o estudo de caso e a pesquisa-ação podem vir a desempenhar na área de sistemas de informação, sobretudo se buscarmos maior rigor na sua aplicação. Esse maior rigor permitirá avanço mais rápido e profundo do nosso conhecimento sobre a interação usuários-sistemas e a consolidação da área de sistemas de informação como disciplina científica.

O objetivo deste trabalho é sugerir o estudo de caso como método não apenas aplicável com rigor, sob o ponto de vista científico, mas como adequado para conduzir diversas das atuais investigações na área de sistemas de informação. Nosso desejo, ancorados na experiência de pesquisadores que relataram suas dificuldades, sucessos e recomendações, é estabelecer uma série de cuidados a serem seguidos, passo a passo, para a aplicação do estudo de caso. O roteiro resultante será seguido em nossa pesquisa e, acreditamos, poderá ser valioso para outros pesquisadores que pretendam utilizar esta metodologia em seus trabalhos.

Para abordar esse tema apresentaremos, na seção 2, uma revisão bibliográfica sobre o método estudo de caso, com base em alguns artigos, cujas contribuições foram consideradas significativas sobre o tema. Na seção 3 é apresentado um projeto de pesquisa, para que o leitor possa julgar, no decorrer da seção 4, se os argumentos utilizados são suficientes para justificar a adoção do método estudo de caso para a aplicação proposta. Na seção 5, descreveremos como poderá ser conduzido o estudo de caso aplicado ao projeto evocado, sendo apresentadas, na seção 6, algumas conclusões.

BACKGROUND - O MÉTODO ESTUDO DE CASO SEGUNDO DIVERSOS AUTORES

Toda a estratégia de pesquisa possui vantagens e desvantagens. Nenhuma pode ser sempre considerada mais apropriada que as outras. Diversos autores analisam o estudo de caso enquanto técnica qualitativa utilizada na área de sistemas de informação. A seguir, apresentaremos algumas abordagens sobre o tema proposto, as quais nortearão a identificação dos principais passos e cuidados a serem perseguidos num projeto de pesquisa como o apresentado a partir da seção 3.

Estratégia da Pesquisa Case nos Estudos de Sistemas de Informação - Benbasat, Goldstein e Mead

Nesta seção, apresentam-se as principais idéias de Benbasat, Goldstein e Mead (1987) sobre o estudo de caso, metodologia apontada como particularmente apropriada para determinados tipos de problemas, como aqueles em que pesquisa e teoria estão em estágio inicial de formação ou aqueles baseados na prática, quando a experiência dos atores é importante e o contexto de ação é crítico.

Três razões principais justificam o estudo de caso como a estratégia mais apropriada, em dado contexto de pesquisa, conforme apresentado no Quadro 1.


O estudo de caso é definido como aquele que examina um fenômeno em seu ambiente natural, pela aplicação de diversos métodos de coleta de dados, visando a obter informações de uma ou mais entidades. Essa estratégia de pesquisa possui caráter exploratório, sem nenhum controle experimental ou de manipulação. Além disso, as fronteiras do fenômeno não são evidentes.

Os resultados do estudo dependem fortemente do poder de integração do pesquisador, de sua habilidade na seleção do local e dos métodos de coleta de dados, bem como de sua capacidade de fazer mudanças no desenho de pesquisa de forma oportuna.

Comparando-se o papel desempenhado pelo pesquisador em diferentes metodologias, pode-se evidenciar: (1) nos experimentos de laboratório, o pesquisador mede variáveis dependentes, enquanto manipula variáveis independentes em ambiente controlado; (2) similarmente, os experimentos de campo envolvem a mensuração e manipulação de variáveis claramente definidas, porém em seu ambiente natural; e, finalmente, (3) nos estudos de caso, não existe uma definição clara, a priori, de quais serão as variáveis de interesse e de como elas serão medidas e nenhum controle ou manipulação estão envolvidos: os pesquisadores irão observar variáveis dependentes e independentes em seu ambiente natural, e então delinear seu estudo.

É interessante a observação dos autores sobre três categorias de pesquisa qualitativa (Quadro 2). Todas são comumente classificadas como estudos de caso. No entanto somente uma dessas categorias é considerada por eles como realmente estudo de caso. As demais se denominam descrição de aplicação e pesquisa ação.


Ora pode-se aceitar como válida a afirmação de que a diferença fundamental entre estudo de caso e pesquisa-ação está na intervenção ou não do pesquisador; no entanto a distinção acima efetuada entre descrição da aplicação e pesquisa-ação pode ser questionada: em ambos os casos houve intervenção, houve participação, e a pré-existência ou não de intenção de fazer pesquisa é fator de delicada avaliação.

De posse de uma questão de pesquisa específica e estando o estudo de caso definido como a terceira categoria antes descrita, cabe verificar se o estudo de caso é efetivamente a metodologia mais adequada e útil. Para tanto, cabe a colocação de algumas questões, sintetizadas no Quadro 3.


A unidade de análise, nos estudos de caso, pode ser composta por indivíduos, grupos ou organizações, ou ainda por projetos, sistemas ou processos decisórios específicos. A determinação da unidade de análise deve ser resultante de exame cuidadoso das questões de pesquisa. Quando uma pesquisa é altamente exploratória, um único caso pode ser útil como estudo piloto. Nesse contexto, o objetivo pode ser determinar a apropriada unidade de análise e familiarizar o pesquisador com o fenômeno.

Ou seja, é fundamental que o pesquisador decida entre a utilização de caso único ou de múltiplos casos. Segundo Yin (1984), um único caso é apropriado quando:

. é revelatório, ou seja, é situação previsivelmente inacessível para investigação científica;

. representa caso crítico para testar teoria bem formulada;

. é extremo ou único.

Múltiplos casos são desejáveis, quando a intenção da pesquisa é a descrição de fenômeno, a construção de teoria ou o teste de teoria. Em relação ao local de pesquisa, pode-se considerar um projeto com múltiplos casos como análogo à replicação realizada com experimentos tradicionais múltiplos.

Yin (1984) propõe dois critérios para a seleção dos locais em potencial:

. locais onde resultados similares são prognosticados podem ser usados como replicações literais;

. locais onde resultados contraditórios são prognosticados, podem ser usados como replicações teóricas.

Com seleção cuidadosa, os pesquisadores podem estender ou revisar as proposições iniciais do estudo. Para a seleção, o critério inicial pode ser a natureza do tópico. Pesquisadores interessados em tecnologias específicas, metodologias de sistemas ou estruturas organizacionais devem considerar essas características na seleção dos locais mais apropriados para a condução da pesquisa. Quanto à coleta de dados, estudos de caso empregam, tipicamente, métodos múltiplos. O ideal é que possam ser coletados dados e evidências de duas ou mais fontes, que poderão convergir e dar suporte às descobertas da pesquisa.

Busca-se, assim, obter um rico conjunto de dados (Quadro 4), envolvendo questão de pesquisa específica e capturando a complexidade do contexto. Antes de fazer as visitas, o pesquisador deve especificar, em detalhe, os dados que vai procurar obter. Isso inclui lista do material coletado (documentação, arquivos e equipamentos) bem como as questões para entrevista e planos para a observação direta. O objetivo é assegurar boa cobertura das questões de pesquisa e melhor uso do tempo.


Cabe destacar que a análise dos dados depende fortemente do poder de integração do pesquisador. Os múltiplos métodos de coleta de dados oferecem a oportunidade de triangulação(1 1 O conceito de triangulação pode ser encontrado em Triviños (1987). ), e contribuem para maior suporte das conclusões do pesquisador.

Naturalmente, a redação dos resultados também é importante. A riqueza dos dados e do contexto deve ser apresentada. As razões do pesquisador no estabelecimento de causas e efeitos ou na formulação de hipóteses devem ser claramente colocadas e defendidas. O pesquisador pode mover-se seguindo o seguinte roteiro: objetivos, questões de pesquisa, pressupostos, método, dados, resultados e conclusões.

Algumas forças e fraquezas foram detectadas na realização de estudos de caso, tendo em vista análise crítica realizada por Benbasat, Goldstein e Mead (1987) sobre diversos trabalhos que utilizaram esta metodologia (Quadro 5).


Uma Metodologia Científica para Estudos de Caso em MIS, Proposta por Lee

Lee (1989) apresenta uma metodologia científica para conduzir estudos de caso no campo dos sistemas de informação. O artigo oferece significativas sugestões para pesquisadores (tendo em vista a crença corrente de que a pesquisa precisa ser matemática, estatística e quantitativa para ser considerada científica) e para os praticantes desse método (que poderão identificar o ponto no qual o rigor científico pode ser encontrado).

O estudo de caso refere-se ao exame do mundo real como ele existe em seu ambiente natural. Quatro problemas podem ser detectados na condução desses estudos, quando aplicados na área de sistemas de informação (Quadro 6).


Lee (1989) apresenta, como exemplo de estudo de caso científico em sistema de informação, o trabalho realizado por Markus (1983), denominado Power, Politics and MIS Implementation. Nesse trabalho, Markus (1983) apresenta três teorias alternativas de uma mesma base teórica. Além disso, compara as deduções de cada uma contra as observações realizadas no ambiente natural.

Markus (1983) apresenta alternativas para os quatro problemas descritos anteriormente (Quadro 6). O autor sustenta que uma metodologia científica não precisa envolver elementos como controles de laboratório, controles estatísticos, proposições matemáticas e observações replicáveis. O estudo de caso pode atingir objetivos científicos por outros meios (controles naturais, proposições verbais, teste de uma mesma teoria por meio de novas predições, novas observações mais que replicações das mesmas). A generalização é produto de sucessivos testes mediante um conjunto de ambientes, não um único teste em um único ambiente.

Um Estudo de Campo Longitudinal - Barley

Trata-se, segundo o próprio Barley (1990), de uma narrativa confessional, não exatamente um estudo de caso. A pesquisa de campo longitudinal exige muita disciplina e consciência: existe um precário equilíbrio entre o controlável e o incontrolável, o cognitivo e o afetivo, o projetado e o inesperado. O autor iniciou o projeto com algumas questões gerais e hipóteses não fortemente articuladas.

A primeira grande contribuição está na metodologia proposta para a coleta de dados, realizada sob três enfoques: sincrônico, diacrônico e paralelo (Quadro 7).


Pode parecer, num primeiro momento, que sincrônico, diacrônico e paralelo sejam sinônimos dos termos cross-sectional, longitudinal e comparativo; no entanto o autor ressalta diferenças. A análise sincrônica é particularmente útil para fazer colocações que generalizam, por meio de membros de uma classe de eventos, objetos, pessoas ou atividades. A análise diacrônica é crucial para explicar uma tipologia das diferenças. Estudos paralelos permitem generalizar descobertas sincrônicas e diacrônicas por meio de ambientes similares.

Quanto ao método, o autor trabalhou durante um ano como observador participante. Se as ordens sociais são padrões e a técnica altera esses padrões, então a investigação requer uma observação sustentada, já que o estudo de mudanças não pode basear-se apenas em entrevistas ou material arquivado. Vale lembrar que, segundo a definição de Benbasat, Goldstein e Mead (1987), essa pesquisa poderia ser classificada como pesquisa-ação, já que houve participação do pesquisador. No entanto não houve intenção de intervenção, no sentido de agir sobre a organização, de alterar ou influenciar algum aspecto de sua realidade. De qualquer forma, seja categorizada como estudo de caso, pesquisa-ação ou pesquisa participante, o interesse nessa experiência está na descrição das técnicas de coleta de dados e análise de dados qualitativos.

Segundo Barley (1990), a análise de dados de campo começa durante a fase observacional do estudo: utilizando projeto de pesquisa comparativo e colocando atenção na sistematização das observações, os pesquisadores podem acumular um corpo de notas pronto para ser ordenadamente analisado. Analisando as notas de tempos em tempos, durante a coleta de dados, pode-se desenvolver noções teóricas e hipóteses que direcionam cada vez mais sistematicamente a coleta dos dados. O autor dividiu o processo em quatro fases (Quadro 8). Sem dúvida, a segunda grande contribuição de Barley (1990) reside nesse detalhado e sistemático método de análise de dados qualitativos.


Uma Metodologia Dual para Estudos de Caso, Proposta por Leonard-Barton

Leonard-Barton (1990) apresenta uma metodologia dual, ou seja, uma metodologia que combina estudo de caso longitudinal (um único local) com análises retrospectivas de múltiplos estudos de caso (vários locais).

Um estudo de caso é definido pelo autor como história de fenômeno passado ou corrente, desenhada a partir de múltiplas fontes de evidência, no qual se pode incluir dados de observação direta e entrevistas sistemáticas, bem como de arquivos públicos e privados. Em tese, cada fato relevante para o conjunto de eventos descritos no fenômeno é dado potencial para o estudo de caso. O contexto é importante.

Um único caso está sujeito a limites de generalização e muitos vieses potenciais. Múltiplos casos aumentam a validade externa e ajudam a proteger contra aqueles vieses.

Segundo Yin (1984), a lógica que está sob múltiplos estudos de caso é similar à que guia múltiplos experimentos. Cada caso pode ser selecionado de forma a (1) predizer resultados similares (replicação literal) e (2) produzir resultados contrários, com razões prognosticáveis (replicação teórica).

No entanto o autor assevera que a limitação mais significativa nas retrospectivas é a dificuldade para determinar causas e efeitos de eventos reconstruídos. Um estudo de caso longitudinal aumenta a validade interna por permitir a delimitação de causas e efeitos.

A experiência do autor com os casos retrospectivos fornece importantes contribuições. No primeiro caso, aplicou uma entrevista estruturada para um pequeno número de entrevistados (estudo piloto). Depois, para um número maior. Esse processo permitiu uma ampla visão da opinião dos entrevistados sobre a tecnologia estudada (forças e fraquezas, influências na adoção, etc). Devido ao alto grau de redundância nas respostas, sentiu necessidade de obter dados de múltiplas perspectivas. Nos oito estudos seguintes, então, entrevistou um número menor de pessoas mas escolhidas de populações representativas de múltiplas perspectivas. Utilizou entrevistas não-estruturadas e um pequeno questionário.

A escolha dos casos foi feita, deliberadamente, pela variação de contexto, para maior generalização. A replicação literal, em múltiplos casos, requer que o fenômeno de estudo seja definido por algumas características comuns a todas as situações de pesquisa. No caso, três critérios foram adotados: tecnologias desenvolvidas internamente, para uso interno e nos últimos cinco anos. A replicação teórica significa explorar casos em que o fenômeno a ser provado pode falhar (ou seja, procuram-se situações com características contrárias às definidas na pesquisa que produzam resultados contrários e, no entanto, prognosticáveis).

Em relação ao estudo longitudinal, obteve dados com métodos estruturados e não-estruturados. Os estruturados incluíram surveys por telefone e correio, questionários, dados arquivados e sessões de entrevistas estruturadas com desenvolvedores. Os não-estruturados incluíram uma coleção de notas feitas durante encontros e entrevistas não-estruturadas.

Uma das maiores contribuições deste trabalho está em evidenciar a grande sinergia resultante da combinação de métodos (longitudinal e cross-sectional), enfatizando dois conjuntos principais de vantagens: (1) lacunas ou fraquezas particulares de um método são compensadas por forças específicas no processo de obtenção de dados de outro; e (2) as abordagens complementares de cada método aumentam três tipos de validade: externa, de construto e interna (Quadro 9).


No entanto o autor também apresenta claramente as limitações da metodologia proposta, tais como a vulnerabilidade dos dados em face de interpretações subjetivas e as dificuldades que um único pesquisador enfrenta para compilar evidências sobre relacionamentos entre variáveis (limitações inerentes aos estudos de caso qualitativos). No entanto os dois problemas mais particularmente associados com a metodologia dual são: a coordenação das abordagens de coleta de diferentes dados e o tratamento do grande volume de dados gerado com as abordagens combinadas.

No que se refere à operacionalização, as principais dificuldades dizem respeito ao esforço de estruturação dos dados coletados, à decisão sobre a unidade de análise e sobre as escolhas dos casos. Yin (1984) advoga que a seleção de cada caso adicional deve endereçar aspectos específicos da teoria, inadequadamente endereçados pelos anteriores, ou seja, sugere uma seleção seqüencial, no decorrer do processo.

UM PROJETO DE PESQUISA PARA APLICAÇÃO DO ESTUDO DE CASO?

Nossa intenção é abordar um projeto de pesquisa em detalhe, de forma que, logo depois (na seção 4), se possa verificar a pertinência e adequação da aplicabilidade do estudo de caso. Trata-se da pesquisa intitulada Busca de um Modelo de E.I.S. - Enterprise Information System - que integre Elementos que possibilitem Condições para a Proatividade(2 2 Este projeto está sendo elaborado e realizado pelo GESID/PPGA (Porto Alegre-RS), com a participação de Marlei Pozzebon e Maira Petrini e sob a orientação do Prof. Henrique Freitas. ).

Tema

O tema da pesquisa insere-se em projeto mais amplo, que investiga o papel desempenhado pelos sistemas de informação e de apoio à decisão sobre o comportamento dos decisores. Seu desafio é explorar a idéia (ou característica) de proatividade. Várias são as dimensões potencialmente envolvidas, tanto na exploração dessa idéia quanto na realização do projeto como um todo. Por um lado, existe a proatividade sob o ponto de vista do designer do sistema, do analista ou profissional da informação que concebe, desenvolve e implementa sistemas de informação com o objetivo de dar suporte ao tomador de decisões. Por outro, existe a proatividade sob a ótica do usuário, de quem utiliza o sistema, de quem busca informações. Neste projeto, buscamos explorar condições para que os decisores se antecipem aos problemas e que, além disso, descubram oportunidades mediante um melhor uso do recurso informação, tirando proveito disso e ganhando em competitividade.

Justificativa

Por que a busca de um novo modelo de sistema de informação é importante? Porque procura identificar melhores condições para a tomada de decisão no cenário dos anos 90, caracterizado sobretudo por fatores como: (1) a globalização da economia e a maior interdependência das nações; (2) o ambiente competitivo intenso; (3) a (forte) diminuição do ciclo de vida dos produtos; (4) a intensificação do impacto da evolução tecnológica; (5) as transformações organizacionais e a mudança de paradigma (Tapscott e Caston, 1995).

Objetivos

O objetivo geral é definir um modelo conceitual de Enterprise Information System (EIS) que integre elementos que possibilitem, além da reatividade, condições para a proatividade.

Entre os objetivos específicos, destacamos: (1) identificar e classificar os diferentes tipos de dados e informações que devem ser considerados ou absorvidos pelos EIS; (2) identificar elementos de modelos de Sistemas de Informações de Marketing - SIM (Kotler, 1994) e de outros sistemas de informação que constituam uma contribuição potencial para a concepção de modelos; (3) explorar os conceitos de proatividade e de reatividade.

Metodologia

Quando o investigador define seu plano de investigação ou esquema de pesquisa, ele pode optar entre três tipos de estudos, cujas finalidades são diferentes: estudos exploratórios, estudos descritivos (nos quais os pesquisadores não têm intenções de fundamentar teorias mas de apresentar o que eles acreditam como objetivo e factual) e estudos explicativos (nos quais os pesquisadores têm como objetivo testar uma teoria e suas relações causais). Os estudos exploratórios permitem ao investigador aumentar sua experiência em torno de determinado problema. O pesquisador parte de uma hipótese ou de uma idéia; "aprofunda seu estudo nos limites de uma realidade específica, buscando antecedentes, maior conhecimento para, em seguida, planejar uma pesquisa descritiva ou de tipo experimental" (Triviños, 1987, p. 109).

O presente projeto de pesquisa tem caráter exploratório, à medida que significa uma primeira tentativa de integração de algumas questões emergentes na literatura no âmbito dos sistemas de informação e de apoio à decisão. Trata-se de questões emergentes que permitem levantar uma série de conceitos, modelos, características e tendências, aos quais passamos a denominar elementos emergentes, relacionadas com sistemas de informação, que aparecem de forma desconexa e esparsa na literatura.

A realização de um estudo exploratório, embora possa parecer simples, não elimina o cuidadoso tratamento científico necessário em qualquer trabalho de pesquisa. "Este tipo de investigação, por exemplo, não exime a revisão da literatura, as entrevistas, o emprego de questionários, etc., tudo dentro de um esquema elaborado com a severidade característica de um trabalho científico" (Triviños, 1987, p. 109). Apresentamos um desenho do método que será conduzido neste trabalho de pesquisa na Figura 1.


(1) Pesquisa-ação: duas experiências práticas, vivenciadas entre 1994 e 1996, foram caracterizadas como pesquisa-ação, porque em ambas existiram os elementos essenciais desta metodologia: (a) houve a ação planejada do pesquisador; (b) esta ação obedeceu a um método no seu desenvolvimento; e (c) houve o relato das dificuldades encontradas, as conclusões e recomendações (Pozzebon e Freitas, 1996).

(2) Definição de um conjunto de elementos emergentes em SI/EIS:a revisão da literatura, bem como a experiência e os resultados obtidos nos trabalhos caracterizados como pesquisa-ação, realizados entre 1994 e 1996, permitem um primeiro mapeamento do que denominamos elementos emergentes.

(3) Desenvolvimento de um modelo conceitual de Enterprise Information System - EIS - que integre os elementos levantados na revisão da literatura e nos trabalhos de pesquisa-ação: é importante esclarecer qual é a idéia de modelo conceitual adotada. Segundo a definição de Alter (1992), um modelo é uma representação útil de alguma coisa. Modelos realçam algumas características da realidade e ignoram outras. Um sistema de informação é um modelo, ou mesmo um conjunto de modelos. Para Sprague e Watson (1991), qualquer modelo é descritivo, se for representação válida da realidade. Um modelo descritivo, em SI, descreve o comportamento do sistema.

Os conceitos permitem que os pesquisadores classifiquem suas experiências e as generalizem para outras: os cientistas estruturam, categorizam, ordenam e generalizam suas experiências e observações em termos de conceitos. Para organizar os conceitos, os teóricos freqüentemente utilizam modelos. Um modelo, então, é uma representação da realidade; ele delineia aqueles aspectos do mundo real que o cientista considera relevantes para o problema investigado, torna explícitos os relacionamentos significativos entre aqueles aspectos, e habilita o pesquisador a formular proposições empiricamente testáveis, tendo em vista a natureza desses relacionamentos. Após testá-lo, e encontrando melhor compreensão de alguma porção do mundo real, o cientista pode mudar o modelo para adaptá-lo a novas idéias (Frankfort-Nachmias e Nachmias, 1996).

O que buscamos construir é um modelo conceitual de um sistema de informação, ou seja, um modelo genérico, abstrato, que proponha elementos e mostre o relacionamento entre eles, que relacione os tipos de dados ou informações (conteúdo) com a estratégia de acesso a eles (forma). Esse modelo conceitual estabelecerá um campo de possibilidades para o relacionamento entre usuários e dados ou informações. O resultado esperado é a proposição de um modelo que possa ser aplicado em projetos de sistemas EIS bem como servir de subsídio para as próximas etapas do projeto global.

Mostra-se necessária, após a sua elaboração inicial, uma revisão crítica do modelo. Essa revisão crítica se deve basear na realidade, no que está sendo vivenciado nas empresas em termos de relacionamento entre a técnica e o uso, ou seja, os sistemas EIS implantados nas empresas e seus usuários (decisores). Para tanto, desenvolvemos o seguinte desenho de pesquisa: (1) concepção de um modelo; (2) seleção de questões derivadas do modelo para investigação empírica; desenho de um projeto de pesquisa para verificar as questões; (3.1) se as questões não forem evidenciadas pelos dados empíricos, deve-se fazer mudanças no modelo - revisão crítica - ou no projeto de pesquisa e retornar ao estágio 2; (3.2) se as questões forem evidenciadas, otimizar o modelo e passar para as próximas etapas do projeto.

Como a revisão crítica do modelo proposto será realizada por meio de estudos de caso, nas próximas seções pretendemos discutir a aplicabilidade desse método ao projeto relatado nessa seção.

POR QUE O ESTUDO DE CASO PODE APLICAR-SE A ESTA PESQUISA?

Por que o método estudo de caso pode ser considerado mais adequado para coletar elementos que permitam a revisão crítica do modelo concebido? Nosso objetivo é identificar elementos tanto do modelo proposto, nos sistemas EIS em uso nas empresas, como de posturas proativas dos usuários desses sistemas. Apoiando-nos nas colocações dos autores analisados nas seções anteriores, verificaremos a adequação do estudo de caso.

As principais razões que justificam um estudo de caso, segundo Benbasat, Goldstein e Mead (1987), podem ser verificadas neste contexto de pesquisa (Quadro 10), assim como outras colocadas por Yin (1984) e apresentadas no Quadro 11.



Também é interessante confrontar a natureza desta proposta de trabalho com a categorização elaborada por Benbasat, Goldstein e Mead (1987) em termos de pesquisa qualitativa. Entre descrição da aplicação, pesquisa-ação e estudo de caso, observa-se que esta pesquisa poderá enquadrar-se como estudo de caso porque:

. será conduzida uma pesquisa, não uma implementação (descrição da aplicação);

. não será realizada nenhuma intervenção (pesquisa-ação);

. o pesquisador conduzirá a pesquisa apenas como investigador ou observador, não como participante (estudo de caso).

Ainda com base nesses autores, vamos responder às quatro questões sugeridas que avaliam a verdadeira utilidade e adequação do estudo de caso para uma pesquisa (Quadro 12).


PROJETANDO A APLICAÇÃO DE UM ESTUDO DE CASO (OBSERVANDO "CERTO" RIGOR METODOLÓGICO)

Acreditamos ser o estudo de caso uma metodologia adequada para permitir a revisão crítica do modelo conceitual de EIS em desenvolvimento. No entanto a escolha oportuna do método de pesquisa não assegura o sucesso dos resultados.É preciso tomar uma série de cuidados, para que cada passo seja dado da melhor forma, ou seja, com o maior rigor científico ao nosso alcance.

A seguir, os principais passos que serão seguidos na pesquisa estão descritos, bem como os cuidados e recomendações levantados na revisão da literatura.

Definição da Unidade de Análise

Segundo Benbasat, Goldstein e Mead (1987), o exame cuidadoso das questões de pesquisa permite a determinação da unidade de análise. Os dois principais momentos da pesquisa em andamento são caracterizados pelo desenvolvimento de um modelo conceitual e pela revisão crítica deste modelo. Não existe questão de pesquisa relacionada com o desenvolvimento do modelo conceitual. Porém, para a revisão crítica do modelo, que será obtida pelos estudos de caso, colocam-se duas questões de pesquisa: Quais são os elementos do modelo - ou não presentes no modelo - possíveis de serem identificados nos sistemas EIS existentes nas empresas? Existem sinais de proatividade nos usuários desses sistemas? Quais são eles? Esta etapa do trabalho procura confrontar o modelo concebido com os modelos implementados nas empresas. O objetivo é verificar se as questões emergentes na literatura já possuem reflexos na prática das empresas, se os elementos emergentes e integrados no modelo proposto existem de fato nos sistemas EIS utilizados nas empresas, ou se existem outros, não previstos ou ainda desconsiderados neste trabalho: basicamente o foco é o sistema.

Paralelamente, diante dos conceitos e caracterizações realizadas no decorrer da revisão da literatura sobre proatividade, será buscada a identificação (talvez de forma ainda incipiente) de comportamentos ou posturas proativas nos usuários dos sistemas de informação identificados. Procurar-se-á identificar sinais, na prática dos usuários dos sistemas EIS, e segundo a percepção de cada um, que caracterizem comportamentos reativos - aqueles que sobretudo resolvem problemas e apagam incêndios - ou proativos - aqueles que se antecipam aos problemas e identificam oportunidades. Aqui, o foco não é o sistema, mas o comportamento dos usuários em relação ao uso que fazem do sistema. Procurar-se-á investigar indícios, inferências iniciais para a questão da proatividade, para dar subsídios às próximas etapas do projeto. Neste trabalho, os sinais de proatividade serão utilizados como indicadores para a revisão crítica do modelo, ou seja, novamente o sistema.

Por estas razões, julgamos que a unidade de análise deva ser o sistema. Os usuários dos sistemas serão apenas os respondentes e corresponderão a uma das estratégias de coleta de dados.

Definição do Tipo de Pesquisa

A pesquisa, quanto ao número de momentos ou pontos no tempo em que os dados são coletados, pode ser longitudinal ou cross sectional (Quadro 13).


Esta pesquisa, quanto ao número de momentos ou pontos no tempo em que os dados serão coletados, será cross-sectional. A coleta dos dados ocorrerá em um só momento porque não estamos interessados na evolução dos modelos de EIS ao longo de um período, mas em um retrato dos modelos empregados no momento atual.

Definição do Número de Casos

Nossa proposta é a realização de quatro estudos de caso, ou seja, optamos por casos múltiplos em detrimento de um único caso. Esta opção fundamenta-se nas colocações representadas no Quadro 14. A adoção de um único caso é apropriada em algumas situações que, segundo o nosso entendimento, não aderem ao contexto da nossa pesquisa.


A adoção de múltiplos casos é desejável para a descrição de um fenômeno, para a construção ou teste de uma teoria. Ora a intenção desta pesquisa é justamente construir uma teoria: propor um modelo de EIS que efetivamente contribua para a proatividade dos seus usuários. Além disso, um projeto com múltiplos casos pode ser considerado análogo a uma replicação realizada com experimentos tradicionais múltiplos, o que permite maior poder de generalização.

Seleção dos Locais

O critério adotado para a seleção das empresas apóia-se na elaboração de uma grade de análise que permita identificar, nos sistemas existentes nas empresas, os elementos em comum com o modelo proposto. As etapas propostas para a seleção das empresas são as seguintes: (1) identificar em consulta telefônica, empresas que possuam sistemas EIS em plena utilização. Para tanto serão adotados os critérios tempo de implantação e número de usuários. Vamos considerar que um sistema em uso há mais de um ano e com um mínimo de dez usuários seja um sistema em plena utilização; selecionar, então, 10 empresas (no mínimo) que atendam ao critério possuir sistemas EIS em plena utilização; (2) elaborar uma grade de análise que permita identificar os elementos do modelo proposto; (3) contatar as empresas (visitar ou telefonar), tendo como objetivo o preenchimento da grade de análise, procurando verificar quais elementos do modelo estão presentes nos sistemas EIS implantados nas empresas; o número total de elementos, em cada empresa, será utilizado na etapa seguinte; (4) ordenar as empresas de acordo com o número de elementos dos seus sistemas EIS em comum com elementos do modelo proposto; esta classificação permitirá selecionar duas empresas que possuam grande número de elementos do modelo, e duas empresas que possuam pequeno número de elementos do modelo.

Analisando os dois critérios propostos por Yin (1984) para a seleção dos locais em potencial, podemos fazer as considerações colocadas no Quadro 15.


Serão levadas em consideração as características dos sistemas como critério principal da seleção do local (possui sistemas EIS em plena utilização - com base no número de usuário e tempo de utilização - e número de elementos comuns com o modelo proposto), tendo em vista que o objetivo principal da pesquisa é a concepção e a revisão crítica de um modelo de sistema.

Definição dos Métodos de Coleta de Dados

Não podemos afirmar que os instrumentos utilizados na coleta de dados na pesquisa qualitativa sejam diferentes daqueles utilizados na pesquisa quantitativa. "Verdadeiramente, os questionários, entrevistas, etc., são meios neutros que adquirem vida definida quando o pesquisador os ilumina com determinada teoria" (Triviños, 1987, p. 137). No entanto pode-se dizer que a entrevista semi-estruturada, a entrevista aberta ou livre, o questionário aberto, a observação livre e o método de análise de conteúdo sejam os instrumentos mais decisivos para estudar os processos e produtos nos quais está interessado o investigador qualitativo.

A multiplicidade de recursos de que pode lançar mão o investigador qualitativo na realização de seu estudo - e visando a atingir máxima amplitude na descrição, explicação e compreensão do foco em estudo - permite trazer à tona a técnica da triangulação (Triviños, 1987). Esta técnica permite dirigir nosso interesse aos processos e produtos centrados no sujeito: averiguando as percepções do sujeito, mediante entrevistas e questionários, e os comportamentos e ações do sujeito, na observação livre; aos elementos produzidos pelo meio do sujeito: documentos, especificações de sistemas, projetos, etc; e aos processos e produtos originados do contexto sócio-econômico: mais voltado para estudos sociológicos.

Objetivando uma boa cobertura dos objetivos da pesquisa e buscando evidências de múltiplas fontes para dar suporte às descobertas da pesquisa exploratória, empregar-se-ão métodos múltiplos de coleta de dados. Os instrumentos utilizados para a coleta dos dados serão: preenchimento detalhado da grade de análise, análise de documentos, observação direta e entrevista semi-estruturada.

Protocolo para a Realização dos Estudos de Caso

A elaboração de um protocolo é uma estratégia seguida para aumentar a confiabilidade do estudo de caso. Deve conter o instrumento, os procedimentos e as regras gerais que deverão ser seguidas ao se usar o instrumento (Oliveira, 1996).

A primeira atividade nas empresas será uma revisão da grade de análise utilizada na etapa de seleção das empresas; nsse momento, porém, seu preenchimento será minucioso e completo, apoiado em documentos de especificação do sistema e em entrevista de pessoa indicada (responsável pelo sistema).

Também a observação direta do sistema em operação, junto aos dados colhidos, permitirá ao investigador obter conhecimento relativamente profundo do sistema EIS em uso na empresa e avaliar a proximidade desse sistema com o modelo proposto. A seguir, deverão ser iniciadas as entrevistas com os usuários do sistema. A entrevista semi-estruturada "valoriza a presença do investigador, oferece todas as perspectivas possíveis para que o informante alcance a liberdade e a espontaneidade necessárias, enriquecendo a investigação" (Triviños, 1987, p. 146).

O objetivo é entrevistar o maior número possível de usuários dos sistemas EIS em cada empresa, preferencialmente pessoas de diversos departamentos e níveis hierárquicos. A entrevista está em fase inicial de elaboração, e ainda depende do aprofundamento de algumas questões metodológicas e outras relacionadas com o conceito de proatividade.

Análise dos Dados

Esta etapa depende sobretudo do poder de integração do pesquisador. O objetivo principal é a revisão crítica do modelo. Com os dados colhidos nas entrevistas semi-estruturadas, na análise de documentos e observação, pretende-se organizar a análise dos dados conforme o quadro de referência (Quadro 16).


O ideal seria atingir todas as quatro situações mapeadas no quadro a seguir, ou seja, realizar a revisão crítica, obtendo dados para revisões do tipo 1, 2, 3 e 4. No entanto esta condição não é imprescindível, dado que se trata de estudo exploratório. O objetivo é revisar criticamente o modelo proposto e fazer algumas inferências iniciais em relação ao conceito de proatividade, que sirvam como subsídio para as próximas etapas do projeto.

Pelo critério utilizado para a seleção das empresas, procuraremos garantir a coleta de dados em duas empresas com sistemas com muitos, ou todos os elementos do modelo proposto, e duas empresas com poucos ou nenhum elemento do modelo proposto. No entanto não podemos assegurar que haverá usuários que se enquadrem nas duas situações relativas ao conceito de proatividade. Desta forma, é certo que realizaremos revisões do tipo 1 ou 2 e revisões do tipo 3 ou 4. Em qualquer uma delas tem-se a oportunidade de revisar criticamente o modelo inicialmente proposto.

Redação dos Resultados

Os resultados dos estudos de caso darão origem a quatro relatos, cujo contexto e dados coletados serão detalhadamente apresentados. A análise dos dados possibilitará a revisão crítica do modelo conceitual.

Buscando Rigor Científico

A descrição do estudo de caso enquanto método científico, colocado por Lee (1989), nos defronta com uma série de recomendações e cuidados; quando forem seguidos, possibilitam maior ou menor grau de rigor metodológico. A seguir, procuramos verificar possíveis pontos fracos e fortes da nossa pesquisa em relação ao rigor metodológico apontado pelo autor.

(1) Como fazer observações controladas? Tendo em vista que estudos em ambientes naturais excluem controles de laboratório, procurar-se-á utilizar controles naturais. Significa que deveremos fazer escolhas, no decorrer da nossa permanência nas empresas, de quais dados coletar, que momentos ou situações analisar, que pessoas entrevistar, etc.

(2) Como fazer deduções controladas? Como as deduções lógicas podem ser obtidas em proposições verbais, procurar-se-á, sobretudo nas entrevistas semi-estruturadas, estabelecer relações entre os modelos de sistemas e os comportamentos dos usuários. Estas deduções serão testadas posteriormente (3 3 A segunda parte do presente projeto tem como objetivo, na construção de um protótipo baseado no modelo conceitual proposto, verificar o efeito do sistema sobre o comportamento dos usuários. ).

(3) Como conduzir para a replicabilidade? A condução de quatro estudos de caso, em locais escolhidos com os critérios estabelecidos, contribuirá para os dois tipos de replicação: literal e teórica.

(4) Como conduzir para a generalização? A condução de quatro estudos de caso, em locais com elementos comuns mas com diversidade de contexto, contribuirá para um maior poder de generalização dos resultados.

Em relação à metodologia proposta por Barley (1990), que defende a coleta e análise de dados sob três enfoques (sincrônico, diacrônico e paralelo), nossa pesquisa somente poderá utilizar o enfoque paralelo, devido à própria natureza da questão de pesquisa. Um enfoque sincrônico exigiria a análise do uso e não uso do sistema de forma concorrente, enquanto o enfoque diacrônico exigiria a análise do uso do sistema em período longo de tempo.

Esclarece-se a distinção entre o conceito de análise sincrônica e o tipo de pesquisa cross-sectional. Segundo a categorização de Barley (1990), como faremos estudos paralelos em vários ambientes para determinar pontos singulares e comuns, estaremos trabalhando apenas com a abordagem de análise paralela. No entanto, segundo a definição de Yin (1984), estaremos realizando um estudo cross-sectional; nesse caso, não corresponde à análise sincrônica de Barley (1990).

Finalmente, retomando as contribuições de Leonard-Barton (1990), a impossibilidade de adotarmos a metodologia dual remete-nos para uma maior atenção sobre as colocações feitas sobre os casos retrospectivos. Poderemos, seguindo orientação desse autor, conduzir a coleta de dados para a busca de múltiplas perspectivas e selecionar os locais dos casos segundo critérios relacionados com características comuns.

CONCLUSÕES

No decorrer deste artigo procuramos explorar a potencialidade do método estudo de caso, tendo em vista a experiência de alguns pesquisadores que relataram suas dificuldades, sucessos e recomendações. Nosso desejo foi estabelecer uma série de cuidados a serem seguidos, passo a passo, para a aplicação do estudo de caso com certo rigor científico. Trata-se de uma espécie de roteiro que procuraremos seguir no desenvolvimento de nossas pesquisas atuais e que, acreditamos, poderá ser valioso para outros pesquisadores que pretendem utilizar esta metodologia em seus trabalhos.

À luz de todas as recomendações levantadas, temos a convicção de que teremos melhores condições para perseguir o objetivo de nossas pesquisas: um modelo conceitual de EIS - Enterprise Information System - que possibilite condições para a proatividade. Possibilitar condições não significa garantir a existência de proatividade: os sistemas podem facilitar, conduzir ou mesmo interditar, mas não podem determinar nada. O que interessa são as possibilidades que podem existir e que podem emergir a partir dos estudos de caso que pretendemos realizar.

Este esforço inicial de revisão bibliográfica sobre o método estudo de caso e sistematização das principais condições que podem trazer maior rigor científico em sua aplicação pode ser avaliado de duas formas. Primeiro, como a estratégia escolhida para nortear nosso projeto, já que acreditamos que o estudo e aplicação dos passos e recomendações levantados no decorrer deste trabalho permitirão atingir nossos objetivos, buscando maior rigor científico. Segundo, servir de subsídio para outros pesquisadores, que poderão utilizar este material como ponto de partida para sua avaliação do que seja buscar esse maior rigor.

NOTAS

Marlei Pozzebon, é Bacharel em Ciências da Computação e Mestranda em Administração na Universidade Federal do Rio Grande do Sul, além de Consultora de Empresas em sistemas de informação. Suas áreas de interesse em pesquisa são sistemas de informação e apoio à decisão, gestão da informação e métodos de pesquisa, sobretudo análise qualitativa de dados.

Endereço: Universidade Federal do Rio Grande do Sul - UFRGS, Programa de Pós-Graduação em Administração - PPGA, Av. João Pessoa, 52, Centro, 90040000, Porto Alegre, RS, Brasil. E-mail: marlei@potoweb.com.br

Henrique M. R. de Freitas, é Doutor Nouveau Régime em Gestão pela Université Pierre Mendés France, França. Professor Adjunto do Programa de Pós-Graduação em Administração da Universidade Federal do Rio Grande do Sul, além de Pesquisador do CNPq. Suas áreas de interesse em pesquisa são sistemas de informação e apoio à decisão, gestão da informação e métodos de pesquisa, sobretudo análise qualitativa de dados.

Endereço: Universidade Federal do Rio Grande do Sul - UFRGS, Programa de Pós-Graduação em Administração - PPGA, Av. João Pessoa, 52, Centro, 90040-000, Porto Alegre, RS, Brasil. E-mail: hfreitas@vortex.ufrgs.br

  • ALTER, S. Information systems : a management perspective. Reading, MA : Addison Wesley,1992.
  • BARLEY, S. Images of imaging : notes on doing longitudinal field work. Organization Science, v. 1, n.3, p. 220-242, 1990.
  • BENBASAT, I.; GOLDSTEIN, D.; MEAD, M. The case research strategy in studies of information systems. MIS Quarterly, v. 11, n. 3, p. 369-387, 1987.
  • FRANKFORT-NACHMIAS, C.; NACHMIAS, D. Research methods in the social sciences London : Arnold, 1996.
  • GIL, A. C. Métodos e técnicas de pesquisa social São Paulo : Atlas, 1994.
  • KOTLER, P. Administração de marketing : análise, planejamento, implementação e controle. São Paulo : Atlas, 1994.
  • LEE, A. S. A scientific methodology for MIS case studies. MIS Quarterly, v. 13, n. 1, 1989.
  • LEONARD-BARTON, D. L. A dual methodology for case studies : synergistic use of a longitudinal single site with replicated multiple sites. Organization Science, v. 1, n. 3, p. 248-266, 1990.
  • LÉVY, P. As tecnologias da inteligência : o futuro do pensamento na era da informática. Rio de Janeiro : Editora 34, 1993.
  • MARKUS. Power, politics and MIS implementation. Communications of the ACM, v. 26, n. 6, p. 430-444, 1983.
  • OLIVEIRA, M. Indicadores para construção civil Porto Alegre, 1996. Proposta de Tese (Doutorado em Administração) - Progama de Pós-Graduação em Administração, Universidade Federal do Rio Grande do Sul.
  • PINSONNEAULT, A.; KRAEMER, K. Survey research in management information systems : an assessement. Journal Of Management Information Systems, Autumn 1993.
  • POZZEBON, M.; FREITAS, H. Construindo um EIS (Enterprise Information System) da (e para a) empresa. Revista de Administração, v. 31, n. 4, p. 19-30,out./dez. 1996.
  • SAGAN, C. O mundo assombrado pelos demônios : a ciência vista como uma vela no escuro. São Paulo : Cia das Letras, 1996.
  • SPRAGUE, R. H.; WATSON, H. J. Sistema de apoio à decisão Rio de Janeiro : Campus, 1991.
  • TAPSCOTT, D.; CASTON, A. Mudança de paradigma São Paulo : Makron Books, 1995.
  • THIOLLENT, J. Metodologia da pesquisa-ação São Paulo : Atlas, 1992.
  • TRIVIÑOS, A. N. S. Introdução à pesquisa em ciências sociais São Paulo : Atlas, 1987.
  • YIN, R. K. Case study research, design and methods London : Sage Publications, 1984.
  • 1
    O conceito de triangulação pode ser encontrado em Triviños (1987).
  • 2
    Este projeto está sendo elaborado e realizado pelo GESID/PPGA (Porto Alegre-RS), com a participação de Marlei Pozzebon e Maira Petrini e sob a orientação do Prof. Henrique Freitas.
  • 3
    A segunda parte do presente projeto tem como objetivo, na construção de um protótipo baseado no modelo conceitual proposto, verificar o efeito do sistema sobre o comportamento dos usuários.
  • Datas de Publicação

    • Publicação nesta coleção
      23 Abr 2009
    • Data do Fascículo
      Ago 1998
    Associação Nacional de Pós-Graduação e Pesquisa em Administração Av. Pedro Taques, 294,, 87030-008, Maringá/PR, Brasil, Tel. (55 44) 98826-2467 - Curitiba - PR - Brazil
    E-mail: rac@anpad.org.br