Resumos
Recentes estudos indicam existir um paradoxo em sistemas de informação: ainda que teoricamente perfeitos, muitos se tornam fracassos durante a implementação. Este estudo tem por objetivo o melhor entendimento das causas do sucesso e insucesso dos sistemas de informação gerenciais. Da revisão de literatura são reconhecidos quatro constructos que parecem influenciar no sucesso de sistemas de informação (1) complexidade, (2) participação do usuário, (3) apoio da direção, (4) equipe de desenvolvimento. Testa-se então a existência destes fenômenos por meio do estudo de caso da implementação de um sistema de informações gerenciais no segmento de exploração e petróleo da Petrobrás Petróleo Brasileiro S.A. Os resultados indicam que as variáveis apresentaram significativa capacidade de explicação do insucesso do sistema, sendo mais verificáveis o apoio da direção e a complexidade e que avaliações mais formais devem preceder a fase de investimentos em projetos de adoção de novos sistemas.
sistemas de informação; implementação; apoio da direção; complexidade
Recent studies indicate the existence of an information systems paradox: even the conceptually perfects, many become notorious implementation failures. This study has as main objective, understand the factors that contribute for successful or unsuccessful management information systems. Previous studies identified four main constructos that seem to be related with the success of these systems: (1) complexity, (2) user participation, (3) management support, (4) development team. Thus, we empirically test them existence thru the case study of exploitation and production segment of Petrobras - Petróleo Brasileiro S.A. management information system. The results indicate that the variables have power to explain system failure, indicating also management support and complexity as main causes and; that the adoption of this kind of system must be preceded of more formal evaluation.
implementation; information systems; management support; complexity
ARTIGOS
Fatores de sucesso e insucesso na implementação de sistemas de informação gerencial: estudo do caso do segmento de exploração e produção de petróleo da Petrobrás S/A
Aracéli Cristina de Sousa Ferreira; André Luiz Bufoni
RESUMO
Recentes estudos indicam existir um paradoxo em sistemas de informação: ainda que teoricamente perfeitos, muitos se tornam fracassos durante a implementação. Este estudo tem por objetivo o melhor entendimento das causas do sucesso e insucesso dos sistemas de informação gerenciais. Da revisão de literatura são reconhecidos quatro constructos que parecem influenciar no sucesso de sistemas de informação (1) complexidade, (2) participação do usuário, (3) apoio da direção, (4) equipe de desenvolvimento. Testa-se então a existência destes fenômenos por meio do estudo de caso da implementação de um sistema de informações gerenciais no segmento de exploração e petróleo da Petrobrás Petróleo Brasileiro S.A. Os resultados indicam que as variáveis apresentaram significativa capacidade de explicação do insucesso do sistema, sendo mais verificáveis o apoio da direção e a complexidade e que avaliações mais formais devem preceder a fase de investimentos em projetos de adoção de novos sistemas.
Palavras-chave: sistemas de informação; implementação; apoio da direção; complexidade.
ABSTRACT
Recent studies indicate the existence of an information systems paradox: even the conceptually perfects, many become notorious implementation failures. This study has as main objective, understand the factors that contribute for successful or unsuccessful management information systems. Previous studies identified four main constructos that seem to be related with the success of these systems: (1) complexity, (2) user participation, (3) management support, (4) development team. Thus, we empirically test them existence thru the case study of exploitation and production segment of Petrobras - Petróleo Brasileiro S.A. management information system. The results indicate that the variables have power to explain system failure, indicating also management support and complexity as main causes and; that the adoption of this kind of system must be preceded of more formal evaluation.
Key words: implementation; information systems; management support; complexity.
INTRODUÇÃO
O contexto onde as organizações se inserem está cada vez mais dinâmico e hostil. O dinamismo está associado às mudanças de tecnologias de materiais, processos e produtos; à internacionalização e demais fenômenos associados. A hostilidade, claro, a forte concorrência dos mercados atuais (Gomes & Salas, 1997). Este contexto, juntamente com imperativos tecnológicos, são as principais causas da mudança na teoria, na pesquisa e, por conseqüência lógica, na adoção de novos sistemas de informação (Markus & Robey, 1988).
Sistemas de informação desempenham tarefa crucial na realização dos objetivos da instituição (Alavi & Joachimsthaler, 1992; Bergeron, Bateau, & Raymond, 1991). A crença geral é de que estes sistemas são importantes, porque são capazes de, de vários modos, criar vantagem competitiva. Dessa forma, sua avaliação se tornou crucial na determinação do direcionamento a seguir, porque se tornaram também componentes chaves na sua missão (Drury & Farhoomand, 1998). Por isso também a compreensão e o entendimento de como avaliar um sistema de informação pode ser, em si, desejável (Zmud, 1978).
Infelizmente as revisões sobre pesquisas em implementação de sistemas efetuadas até então revelam resultados conflitantes. Paradoxalmente, a parcela da receita bruta destinada a investimentos em tecnologia da informação aumenta (Mitra & Chaya, 1996), enquanto muitas publicações sobre fracassos e baixa produtividade trazem mais pontos à discussão (Ballantine et al., 1996).
Este é o estudo do caso do sistema de resultado econômico-financeiro do segmento de exploração e produção da Petrobrás S.A. O correto diagnóstico do contexto organizacional e a adequada escolha do sistema de controle, condizente com o planejamento da entidade, não impediu que, após cinco anos - mais de um de desenvolvimento e quatro após a emissão de seu primeiro relatório; e o investimento de uma soma considerável de recursos financeiros, humanos e tecnológicos, a direção da empresa resolvesse descontinuá-lo. Por quê?
SUCESSO E INSUCESSO
Sucesso de implementação refere-se a realizar os benefícios pretendidos pelo sistema (Zmud & Cox, 1979). Sucesso, entretanto, é um constructo, uma idéia que não é observável diretamente, mas que, acredita-se, pode ser deduzida de outro ou outros fenômenos (Moura, Ferreira, & Paine, 1998).
Historicamente, o sucesso tem sido representado por inúmeras formas e por diferentes conjunto de variáveis (Alavi & Joachimsthaler, 1992). Algumas delas foram: utilidade percebida, uso, satisfação do usuário, custo-benefício, performance. Muitos modelos foram testados e muitos instrumentos quantitativos usados para encontrar as dimensões que melhor representassem estas variáveis (Choe, 1996). A falta de consenso entre os pesquisadores chegou à situação na qual existem tantas operacionalizações quantas definições conceituais (Melone, 1990).
O sucesso parece ter acompanhado a evolução das escolas de gestão em suas fases clássica, neoclássica e sistêmica (Murdick & Ross, 1975). Os primeiros modelos baseavam-se fundamentalmente em variáveis técnicas relacionadas à engenharia, como velocidade de processamento, economia de tempo, qualidade da saída. A maior parte destas medidas exigiam um conhecimento a priori de seu impacto e eram difíceis de quantificar (Zmud, 1978).
A dificuldade estava em operacionalizar um substituto amparado em fatores econômicos e na arbitrariedade de seus resultados (Gatian, 1994; Lees, 1987). Após inúmeras e questionáveis tentativas empíricas de quantificar os benefícios trazidos pelos sistemas, iniciou-se a incorporação de variáveis psicológicas (como satisfação e confiança), que fossem mais identificáveis e mais fáceis de serem medidas (Larcker & Lessig, 1980). É consenso hoje o imperativo de se reduzir o número de dimensões das variáveis dependentes (Delone & McLean, 1992).
Muitos vêem no trabalho de Delone e McLean (1992), que efetua uma revisão em quase duas centenas de pesquisas, uma importante consolidação sobre o assunto (Ballantine et al., 1996; Drury & Farhoomand, 1998; Whang, Windsor, & Pryor, 2000).
Para Delone e McLean (1992) a diversidade de estudos é explicada pelas inúmeras definições do que é informação, medida em seus diversos níveis: técnico - com foco na produção; semântico - com foco no produto; de eficácia - com foco nos impactos. Longe de serem isoladas, explicam os autores, as variáveis influenciam e sofrem influência uma das outras. Concluem que o modelo não ambiciona exaurir o assunto.
Como anteriormente no caso das variáveis técnicas como qualidade da informação e do sistema, existe hoje uma pressão para medir o sucesso dos sistemas como outros investimentos, ou seja, pelos impactos tanto no indivíduo quanto na organização. Este é apontado por muitos como um dos pontos mais importantes em sistemas de informação (Belcher & Watson, 1993). Retorno sobre investimento, market share, inovação, lucro, produtividade, eficiência nas decisões são algumas das medidas utilizadas para estas variáveis. Muitos resultados em pesquisas têm sido truncados, dada a dificuldade de se isolar o fenômeno (Delone & McLean, 1992). Eis por que algumas optaram por experimentos laboratoriais (Benbasat & Dexter, 1982; Eckel, 1983; Sharda, Barr, & McDonnel, 1982).
A maior parte das pesquisas nos últimos anos fez uso de duas variáveis: utilização e satisfação do usuário como substitutos para o sucesso em sistemas. Estão tão incorporadas à pesquisa na área, que alguns autores nem sequer chegam a defini-las em seus trabalhos, partindo direto para o que as causam (Bénard & Satir, 1993). Por sua importância descrevemos ambas a seguir.
Utilização do Sistema e Satisfação do Usuário
Pode-se considerar a satisfação do usuário como a crença de como um aplicativo específico atende às suas necessidades e expectativas (Ives, Baroudi, & Olson, 1983). A satisfação tem sido usada como útil substituto da medida de sucesso e eficácia (Yoon, Guimarães, & O'Neal, 1995). É em geral medido por instrumentos psicométricos (questionários). Estes instrumentos desde muito são bastante criticados (Etezadi-Amoli & Farhoomand, 1991; Gatian, 1994; Galleta & Lederer, 1989; Hawk & Raju, 1991).
A satisfação como substituto vem da crença psicológica de que usuários satisfeitos procedem melhor que usuários insatisfeitos e, se eles assim procederem, o sistema é um sucesso (Hartiwick & Barki, 1994), ou seja, da ligação entre atitudes e comportamentos (satisfação e produtividade). As críticas a essa variável estão no fato de que funcionários satisfeitos nem sempre são produtivos (Gatian, 1994). Pelo mesmo motivo, algumas pesquisas reportaram que funcionários satisfeitos tendem a ser benevolentes para com as avaliações dos sistemas, distorcendo seus resultados (Mirani & King, 1994) e exigindo cuidados redobrados por parte dos pesquisadores (Galleta & Lederer, 1989).
Utilização do sistema pode ser definida como o consumo do receptor da saída de um sistema de informação. Existe longa tradição no estudo da relação atitude à comportamento à performance à uso (Barki & Hartwick, 1989, 1994; Robey, 1979). O uso é medido de várias formas, tais como: número de requisições, tempo de conexão, número de funções utilizadas, número de registros acessados, freqüência de acesso, relatórios acessados e gerados (Delone & McLean, 1992).
Uma dificuldade inerente à escolha desta variável está na determinação do limite sucesso/insucesso e na sua distribuição irregular no tempo. Afinal, usuários levam tempo para realizar ou não as vantagens prometidas pelo sistema (Ginzberg, 1978). Algumas pesquisas ainda ignoram em suas medições como a informação obtida é usada (Melone, 1990).
CAUSAS DO SUCESSO
A literatura dá pouca atenção aos aspectos técnicos e semânticos dos sistemas. A ênfase é dada no agente ativo pelos quais os objetivos são alcançados - o usuário. Muitos pontos são inerentes ao contexto específico que se desenvolvem, não sendo aplicáveis em nenhum outro. A hipótese aqui é de que existe um universo de propriedades em comum que influenciam o sucesso dos sistemas de informação (Drury & Farhoomand, 1998).
Após a leitura de mais de uma centena de estudos publicados, identificamos os constructos que passamos a descrever mais abaixo. Estes pontos apresentam-se de forma recorrente em várias pesquisas, o que não quer dizer que outros não se apresentem na realidade (Finlay & Mitchell, 1994).
Complexidade
A complexidade sistêmica pode ser definida pela quantidade de peças e suas relações (Stair, 1998). Há, além dessa, uma extensa pesquisa que aborda a complexidade por seu valor semântico (Nelson & Cheney, 1987) e da tarefa/tomada de decisão (O'Reilly, 1982).
Ackoff (1967) já mostrava a necessidade dos gestores em saber como a informação é construída. Primeiro porque, sem isso, delegariam uma parte importante do controle para aqueles que não são versados em administração; depois porque é necessário entender a formação das medidas para estabelecer controles sobre as bases causais, justificando as ações tomadas.
Para consecução de qualquer tarefa os usuários avaliam as entradas do sistema e os resultados obtidos com a entrada e resultados de outros sistemas, teoria conhecida como UAR - User Affective Response (Woodroof & Kasper, 1998). Assim, um sistema que se proponha a elevar muito o esforço para obtenção da informação, deve fornecer uma contrapartida igualmente recompensadora. Guardadas as limitações de cada medida, isto significa que o sistema deve ser capaz de impactar, de forma proporcional e perceptível, o indivíduo ou a performance da instituição (Sharda, Barr, & McDonnel, 1982; Choe, 1996).
Participação do Usuário
Esta variável é muito mais complexa do que expõe a literatura. Alguns estudos relatam que a participação do usuário tem impactos positivos (Doll & Torkzadeh, 1991; Hirschheim, 1985; Swanson, 1974), outros resultaram inconcludentes (Tait & Vessey, 1988), enquanto outros discutem que a participação do usuário pode ser disfuncional, levar a problemas políticos, ser manipulativa e extremamente difícil de operacionalizar, resultando em sistemas não só sub-otimizados, mas com desenvolvimento mais demorado (Robey, 1979).
Swanson (1974) diria que gerentes apreciariam mais os sistemas, cujo envolvimento houvesse sido maior a priori. Mais tarde Barki e Hartwick (1989) redefiniriam apreciação como envolvimento, e o envolvimento como participação. Desde então envolvimento passou a ser definido como o estado psicológico subjetivo da importância e relevância do sistema para os usuários, e participação como o conjunto de atividades e comportamentos efetuados por eles.
Esta participação pode tomar inúmeras formas de acordo com as atividades (Ives & Olson, 1984). Existem inúmeras tipologias sugeridas que têm em comum a gradação em relação à intensidade da influência exercida (Joshi, 1990). Zmud e Cox (1979), por exemplo, as dividem em consultiva, influência, compromisso e responsabilidade, enquanto Hartwick e Barki (1994) em responsabilidade geral, relacionamento sistema-usuário e atividade participativa.
Baseado na premissa de que os indivíduos diferem no desejo de participar, Doll e Torkzadeh (1991) desenvolveram um constructo que chamaram de envolvimento congruente. Neste constructo, a diferença entre o desejo de participação e a percepção do nível de envolvimento serviria melhor para medir o sucesso do sistema que as variáveis isoladamente.
Outros fatores relevantes com relação ao usuário são o treinamento e as diferenças individuais. Treinamento é o fornecimento de conhecimento suficiente, para permitir a efetiva interação com o sistema (Alavi & Joachimsthaler, 1992). Hábitos, personalidade e fatores demográficos, tais como sexo e idade, são ditos como relevantes para o sucesso do sistema.
Relativos à Equipe
Da capacidade de alcançar as necessidades dos diversos grupos é que, para alguns, depende o sucesso do sistema (Mirani & King, 1994). Henderson e Lee (1992) confirmaram esta relação, concluindo por considerar de grande importância a escolha e o treinamento dos gestores do projeto. A existência de um líder, "alguém que apoiará entusiasticamente e mostrará os benefícios do sistema a outros e os infectará com seu entusiasmo", é reconhecida por muitos como fator de sucesso (Barnes & Bush, 1992).
Beath (1991) julgou da literatura corrente da época que tais gestores são importantes, porque conseguem processar as mudanças necessárias na organização. Eles são conhecidos como champions e dentre suas inúmeras desejáveis características estão: exortar o comportamento dos membros e entender a dinâmica e o processo de desenvolvimento (Henderson & Lee, 1992).
Apoio da Direção
Lederer e Sethi (1988) verificaram que um dos problemas mais severos era o de manter o compromisso dos altos escalões da organização para implementar o plano traçado para o sistema. Em desenvolvimentos participativos esse fator assume papel de destaque (Hirschheim, 1985). Já em Ginzberg (1981) existiam evidências consistentes sobre o apoio da direção como fator para o sucesso e insucesso de sistemas.
O apoio da direção é importante no apoio aos campeões, porque legitimam os apelos destes para a nova tecnologia, ajudam a encontrar e identificar membros de coalizão, além de disponibilizar recursos (Beath, 1991). Tem sido necessário cada vez maior poder de persuasão para convencê-la a apoiar o processo de mudança (Lederer & Mendelow, 1988).
METODOLOGIA
Por se tratar, entre outras coisas, de uma inquirição empírica que investiga um fenômeno contemporâneo dentro de seu contexto real, optamos pelo estudo de caso simples como estratégia para a presente pesquisa (Yin, 1994). Estudos de casos permitem entender por que e como, ou entender a complexidade e a natureza dos processos que estão ocorrendo (Benbasat, Goldstein, & Mead, 1987). Nos Estados Unidos existe forte tradição no uso desta estratégia na pesquisa sobre sistemas (Lee, 1989).
Nosso caso é o segmento de exploração e produção da Petrobrás Petróleo Brasileiro S.A. A nossa unidade em análise é o sistema de resultado econômico-financeiro, desenvolvido, implementado e descontinuado entre os anos de 1995 e 2000.
Os estudos de casos são conhecidos pelas múltiplas formas de coleta de dados (Yin, 1994). Tivemos acesso a documentações e manuais sobre o sistema, aplicamos questionários, executamos entrevistas, encontramos alguns estudos anteriores sobre o sistema e a Petrobrás. O questionário em voga foi disponibilizado via internet em endereço eletrônico, vinculado à faculdade sob o domínio http://www.facc.ufrj.br/siref no período de 01 de maio 30 de junho de 2003.
Uma vez coletados, os dados foram comparados, em bases prognósticas, com as variáveis retiradas da literatura, estabelecidas como padrão para o observado. Este padrão não pôde ser comparado em bases muito rígidas, dada a natureza multiforme dos constructos em cada contexto.
Identificamos ainda a necessidade de estabelecer a coleta de dados em diversos níveis. A necessidade vem da preocupação em apoiar de forma ideal as afirmações da pesquisa, ou seja, em no mínimo duas fontes diferentes. Inúmeros autores (Benbasat, 1987; Jiang, Chen, & Klein, 2002; Lee, 1989; Middleton, 1995; Shaw, Delone, & Niederman, 2002; Yin, 1994) relataram que, em muitas pesquisas, houve problemas de perspectiva sobre um mesmo processo (Benbasat et al., 1987), chegando em um caso a ser mesmo o título da pesquisa (Middleton, 1995): Um conto de dois sistemas - Sucesso e Fracasso em uma única implementação de sistema de informação. Assim:
Acreditamos que a quantidade de operacionalizações e sua distribuição entre as diversas classes investigadas estão de acordo e são suficientes com o preconizado na metodologia qualitativa, sendo significante, dentro do universo de cerca de 30 pessoas envolvidas, entre usuários, desenvolvedores e manutenção.
DESCRIÇÃO DO CASO
Nosso estudo de caso se dá na Petrobrás Petróleo Brasileiro S.A., uma das maiores empresas petrolíferas do mundo. A empresa na última década tem sido alvo de grandes mudanças, tanto no ambiente em que desenvolvia suas atividades, quanto em sua estrutura organizacional. Anteriormente a Petrobrás poderia ser classificada como uma empresa de estrutura funcional e controle burocrático inerente a empresas de ambiente pouco competitivo e grande tamanho (Gomes & Salas, 1997; Santos, 1988).
Em agosto de 1997, a Petrobrás passou a atuar em um novo cenário de competição instituído pela Lei 9.478, que regulamentou a emenda constitucional de flexibilização do monopólio estatal do petróleo. Com isso, abriram-se perspectivas de ampliação dos negócios e maior autonomia empresarial. Em 1998, a Petrobrás posicionava-se como a 14ª maior empresa de petróleo do mundo e a sétima maior entre as empresas de capital aberto, segundo a tradicional pesquisa sobre a atividade da indústria do petróleo divulgada pela publicação Petroleum Intelligence Weekly.
Para o nosso caso, as mudanças mais relevantes se desenvolvem exatamente na adoção de um modelo explícito no plano estratégico de avaliação por resultados financeiros: "Avaliar o desempenho empresarial das unidades de negócios, utilizando um sistema de responsabilização e conseqüências (...) baseado em medidas de desempenho de retorno sobre capital empregado (ROCE)" - www.petrobras.com.br
A nova estrutura, com ênfase na descentralização, levou os gestores a enfatizar o resultado, preparando-se para um contexto competitivo. Este tipo de controle é condizente com o que aconselha a teoria (Gomes & Salas, 1997). Um dos segmentos de negócio da companhia, o de exploração e produção de petróleo, resolveu desenvolver um sistema de mensuração do resultado econômico e financeiro (SIREF). Descrevemo-lo a seguir.
SIREF em Perspectiva
O modelo adotado como medida para avaliação dos resultados financeiros foi o do valor econômico agregado (VEA). O modelo algébrico abaixo, retirado de Ferreira (1997), indica o cálculo como o resultado do período, abatido do custo da remuneração do capital. A adoção deste modelo evoluiu rapidamente a partir da definição, pela companhia, das características desejáveis da medida procurada, que eram (1) estar positivamente correlacionada com o resultado da companhia; (2) ser completa o suficiente para não permitir o surgimento de comportamentos disfuncionais; (3) ser desmembrável em fatores passíveis de controle gerencial.
VEA = RESULTADO - (CAPITAL x TAXA MÉDIA DE CAPTAÇÃO)
O resultado do modelo não representa o lucro ou prejuízo contábil, mas o econômico. Isso quer dizer que não foram utilizados simplesmente dados contábeis ou da contabilidade societária, ou seja, custos históricos para os estoques, bem como imobilizados; tampouco foram depreciados segundo os mesmos critérios da legislação. O arrendamento mercantil recebia tratamento de financiamentos, sendo o imobilizado incorporado ao patrimônio manual e individualmente.
Tratamentos diferenciados dos adotados convencionalmente na contabilidade financeira também eram dispensados aos custos, que utilizavam o custeio variável e margem de contribuição. Um aspecto importante deste sistema era que os dados se apresentavam em três moedas distintas: o real, o dólar comercial e uma moeda constante baseada principalmente em índice geral de preços (IGP-DI).
Em atendimento a descentralização os centros foram classificados e apresentavam seu próprio resultado. Foram também introduzidos conceitos deste contexto, como o preço de transferência e banco interno, administrador das disponibilidades.
Quanto aos relatórios físicos gerados pelo sistema, uma demonstração de resultado mensal, era entregue pela equipe, com relatório informando os principais fatos julgados relevantes, ao superintendente de controle do E&P. A demonstração obedecia ao modelo de custeio variável com as diversas margens de contribuição: financeira, estoques, produção etc. Eram apresentados ainda inúmeros gráficos ao superintendente com a progressão das margens nos últimos doze meses.
Além disso, para os outros usuários da informação foi desenvolvido, em COMMANDER®, um relatório em mídia eletrônica, que poderia ser acessado de qualquer ponto da INTRANET, onde eram apresentados os principais indicadores do desempenho econômico-financeiro. Estes indicadores poderiam ainda, por simples clique, serem decompostos em explanações teóricas. Balanço patrimonial e fluxo de caixa, segundo os mesmos critérios gerenciais, eram apresentados na mesma interface.
Tecnicamente o SIREF residia em uma máquina IBM de grande porte. O acesso ao programa, bem como o atendimento das demandas por correções e avaliações no sistema, eram feitos pelos analistas do departamento correspondente ou SERINF - Serviços de Recursos da Informação, mediante a solicitação da equipe de manutenção do sistema. Havia um analista destacado exclusivamente para este mister (Ferreira, 1997).
Como o sistema alterava fundamentalmente a mensuração de determinados ativos e desconsiderava outros, o grupo de desenvolvimento achou por bem que o sistema de informações não deveria acessar diretamente o banco de dados da Contabilidade Geral (SCG), oficial da companhia, fazendo-o por meio de um espelho(1 1 Espelho ou mirror é uma idêntica cópia de um banco de dados. Neste caso a cópia não era idêntica, porque por ocasião da transferência de movimentos já haviam processamentos rotineiros executados sobre o banco. ). Desde que até seu fechamento o Sistema de Contabilidade Geral poderia sofrer alterações e correções em seus lançamentos, o SIREF passou a depender de seu encerramento para acessar, de forma consistente, suas informações, o que se dava em geral em 15 dias após o término do mês de registro das operações (Ferreira, 1997), elevando em até 30 (trinta) dias o prazo para fechamento do SIREF. A figura abaixo resume o assunto.
Outro interessante aspecto técnico do sistema dizia respeito ao processamento por rotinas. Por estar situado em um computador de grande porte, o processamento deveria ser otimizado para evitar sobrecarga do processador na demanda dos trabalhos. Por isso a maioria das rotinas era executada em regime noturno ou batch. Caso o resultado fosse insatisfatório, teria de se aguardar mais uma noite para que eventuais distorções fossem corrigidas, sendo necessária ainda outra intervenção dos analistas para desfazer o processamento da noite anterior, restaurando a cópia backup.
O SIREF começou a ser desenvolvido em 1995 por iniciativa de sua Direção na época. O sistema tinha caráter permanente. Para desenvolvê-lo foi constituído um grupo conceitual responsáveis por validar os conceitos, um comitê técnico composto por gerentes e diretores, e contratada uma consultoria para o projeto. Nos anos que se seguiram, o projeto viu a saída do diretor deste segmento da companhia e o afastamento do chefe do grupo de desenvolvimento por problemas de saúde, que viria a falecer.
Inicialmente prevista para 1996, a inconsistência dos dados fez com que o sistema somente iniciasse com a emissão de primeiro relatório em 1997. Até a emissão de seu último relatório em 2000, o SIREF não contemplava alguns aspectos planejados em sua concepção como, por exemplo, seu módulo de orçamento.
APRESENTAÇÃO E ANÁLISE DOS DADOS
Apresentamos e analisamos a seguir os dados fornecidos a respeito, além do sucesso dos quatro constructos testados nesta pesquisa: apoio da direção, participação do usuário, complexidade e equipe de desenvolvimento, ordenados de forma decrescente de evidências encontradas sobre a existência de determinado fenômeno.
Procedemos então à análise das evidências, comentando nas partes seguintes as impressões percebidas no contexto. Lembramos que os procedimentos de verificação de adequação ao padrão estipulado não incluem nenhuma comparação precisa. Tivemos o cuidado de não estipular padrões muito sutis que favoreçam a aceitação de conclusões incorretas, conforme nos recomenda Yin (1994).
Sucesso/Insucesso
Durante as entrevistas, pudemos constatar a unanimidade do insucesso do sistema SIREF quanto ao uso propriamente dito, um dos dois meios mais comuns de se medir o sucesso. A cronologia demonstra que, de seu projeto iniciado em 95, mas concluído em 97, o SIREF nunca alcançou a plenitude de sua idealizada utilidade como instrumento de avaliação de desempenho e controle das atividades. Por se tratar de um sistema permanente, o fato de ter sido descontinuado em 2000 é a mais marcante evidência de seu insucesso.
Não obstante, sem qualquer indução, todos fizeram menção à importância da experiência para a construção de uma nova mentalidade voltada para resultados em detrimento da produção simples e pura. Sob este aspecto, aliás, a grande maioria dos entrevistados acredita que o SIREF teve sua utilidade. Assim sendo, o constructo satisfação do usuário não foi tão verificável quanto o uso.
Como para a mudança comportamental não seria preciso a idealização, desenvolvimento e implementação de nenhum sistema, os dados nos levam a crer que os participantes do processo atribuíam importância e relevância ao sistema que, na realidade, era mérito do conhecimento disseminado necessário ao seu funcionamento. Esse aspecto não foi encontrado na revisão de literatura.
Apoio da Direção
O motivo alegado oficialmente pela Direção para a descontinuidade do sistema foi a comparabilidade. A comparabilidade, característica qualitativa da informação financeira contábil, permitiria, diziam eles, que os gestores, as empresas, os investidores, a sociedade e seu principal acionista, a União, avaliassem uniformemente e consistentemente os resultados da Petrobrás com o resultado de outros investimentos, supostos de mesma relação risco/retorno.
Os dados sugerem que este apoio, mesmo antes, havia sido reduzido ou pelo menos "esfriara sensivelmente". Estes, nas palavras dos participantes, indicaram "a falta de apoio da alta administração e a falta de divulgação do projeto" como as principais causas do insucesso do sistema de informação. A relação custo-benefício da manutenção de um sistema baseado em gestão econômica parecia, então comprometida.
"Certamente não houve este apoio. Somente no começo, quando a consultoria foi contratada para apresentar e implantar a metodologia por ela desenvolvida, houve uma onda de entusiasmo em torno da novidade. Em pouco tempo, a alta gerência passou a ver o SIREF apenas como um sistema contábil paralelo, que não merecia maiores investimentos" - Membro do Comitê.
Quanto ao questionário apresentado, os dados validam a afirmativa de que o apoio da Direção foi insatisfatório no processo. Os respondentes foram unânimes em dizer que não faltaram recursos, nem pessoal qualificado. O que aconteceu, segundo eles, é que a falta de apoio pôde ser observada nos incentivos (financeiros e não financeiros) e na divulgação do sistema, corroborando a idéia de que o SIREF se tornou um sistema desprestigiado na organização.
Apesar dos dados corroborarem o que afirma a literatura sobre a importância do apoio da direção para o sucesso na implementação de sistema de informação gerencial, estudos anteriores não verificam, por exemplo, a aceitação da nova tecnologia, quando a decisão de mudança provém de consenso dos envolvidos ou somente da direção (top down).
Complexidade
Pudemos observar a diferenciação pelos três aspectos interessantes: a complexidade da informação (semântica), a capacidade de entendimento e assimilação pelos usuários (cognitiva) e do sistema propriamente dito (técnica). A revisão de literatura não estabelece essa divisão e em geral utilizam-se meios indiretos mais fáceis, como a percepção da relação custo-benefício, para medir a complexidade.
"Quando comecei a participar do projeto o treinamento dos gestores de mais alto nível já havia acontecido e, pelas conversas que tive com alguns deles, o entendimento sobre o SIREF era muito limitado" - Membro do Comitê.
Salientamos, porém, que esta capacidade de assimilação não é ponto pacífico e muitas respostas são contraditórias. As entrevistas revelam que os usuários em geral não acham os conceitos muito complexos, se analisados de forma separada; tampouco do indicador principal, gerado pelo sistema (VEA), como pode ser visto mais abaixo. Colocados de forma sistêmica, surge a limitação dos usuários no entendimento da complexa cadeia de causa e efeito do modelo proposto, o que poderia explicar a contradição de algumas respostas.
"Complexo. Apesar de todas as simplificações adotadas (...), o SIREF ainda ficou muito complexo" - Integrante do Comitê.
"Extremamente complexo. O entendimento dos conceitos pelos usuários, na maioria das vezes, não era muito difícil. Os conceitos foram, aos poucos, sendo absorvidos pelos usuários que, já no segundo ano de operação, dominavam quase que completamente a filosofia do sistema e seus conceitos gerenciais, bem como a forma de análise e utilização das informações geradas, para efeito de apoio aos processos de avaliação de Resultados e de tomada de decisões gerenciais" - Integrante do Grupo Conceitual.
"O lucro econômico em si é um conceito bastante simples. Hoje avalio esta condição nas empresas para ver o nível de complexidade da solução que vou oferecer. Talvez tenha sido algo que não tenhamos interpretado com muita precisão na época" - Consultor do Projeto.
Em outras palavras, o SIREF dificultava a análise causal entre as diversas contas, dificultando também o controle dos fatores nas operações, recursos e atividades nas corretas bases causais. Na verdade, os usuários questionavam a utilidade da informação, uma vez que, segundo eles, o resultado econômico não era conciliável com o financeiro, ou seja,
"a soma das partes pelos critérios gerenciais escolhidos para o SIREF não eram conciliáveis com o resultado do todo divulgado ao Mercado. De que adianta virtualmente pelos critérios econômicos você ter uma performance, se na prática o resultado percebido pelo mercado é outro? É muito difícil conciliar aspectos econômicos, como preços de transferências, tempo conjuntural, hipóteses econômicas (avaliação de haveres e deveres a valor presente, etc), com aspectos financeiros correntes ou nominais. É preciso simplificar para se entender. Acho que foram esses aspectos que golpearam o SIREF, a dificuldade de aplicação empírica" - Usuário do Sistema.
Se por um lado havia dúvidas quanto à complexidade da informação, o mesmo não ocorreu quanto a arquitetura do sistema. O volume de entradas manuais, o processamento noturno (batch) e a forte centralização das atualizações e parametrizações contínuas desanimavam muitos alimentadores e participantes do grupo de manutenção que chegaram a declarar:
"Uma das razões que provocaram o desânimo da maior parte das gerências envolvidas foi a alta complexidade interna do sistema (processamento, manutenção, atualização, etc.). Era, de fato, um sistema que requeria um monitoramento contínuo. Muitas vezes, tínhamos a sensação de que cuidávamos de um bebê recém-nascido, que jamais cresceria" - Membro do Grupo de Manutenção.
Neste caso os questionários também se coadunam com este resultado, onde a maioria dos respondentes diz ser capaz de entender os conceitos de forma tranqüila, sem, no entanto, concordar em serem avaliados pelo SIREF. Pelo questionário, nem sequer os desenvolvedores aceitariam.
"O sistema é ótimo como jogo de empresas, visão acadêmica, mas no dia-a-dia, é difícil mostrar ao gestor aspectos não mensuráveis na metodologia tradicional (ex. dinheiro no caixa)" - Usuário do Sistema.
Quando foi colocada a assertiva de que o sistema era simples, reagiram discordando extremamente. Isto nos leva a crer que o maior problema residia nos aspectos técnicos - projetos de hardware, relatórios e interface, e analíticos do sistema - de como esta informação era composta. Uma solução que despendia um esforço de tempo e recursos sem, no entanto, ter uma contrapartida facilmente perceptível.
Participação dos Usuários
Os aspectos relativos aos usuários são multifacetados e abordaremos nossa análise segundo nos indica a literatura sobre o assunto: envolvimento congruente e treinamento. As entrevistas evidenciam que os gestores se ressentiram de um déficit entre a quantidade de participação desejada e a efetivamente efetuada.
Mostram ainda três aspectos que podem ter ocorrido neste caso. O primeiro diz respeito à eficácia do treinamento quanto às pessoas às quais foi ministrado. Sobre o assunto:
"(...) existiu relativamente, um grande esforço de treinamento. O problema todo é que não foram atingidas as pessoas certas. É muito difícil treinar gerentes de topo em qualquer empresa, na Petrobrás então isto se torna ainda mais complicado" - Membro dos Comitês.
Esta passagem deixa bem claro que o usuário final da informação, o tomador de decisão, não conseguiu ser atingido pelo esforço de participação do processo. Se isso aconteceu no princípio foi porque concomitantemente existia um esforço da equipe de desenvolvimento e apoio forte da Direção. Uma vez que estes fatores se tornaram ausentes ou pouco influentes, também foram sendo designados cada vez mais substitutos para o treinamento.
Outro ponto aventado foi quanto ao timing do treinamento. A alegação é de que o treinamento deveria ser efetuado quando o sistema estivesse mais bem desenhado. Após o treinamento, muitos dos conceitos foram mudados, causando confusão e frustração nos que receberam o treinamento. Se o conceito de gestão econômica era difícil de ser compreendido por alguns participantes, o SIREF, que modificou muito o modelo para atender às restrições impostas pelos fatores técnicos, tais como informática, passou ainda a ser questionado.
"Além disto, aconteceu (e isto só pode ser avaliado agora) um erro quanto ao timing do treinamento; ele aconteceu muito cedo. Aquilo que foi prometido nos treinamentos que apresentavam o modelo GECON e aquilo que foi disponibilizado pelo SIREF foram coisas bem diferentes. Talvez a efetividade tivesse sido maior se esperássemos o SIREF ficar pronto (ou melhor acabado) antes de treinar as pessoas" - Consultor do Projeto.
Um resultado interessante encontrado nos questionários é que, em geral, os usuários gostariam de ter participado em até o dobro do que efetivamente participaram no processo do SIREF, mesmo aqueles que faziam parte do grupo de desenvolvedores. Conhecendo o treinamento exposto anteriormente, pela quantidade de horas despendidas, pelas variadas formas em que este treinamento se deu, é realmente questionável o alcance de seus objetivos (sua eficácia).
Levando-se em consideração que os conceitos foram bem entendidos, verificamos que os aspectos práticos e técnicos (manuseio, parametrização etc) foram pouco explorados pelo treinamento. Isso quer dizer que o treinamento talvez não tenha saído do campo teórico e conceitual para avaliar e treinar os usuários em seu manuseio. Constatamos ainda nas entrevistas que nenhuma avaliação foi feita neste sentido.
Equipe de Desenvolvimento
No processo de desenvolvimento do sistema houve uma interrupção abrupta da chefia do grupo responsável por problemas de doença do Chefe da Equipe de Desenvolvimento. O fato atrasou o processo, colocando o constructo como um dos motivos do insucesso do sistema.
Quando perguntados sobre a equipe de desenvolvimento como fator contributivo para o sucesso do sistema, os respondentes disseram:
"A Equipe, por razões diversas, especialmente depois da saída do Diretor, não tinha condições de "impor" a necessária prioridade de recursos para o SIREF junto aos demais gerentes. Assim, sempre que setor financeiro e o de informática faziam alguma restrição, a equipe era voto vencido nas reuniões gerenciais".
Fica evidente nesta passagem que o grupo encarregado de desenvolver o sistema, dada sua dependência dos órgãos técnicos, como informática, por exemplo, sofriam de limitações de emprego de recursos e diretrizes, sendo dependentes de fatores exógenos ao processo. A imposta vinculação ao sistema de contabilidade geral e à máquina de grande porte não permitiu à equipe de desenvolvimento a flexibilidade desejada para o desenho do sistema.
"Deste modo, ele não podia impor a visão do E&P, mesmo quando a entendia e concordava com ela, sem que o financeiro e a informática também concordassem. Por isto, acho que poucas mudanças de fato foram implementadas por estas equipes (antes e depois do SIREF)" - Consultor do Projeto.
Ocorre que, apesar das intenções dos gestores do projeto, estes não foram capazes de processar as mudanças organizacionais, vencendo a conhecida resistência. Analisando os dados achamos que aspectos técnicos e o despreparo dos gestores no conhecimento destes aspectos contribuíram para o desfecho do caso.
Os questionários se aproximaram da indiferença. Esse resultado não deixa de contribuir ao pensamento de que ninguém esteve entusiasmado com a performance da equipe de desenvolvimento, como recomenda a literatura.
CONCLUSÃO
Apesar da alegação registrada de impactar a organização beneficamente, o sistema SIREF, avaliado segundo o constructo uso, pôde ser classificado como insucesso.
Verificamos que as variáveis, apoio da direção, participação do usuário, complexidade e equipe de desenvolvimento, apresentaram significativa capacidade de explicar o insucesso de implementação. Estas variáveis todas parecem estar presentes neste caso, sendo mais verificáveis o apoio da direção e a complexidade. Problemas no desenvolvimento e na implementação do sistema poderiam ser minorados, se houvesse qualquer forma periódica e oficial de avaliação.
Observamos ainda que não existiu na análise dos dados a capacidade de determinar com exatidão o tipo e intensidade do relacionamento entre as diversas variáveis, bem como ordená-las cronologicamente e assim estabelecer bases causais com precisão. Isso demonstra que são mais complexas do que sugere a literatura.
Futuras pesquisas poderiam ainda encarregar-se não só de se aprofundarem em cada uma das variáveis aqui apresentadas como em verificar o tipo e a intensidade de suas relações. Poder-se-ia ainda, com uma amostra estatisticamente aceitável de diversas implementações de um único modelo teórico, como EVA ou GECON - por isso mais homogênea, efetuar-se amplo estudo dos constructos aqui apresentados.
NOTA
Artigo recebido em 12.04.2004.
Aprovado em 29.07.2004.
Aracéli Cristina de Sousa Ferreira. Doutora em Controladoria e Contabilidade pela Universidade de São Paulo (USP). Professora adjunta da Universidade Federal do Rio de Janeiro (UFRJ) e Universidade do Estado do Rio de Janeiro (UERJ). Suas áreas de interesse em pesquisa são contabilidade ambiental e contabilidade gerencial. Endereço: Universidade Federal do Rio de Janeiro, Faculdade de Administração e Ciências Contábeis, Departamento de Contabilidade, Av. Pasteur, 250, Urca, Rio de Janeiro/RJ, 22290-240. E-mail: araceli@ufrj.br
André Luiz Bufoni. Mestre em Ciências Contábeis pela Universidade Federal do Rio de Janeiro (UFRJ). Professor na UFRJ. Suas áreas de interesse em pesquisa são contabilidade gerencial, controladoria, contabilidade financeira, métodos e técnicas de pesquisa em administração, orçamento empresarial. Endereço: Universidade Federal do Rio de Janeiro, Faculdade de Administração e Ciências Contábeis, Departamento de Contabilidade, Av. Pasteur, 250, Praia Vermelha, Rio de Janeiro/RJ, 20000-000. E-mail: bufoni@facc.ufrj.br
- Ackoff, R. L. (1967, December). Management Misinformation Systems. Management Science, 14(4), 147-156.
- Alavi, M., & Joachimsthaler, E. A. (1992, March). Revisiting DSS implementation research: a meta analysis of the literature and suggestions for researchers. MIS Quarterly,16(1), 95-116.
- Barnes, F. C., & Bush, C. M. (1992, Winter). True user involvement: successful system design. Review of Business, 14(2), 23-26.
- Barki, H., & Hartwick, J. (1989, March). Rethinking the Concept of User Involvement. MIS Quarterly, 13(1), 53-63.
- Barki, H., & Hartwick, J. (1994, March). Measuring user participation, user involvement, and user attitude. MIS Quarterly, 18(1) 59.
- Ballantine, J., Bonner, M., Levy, M., Martin, A., Munro, I., & Powell, P.L. (1996, Fall). The 3D model of information systems success: the search for dependent variable continues. Information Resources Management Journal, 9(4), 5-14.
- Beath, C. M. (1991, September). Supporting the Information Technology Champion. MIS Quarterly, 15(3), 355-372.
- Belcher, L., & Watson, H. (1993, September). Assessing the value of Conoco's EIS. MIS Quarterly, 17(3), 239-253
- Bénard, R., & Satir, A. (1993, Fall). User satisfaction with EIS - meeting the needs of executive users. Information Systems Management, 10(4), 21-29.
- Benbasat, I., & Dexter, A. S. (1982, Spring). Individual differences in the use of decision support Aids. Journal of Accounting Research, 20(1), 1-11.
- Benbasat, I., Dexter, A. S., Goldstein, D. K., & Mead, M. (1987, September). The case research strategy in studies of information systems, MIS Quarterly, 11(3), 369-384.
- Bergeron, F., Bateau, C., & Raymond, L. (1991, March). Identification of strategic information systems opportunities: applying and comparing two methodologies. MIS Quarterly, 15(1), 89-99.
- Lei nº 9478, de 06 de agosto de 1997. (1997, agosto 07). Dispõe sobre a política energética nacional, as atividades relativas ao monopólio do petróleo, institui o Conselho Nacional de Política Energética e a Agência Nacional do Petróleo e dá outras providências. Diário Oficial da União
- Choe, J. (1996, Spring). The relationships among performance of accounting information systems, influence factors, and evolution level of information systems. Journal of Management Information Systems, 12(4), 215-239.
- Delone, W. H., & Mclean, E. R. (1992, March 1). Information systems success: the quest of dependent variable. Information Systems Research, 3(1), 60-95.
- Doll, W., & Torkzadeh, G. A. (1991, Spring). A Congruence construct of user involvement. Decision Sciences, 22(2), 443-453.
- Drury, D. H., & Farhoomand, A. F. (1998, February/May). A hierarchical structural model of Information System Success, INFOR, 36(1/2), 25-40.
- Eckel, N. L. (1983). The impact of probabilistic information on decision behavior and performance in an experimental game. Decisions Sciences, 14(4), 483-502.
- Etezadi-Amoli, J., & Farhoomand, A. F. (1991, March). Issues and opinion - on end user computing satisfaction. MIS Quarterly, 15(1), 1-4.
- Ferreira, V. A. C. (1997). Controle gerencial e medidas de desempenho: estudo do caso do segmento de exploração e produção da Petrobrás Dissertação de mestrado, COPPEAD Unversidade Federal do Rio de Janeiro, RJ, Brasil.
- Finlay, P. N., & Mitchell, A. C. (1994, December). Perceptions of the benefits from the introduction of case: an empirical study. MIS Quarterly, 18(4), 353-370.
- Gatian, A. W. (1994, March). Is user satisfaction a valid measure of system effectiveness? Information & Management, 26(3), 119-131.
- Galleta, D. F., & Lederer, A. L. (1989, Summer). Some cautions on the measurement of user information satisfaction. Decision Sciences, 20(3), 419-438.
- Gomes, J. S., & Salas, J. M. A. (1997). Controle de gestão: uma abordagem contextual e organizacional (2a ed.). São Paulo: Atlas.
- Ginzberg, M. J. (1978, August). Finding a Adequate Measure of OR/MS Effectiveness. Interfaces 8(4), 59-62.
- Ginzberg, M. J. (1981, June). Key Recurrent Issues in the MIS Implementation Process. MIS Quarterly, 5(2).47-59.
- Hartwick, J., & Barki, H. (1994, April). Explaining the role of user participation in information system use. Management Science, 40(4), 440-465.
- Hartwick, J., & Barki, H. (1994, March). Measuring user participation, user involvement, and user attitude. MIS Quarterly, 18(1), 59-82.
- Hawk, S. R., & Raju, N. S. (1991, November/December). Test retest reliabitlity of user information satisfaction: a comment on Galleta and Lederer's Paper. Decision Sciences, 22(Issue 5), 1165-1169.
- Henderson, J. C., & Lee, S. (1992, June). Managing I/S design teams: a control theories perspective. Management Science, 38(6), 757-777.
- Hirschheim, R. A. (1985, December). User experience with and assessment of participative systems design. Mis Quarterly, 9(4), 295-303.
- Ives, B., Baroudi, J. J., & Olson, M. H. (1983, October). The measurement of user information satisfaction. Communication of ACM, 26(10), 785-793.
- Ives, B. & Olson, M. H. (1984, May). User Involvement and MIS Success: a Review of Research. Management Science, 30(5), 586-603.
- Jiang, J., Chen, E., & Klein, G. (2002, March). The importance of building a foundation for user involvement in information systems project. Project Management Journal, 22(1), 20-27.
- Joshi, K. (1990, Fall). An investigation of equity as a determinant of user information satisfaction. Decision Sciences, 21(4), 787-804.
- Larcker, D., & Lessig, V. (1980, January). Perceived usefulness of information: a psychometric examination. Decision Sciences, 11(1), 121-134.
- Lederer, A. L., & Sethi, V. (1988, September). The implementation of strategic information systems planning methodologies. MIS Quarterly, 12(3), 445-461.
- Lederer, A. L., Sethi, V., & Mendelow, A. L. (1988, December). Convincing top management of strategic potential of information systems. MIS Quarterly, 12(4), 525-535.
- Lee, A. S. (1989, March). A scientific methodology for MIS case studies. MIS Quarterly, 13(1), 33-50.
- Lees, J. D. (1987, September). Success development of small business information systems. Journal of Systems Management, 28(9), 32-39.
- Markus, M. L., & Robey, D. (1988, May). Information technology and organizational change: causal structure in theory and research. Management Science, 34(5), 583-598.
- Melone, N. P. (1990, January). A theoretical assessment of user-satisfaction construct in information systems research. Management Science, 36(1), 76-91.
- Middleton, C. (1995). A tale of two systems? success and failure in a single information system implementation. First Americas Conference in Information Systems, pp. 47-49. Recuperado em 15 março, 2003, de http://www.ryerson.ca/~cmiddlet/pubs/20-97.pdf
- Mirani, R., & King, W. (1994, Summer). Impacts of End-User and Information Center Characteristics on End-User Computing Support. Journal of Management Information Systems, 11(1), 141-166.
- Mitra, S., & Chaya, A. K. (1996, Fall). Analyzing cost-effectiveness organizations: the impact of information technology spending. Journal of Management Information Systems, 13(2), 29-57.
- Moura, M. L. S., Ferreira, M. C., & Paine, P. A. (1998). Manual de elaboração de projetos de pesquisa. Rio de Janeiro: Universidade do Estado do Rio de Janeiro.
- Murdick, R. G., & Ross, J. E. (1975). Information systems for modern management (2nd ed.). Englewood Cliffs, NJ: Pranctice Hall Inc.
- Nelson, R. R., & Cheney, P. H. (1987, December). Training end users: an exploratory study. MIS Quarterly, 11(4), 547-559.
- O'Reilly, C. A. III. (1982, December). Variations in decision makers' use of information sources: the impact and accessibility of information. Academy of Management Journal, 25(4), 756-771.
- Petrobrás Petróleo Brasileiro S.A (2000). Plano Estratégico para o período de 2000 a 2010 Recuperado em 30 novembro, 2002, de http://www.petrobras.com.br
- Robey, D. (1979, September). User Attitudes and Management Information System Use. Academy of Management Journal, 22(3), 527-538.
- Santos, N. C. (1988). Evolução Estrutural da Petrobras Tese de Doutorado, COPPEAD - Universidade Federal do Rio de Janeiro, RJ, Brasil.
- Sharda, R., Barr, S. H., & McDonnell, J. C. (1982, February). Decision support systems effectiveness: a review and an empirical test. Management Science, 34(2), 139-159.
- Shaw, N. C., Delone, W. H., & Niederman, F. (2002, Spring). Sources of dissatisfaction in end user support: an empirical study. The Database for Advances in Information Systems, 33(2), 41-57.
- Stair, R. M. (1998). Princípios de sistemas de informação - uma abordagem gerencial. Rio de Janeiro: LTC Editora.
- Swanson, E. B. (1974, October). Management information systems: appreciation and involvement. Mangement Science, 21(2), 178-188.
- Tait, P., & Vessey, I. (1988, March). The effect of user involvement on system success: a contingency approach. MIS Quarterly, 12(1), 91-108.
- Whang, M. I., Windsor, J. C., & Pryor, A. (2000, April/June). Building a knowledge base for mis research: a meta-analyis of a systems success model. Information Resources Management Journal, 17(2), 26-32.
- Woodroof, J. B., & Kasper, G. M. (1998, Spring). A conceptual development of process and outcome user satisfaction. Information Resources Management Journal, 11(2), 37-43.
- Yin, R. K. (1994). Case study research, design and methods (2nd. ed.). Beverly Hills, California: Sage Publications.
- Yoon, Y., Guimaraes, T., & O'Neal, Q. (1995, March). Exploring the factors associated with expert systems success. MIS Quarterly, 19(1), 83-106.
- Zmud, R. W. (1978, April). An empirical investigation of the dimensionality of the concept of information. Decision Sciences, 9(2), 187.
- Zmud, R. W. & Cox, J. F. (1979, June). The implementation process: a change approach. MIS Quarterly, 3(2), 35-43.
Datas de Publicação
-
Publicação nesta coleção
13 Nov 2008 -
Data do Fascículo
Jun 2006
Histórico
-
Aceito
29 Jul 2004 -
Recebido
12 Abr 2004