Acessibilidade / Reportar erro

Avaliação de desempenho organizacional: um estudo aplicado em hospitais filantrópicos

Evaluation of organizational performance: an study applied in philanthropic hospitals

Evaluación de desempeño organizacional: un estudio aplicado en hospitales filantrópicos

Resumos

A avaliação de desempenho organizacional requer pesquisas que compreendam as especificidades do objeto analisado, o que vale para as organizações de saúde. Todavia, esse tipo de organização é pouco amparado por técnicas e conhecimentos da Administração, gerando-se, assim, deficiências na sua gestão e controle. Diante disso, o objetivo é desenvolver um modelo para avaliação de desempenho específico para hospitais filantrópicos e comparar a eficiência das organizações estudadas. Para tal, levantou-se um modelo teórico que foi, posteriormente, validado por especialistas. Coletando os dados referentes ao modelo com 70 hospitais na pesquisa de campo, uma análise envoltória de dados foi realizada. Concluiu-se não haver grande disponibilidade de informações gerenciais nos hospitais brasileiros e apontaram-se elementos para incrementar a eficiência para a amostra.

Hospitais; filantropia; avaliação de desempenho; eficiência; DEA


An evaluation of organizational performance requires studies that encompass the specificities of the object under analysis, which is valid for health organizations. However, this type of organization has little support from Administration techniques and knowledge, thus generating deficiencies in management and control. As a result, the objective of this article is to develop a model for evaluating the specific performance of philanthropic hospitals and to compare the efficiency of those organizations. A theoretical model was createdand subsequently validated by specialists. A data envelopment analysis was conducted by means ofusing the data from 70 hospitals, collected in afield research. The conclusion is that there is no great availability of managerial information in Brazilian hospitals, and elements were pointed out for increasing sample efficiency.

I Hospitals; philanthropy; performance evaluation; efficiency; DEA


La evaluación de desempeño organizacional requiere de estudios que comprendan las especificidades del objeto analizado, lo que también vale para las organizaciones de salud. Además, este tipo de organización es poco amparada por técnicas y conocimientos de la Administración, generándose así, deficiencias en su gestión y control. Frente a esto, el objetivo es desarrollar un modelo para la evaluación de desempeño específico para hospitales filantrópicos y comparar la eficiencia de las organizaciones estudiadas. Para esto, se relevó un modelo teórico que fue, posteriormente, validado por especialistas. Recopilando los datos referentes al modelo con 70 hospitales en la encuesta de campo, fue realizado un análisis involucrando los datos. Se concluye que no hay gran disponibilidad de informaciones gerenciales en los hospitales brasileños y se apuntaron elementos para incrementar la eficiencia para la muestra.

Hospitales; filantropía; evaluación de desempeño; eficiencia; DEA


ARTIGOS

Avaliação de desempenho organizacional: um estudo aplicado em hospitais filantrópicos

Evaluation of organizational performance: an study applied in philanthropic hospitals

Evaluación de desempeño organizacional: un estudio aplicado en hospitales filantrópicos

Julio Araujo Carneiro da CunhaI; Hamilton Luiz CorrêaII

IProfessor do Programa de Mestrado em Administração, Universidade Paulista - São Paulo - SP, Brasil. juliocunha@yahoo.com

IIProfessor da Faculdade de Economia, Administração e Contabilidade, Universidade de São Paulo - São Paulo - SP, Brasil. hamillco@usp.br

RESUMO

A avaliação de desempenho organizacional requer pesquisas que compreendam as especificidades do objeto analisado, o que vale para as organizações de saúde. Todavia, esse tipo de organização é pouco amparado por técnicas e conhecimentos da Administração, gerando-se, assim, deficiências na sua gestão e controle. Diante disso, o objetivo é desenvolver um modelo para avaliação de desempenho específico para hospitais filantrópicos e comparar a eficiência das organizações estudadas. Para tal, levantou-se um modelo teórico que foi, posteriormente, validado por especialistas. Coletando os dados referentes ao modelo com 70 hospitais na pesquisa de campo, uma análise envoltória de dados foi realizada. Concluiu-se não haver grande disponibilidade de informações gerenciais nos hospitais brasileiros e apontaram-se elementos para incrementar a eficiência para a amostra.

Palavras-chave: Hospitais, filantropia, avaliação de desempenho, eficiência, DEA.

ABSTRACT

An evaluation of organizational performance requires studies that encompass the specificities of the object under analysis, which is valid for health organizations. However, this type of organization has little support from Administration techniques and knowledge, thus generating deficiencies in management and control. As a result, the objective of this article is to develop a model for evaluating the specific performance of philanthropic hospitals and to compare the efficiency of those organizations. A theoretical model was createdand subsequently validated by specialists. A data envelopment analysis was conducted by means ofusing the data from 70 hospitals, collected in afield research. The conclusion is that there is no great availability of managerial information in Brazilian hospitals, and elements were pointed out for increasing sample efficiency.

Key words: I Hospitals, philanthropy, performance evaluation, efficiency, DEA.

RESUMEN

La evaluación de desempeño organizacional requiere de estudios que comprendan las especificidades del objeto analizado, lo que también vale para las organizaciones de salud. Además, este tipo de organización es poco amparada por técnicas y conocimientos de la Administración, generándose así, deficiencias en su gestión y control. Frente a esto, el objetivo es desarrollar un modelo para la evaluación de desempeño específico para hospitales filantrópicos y comparar la eficiencia de las organizaciones estudiadas. Para esto, se relevó un modelo teórico que fue, posteriormente, validado por especialistas. Recopilando los datos referentes al modelo con 70 hospitales en la encuesta de campo, fue realizado un análisis involucrando los datos. Se concluye que no hay gran disponibilidad de informaciones gerenciales en los hospitales brasileños y se apuntaron elementos para incrementar la eficiencia para la muestra.

Palabras clave: Hospitales, filantropía, evaluación de desempeño, eficiencia, DEA.

INTRODUÇÃO

O campo de estudos relacionado à mensuração e avaliação de desempenho e eficiência das organizações teve uma evolução significativa, principalmente, nas duas últimas décadas do século XX. Todavia, poucas conclusões e definições haviam sido atingidas até meados da década de 1990 (NEELY, GREGORY, PLATTS, 1995), além de comumente ser observada a instalação de uma "indústria" de indicadores de desempenho (MEYER e GUPTA, 1994), sem um respaldo científico desenvolvido suficientemente para dar validação aos diversos indicadores que vinham sendo elaborados.

Ainda que os estudos da área continuassem crescentes nos anos subsequentes, questionamentos sobre o tema perduram entre os acadêmicos (NEELY, 2005), de modo que essa ainda é uma disciplina emergente com espaço para o desenvolvimento de novas pesquisas (BARROWS e NEELY, 2011). Por enquanto, não se tem uma linha de pensamento consolidada entre os estudiosos da área (NEELY, 2005). Pelo contrário, há diversos modelos genéricos. Por muitas vezes, não se considerou que a avaliação de desempenho das organizações deveria abranger especificidades de cada tipo de organização (SOUZA e WILLIAMS, 2000), já que diferentes setores econômicos trazem consigo discrepâncias na concepção de avaliação de desempenho (CORRÊA e HOURNEAUX JR, 2008).

Diante dessa necessidade emergente, um dos setores que merecem uma atenção especial é o das organizações de saúde. A bibliometria realizada por Neely (2005) aponta que existe um grande interesse por esse setor, o que se comprova pela quantidade significativa de estudos do tema que envolvem as organizações de saúde. Isso pode se justificar pela grande popularidade dos estudos voltados a criar indicadores de desempenho na área de gestão hospitalar nas décadas de 1980 e 1990 (DAVIES e LAMPEL, 1998). No entanto, os resultados de Neely (2005) mostram que os principais autores da administração de desempenho e eficiência pouco abordaram as organizações de saúde, fazendo com que a área não contasse com muito respaldo de conceitos oriundos da Administração. Percebe-se ser fundamental que os esforços realizados academicamente na área de avaliação de desempenho possam ser aplicados na realidade do setor hospitalar (MANNION e GODDARD, 2002).

Depara-se com uma realidade na qual, ainda que existam sistemas tradicionais de controle e qualidade aplicados em hospitais, perdura a carência do respaldo de técnicas e conhecimentos da Administração, gerando-se, assim, deficiências para as organizações de saúde. Primeiramente, porque existe a percepção de que há serviços prestados com problemas de qualidade e desempenho (YBAÑEZ e outros, 2006). Segundo, porque se pressiona para uma gestão dessas organizações com redução e controle de recursos escassos diante das características sociodemográficas do País, que demonstram maior tendência à utilização do sistema de saúde. Entre essas características, destacam- se: (a) o envelhecimento da população nacional, diante da maior expectativa de vida do brasileiro (REDE..., 2008); (b) a tendência de crescimento do PIB per capita no Brasil (IBGE, 2008); (c) o modelo constitucional universalista de atendimento à saúde; (d) o gasto público com saúde representa uma considerável proporção do PIB nacional, sendo que esse gasto per capita aumentou entre 2000 e 2004 (SIOPS, 2001, 2005; IBGE, 2001, 2005 apud REDE..., 2008), numa tendência que Kilsztajn e outros (2003) defendem perdurar até 2050.

Por isso, a importância de se estabelecerem modelos e ferramentas com respaldo da Administração que auxiliem no gerenciamento e controle desse tipo de organização. Todavia, Kazandjian e Lied (1999) ressaltam que é importante haver cuidado nesse processo de replicação de modelos industriais de desempenho e eficiência às organizações de saúde, tal como já ocorreu com diversas aplicações do balanced scorecard (BSC) para hospitais e serviços de saúde (e.g. PINK e outros, 2001; INAMDAR, KAPLAN, BOWER, 2002; KOLLBERG e ELG, 2011; KUNZ e SCHAAF, 2011; GRIGOROUDIS, ORFANOUDAKI, ZOPOUNIDIS, 2012). Ainda que muitos acadêmicos e profissionais já tenham utilizado essa transposição, na grande maioria das vezes, sem as devidas adaptações, isso não pode ser considerado uma proposta definitiva para as organizações de saúde. As perspectivas preconizadas pelo BSC não representam com fidedignidade todas as dimensões de análises relevantes para as organizações de saúde contemporâneas (SCHIESARI e MALIK, 2006).

Nesse sentido, deve-se ter aplicabilidade de modelos às organizações de saúde. É importante estabelecer modelos de avaliação de desempenho e eficiência contendo também especificidades que atendam os diferentes tipos de organizações de saúde, como é o caso dos hospitais filantrópicos (objeto do presente estudo). Definem-se aqui hospitais filantrópicos como entidades sem fins lucrativos que realizam parte de seus atendimentos gratuitamente (60% de seus serviços e leitos ocupados para os usuários do Sistema Único de Saúde - SUS), conforme preconizado pela Lei nº 12.101, de 27 de novembro de 2009 (CNAS, 2009). Vale, ainda, deixar claro que, apesar de o termo "hospital filantrópico" ser uma nomenclatura já substituída pelos legisladores nacionais a partir dessa lei (sendo denominados beneficentes a partir de então), optou-se por manter a nomenclatura antiga, porque assim puderam-se abranger as entidades que antes se caracterizavam como Santas Casas, entidades religiosas e Beneficências.

No Brasil, esses hospitais atuam sem fins lucrativos e têm particular importância porque representam cerca de um terço dos leitos existentes no Brasil (DATASUS, 2010). São hospitais importantes para o funcionamento do sistema de saúde nacional, principalmente por causa da sua relevância no atendimento via SUS (LIMA e outros, 2007). A grande diferença entre esse tipo de organização de saúde e os demais hospitais é que ele não tem como objetivo de funcionamento os ganhos financeiros. Por isso, a importância de se desenvolverem modelos de desempenho e eficiência específicos para os hospitais filantrópicos. Apesar de muitas iniciativas já terem sido conduzidas nesse sentido, poucas se desenvolveram sob os conceitos da Administração e da avaliação de desempenho organizacional aplicados sob as especificidades desse tipo de organização. Assim sendo, o objetivo do presente estudo é desenvolver um modelo de avaliação de desempenho e eficiência organizacional para os hospitais filantrópicos e, com base nele, comparar a eficiência das organizações participantes da amostra. Com esse modelo aplicado, estabeleceu-se um cenário comparativo entre as organizações da amostra levantada.

MODELOS DE AVALIAÇÃO DE DESEMPENHO E EFICIÊNCIA: UMA PERSPECTIVA HISTÓRICA

Para o presente estudo, utilizou-se a perspectiva histórica sobre a elaboração de métricas de mensuração de desempenho e eficiência, além da criação dos principais modelos que sustentam essa avaliação. Dessa forma, estabeleceram-se os principais conceituais oriundos da evolução desse campo do conhecimento. Esses elementos-chave foram base para a posterior construção de um modelo teórico para organizações de saúde filantrópicas.

A concepção de avaliar desempenho e produtividade (eficiência) nas organizações surgiu dos ideais positivistas, numa revolução científica em que a matemática servira de respaldo para as experimentações e validações dos processos operacionais. Essas ideias influenciaram posteriores estudiosos da Administração, por exemplo, os clássicos Taylor e Fayol, que se apoiavam na medição de tempos e cálculos de posicionamento para a busca de melhor produtividade das atividades operacionais.

Assim, os primeiros esforços para se mensurar desempenho e eficiência em formas estruturadas datam do século XIX, ainda que sob objetivos pontuais e descentralizados de algumas áreas ou setores (TEZZA, BORNIA, VEY, 2010). Com a maior estruturação do campo acadêmico das pesquisas em Administração, alguns estudos diretamente relacionados com a mensuração de desempenho surgiram na década de 1950. Nessa época, Martindell (1950) já prescrevia um padrão de avaliação de desempenho mensurável, entretanto ainda com pouca maturidade conceitual, porque havia muita subjetividade no estabelecimento de ponderações e formulação de indicadores (CORRÊA, 1986). Buscava-se, nesse momento, quantificar medidas operacionais para que o gestor pudesse melhor monitorar o desempenho das atividades (RIDGWAY, 1956).

Outro conceito amplamente difundido nessa época foi a administração por objetivos preconizada por Drucker (1954), pela qual a organização deveria conter indicadores de desempenho de diversas áreas da organização, e sua mensuração deveria ocorrer por meio de um conjunto de indicadores provenientes dessas diferentes áreas. Esse conceito sustentava-se na ideia de integrar diferentes unidades e departamentos num mesmo plano de controle para se atingir a estratégia organizacional, tal como previam os primeiros modelos, por exemplo, o francês Tableau de Bord (EPSTEIN e MANZONI, 1998).

O grande desafio é que, até a década de 1960, grande parte das empresas realizava suas avaliações de desempenho exclusivamente por meio de indicadores financeiros e contábeis (JOHNSON e KAPLAN, 1987), o que trouxe insatisfação aos estudiosos e práticos da área, por dois grandes motivos. Primeiro, porque indicadores financeiros eram voltados ao curto prazo, num momento em que emergia a ideia de que o desempenho deveria ser fruto de uma análise das capacidades futuras da organização (BUCHELE, 1962). Essas limitações foram superadas, principalmente, com o advento da Administração da Qualidade Total. Ela trouxe uma filosofia cuja perspectiva era de longo prazo e que considerava a temporalidade para as medidas de desempenho, além de direcionar-se com maior ênfase à eficiência, por meio da utilização de medidas que mensuravam as atividades em relação à qualidade e padronização dos produtos e processos (JURAN, 1969). Não obstante isso, muitos indicadores relevantes para atender as novas expectativas gerenciais não vinham sendo considerados nas medidas contábeis e financeiras, como os de qualidade, satisfação do consumidor, satisfação do empregado e inovação (ITTNER e LARCKER, 1998).

Dessa forma, no final dos anos 1980 e início dos anos 1990, houve uma exacerbada busca sobre o que exatamente mensurar (NEELY e outros, 2000), gerando o levantamento de possíveis dimensões de análise a serem consideradas nesse processo de avaliação. Culminou-se no desenvolvimento de modelos de avaliação balanceados entre as multidimensões da organização (BOURNE e outros, 2000). Consequentemente, outro conceito que ganhou considerável relevância na área foi a ideia de se ter um modelo capaz de integrar as diferentes medidas de desempenho (BITITCI e outros, 1998). A utilização de indicadores não financeiros em conjunto com os financeiros passou a oferecer maior sustentação para o controle administrativo das organizações, que entendiam que os indicadores financeiros eram limitados diante das incertezas, principalmente, do ambiente externo (VAIVIO, 1999).

A década de 1990 caracterizou-se, portanto, pelo advento de diversos modelos direcionados às tendências da época, resultando no estabelecimento de indicadores no formato de scorecards que abrangiam diversas informações (LOHMAN, FORTUIN, WOUTERS, 2004) de múltiplas perspectivas da organização. Por exemplo, Fitzgerald e outros (1991) sugeriram um modelo de avaliação de desempenho com seis perspectivas (qualidade, flexibilidade, utilização de recursos e inovação que geram competitividade e desempenho financeiro). Essa mesma ideia guiou modelos posteriores, como o popular BSC de Kaplan e Norton (1992), no qual as perspectivas financeiras e de clientes seriam determinadas pelas perspectivas de inovação e processos internos da organização. Essa concepção deixa clara não somente a integração de indicadores financeiros e não financeiros, mas também a importância da concepção de causa-efeito para os modelos de avaliação de desempenho e eficiência organizacional. Essas relações foram mais bem representadas pelos mapas estratégicos, amplamente divulgados por Kaplan e Norton (2004).

Como as medidas de desempenho devem ser desenvolvidas com base no estabelecimento de uma estratégia que determina os objetivos da organização (KAPLAN e NORTON, 1992), considerar que as medidas de desempenho derivam da estratégia global da organização garante que se estabeleça uma relação entre a operacionalização e a estratégia da organização. Dentro desse conceito, o sistema de avaliação de desempenho das organizações é uma forma pela qual os administradores têm melhor controle gerencial da organização e, assim, podem operacionalizar a estratégia estabelecida (KAPLAN e NORTON, 2008), assegurando que as ações das organizações estejam alinhadas com seus objetivos e estratégias traçados (LYNCH e CROSS, 1991). Com isso, ter-se-ia o que Kaplan e Norton (2006) denominaram alinhamento estratégico.

Pode-se notar, todavia, que os modelos existentes eram desenvolvidos focando-se exacerbadamente no aspecto interno da organização. Diante dessa limitação, os modelos, principalmente do início dos anos 2000, caracterizavam-se por buscar atender os interesses dos stakeholders como objetivos centrais da organização e estabelecer, consequentemente, a estratégia organizacional. Destacam-se como modelos atentos aos stakeholders o Prisma de Desempenho desenvolvido por Neely, Kennerley e Adams (2000) e o Integrated Performance Measurement System apresentado por Bititci e outros (1998). Ainda nessa perspectiva externa, pôde-se destacar a preocupação com o âmbito social e ambiental trazido pelo Sigma Sustainability Scorecard (THE SIGMA PROJECT, 2003) e a corrente atualmente mais popular, que é a orientação aos consumidores (OSTERWALDER e PIGNEUR, 2010).

O que se pode perceber nessa evolução cronológica dos modelos e conceitos sobre avaliação e desempenho é que cada modelo desenvolvido trouxe consigo um viés voltado especificamente ao elemento novo que ele trazia. Isso não somente coloca o balanceamento de indicadores em risco, como também coloca a incapacidade de modelos prontos serem aplicados em organizações e poderem contar com todas essas variáveis relevantes para uma avaliação e desempenho. Além dessa diversidade de modelos e conceitos, há, ainda, um movimento dialético da área em elementos centrais, como: o foco de atuação dos modelos (mensuração de desempenho versus gestão de desempenho); a perspectiva estratégica do modelo (operacional versus estratégico); a orientação de usuário das informações (executivos versus stakeholders e clientes); a abordagem de uso (interna e transacional versus externa relacional). Essas mudanças alteraram a perspectiva de definições essenciais estáticas para os modelos. Depara-se, portanto, com um cenário que torna irrefutável a necessidade de se terem modelos específicos para atenderem os diferentes objetivos estratégicos de cada setor ou tipo de organização e orientarem-se aos seus reais usuários e finalidades de uso.

ELABORAÇÃO DE MODELO TEÓRICO PARA ORGANIZAÇÕES DE SAÚDE FILANTRÓPICAS

Entende-se que existe a necessidade de se elaborar um modelo específico para os hospitais filantrópicos com embasamento nos conceitos da área de Gestão da Avaliação de Desempenho. Dessa forma, não se tem um modelo preconcebido replicável aos hospitais filantrópicos, mas, sim, uma construção de modelo específico à realidade, objetivos e características desse tipo de organização.

Para definir os indicadores e perspectivas num modelo de desempenho e eficiência para hospitais filantrópicos, buscou- se respeitar os conceitos da área de conhecimento da Avaliação de Desempenho. Dessa forma, definiram-se, primeiramente, os objetivos das organizações de saúde filantrópicas, porque, com base nesse direcional, puderam-se selecionar variáveis (indicadores) que melhor sustentassem as atividades do hospital nessa direção. Nesse sentido, as organizações sem fins lucrativos devem ser mensuradas por quão efetiva e eficientemente elas conseguem atingir suas necessidades estabelecidas constitucionalmente (KAPLAN, 2001). Baseandose nisso, tem-se que os hospitais filantrópicos no Brasil, que são conceituadas no contexto nacional como hospitais sem fins lucrativos, têm como objetivos: (a) o atendimento de qualidade aos pacientes (SILVA e BRANDALIZE, 2006); (b) o caráter social no atendimento ao maior número de pacientes possível, de modo universal e com equidade, o que é feito no Brasil via SUS (OCKÉ-REIS e SOPHIA, 2009); (c) o equilíbrio financeiro do hospital, feito por meio de atendimentos particulares e remunerações do SUS, mesmo que não exista o objetivo de maximização dos lucros (DENEFFE e MASSON, 2002).

A primeira percepção que se deve ter, ao se elaborar um modelo avaliação de desempenho de hospitais, é que eles são organizações complexas e não é possível mensurá-los numa única dimensão (PINK e outros, 2001). Por outro lado, perde- se muito do poder gerencial quando se cria uma estrutura de informações complexa e pouco simplificada ao gestor, devendo- se considerar apenas as dimensões mais relevantes para a avaliação de desempenho (NEELY e outros, 1995). Por isso, preferiu-se, neste estudo, estabelecer poucos indicadores e dimensões, mas que os escolhidos fossem os mais relevantes, respeitando o conceito de se utilizarem os key performance indicators (KPIs), ou melhor, aqueles indicadores mais relevantes para se explicar o desempenho da organização (PARMENTER, 2010), dados os objetivos dos hospitais filantrópicos.

Vale ainda destacar que, conforme aponta Treviso (2009), os indicadores hospitalares podem ser classificados em três tipos: (1) atendimento à saúde: dados quantitativos sobre assistência hospitalar; (2) satisfação: qualidade percebida pelo paciente e/ou usuário externo; (3) gestão: dados quantitativos sobre o desempenho operacional. Considerando que o presente estudo trabalha com a ideia da administração de organizações de saúde, os indicadores aqui considerados relevantes são aqueles focados nos processos de gestão e nas informações essenciais para alimentar a tomada de decisão gerencial.

Dessa forma, as perspectivas adotadas no presente estudo e seus respectivos indicadores (que contam com métricas mensuráveis) estão contidos no Quadro 1.


Não se pode esquecer que as perspectivas consideradas internas são a econômico-financeira, processos internos, capacidades, segurança, enquanto as voltadas ao atendimento dos stakeholers (externas) são qualidade e acessibilidade. Em termos de perspectiva de temporalidade, tem-se a perspectiva econômico-financeira; sobre a situação atual, podemse apontar as perspectivas de qualidade, acessibilidade, processos internos, segurança e, como perspectiva futura, existe a dimensão de capacidades. Ressalta-se, ainda, que, como aspecto gerencial, há a elaboração do modelo no formato de scorecards, de modo que a melhoria de processos pelo seu gerenciamento e a operacionalização da estratégia organizacional podem ser aplicadas nos indicadores propostos.

O único elemento tido como relevante que não foi considerado no presente modelo foi a relação causa-efeito e os respectivos mapas estratégicos, porque estabelecer essas relações seria uma nova pesquisa por si só, além do que, considerações arbitrárias sobre a relação entre indicadores pouco ajudariam nos passos seguintes da pesquisa.

MÉTODOS

Baseando-se em toda a discussão levantada, pretende-se aplicar o modelo aqui desenvolvido nos hospitais filantrópicos. Para tal, três passos serão importantes, conforme apresentado a seguir.

Validação do modelo proposto

Para validação do modelo proposto, utilizou-se o método Delphi aplicado com especialistas. Linstone e Turoff (1975) afirmam que o método é aplicável para a área de avaliação da saúde. Os especialistas participantes não são escolhidos aleatoriamente, sendo selecionados conforme sua experiência e conhecimento no assunto a ser explorado (HASSON, KEENEY, MCKENNA, 2000). Por isso, os participantes foram escolhidos por conveniência, devendo eles ter tido experiência profissional na gestão de organizações de saúde ou, em algum momento, ter trabalhado com a avaliação de desempenho nesse tipo de organização. Para essa comprovação, verificou-se que todos os especialistas já tinham experiência com gestão e direção de desempenho de hospitais ou, então, tinham realizado trabalhos focados especificamente em métricas de desempenho hospitalar nessa realidade organizacional.

Para essa etapa, deve-se considerar que não existe uma quantidade ideal de participantes, porque essa quantidade depende do escopo da pesquisa (VERGARA, 2008), tal como da disponibilidade dos participantes. Sendo assim, 15 especialistas foram abordados para a validação das variáveis.

Para a coleta de dados com os especialistas, foi elaborado um instrumento de pesquisa. Assim, a primeira seção do instrumento de pesquisa consistiu em perguntar aos respondentes qual era a experiência profissional deles, a fim de avaliar se ele(a) poderia se enquadrar, de fato, como um especialista no assunto.

O passo seguinte consistiu em pontuar, em uma escala intervalar likert de cinco pontos (grau de importância considerada pelo entrevistado), cada um dos 31 indicadores levantados pela revisão de literatura, para se identificar o grau de importância percebido pelos respondentes. Importante ressaltar, neste momento, que se elaboraram, nesse instrumento de pesquisa, duas perguntas de controle. Ou seja, duas perguntas iguais foram apresentadas em locais distintos no instrumento de pesquisa e de modo diferente para avaliar a consistência das respostas obtidas: o indicador "taxa de ocupação - pacientes- dia" (representado juntamente com sua fórmula matemática) era o mesmo que o indicador "taxa de ocupação" colocado juntamente na seção sobre indicadores de infraestrutura, sem a apresentação da fórmula. A diferença entre as respostas não podia ser considerada abrupta. Com isso, pretendeu-se buscar coerência e evitar problemas de carryover. Diante disso, um especialista teve suas respostas desconsideradas, havendo 14 respostas consideradas válidas.

Com esses resultados, selecionaram-se os indicadores considerados mais importantes para a avaliação de desempenho e eficiência dos hospitais filantrópicos, segundo a opinião dos especialistas. Para isso, selecionaram-se os indicadores que a maioria dos especialistas (pelo menos oito dos 14 respondentes) classificou com nível de importância quatro ou cinco. A etapa seguinte consistiu em avaliar, por meio de média dos scores obtidos, quais eram os indicadores mais importantes, mantendo-se apenas os indicadores com médias aritméticas menores que 3,6.

Por fim, o último passo para a validação dos indicadores importantes consistiu em identificar indicadores e temas adicionais considerados relevantes pelos comentários e contribuições dos especialistas. Nesse sentido, temas relevantes para a avaliação de hospitais filantrópicos no Brasil foram adicionados pelos especialistas e, quando possível, o respectivo indicador para representar essa ideia foi também apresentado por ele(a). Consideraram-se relevantes as temáticas apresentadas como recorrentes por, pelo menos, três especialistas.

Assim, com a definição dos indicadores (variáveis) que constituiriam o modelo validado, a fase seguinte foi preparar um novo instrumento de pesquisa para a abordagem de campo a ser realizada com os hospitais filantrópicos.

Coleta de dados: questionário para os hospitais filantrópicos

Para a abordagem com os hospitais filantrópicos, um novo instrumento de pesquisa (questionário relacionado ao exercício de 2009) foi elaborado. Para o desenvolvimento desse questionário, consideraram-se as variáveis validadas pelos especialistas, desconstruindo- se os indicadores propostos, de modo que cada informação contida nos indicadores pudesse ser levantada separadamente. Com isso, elaborou-se um instrumento que solicitou 51 dados para os hospitais filantrópicos participantes da pesquisa, além de alguns dados de características estruturais do hospital.

Uma versão prévia à final do questionário foi enviada para três grupos de testadores como pré-teste, tal como Forza (2002) defende ser o ideal: o primeiro grupo foi de colegas (acadêmicos), que ajudaram a verificar se o questionário era capaz de atingir os objetivos da pesquisa; o segundo grupo foi de especialistas da área de negócios específica (gestão hospitalar e gerenciamento de indicadores de desempenho de hospitais filantrópicos), que ofereceram críticas sobre o questionário e suporte para ajustar termos e evitar desconhecimento técnico do pesquisador sobre algum tema ou item do questionário; o terceiro grupo foi de potenciais respondentes, que ofereceram feedbacks sobre problemas envolvendo o processo de resposta e a forma escrita do questionário. Assim, enviou-se a versão prévia do questionário para dois acadêmicos, dois especialistas e um gestor de hospital filantrópico. Revisões foram sugeridas por todos os participantes e acatadas pelos pesquisadores.

Num passo seguinte, buscou-se, primeiramente, acesso aos hospitais filantrópicos, com o auxílio de uma organização social, que elaborou um ofício de apresentação e suporte à pesquisa e intermediou o envio de questionários para os hospitais gerenciados pelo grupo. Num segundo momento, solicitou- se ajuda da Confederação das Santas Casas de Misericórdia, Hospitais e Entidades Filantrópicas (CMB) para difusão dos questionários aos hospitais filantrópicos. Para tal, desenvolveu- se, juntamente com o presidente da CMB, uma carta de apresentação da pesquisa, enviada juntamente com uma cópia eletrônica do questionário a ser respondido via e-mail para as 16 Federações Estaduais que respondem a ela, que, por sua vez, repassaram essa solicitação de pesquisa para seus associados regionais. Assim, o escopo da população abordada nessa fase de coleta de dados contou com 1.152 organizações de saúde. Buscando ampliar ainda mais o universo amostral, numa terceira etapa, enviaram-se cartas via correio tradicional, contendo uma carta de apresentação do presidente da Confederação Brasileira de Administradores Hospitalares, uma cópia do questionário impressa e uma carta-resposta para retorno gratuito do questionário. Nesse momento, enviaram-se cartas individuais para os hospitais filantrópicos contidos no cadastro de Cherubin, Câmara e Pasquini (1990), o que totalizou o envio de correspondência para 1.667 hospitais.

Em nenhum dos casos solicitou-se que os hospitais respondentes se identificassem, ainda que algumas características estruturais do hospital tenham sido questionadas. Dessa população abordada nas três fases, 83 responderam o questionário, dos quais 70 foram considerados válidos e 13 foram descartados, devido à insuficiência dos dados coletados (campos do questionário deixados em branco) ou por se demonstrarem como outliers. Obteve-se, assim, um grau de aproveitamento de 84,3% dos questionários respondidos. No mais, a pesquisa contou com 5,45% de hospitais da população total de hospitais filantrópicos no Brasil.

Tratamento dos dados: análise descritiva e análise envoltória de dados

Na parte descritiva, para que se pudessem relacionar os hospitais de melhor eficiência com suas características, realizou- se uma estratificação da amostra para rendimentos (seis estratos em escala ordinal) e quantidade de leitos (quatro estratos, conforme terminologia básica em Saúde definida pelo Ministério da Saúde (1985)).

Para o tratamento de eficiência, utilizou-se o Data Envelopment Analysis, (DEA, traduzido para Análise Envoltória de Dados), que é uma ferramenta matemática utilizada como forma de calcular a eficiência de Decision Making Units (DMUS, traduzido para Unidades Tomadoras de Decisões) de acordo com os inputs e outputs. A justificativa de se colocarem os hospitais filantrópicos como semelhantes e passíveis de serem considerados DMUs comparáveis é que são organizações com o mesmo objetivo de atendimento aos pacientes sob os preceitos da filantropia. Isso, inclusive, os torna passíveis de serem analisados e comparados sob o escopo da área de Estratégia em Organizações. Adicionalmente, pode-se dizer que existe uma relação entre inputs, processo e outputs em hospitais (BUCKMASTER, 1999). Assim, o objetivo da modelagem do DEA é incluir no cálculo da eficiência inputs e outputs múltiplos das unidades tomadoras de decisões, de maneira que uma fronteira eficiência de best practice pudesse ser identificada (COOK e SEIFORD, 2009).

Para Mello e outros (2005, p. 2535), a seleção das variáveis de entrada (inputs) e saída (outputs) para essa estratégia de pesquisa "deve ser feita a partir de uma ampla lista de possíveis variáveis ligadas ao modelo. Esta listagem permite-nos ter maior conhecimento sobre as unidades a serem avaliadas, explicando melhor suas diferenças". Assim, a escolha das variáveis do modelo baseou-se em alguns fatores: a disponibilidade de dados dos hospitais participantes obtidos por meio do instrumento de pesquisa, eliminando-se variáveis com respostas faltantes e não adequadas (omissão e erro); inexistência de valores negativos ou nulos na resposta de algum respondente; possibilidade de estabelecimento de variáveis capazes de oferecer um resultado efetivo com o uso do software SIAD 3.0 (para cálculo dos scores e valores da análise envoltória de dados).

A escolha desse software deu-se por ser capaz de calcular valores relativos ao DEA, principalmente com a quantidade de casos existentes no presente estudo (70), além de ser um software validado (MEZA e outros, 2005) que tinha livre acesso, sem custos para fins de pesquisa.

O software ainda permitia que se escolhesse o modelo BCC, considerando, assim, a existência de retornos variáveis, com efeito de escala. Essa escolha justifica-se porque "os retornos crescentes de escala predominam largamente neste tipo de setor [da saúde], para todos os tamanhos de hospital. A grande maioria das entidades opera na parte decrescente das suas curvas de custo médio" (PROITE e SOUSA, 2004, p. 10). O software também permitia a orientação do modelo ao output, ou seja, permitia calcular-se uma situação na qual "se deseja maximizar os resultados sem diminuir os recursos" (MELLO e outros, 2005, p. 2536), apontando a orientação para os objetivos e resultados, tal como a pesquisa se propõe com base na revisão de literatura.

RESULTADOS

A seguir, são apresentados os resultados da pesquisa, desde a validação do modelo teórico até as análises descritivas e a análise envoltória de dados.

Contexto dos hospitais de pequeno e médio portes

Em decorrência do fato de que grande parte da amostra utilizada na pesquisa é constituída por hospitais de pequeno porte, é relevante que se caracterize sua participação no contexto nacional. Atualmente, as políticas de descentralização e municipalização da saúde no Brasil fazem com que os hospitais de pequeno e médio portes ganhem relevância nesse cenário, principalmente no contexto do SUS. São hospitais estratégicos para o SUS, no sentido que difundem o atendimento às regiões mais interioranas do país, dão maior poder de resolubilidade para a atenção básica à saúde (UGÁ e LÓPEZ, 2007) e representam cerca de 10% da ocupação dos leitos no Brasil, totalizando quase 2.500 unidades, sendo cerca de 30% delas filantrópicas (MINISTÉRIO DA SAÚDE, 2004). Importante, ainda, ressaltar que existem programas nacionais, como o Programa Nacional para os Hospitais de Pequeno Porte (PNHPP), aos quais os hospitais aderem voluntariamente e podem oferecer parâmetros de qualidade aos participantes, qualificando-os e oferecendo padrões para monitoramento e avaliação do SUS.

No mais, tem-se um contexto no qual hospitais menores tendem a ter menos estrutura, o que significa terem menos aparatos e tecnologia de gestão voltada à avaliação do desempenho e controle das atividades. Isso pode ser comprovado, por exemplo, com os estudos de Malik e Teles (2001) realizados no Estado de São Paulo, que identificaram que hospitais de pequeno porte têm menos iniciativas e implementação de programas de qualidade (que são formas de se avaliar o desempenho).

Validação do modelo teórico com especialistas

Das 31 variáveis propostas na forma de indicadores no instrumento de pesquisa, 23 foram consideradas válidas pela preferência dos especialistas. Desses indicadores, dois, que apresentaram médias e variâncias relativamente baixas, também foram retirados do modelo, o que resultou em 21 indicadores válidos. Posteriormente, quatro indicadores adicionais (margem de contribuiç0ão, tempo médio de faturamento, relação de atendimento filantrópico, taxa de retorno com o mesmo Código Internacional de Doenças - CID) foram acrescentados, resultando em um modelo constituído por 25 variáveis. Com isso, o modelo validado pelos especialistas contou com a estrutura/perspectivas descritas no Quadro 1, de acordo com os indicadores considerados validados.

Análise descritiva e análise envoltória de dados para comparação dos casos

Como análise descritiva, uma das primeiras considerações possíveis de serem feitas com base nos dados é a distribuição geográfica dos 70 hospitais brasileiros participantes da pesquisa. É relevante destacar que, por mais que hospitais de todo o Brasil tivessem sido solicitados a participarem da pesquisa, grande parte dos participantes é das regiões Sul (44,2%) e Sudeste (35,7%). Outro fator que se pôde extrair da amostra foi o rendimento das organizações participantes da pesquisa referente ao ano de 2009, pelo qual mais da metade dos respondentes teve um faturamento maior que cinco milhões de reais (40 casos). Podem-se, ainda, dividir os hospitais em quatro tipos, conforme seu porte, de modo que a maioria dos hospitais participantes da pesquisa (57) é de pequeno ou médio porte.

O passo seguinte da pesquisa consistiu na aplicação da análise envoltória de dados sobre os 70 hospitais da amostra, a fim de verificar quais deles atuavam de maneira mais eficiente, numa perspectiva de insumo e produto. Para essa análise, a primeira consideração relevante é determinar quais variáveis são inputs e outputs, para que se possa definir o que é um insumo e o que é um produto desses hospitais. Definiram-se como inputs: custos mais despesas provenientes da viabilidade financeira; quantidade de pacientes atendidos provenientes da viabilidade financeira por atendimento; tempo médio de faturamento em dias; tempo médio de espera para consultas em minutos; quantidade de funcionários - quadro de funcionários; quantidade de leitos proveniente da capacidade de infraestrutura. Por sua vez, definiram-se como outputs: receita proveniente da viabilidade financeira por custos e despesas; quantidade de cirurgias realizadas; quantidade de internações realizadas no ano; quantidade de exames realizados no ano.

Percebe-se que, com base em 25 variáveis constituintes do modelo de avaliação de desempenho, nove dados coletados foram utilizadas para a análise de eficiência. Não se estabeleceram variáveis de eficiência para insumo e produto das demais variáveis, por dois motivos: indisponibilidade de dados por questões de erros e/ou omissões dos hospitais respondentes em relação aos dados das 16 variáveis não abordadas e capacidade de discriminação das DMUs do modelo de análise envoltória de dados.

Utilizando, então, o software SIAD 3.0, foram obtidos os resultados para cada um dos hospitais da amostra (DMUs) em relação à sua eficiência. Com base nos resultados apresentados pelo Quadro 1, pode-se, também, estabelecer um ranking dos hospitais mais eficientes dentro da amostra considerada para o estudo. Aproveitou-se essa iniciativa para comparar os hospitais tidos como os mais eficientes com suas características de porte, origem (Estado) e receita.

O quadro apresentado demonstra que, baseando-se nos dados disponíveis, entre as 10 DMUs mais eficientes, todas são de pequeno ou médio porte, em termos de quantidade de leitos (que foi uma das variáveis de insumo), além do que nenhuma delas tem nível máximo de rendimento financeiro ou quantidade de pacientes atendidos. Isso demonstra que os hospitais menores podem ser mais eficientes que os maiores, o que reforça a possibilidade de que os retornos para hospitais são crescentes diante de baixos níveis de insumo.

Destaca-se, pelos resultados individuais, que algumas variáveis foram mais presentes na proposta de ajuste das DMUs, sendo elas, portanto, sujeitas a iniciativas e políticas para se tentar atuar efetivamente com foco nesses fatores. Em termos de redução de insumos, tem-se que, para 13 casos, poder-se-ia busca a redução de tempo de faturamento sob os mesmos resultados como forma de melhorar a eficiência do hospital. Ou, ainda, conforme resultados do DEA, em 13 casos observados, se for possível reduzir a quantidade de leitos sem comprometer os outputs do hospital, essas organizações poderiam ter ganhos de eficiência.

Missing values (dados omissos)

A grande dificuldade encontrada na pesquisa de campo foi a coleta de dados. Existe um problema, já recorrente nas organizações de saúde (e.g. MARINHO, 2001a), que é a falta de in formações de processo para que se possa permitir o gerenciamento de alguns elementos, em especial, para a avaliação de desempenho. Para possibilitar a pesquisa, 12 questionários foram descartados porque não tinham as informações mínimas, em especial, nas variáveis utilizadas para a análise envoltória de dados realizada. Todavia, o problema não consistiu somente nesses casos. Grande parte dos questionários foi devolvida com algumas respostas em branco. Por um lado, é de se entender que existam respostas em branco em sistemas multidimensionais de análise de desempenho que requerem informações de diversas áreas, e a ausência de uma informação não poderia descartar todo o questionário. Por outro lado, isso demonstra a fragilidade dos sistemas de informações gerenciais dos hospitais abordados, principalmente porque essas informações são aquelas consideradas relevantes para a avaliação de desempenho pelos especialistas.

Isto é, depara-se com um problema que é a possibilidade em si de se elaborar e utilizar um sistema de gestão de desempenho por completo. Entretanto, esse não é o único problema. Percebe-se que diversas perspectivas e informações são generalizadamente pouco abordadas pelas organizações de saúde estudadas. Os dados omissos de destaque encontrados nos 82 questionários recebidos foram:

• 77 respondentes não souberam dizer se existe alguma política interna voltada para assegurar os riscos de segurança no hospital. Isso representa uma falta de conhecimento dos respondentes em relação à existência de políticas de risco de saúde e segurança para pacientes e funcionários, que certamente está presente nos hospitais, dado que isso é premissa básica de processo para funcionamento de um hospital;

• O controle do retorno dos pacientes também foi um problema, visto que houve 58 casos omissos sobre os dados referentes à necessidade de retorno do paciente, 60 casos sem dados a respeito de pacientes que precisariam ter retorno, não se sabendo se, de fato, retornaram para continuidade do tratamento, 60 questionários sem informações sobre se houve o retorno a respeito do mesmo CID (não havendo informações sobre retorno, tampouco existem sobre se esse retorno foi a respeito do mesmo CID), além de 49 casos omissos sobre os dados referentes às reinternações. Percebe-se uma ausência em cerca de 70 % dos casos sobre o monitoramento da continuidade e retorno do paciente;

• A questão da reutilização de materiais também foi apresentou bastante ausência de respostas, já que 61 respondentes foram omissos ao responder sobre a quantidade de materiais encontrados com problemas (sujos) após inspeções, enquanto 50 também não responderam quantos materiais foram checados com a esterilização adequada. Esses dados apontam para um provável cenário no qual não há a auditoria ou o controle sobre a reutilização e esterilização de materiais, apontando um risco para essas organizações;

• 34 respondentes não informaram a quantidade de eventos adversos (casos de infecção hospitalar) que ocorreram. Isso pode se justificar por duas grandes razões: a primeira, porque esse dado seria inexistente, de fato; a segunda, porque é uma forma de o hospital gerar evidências contra ele mesmo ou contra algum procedimento interno em que ele pode ter tido problemas;

• Alguns dados referentes ao controle do hospital passam a se mostrar mais críticos, como o fato de 10 respondentes não fornecerem dados referentes à quantidade de leitos-dia do hospital, o que demonstra a ausência de um dado bastante corriqueiro e importante para as decisões gerenciais rotineiras do hospital;

• Alguns dados financeiros não foram fornecidos: 34 não deram informações sobre os custos operacionais e 31, sobre as despesas operacionais, apontando uma provável dificuldade em se diferenciarem esses dois conceitos; 45 não responderam sobre títulos negociáveis, 22, sobre endividamento e 16, sobre despesas com equipamentos, o que demonstra a fragilidade do indivíduo respondente em entender esses dados que, certamente, são considerados na contabilidade dos hospitais. Isso demonstra que ainda existe fragilidade nos hospitais, em especial, nos de pequeno porte, em lidar com questões de gestão mais complexas, como é o caso da Administração Financeira.

Assim, pode-se perceber que existem alguns pontos críticos que carecem de informações por parte dos gestores hospitalares, o que os prejudica na tomada de decisões, em especial, decisões consideradas relevantes para a avaliação de desempenho do hospital filantrópico.

DISCUSSÕES FINAIS

O presente estudo buscou desenvolver um modelo específico para a avaliação de desempenho e eficiência dos hospitais filantrópicos. O primeiro modelo apresentado nesse sentido foi elaborado com base na revisão da literatura sobre o tema, contendo 31 variáveis, subdivididas entre seis perspectivas. Após a validação dos especialistas, culminou-se no modelo de avaliação de desempenho, que conta com 25 variáveis, subdivididas nas mesmas perspectivas. Com isso, o presente estudo contribuiu com o estabelecimento de um modelo de avaliação de desempenho organizacional para hospitais filantrópicos que pode ser implementado na rotina gerencial dessas organizações de saúde, caso todos os indicadores de desempenho propostos estejam disponíveis.

Com o acesso a campo para se verificar quais variáveis os hospitais filantrópicos têm disponíveis para esse gerenciamento e controle de suas atividades, observa-se que não há disponibilidade para grande parte das variáveis propostas. Assim, uma das conclusões relevantes a serem levantadas com base nesse estudo é a falta de sistemas de informações e banco de dados estruturados nas organizações de saúde abordadas. Corro boram-se as percepções de Marinho (2001a) de que os hospitais brasileiros não contam com bases de dados adequadas para estudos dessa magnitude. Percebeu-se que o setor carece de uma estrutura formalizada e difundida entre os hospitais para a coleta e, principalmente, o uso de informações gerenciais relevantes para a administração hospitalar. Ainda que esse seja um ponto recorrentemente identificado no campo hospitalar, uma das justificativas para essa ausência de informações pode ser o fato de que a amostra analisada no presente estudo, em sua maioria (cerca de 80%), conta com hospitais de pequeno e médio portes, o que pode indicar um menor aparato de informações, em decorrência da menor estrutura desse tipo de hospital.

Isso leva a crer que ainda é necessário haver uma atenção maior por parte dos empregados desses hospitais e, principalmente, dos seus gestores em se levantar e utilizar um banco de dados robusto o suficiente para os sistemas de indicadores de desempenho e, consequentemente, para as tomadas de decisões nesses ambientes hospitalares. Do contrário, as tomadas de decisões, tal como as ações de controle e voltadas ao gerenciamento do desempenho, limitam-se e pouco se sustentam em modelos de gestão e de avaliação de desempenho, reduzindo, assim, a efetividade das ações administrativas e aumentando o risco de fracasso nas decisões tomadas pelos gestores hospitalares. Evidencia-se que sistemas de avaliação e mensuração e desempenho completos e adequados para as organizações de saúde não são suficientes em situações nas quais eles não têm o conjunto de informações necessárias para alimentá-los.

Deve-se ter em mente que, ainda que os resultados do presente estudo tenham sido prejudicados pela ausência de dados, essa própria ausência de dados já traz reflexões sobre os hospitais filantrópicos em si. Percebe-se que pode haver maior atenção e discussão para questões importantes sobre o desempenho dessas organizações de saúde, como: o controle de retorno e continuidade de pacientes poderia ser feito de maneira mais enfática; a questão da reutilização de materiais, que traz consigo algumas polêmicas e, por isso, deveria ser mais discutida, afinal, reutilizar materiais é bom para o desempenho, em termos de custos, ao mesmo tempo que pode trazer riscos em relação à esterilização malconduzida, prejudicando o desempenho de modo geral; a necessidade de treinamento dos empregados sobre conceitos financeiros, que pode ajudar nas tomadas de decisões gerenciais e na mensuração financeira do desempenho; informações relacionadas a eventos adversos e políticas de segurança foram bastante omissas, o que pode representar não necessariamente a ausência dessas informações, mas o receio em publicá-las, apontando que o sistema de avaliação de desempenho de hospitais filantrópicos conta com informações que podem servir de evidência contra o hospital e, por isso, não são divulgadas ou expostas. Isso prejudica a tomada de decisão e a comunicação organizacional, que poderiam ser conduzidas por meio do sistema de avaliação de desempenho.

Paralelamente a isso, conforme descrito na introdução deste estudo, o campo teórico e científico de avaliação de desempenho ainda está em fase prematura, sem modelos de grande complexidade. Todavia, deve-se ter em mente que não é suficiente que exista essa evolução, se não existe a possibilidade real de operacionalizar a elaboração e consecução de um modelo de desempenho completo. Além de não se terem a mensuração e o controle de todas as variáveis e perspectivas relevantes para se atingir o objetivo estratégico da organização, deve-se ter em mente que um modelo com poucas variáveis coletáveis não conta com elementos fundamentais, como a análise multidimensional e o balanceamento entre as diferentes perspectivas, e não se atende à demanda por informações dos stakeholders. Isto é, modelos com pouca capacidade de coleta de dados colocam em risco a operacionalização da estratégia organizacional e o alcance dos objetivos estabelecidos, tornando o modelo de avaliação de desempenho limitado e deixando-o, por vezes, como instrumento acessório à gestão e tomada de decisão, em decorrência de suas limitações.

Ainda nessa linha de pensamento, apresentou-se um terceiro modelo, aquele que se considerou factível de ser coletado na realidade, que contempla apenas nove variáveis de insumo e produto. Isso indica que o presente estudo se depara com três modelos distintos: o teórico; o validado e o coletável na realidade. A diferença entre o primeiro e o segundo modelo é justificável porque o primeiro foi elaborado com a influência do julgamento de valor por parte dos pesquisadores.. Já a diferença na quantidade de variáveis do modelo validado para o factível leva a crer que não existe apenas o problema da falta de sistemas de informações disponíveis como descrito, mas que também há uma discrepância entre o que especialistas julgam importante para aquilo que é factível e disponível pelas organizações de saúde filantrópicas. As estratégias organizacionais só podem ter sucesso se existir alinhamento com as metas operacionais, o que dificilmente ocorre nesse cenário de desconexão entre o operacionalmente factível e desejável. Adicionalmente, a tomada de decisão do gestor hospitalar acaba sendo limitada, com tamanha ausência de informações.

Outra observação relevante aponta para o fato de ser preferível que os modelos de avaliação de eficiência e suas respectivas variáveis sejam sustentados por fatores considerados relevantes na perspectiva da avaliação de desempenho das organizações. Não se podem definir variáveis de insumo e produto sem que se tenha em mente o que é realmente relevante para se determinar o desempenho da organização. Existe uma relação entre desempenho e eficiência que não deve ser menosprezada. A eficiência organizacional somente é atingida quando ela está ligada aos fatores associados ao desempenho, porque, do contrário, a eficiência serviria para variáveis não necessariamente ligadas aos objetivos estratégicos da organização e, tampouco, àquilo que é relevante para sua operação.

Percebe-se, ainda, que é possível estabelecer rankings de eficiência com sustentação em preceitos de desempenho.

Entretanto, é importante ressaltar que esses rankings comparativos não têm a função meramente ilustrativa de comparabilidade, mas também servem para se estabelecer uma referência e benchmarking no intuito de que os hospitais consigam identificar em que fatores eles podem buscar melhorias e atingir maiores níveis de eficiência. Ainda que o ranking aqui apresentado seja limitado pela ausência de mais informações para o DEA, não se pode menosprezar a importância que eles têm nos resultados conclusivos de comparação de desempenho e eficiência.

Esses resultados são, também, importantes para que os órgãos reguladores ou organizações sociais consigam elaborar políticas e práticas efetivas sobre os hospitais filantrópicos, em especial, sobre alguns insumos de sua operacionalização. Conhecendo melhor os pontos a serem melhorados, é possível estabelecer objetivos e políticas mais focadas. Diante disso, é importante entender que os mecanismos de atuação que buscam maior produtividade e eficiência dos hospitais podem ser provenientes não somente das ações internas das organizações de saúde, mas também de agentes externos (organizações sociais, secretarias de saúde, ministérios etc.).

Operacionalizando essas ações de busca de melhor eficiência dos hospitais filantrópicos, as principais ações que poderiam ser tomadas pelos hospitais estudados são: (a) focar ações que reduzam o tempo de faturamento, isto é, deveria haver um menor tempo interno para se faturar, alinhado ao pagamento aos hospitais feito de maneira mais rápida; (b) verificou-se que os leitos poderiam ser mais bem utilizados, dado que existem alguns que se mostraram ociosos numa análise de eficiência, o que implica que poder-se-ia investir numa melhoria de processos internos para se reorganizarem os leitos e sua ocupação ou, ainda, reduzir a quantidade de leitos (diminuindo os seus custos de manutenção), ao mesmo tempo que se poderia gerir a ocupação dos hospitais numa quantidade menor de leitos. Tecnologias de gestão e melhorias de processos poderiam ser aplicadas nessas atividades em específico como prioridade. Importante ressaltar que deve haver cautela nessas observações, porque provavelmente existem outros elementos importantes que poderiam influenciar na eficiência dos hospitais filantrópicos (podendo ser reduzidos diante dos mesmos resultados ou incrementados com a mesma quantidade de uso de insumos), porém, que não foram considerados no modelo, por falta de dados disponíveis para o DEA.

LIMITAÇÕES E RECOMENDAÇÕES PARA ESTUDOS FUTUROS

Como limitação do estudo, deve-se considerar que a amostra utilizada para a realização da pesquisa empírica representa apenas uma parcela da realidade dos hospitais filantrópicos brasileiros, sendo os resultados representantes somente de uma realidade específica. Qualquer extrapolação com base no presente estudo deve ser feita com cautela, principalmente porque os hospitais participantes, em grande maioria (aproximadamente 78%), são oriundos das regiões Sul e Sudeste do País, que, segundo dados mais atuais do Ministério da Saúde (2002), têm combinadamente uma proporção de hospitais filantrópicos (29,1%) consideravelmente maior que as demais regiões do País combinadas (12,5%), o que pode representar diferentes ambientes de atendimento à saúde. Esse viés se estende para a perspectiva da capacidade de leitos dos hospitais, já que a maioria dos hospitais participantes da pesquisa (81,4%) é de pequeno ou médio porte. Ainda, a principal limitação do presente estudo é que, na análise envoltória de dados, não foi possível abordar todos os fatores constituintes das 25 variáveis tidas como relevantes pelos especialistas. Se existissem programas de qualidade nos hospitais da amostra que resultassem em certificações, talvez se pudesse contar com bases de dados mais completas, já que os órgãos de certificação exigem certo grau de informações disponíveis para controle. Entretanto, apenas sete dos 70 hospitais abordados (10% da amostra) responderam ter alguma certificação de qualidade.

Outro ponto limitante do presente estudo é que não se analisaram os hospitais participantes da pesquisa conforme suas associações e ligações com grupos hospitalares. Ou seja, esse tipo de informação, que poderia (ou não) ser relevante para o desempenho dos hospitais participantes da amostra, não foi considerada para fins de análise.

Como recomendação para estudos futuros, propõe-se que se amplie a amostra utilizada para verificar se os resultados continuam condizentes. Sugere-se, ainda, que estudos voltados ao DEA possam ser replicados para hospitais particulares, a fim de se observar quais elementos se destacam nessa análise, na qual questões competitivas de mercado sobrepõem-se aos objetivos filantrópicos.

Nota da redação

Este artigo foi apresentado no XXXVI Encontro da Associação Nacional de Pós-Graduação e Pesquisa em Administração (ENANPAD), realizado em 2012.

Recebido em 29.10.2012.

Aprovado em 21.06.2013

Avaliado pelo sistema double blind review. Editor Científico: Rosilene Marcon

  • BARROWS, E; NEELY, A. Managing performance in turbulent times: analytics and insight. New York: John Wiley & Sons, 2011.
  • BITITCI, U. S; CARRIE, A. S; MCDEVITT, L; TURNER, T. Integrated performance measurement systems: a reference model. In: SCHONSLEBEN, P; BICHEL, A (Eds). Organising the extended enterprise London: Chapman & Hall, 1998.
  • BOURNE, M; MILLS, J; WILCOX, M; NEELY, A; PLATTS, K. Designing, implementing and updating performance measurement systems. International Journal of Operations & Production Management, v. 20, n. 7, p. 754-771, 2000.
  • BUCHELE, R. B. How to evaluate a firm. California Management Review, v. 5, n. 5, p. 5-17, 1962.
  • BUCKMASTER, N. Associations between outcome measurement, accountability and learning for non-profit organisations. International Journal of Public Sector Management, v. 12, n. 2, p. 186-197, 1999.
  • CAMPBELL, S. M; ROLAND, M. O; BUETOW, S. A. Defining quality of care. Social Science & Medicine, v. 51, n. 11, p. 1611-1625, 2000.
  • CHERUBIN, N. A; CÂMARA, P. R. S; PASQUINI, A. C. Cadastro geral dos hospitais filantrópicos e instituições para deficientes São Paulo: Sociedade Beneficente São Camilo, 1990.
  • CHOW-CHUA, C; GOH, M. Framework for evaluating performance and quality improvement in hospitals. Managing Service Quality, v. 12, n. 1, p. 54-66, 2002.
  • CNAS (CONSELHO NACIONAL DE ATENDIMENTO SOCIAL). Lei nº 12.101 Brasília: Ministério da Saúde, 2009.
  • COLAUTO, R. D; BEUREN, I. M. Proposta para avaliação da gestão do conhecimento em entidade filantrópica: o caso de uma organização hospitalar. Revista de Administração Contemporânea, v. 7, n. 4, p. 163-185, 2003.
  • COOK, W. D; SEIFORD, L. M. Data envelopment analysis (DEA) - thirty years on. European Journal of Operational Research, v. 192, n. 1, p. 1-17, 2009.
  • CORRÊA, H. L. O "estado da arte" da avaliação de empresas estatais Tese de Doutorado em Administração, Universidade de São Paulo, São Paulo, 1986.
  • CORRÊA, H. L; HOURNEAUX JR, F. Sistemas de mensuração e avaliação de desempenho organizacional: estudo de casos no setor químico no Brasil. Revista Contabilidade & Finanças, v. 19, n. 48, p. 50-64, 2008.
  • CUNHA, J. A. C. da; CORRÊA, H. L. Administração holística: uma análise de sua aplicabilidade em hospitais. In: SANTOS, S. A; GUIMARÃES, A. T. R; GASPAR, M. A; ALMEIDA, A. F. S. (Orgs). Fronteiras da administração III Goiânia: Contato, 2010.
  • CUTLER, D. M; MCCLELLAN, M. Is technological change in medicine worth it? Health Affairs, v. 20, n. 5, p. 11-29, 2001.
  • DATASUS. Hospitais filantrópicos 2010. Disponível em: http://cnes.datasus.gov.br/Mod_Ind_hospitais_Filantropico.asp Acesso em 25.04.2011.
  • DAVIES, H. T; LAMPEL, J. Trust in performance indicators? Quality in Health Care, v. 7, n. 3, p. 159-162, 1998.
  • DENEFFE, D; MASSON, R. T. What do non-profit hospitals maximize? International Journal of Industrial Organization, v. 20, n. 4, p. 461-492, 2002.
  • DONABEDIAN, A. The seven pillars of quality. Archives of Pathology & Laboratory Medicine, v. 114, n. 11, p. 1115-1118, 1990.
  • DRUCKER, P. F. The practice of management New York: Harper, 1954.
  • EPSTEIN, M; MANZONI, J. Implementing corporate strategy. From Tableaux de bord to balanced scorecards. European Management Journal, v. 16, n. 2, p. 190-203, 1998.
  • FITZGERALD, L; JOHNSTON, R; BRIGNALL, T. J; SILVESTRO, R; VOSS, C. Performance measurement in service business London: CIMA, 1991.
  • FORZA, C. Survey research in operations management: a process-based perspective. International Journal of Operations & Production Management, v. 22, n. 2, p. 152-194, 2002.
  • GRAZIANO, K. U; LACERDA, R. A; TURRINI, R. T. N; BRUNA, C. Q. M; SILVA, C. P. R; SCHMITT, C; MORIYA, G. A. A; TORRES, L. M. Indicators for evaluation of processing dental-medical-hospital supplies: elaboration and validation. Revista da Escola de Enfermagem da USP, v. 42, ed. especial, p. 1174-1780, 2009.
  • GRIGOROUDIS, E; ORFANOUDAKI, E; ZOPOUNIDIS, C. Strategic performance measurement in a healthcare organization: a multiple criteria approach based on balanced scorecard. Omega, v. 40, n. 1, p. 104-119, 2012.
  • HASSON, F; KEENEY, S; MCKENNA, H. Research guidelines for the Delphi technique. Journal of Advanced Nursing, v. 32, n. 4, p. 1008-1015, 2000.
  • IBAÑEZ, N; BITTAR, O. J. N. V; SÁ, E. N. C; YAMAMOTO, E. K; ALMEIDA, M. F; CASTRO, C. G. J. Organizações sociais de saúde: o modelo do estado de São Paulo. Ciência & Saúde Coletiva, v. 6, n. 2, p. 391-404, 2001.
  • INSTITUTO BRASILEIRO DE GEOGRAFIA E ESTATÍSTICA. Produto interno bruto. Contas Nacionais Rio de Janeiro: IBGE, 2001.
  • INSTITUTO BRASILEIRO DE GEOGRAFIA E ESTATÍSTICA. Produto interno bruto. Contas Nacionais Rio de Janeiro: IBGE, 2005.
  • INSTITUTO BRASILEIRO DE GEOGRAFIA E ESTATÍSTICA. Produto interno bruto dos municípios 2003-2006. Contas Nacionais, n. 26. Rio de Janeiro: IBGE, 2008.
  • INAMDAR, N; KAPLAN, R. S; BOWER, M. Applying the balanced scorecard in healthcare provider organizations. Journal of Healthcare Management, v. 47, n. 3, p. 179-195, 2002.
  • ITTNER, C. D; LARCKER, D. F. Are nonfinancial measures leading indicators of financial performance? An analysis of customer satisfaction. Journal of Accounting Research, v. 36, supplement, p. 1-35, 1998.
  • JOHNSON, H. T; KAPLAN, R. S. Relevance lost: the rise and fall of management accounting. Boston: Harvard Business School, 1987.
  • JURAN, J. M. Managerial breakthrough: a new concept of manager's job. New York: McGraw-Hill, 1969.
  • KAPLAN, R. S. Strategic performance measurement and management in nonprofit organizations. Nonprofit Management & Leadership, v. 11, n. 3, p. 353-370, 2001.
  • KAPLAN, R. S; NORTON, D. P. The balanced scorecard: measures that drive performance. Harvard Business Review, v. 70, n. 1/2, p. 71-79, 1992.
  • KAPLAN, R. S; NORTON, D. P. Strategy maps: converting intangible assets into tangible outcomes. Boston: Harvard Business School, 2004.
  • KAPLAN, R. S; NORTON, D. P. Alignment: using the balanced scorecard to create corporate synergies. Boston: Harvard Business School, 2006.
  • KAPLAN, R. S; NORTON, D. P. The execution premium: linking strategy to operations for competitive advantage. Boston: Harvard Business School, 2008.
  • KAZANDJIAN, V. A; LIED, T. Healthcare performance measurement: systems design and evaluation. Wisc: American Society for Quality, 1999.
  • KILSZTAJN, S; ROSSBACH, A; CÂMARA, M. B; CARMO, M. S. N. Serviços de saúde, gastos e envelhecimento da população brasileira. Revista Brasileira de Estudos da População, v. 20, n. 1, p. 93-108, 2003.
  • KOLLBERG, B; ELG, M. The practice of balanced scorecard in health care services. International Journal of Productivity and Performance Management, v. 60, n. 5, p. 427-445, 2011.
  • KUNZ, H; SCHAAF, T. General and specific formalization approach for a balanced scorecard: an expert system with application in health care. Expert Systems with Applications, v. 38, n. 3, p. 1947-1955, 2011.
  • LEVITZ, G. S.; BROOKE JR., P. P. Independent versus system-affiliated hospitals: A comparative analysis of financial performance, cost, and productivity. Health Services Research, v. 20, n. 3, p. 315-339, 1985.
  • LIMA, S. M. L; PORTELA, M. C; UGÁ, M. A. D; BARBOSA, P. R; GERSCHMAN, S; VASCONCELLOS, M. M. Hospitais filantrópicos e a operação de planos de saúde próprios no Brasil. RSP-Revista de Saúde Pública, v. 41, n. 1, p. 116-123, 2007.
  • LINSTONE, H. A; TUROFF, M. Introduction. In: LINSTONE, H. A; TUROFF, M. (Eds). The Delphi method: techniques and applications. Reading: Addison-Wesley, 1975.
  • LOHMAN, C; FORTUIN, L; WOUTERS, M. Designing a performance measurement system: a case study. European Journal of Operational Research, v. 156, n. 2, p. 267-286, 2004.
  • LOPES, C. D; LOPES, F. F. P. Do risco à qualidade: a vigilância sanitária nos serviços de saúde. Brasília: ANVISA, 2008.
  • LYNCH, R. L.; CROSS, K. F. Measure up: the essential guide to measuring business performance. London: Mandarin, 1991.
  • MALIK, A. M; TELES, J. P. Hospitais e programas de qualidade no estado de São Paulo. RAE-Revista de Administração de Empresas, v. 41, n. 3, p. 51-59, 2001.
  • MANNION, R; GODDARD, M. Performance measurement and improvement in health care. Applied Health Economics Health Policy, v. 1, n. 1, p. 13-23, 2002.
  • MARINHO, A. Estudo de eficiência em alguns hospitais públicos e privados com geração de rankings Texto para discussão n. 794. Rio de Janeiro: IPEA, 2001a.
  • MARINHO, A. Hospitais universitários: indicadores de utilização e análise de eficiência. Texto para discussão n. 833. Rio de Janeiro: IPEA, 2001b.
  • MARINHO, A; MORENO, A. B; CAVALINI, L. T. Avaliação descritiva da rede hospitalar do Sistema Único de Saúde (SUS) Texto para discussão n. 848. Rio de Janeiro: IPEA, 2001.
  • MARTINDELL, J. The scientific appraisal of management: a study of the business practices of the well managed companies. New York: Harper, 1950.
  • MAURO, M; CARDAMONE, E; CAVALLARO, G; TALARICO, G; TROTTA, A. Performance evaluation in Italian teaching hospitals: a case study. World Review of Business Research, v. 2, n. 6, p. 183-199, 2012.
  • MELLO, J. C. C. B. S. de; MEZA, L. A; GOMES, E. G; BIONDI NETO, L. Curso de análise de envoltória de dados. SIMPÓSIO BRASILEIRO DE PESQUISA OPERACIONAL, 37, 2005, Gramado. Anais Gramado: SOBRAPO, 2005.
  • MEYER, M. W; GUPTA, V. The performance paradox. In: STAW, B. W; CUMMINGS, L. (Eds). Research in organizational behavior Greenwich: JAI, 1994.
  • MEZA, L. A; BIONDI NETO, L; MELLO, J. C. C. B. S. de; GOMES, E. G. ISYDS - Integrated System for Decision Support (SIAD - Sistema Integrado de Apoio a Decisão). Pesquisa Operacional, v. 25, n. 3, p. 493-503, 2005.
  • MINISTÉRIO DA SAÚDE. Terminologia básica em saúde: textos básicos em saúde. 2. ed. Brasília: Centro de Documentação do Ministério da Saúde, 1985.
  • MINISTÉRIO DA SAÚDE. A saúde no Brasil: estatísticas essenciais 1999- 2000. Brasília: Ministério da Saúde, 2002.
  • MINISTÉRIO DA SAÚDE. Pequenos hospitais: uma estratégia alternativa de organização e financiamento. Brasília: Ministério da Saúde, 2004.
  • NEELY, A. The evolution of performance measurement research: developments in from the last decade and a research agenda for the next. International Journal of Operations & Production Management, v. 25, n. 12, p. 1264-1277, 2005.
  • NEELY, A; GREGORY, M; PLATTS, K. Performance measurement system design: a literature review and research agenda. International Journal of Operations & Production Management, v. 15, n. 4, p. 80-116, 2005.
  • NEELY, A; KENNERLEY, M. P; ADAMS, C. A. The new measurement crisis: the performance prism as solution. Cranfield: Cranfield School of Management, 2000.
  • NEELY, A; MILLS, J; PLATTS, K; RICHARDS, H; GREGORY, M; BOURNE, M. Performance measurement system design: developing and testing a process-based approach. International Journal of Operations & Production Management, v. 20, n. 10, p. 1119-1145, 2000.
  • OCKÉ-REIS, C. O; SOPHIA, D. C. Uma crítica à privatização do sistema de saúde brasileiro: pela constituição de um modelo de proteção social público de atenção à saúde. Saúde em Debate, v. 33, n. 81, p. 72-79, 2009.
  • OSTERWALDER, A; PIGNEUR, Y. Business model generation: a handbook for visionaries, game changers, and challengers. Hoboken: John Willey & Sons, 2010.
  • PARMENTER, D. Key performance indicators: developing, implementing, and using winning KPIs. 2. ed. Hoboken: John Wiley & Sons, 2010.
  • PINK, G. H; MCKILLOP, I; SCHRAA, E. G; PREYRA, C; MONTGOMERY, C; BAKER, G. R. Creating a balanced scorecard for a hospital system. Journal of Health Care Finance, v. 27, n. 3, p. 1-20, 2001.
  • PROITE, A; SOUSA, M. C. S. Eficiência técnica, economias de escala, estrutura da propriedade e tipo de gestão no sistema hospitalar brasileiro. In: ENCONTRO NACIONAL DE ECONOMIA, 32, 2004, João Pessoa. Anais João Pessoa: ANPEC, 2004.
  • REDE INTERAGENCIAL DE INFORMAÇÃO PARA A SAÚDE. Indicadores básicos para a saúde no Brasil: conceitos e aplicações. 2. ed. Brasília: Organização Pan-Americana da Saúde, 2008.
  • RIDGWAY, V. F. Dysfunctional consequences of performance measurements. Administrative Science Quarterly, v. 1, n. 2, p. 240-247, 1956.
  • SACKETT, D. L; ROSENBERG, W. M. C; GRAY, J. A. M; HAYNES, R. B; RICHARDSON, W. S. Evidence based medicine: what it is and what it isn't. British Medical Journal, v. 312, n. 7023, p. 71-72, 1996.
  • SCHIESARI, L. M; MALIK, A. M. Instrumentos utilizados na prática diária da gestão da qualidade. In: GONÇALVES, E. L. (Org). Gestão hospitalar: administrando o hospital moderno. São Paulo: Saraiva, 2006.
  • SILVA, A. M. M; BRANDALIZE, A. A moderna administração hospitalar Terra e Cultura, v. 22, n. 42, p. 56-67, 2006.
  • SISTEMA DE INFORMAÇÕES SOBRE ORÇAMENTOS PÚBLICOS EM SAÚDE. Gastos municipais e estaduais com saúde em 2000 Brasília: Ministério da Saúde, 2001.
  • SISTEMA DE INFORMAÇÕES SOBRE ORÇAMENTOS PÚBLICOS EM SAÚDE. Gastos municipais e estaduais com saúde em 2004 Brasília: Ministério da Saúde, 2005.
  • SOUZA, D. E; WILLIAMS, F. P. Appropriateness of the stakeholder approach to measuring manufacturing performance. Journal of Managerial Issues, v. 12, n. 2, p. 227-246, 2000.
  • TEZZA, R; BORNIA, A. C; VEY, I. H. Sistemas de medição de desempenho: uma revisão e classificação da literatura. Gestão & Produção, v. 17, n. 1, p. 75-93, 2010.
  • THE SIGMA PROJECT The Sigma guidelines: putting sustainable development into practice - a guide for organizations. London: BSI, 2003.
  • TOWNEND, W. K; CHEESEMAN, C. R. Guidelines for the evaluation and assessment of the sustainable use of resources and of wastes management at healthcare facilities. Waste Management & Research, v. 23, n. 5, p. 398-408, 2005.
  • TRAVASSOS, C; NORONHA, J. C; MARTINS, M. Mortalidade hospitalar como indicador de qualidade: uma revisão. Ciência & Saúde Coletiva, v. 4, n. 2, p. 367-381, 1999.
  • TREVISO, P. Identificação de indicadores de qualidade para um serviço de transplante renal Dissertação de Mestrado em Medicina e Ciência da Saúde, Pontifícia Universidade Católica do Rio Grande do Sul, Porto Alegre, 2009.
  • UGÁ, M. A; LÓPEZ, E. M. Os hospitais de pequeno porte e sua inserção no SUS. Ciência & Saúde Coletiva, v. 12, n. 4, p. 915-928, 2007.
  • VAIVIO, J. Exploring a "non-financial" management accounting change. Management Accounting Research, v. 10, n. 4, p. 409-437, 1999.
  • VERGARA, S. C. Métodos de pesquisa em administração 3. ed. São Paulo: Atlas, 2008.
  • YBAÑEZ, N; ROCHA, J. S. Y; CASTRO, P. C; RIBEIRO, M. C. S. A; FOSTER, A. C; NOVAES, M. H. D; VIANA, A. L. D. Avaliação do desempenho da atenção básica no estado de São Paulo. Ciência & Saúde Coletiva, v. 11, n. 3, p. 683-703, 2006.
  • ZUCCHI, P; BITTAR, O. J. N. V. Funcionários por leito: estudo em alguns hospitais públicos e privados. Revista de Administração em Saúde, v. 4, n. 14, p. 1-7, 2002.
  • ZUCCHI, P; BITTAR, O. J. N. V; HADDAD, N. Produtividade em hospitais de ensino no estado de São Paulo, Brasil. Revista Pan-americana de Salud Publica, v. 4, n. 5, p. 311-316, 1998.

Datas de Publicação

  • Publicação nesta coleção
    16 Set 2013
  • Data do Fascículo
    Out 2013

Histórico

  • Recebido
    29 Out 2012
  • Aceito
    21 Jun 2013
Fundação Getulio Vargas, Escola de Administração de Empresas de S.Paulo Av 9 de Julho, 2029, 01313-902 S. Paulo - SP Brasil, Tel.: (55 11) 3799-7999, Fax: (55 11) 3799-7871 - São Paulo - SP - Brazil
E-mail: rae@fgv.br