O uso da Análise Envoltória de Dados (DEA) para avaliação de hospitais universitários brasileiros

The use of Data Envelopment Analysis (DEA) for Brazilian teaching hospitals´ evaluation

TEMAS LIVRES FREE THEMES

O uso da Análise Envoltória de Dados (DEA) para avaliação de hospitais universitários brasileiros

The use of Data Envelopment Analysis (DEA) for Brazilian teaching hospitals´ evaluation

Marcos Estellita Lins^I; Maria Stella de Castro Lobo^II; Angela Cristina Moreira da Silva^I; Roberto Fiszman^II; Vagner José de Paula Ribeiro^III

^IInstituto Alberto Luiz Coimbra de Pós-Graduação e Pesquisa em Engenharia, COPPE, UFRJ. Cidade Universitária, Centro de Tecnologia, Bloco F, Sala 103, Ilha do Fundão. 21945-970 Rio de Janeiro RJ. [e-mail]

^IIServiço de Epidemiologia e Avaliação, Hospital Universitário Clementino Fraga Filho, UFRJ

^IIIUFRJ

RESUMO

De modo a demonstrar como a modelagem por Análise Envoltória de Dados (DEA) permite aferir o desempenho dos hospitais e subsidiar a avaliação da implantação da Política de Reestruturação dos Hospitais de Ensino, desenvolve-se um estudo de caso com os 31 hospitais gerais pertencentes a universidades federais brasileiras. Consideram-se indicadores de assistência, ensino e pesquisa e utiliza-se o programa IDEAL (Interactive Data Envelopment Analysis Laboratory) como ferramenta de avaliação de desempenho. O IDEAL, desenvolvido no país, é o único no mundo capaz de prover a visualização tridimensional da fronteira de produtividade, facilitando a análise exploratória e escolha das variáveis pertinentes, assim como a compreensão dos resultados do modelo (multiplicador e envelope) pelo especialista e decisor. A título de exemplo, é apresentado o benchmark dos hospitais universitários por meio de indicadores de resultado (outputs), que consideram as diferenças estruturais e/ou as demandas regionais (inputs). A modelagem também permite indicar as mudanças necessárias para as unidades ineficientes (alterações nos vetores de inputs e/ou outputs) e gerar recomendações sobre a distribuição dos recursos públicos baseada em qualidade/eficiência.

Palavras-chave: Análise Envoltória de Dados, Indicadores públicos de desempenho, Hospitais de ensino

ABSTRACT

In order to demonstrate how DEA modeling can be helpful for hospital performance assessments conducted in compliance with Brazil's Teaching Hospital Policy, a case study is presented of 31 general hospitals linked to Federal Universities. It considers data on assistance, teaching and research and the use of the IDEAL (Interactive Data Envelopment Analysis Laboratory) software as a tool for assessing their efficiency. Developed in Brazil, this unique software provides a three-dimensional view of the productivity frontier, for easier exploratory analyses and selection of pertinent variables, with a better understanding of the outputs of the model (multiplier and envelope) for specialists and decision-makers. As an example, a University Hospital benchmark is presented through outputs that take structural and regional input differences into consideration. This modeling also indicates the changes required in the inefficient units (alterations to input and/or /output vectors), setting forth recommendations on public financing based on quality/efficiency.

Key words: Data Envelopment Analysis, Public performance indicators, Teaching hospital

Introdução

Em 2004, os Ministérios da Saúde e da Educação iniciaram processo de certificação dos hospitais de ensino no Brasil de acordo com o cumprimento de pré-requisitos referentes à assistência, ensino, pesquisa e integração ao SUS (Sistema Único de Saúde), visando a garantir a qualidade dos serviços prestados e a alteração do mecanismo de financiamento dessas unidades, agora baseado em orçamentação fixa mediante o cumprimento de metas contratuais. Passados dois anos da implementação da Política de Reestruturação de Hospitais de Ensino (MEC/MS¹), ainda se discutem quais os instrumentos para a avaliação do seu impacto e algumas técnicas provenientes da pesquisa operacional têm sido propostas.

Sob a perspectiva de análise de eficiência, pretende-se apresentar e discutir as potencialidades e limites na utilização Análise Envoltória de Dados (DEA) para avaliação de desempenho de hospitais públicos federais de ensino geridos pelo Ministério da Educação - MEC/Brasil. Esses hospitais correspondem a apenas uma parcela dos hospitais de ensino do país; porém, dado o fato de existir para eles um banco de dados que contêm informações sistemáticas sobre assistência, ensino e pesquisa (SIHUF/MEC), optou-se pela utilização dos mesmos como estudo de caso para aplicação de modelagem DEA. Finalmente, foi utilizado o software IDEAL (Interactive Data Envelopment Analysis Laboratory), desenvolvido pela COPPE/UFRJ, visto que essa ferramenta possibilita a visualização tridimensional da fronteira sob diferentes ângulos (única no mundo com essa característica), a observação da influência proporcional das variáveis eleitas para o modelo, a introdução da restrição aos pesos e a compreensão dos resultados pelos diversos atores envolvidos no processo avaliativo.

Metodologia

Metodologia DEA: noções gerais²

Os modelos clássicos de Análise Envoltória de Dados (DEA) foram introduzidos por Charnes et al. em 1978 (baseada em retornos constantes em escala - CRS) e estendidos por Banker et al. (com retornos variáveis de escala - VRS), consistindo em metodologia não paramétrica para mensuração comparativa da eficiência de unidades tomadoras de decisão (Decision Making Units - DMUs), com base nas melhores práticas. O conjunto de DMUs deve ser homogêneo e ter em comum a utilização dos mesmos inputs e a produção dos mesmos outputs.

A abordagem analítica aplicada à medida da eficiência baseia-se na definição de Pareto-Koopmans, segundo a qual um vetor input-output é tecnicamente eficiente se: a) nenhum dos outputs pode ser aumentado sem que algum outro output seja reduzido ou algum input seja aumentado ou b) nenhum dos inputs pode ser reduzido sem que algum outro input seja aumentado ou algum output seja reduzido.

Para o uso de DEA, as técnicas de programação linear e a teoria da dualidade permitem construir a fronteira de referência para uma dada tecnologia a partir de um conjunto de observações (superfície multidimensional do modelo envelope, gerada por combinação linear convexa das DMUs eficientes) e calcular a distância da fronteira para cada uma das observações individuais (modelo dos multiplicadores). No modelo do envelope, a projeção espacial das unidades ineficientes na fronteira está delimitada por um conjunto de referência de unidades eficientes (daí, o termo técnico benchmark). Entretanto, o poder analítico da técnica pode ser ampliado pelo modelo dos multiplicadores no qual, para cada DMU a ser analisada, formula-se um problema de otimização com o objetivo de determinar quais os valores que esta DMU atribui aos multiplicadores u e v (pesos) de modo a ter a maior eficiência possível, conforme apresentado a seguir:

Uma vez que produção é um processo no qual os recursos (X_k) são utilizados para gerar produtos (Y_k), a fronteira de produtividade pode ser definida como a máxima quantidade de outputs obtida a partir dos inputs utilizados. A eficiência de cada DMU é a soma ponderada das saídas dividida pela soma ponderada das entradas, a distribuição dos pesos ocorrendo sem qualquer interferência do decisor.

A maior limitação da estrutura matemática dos modelos clássicos é que, na busca da solução ótima, podem ser gerados pesos nulos para variáveis importantes e, portanto, modelos inverossímeis. No caso da variável ser tratada como essencial, ou se existir a necessidade de uma relação numérica lógica entre as variáveis, o modelo pode ser flexibilizado mediante a formulação de restrição aos pesos, mais uma vantagem do uso dos multiplicadores, já que as restrições são impostas às equações que geram os hiperplanos das fronteiras de produtividade.

A introdução de julgamento de valor e de restrição aos pesos na modelagem DEA ocorreu somente na última década³. Entre as restrições, a de maior uso e facilidade de compreensão é chamada "participação virtual" (p-virtual), em que se observa e se delimita a participação proporcional de cada produto "peso X variável" no resultado de eficiência observado. A análise do p-virtual permite discriminar incongruências da realidade modelada e propor correções. Mediante as restrições aos pesos, a fronteira passa a ser redesenhada de acordo com a perspectiva do decisor, a qual varia de acordo com a posição do mesmo em relação ao sistema.

Finalmente, é importante colocar que a modelagem pode ser orientada a input ou a output, dependendo se o objetivo está na redução de recursos ou no aumento da produção. Isso significa que as mudanças necessárias para que as unidades ineficientes (índice < 1) atinjam a fronteira podem ser direcionadas à redução de recursos (orientação input) ou ao aumento de produtos (orientação output).

Dados e fontes

Os dados são provenientes do Sistema de Informação dos Hospitais Universitários Federais (SIHUF), gerenciado pela Coordenação de Hospitais Universitários do Ministério da Educação (MEC), com informações do segundo semestre de 2003, ano em que houve validação dos dados por comissões de verificação. De modo a garantir um grupo homogêneo de hospitais para comparação, optou-se por excluir aqueles de especialidade e as maternidades. Os hospitais estão representados pelas siglas das respectivas universidades. No caso da UFRN, existem duas unidades, a UFRN-AB se constituindo em pólo de extensão da universidade em município próximo à capital.

Seleção de variáveis (Quadro 1)

A escolha das variáveis procurou traduzir as dimensões de assistência, de ensino e de pesquisa e baseou-se na análise da literatura em DEA aplicada à saúde⁴, na opinião de especialistas e na disponibilidade dos dados (Quadro 1).

Na literatura DEA sobre hospitais de ensino, predominam medidas de assistência e os indicadores de outputs são ajustados por índices de case-mix, que consideram as variações de recursos utilizados para diferentes grupos diagnósticos (DRGs - Diagnostic Related Groups) ⁵. Com essa ótica, a equipe usou como medida proxy um indicador de complexidade dos procedimentos realizados pelos hospitais (SIPAC), baseada no credenciamento de procedimentos de alta complexidade pelo Ministério da Saúde ⁶.

A literatura DEA é escassa para variáveis na dimensão de ensino dos hospitais, valendo destacar o uso de indicadores como "dedicação de ensino" (residentes/médicos) e de "intensidade de ensino" (residentes/leitos), citada por Grosskopf⁷. Para tratamento inicial dessas variáveis, optou-se por utilizar números absolutos nas dimensões de ensino e pesquisa.

Ainda para a seleção de variáveis, algumas premissas conceituais foram consideradas, a saber:

Em sendo a DEA uma metodologia multi-critério de apoio à decisão, todos os indicadores quantitativos utilizados podem ser tratados como inputs ou como outputs, a depender estritamente dos critérios que estão sendo utilizados durante a concepção da modelagem, e da coerência entre os mesmos⁸.

Em paralelo à concepção de Donabedian⁹, para que se possa fazer inferências sobre a qualidade do serviço prestado, existe um pressuposto de que as abordagens de estrutura, processo e resultado devem guardar formas de relação entre si, e o mesmo deve ocorrer entre inputs e outputs. Ou seja, assim como a estrutura influencia os processos e os processos são condicionantes para os resultados, as variáveis de estrutura são consideradas como inputs para outras variáveis de estrutura, de processo ou de resultado, e as variáveis de processo são inputs para novos processos e/ou para resultados observados.

De modo a contribuir para a avaliação da política em curso, buscou-se inserir as variáveis que constam na Portaria 1.000¹⁰, que dispõe sobre os requisitos obrigatórios para que o hospital seja certificado como de ensino. Para o ensino, por exemplo, o número de alunos e de residentes foi considerado como a principal medida avaliada na Portaria (output), desde que haja a estrutura pedagógica docente (input). Para a pesquisa, o número de pós-graduandos e o de programas foram os únicos requisitos quantitativos avaliados como medidas proxy para volume de produção científica (output).

Procedimentos de modelagem: nosso estudo de caso

No estudo de caso, cada hospital universitário é representado como uma DMU (decision making unit) dotada de autonomia. É proposta uma concepção de modelagem hierarquizada em três níveis, configurando um passo a passo que permita melhor entendimento da metodologia.

O primeiro nível considera a análise exploratória de dados e a utilização de outputs sob a forma de razões que indicam o aproveitamento da estrutura em diferentes unidades, como a unidade de internação (admissões/leitos), o centro cirúrgico (cirurgias/sala) e a unidade ambulatorial (consultas/sala). O cálculo destas razões já é equivalente ao resultado de um modelo DEA CRS (retornos constantes de escala), já que o numerador corresponde a um output para cada denominador/input. São utilizados gráficos para mostrar as fronteiras tridimensionais como ferramenta de apoio à seleção de variáveis. Os gráficos são gerados pelo software IDEAL e permitem visualizar a relação entre inputs e outputs, três a três, identificando aqueles conjuntos que geram fronteiras com maior número de faces Pareto-eficientes, de dimensão completa (três vértices). Os gráficos também serão utilizados para explicar os resultados obtidos através dos modelos dos multiplicadores e do envelope, com maior número de variáveis, facilitando a compreensão do decisor.

No segundo nível, são considerados os modelos completos nas três dimensões: assistência, ensino e pesquisa e introduzidas as restrições aos pesos. No terceiro nível, as eficiências parciais são utilizadas como variáveis de output e é gerado o benchmark dos hospitais. Este procedimento hierárquico apresenta a vantagem de facilitar a incorporação da opinião do especialista quanto aos pesos a serem admitidos para cada variável.

Todos os modelos utilizados serão orientados a output, tendo-se como meta a expansão dos serviços, uma vez que se espera a melhoria da produção para o mesmo conjunto de recursos por meio de melhorias organizacionais e de gestão. Na literatura, prevalecem os estudos orientados a input, que enfatizam a meta de redução de custos para uma mesma produção.

Resultados

1º nível: Análise exploratória por visualização 3-D na dimensão assistência

Um modelo completo terá tantas dimensões quantas variáveis incorporar. No entanto, a utilização de submodelos com três variáveis para visualização de gráficos 3D pode ser utilizada para escolha e interpretação das variáveis que constarão do modelo final. A Figura 1 considera as variáveis: Internações/leito – INT/L [O], Cirurgias/sala - CIR/S [O] (outputs) e Funcionários não médicos – FNM [I] (input) e a fronteira Pareto-eficiente (mais escura na figura) apresenta quatro faces e seis DMUs eficientes (vértices de cada face). A Figura 2 mantém as variáveis de output e substitui a variável de input por Receita SUS mensal – RSUS [I]. A nova fronteira apresenta cinco faces e as mesmas seis DMUs eficientes. Isso significa que essas seis unidades apresentar-se-ão no modelo clássico com eficiência de 100%. As unidades ineficientes se projetarão nessas faces e os pesos serão gerados de forma a minimizar a distância entre a DMU e a face mais próxima na fronteira. Os hospitais correspondentes aos vértices de cada face serão considerados como as referências ou benchmarks para a unidade projetada e, em termos analíticos, todas as DMUS que compartilharem as mesmas referências terão pesos idênticos no modelo.

Vale ressaltar que a substituição do número de funcionários não médicos pela receita SUS – ambas variáveis de input - provocou pouca alteração na fronteira, sem alteração das DMUs Pareto-eficientes. Podem ocorrer, outrossim, alterações nos valores de eficiência das DMUs ineficientes de acordo com a variável escolhida. A partir dessa ótica, diferentes composições de inputs e outputs podem ser criadas para análise exploratória das variáveis e os formatos de fronteira que se apresentarem com maior capacidade de replicação (consistentes) e plausibilidade lógica podem ser usados como parâmetros para escolha adequada das variáveis a serem inseridas no modelo completo.

Nas Figuras 1 e 2, é importante notar que os cinco hospitais de maior porte e complexidade (UNIFESP, UFRJ, HCPA, UFPR, UFMG) apareceram fora da fronteira e projetados em regiões Pareto-ineficientes. Essa incongruência pode estar relacionada à ausência de ajuste de gravidade ou "case mix", motivo pelo qual se optou pela inclusão da variável SIPAC [O] no modelo. Como resultado da inclusão, a fronteira DEA VRS, com as variáveis: Funcionários não médicos – FNM [I]; SIPAC [O] e Internações/leito INT/L [O], revela as seguintes situações referentes à unidade de internação (Figura 3):

Entre os hospitais eficientes com maior número de funcionários, existe um trade-off entre SIPAC e número de Admissões/leito: a UNB caracteriza-se por um maior número de Internações/leito e a UFRJ por um maior SIPAC. Esse achado é compatível com o fato de hospitais de maior complexidade exigirem maior número de servidores e apresentarem maiores tempos médios de permanência hospitalar.

Os hospitais eficientes com menor número de funcionários, UFPEL e UFRN/AB, apresentam um baixo grau de complexidade (SIPAC), mas um nível mediano de admissões/leito, superior ao da UFRJ e equivalente ao da UNIFESP. Nessas unidades, o volume de serviços de obstetrícia provoca maior rotatividade dos leitos.

Para análise do aproveitamento do centro cirúrgico, a Figura 4 apresenta o output Cirurgias/sala – CIR/S [O], junto ao SIPAC [O], tendo como input: Funcionários não médicos – FNM [I]. Na figura, a fronteira mostra o aparecimento da UFSM e UFU como unidades eficientes por apresentarem o maior volume de cirurgias por sala. Esta fronteira apresenta um número elevado de unidades eficientes (11) e a análise gráfica sugere um grupo com menor SIPAC e número de funcionários e outro com maior SIPAC, onde quase todas as unidades são eficientes. Essa nova conformação de variáveis destaca-se por mostrar um modelo mais ajustado à fronteira, embora com muitas unidades sobre a mesma. Vale relembrar que, mesmo que acrescentemos outras variáveis ao modelo clássico DEA VRS, estas onze unidades continuarão eficientes, pois terão a liberdade de atribuir peso máximo a essas mesmas variáveis em detrimento das demais. Nesse caso, torna-se necessária a introdução de restrições aos pesos para aumentar o poder de discriminação na avaliação de desempenho das unidades.

Em síntese, como resultado da análise exploratória, a inclusão da variável SIPAC permitiu o aparecimento de novas faces Pareto-eficientes, possibilitando a projeção de unidades com diferentes níveis de complexidade. O aparecimento de mais faces na fronteira demonstra a importância da estratificação dos benchmarks por complexidade e a capacidade do método para indicar a presença de grupos mais homogêneos de comparação (clusters). Também vale acrescentar que as DMUs com valores extremos como a UNIFESP (limites superiores de outputs) e a UFRN AB (limites inferiores de inputs) tendem a aparecer sempre como vértices do polígono, portanto, eficientes. Para flexibilizar esse resultado, torna-se necessário manejo de novas ferramentas, como a criação de unidades artificiais ou supereficientes, além da introdução de restrições aos pesos.

2º nível: Introdução das restrições aos pesos nas diferentes dimensões

A) Assistência

Uma vez realizada a análise exploratória, o modelo final foi rodado com a totalidade das variáveis de assistência, sem restrições, e mostrou dezessete unidades eficientes; catorze delas já evidenciadas na análise exploratória 3-D (Tabela 1). Nos modelos clássicos (CRS ou VRS), o hospital aloca os pesos de modo a maximizar a eficiência aferida, sem considerar a importância relativa de cada variável. Dessa forma, é necessária a incorporação da opinião do especialista e do decisor para definir a relevância das variáveis e garantir que o modelo final tenha resultados coerentes com a realidade sob modelagem. Com base na atribuição de relevância, são introduzidas restrições aos pesos ao modelo; porém, como existe o risco da inserção de distorções pela inclusão de componentes subjetivos, é fundamental que metodologias de consenso sejam estruturadas para que os atores envolvidos opinem sobre os critérios e a importância relativa das variáveis (oficinas, painel de especialistas ou método Delphi, por exemplo).

Para demonstrar o papel da introdução dessas restrições, são apresentados na Tabela 1 os índices de eficiência e os pesos virtuais do modelo com as seguintes restrições impostas:

a) Para inputs, todos eles devem ter o peso de, no mínimo, 20%, sendo que a variável Receita SUS teve um máximo estipulado em 50%. Isso garante que todas as variáveis de input sejam consideradas no modelo e ainda evita que as unidades que têm baixíssimo faturamento, associado à baixa produção, não dediquem no modelo toda a participação livre (60%) a esta variável, quando deficitária;

b) Para outputs, o SIPAC teve seu peso máximo delimitado em 50%, já que é uma variável de ajuste e pretende-se avaliar a produção propriamente dita. As variáveis de internação e de cirurgia tiveram o peso mínimo delimitado em 20%. Para o aproveitamento de ambulatório, os limites foram fixados entre 10 e 30%.

c) Para lidar com a diferença de escala relacionada à variável de complexidade - SIPAC, a fronteira do modelo foi dividida em: i) retornos crescentes de escala (modelo CRS) para as DMUs com valores menores de SIPAC e ii) retornos decrescentes de escala (modelo VRS) para os hospitais mais complexos. Essa equação do modelo procurou evitar que unidades de baixa complexidade atribuíssem alto peso para essa variável.

Realizados esses ajustes, o modelo final com a restrição de pesos mostra maior poder de discriminação, menor número de unidades eficientes (8) e ausência de p-virtual alto para SIPAC em hospitais de baixa complexidade. Ainda se observam hospitais com baixo faturamento atribuírem participação de 50% ao indicador de receita SUS, o que poderia justificar uma maior redução do valor de participação máximo dessa variável. Na saída do modelo matemático, a avaliação do envelope também permite discriminar quais os hospitais de referência para cada unidade ineficiente e o cálculo dos multiplicadores identifica as alterações do vetor de output necessárias para que os hospitais se tornem eficientes.

Vale colocar que a interpretação dos pesos virtuais é, por si só, uma ferramenta complementar para a monitorização do desempenho desses hospitais. Como a somatória dos inputs e também a dos outputs equivale a 100%, a análise da distribuição dos pesos para atingir a máxima eficiência nos permite acompanhar o comportamento da unidade. Dentro da lógica de Pareto-Koopmans, se um hospital atribui um peso muito alto a uma variável de entrada, isso significa que ele, em comparação aos demais, consome menor volume de recursos, ou que suas outras variáveis de input consomem proporcionalmente mais recursos. Da mesma forma, se o hospital atribui um peso muito elevado a uma variável de saída, isso significa que ele, em comparação aos outros, tem alta produção, ou pior resultado nas suas demais variáveis de output. Por exemplo, um hospital de maior complexidade tende a dar um peso alto ao indicador SIPAC; porém, se um hospital de baixa complexidade também o fizer, a explicação para o p-virtual estaria na muito baixa produção assistencial por parte do mesmo. Finalmente, a dinâmica de valoração das variáveis por esses hospitais pode ser compreendida pela magnitude da alteração do índice após a introdução das restrições, ou seja, aqueles hospitais com maior queda no índice não tiveram uma segunda opção favorável entre as demais variáveis de input ou de output. Esse tipo de análise permite combinar a descrição de múltiplas variáveis para um mesmo hospital e a comparação de uma mesma variável para diferentes DMUs, o que pode ser útil para se decompor o score único de eficiência e se apreender os motivos que desencadearam o índice de eficiência observado.

B) Ensino

De acordo com a Figura 5, que representa o modelo clássico VRS, podem ser observadas sete unidades eficientes e uma maior densidade de atividades de ensino entre os hospitais de maior complexidade. De fato, a fronteira de ensino observada se assemelha àquela de assistência quando da introdução da variável SIPAC. Entretanto, três hospitais eficientes na dimensão de ensino não tiveram o mesmo resultado em relação à assistência (FMTM, que atribuiu 77% do peso virtual ao número de residentes; UFPA, que atribuiu 92% do peso virtual ao número de estudantes; UFBA, com igual distribuição de pesos virtuais entre as duas variáveis de output).

Para aprofundamento no modelo, duas categorias de restrição foram incorporadas. A primeira estipulou uma proporção mínima de peso virtual para ambos os outputs (30%), tendo reduzido a eficiência da UNIFESP para 82%, dado que a sua eficiência era quase integralmente influenciada pelo número de residentes (os internos recebem treinamento em outra unidade conveniada). A segunda correspondeu ao limite do valor do intercepto da fronteira (representado matematicamente pelo u*) que, dado o baixíssimo número de insumos da UFRN-AB, era extremamente deslocado no modelo sem restrições (a unidade conta com apenas um docente).

C) Pesquisa

A terceira dimensão (Figura 6) mostrou baixo volume de pesquisa informada para todas as unidades, exceto UNIFESP, e uma melhor discriminação entre as outras unidades poderia ser observada se o modelo desconsiderar o outlier. Vale colocar que a modelagem DEA considera a possibilidade de que os "outliers" não representem apenas desvios da média, mas possíveis benchmarks a serem estudados. Por outro lado, esses dados têm problemas de acurácia, visto que as universidades públicas têm o maior volume de pesquisas financiadas no país (o viés ocorre dado que as informações de produção científica e de pós-graduação estão atreladas aos departamentos acadêmicos e não aos hospitais). Devido à baixa validade, optou-se por não impor restrições aos pesos nessa dimensão sob o risco de aumentar o viés.

3º nível: Análise conjunta das diferentes dimensões

A Tabela 2, nas três últimas colunas, mostra os scores de eficiência dos hospitais em cada dimensão. O Índice de Correlação (Spearman) entre as dimensões foi de: 0,34 para assistência e ensino; 0,30 para assistência e pesquisa; 0,49 para ensino e pesquisa. Essas diferentes distribuições de valores de eficiência para assistência, ensino e pesquisa denotam a necessidade de abordagem de todas as dimensões para que se tenha uma avaliação mais completa da eficiência do hospital. Nesse contexto, a Análise Envoltória de Dados é ferramenta útil pela capacidade de ajustar diferentes dimensões de indicadores em um único modelo.

Colocados os índices de cada dimensão como variável de output (modelagem sem input), com o mínimo de participação virtual definido em 20% (garantia de incorporação de todas as dimensões), obtém-se o modelo final, com o índice de eficiência observado na Tabela 2, em ordem decrescente. De acordo com a distribuição proporcional do p-virtual, observa-se que os hospitais de ensino tendem a investir mais nas práticas de assistência e que maior concentração de atividades ensino e, principalmente, de pesquisa é observada nas unidades de maior complexidade. Na mesma modelagem, é possível estudar os investimentos necessários – nas diferentes dimensões - para que os hospitais ineficientes possam atingir a fronteira (não tratado nesse artigo).

Discussão e conclusões

A literatura sobre DEA na área da saúde pode ser categorizada em três grandes grupos¹¹: a) estudos descritivos dos índices de eficiência; b) estudos comparativos entre DEA e fronteiras estocásticas; c) estudos aplicados para tomada de decisão nas políticas públicas. Nesse último, vale destacar o trabalho de Ozcan¹², que estimou o desperdício econômico relacionado à ineficiência da rede hospitalar americana (3% do PIB). Na literatura nacional, vale citar o trabalho de Marinho et al.¹³, que utilizou o modelo clássico descritivo para o SIHUF/MEC, mas não garantiu a homogeneidade das DMUs (todos os hospitais entraram no modelo, sem distinção de especialidade).

A Análise Envoltória de Dados (DEA) é ferramenta promissora para apoio ao monitoramento das políticas públicas, já que permite abordar simultaneamente diferentes dimensões das unidades de saúde. Além disso, para cada dimensão, a análise de resultados (outputs) considera a diferença de recursos estruturais e também a demanda epidemiológica, já que indicadores de saúde podem ser inseridos como variáveis de input¹⁴. Uma vez construída a fronteira das melhores práticas para diferentes conjuntos de recursos, calculam-se as modificações necessárias para que os vetores de inputs/outputs garantam a eficiência das unidades observadas. Sob a ótica do órgão regulador, isso implica na contração ou expansão dos recursos liberados, ou na contratualização de metas para a produção de resultados a partir de um montante de recursos orçamentados.

Nesse trabalho, com a análise exploratória 3-D, foram traçadas estratégias metodológicas que talvez não fossem intuídas a partir do modelo completo, entre elas: uso de razões como variáveis de assistência, análise gráfica do impacto da troca de variáveis, incorporação de variáveis de complexidade para ajuste, estudo de distribuição de pesos e introdução das restrições. Ainda, para lidar com situações mais complexas, os modelos clássicos são insuficientes, dado que uma etapa essencial e insubstituível no processo de modelagem consiste na interação com os tomadores de decisão e na definição de critérios de consenso. Essa etapa é viabilizada pelo desenvolvimento de submodelos intermediários e inteligíveis de modo a garantir a confiabilidade e a aplicação do benchmark final.

Conforme revisão de Freeman¹⁵ sobre uso de indicadores de desempenho em saúde, o sucesso da derivação, da implementação e do uso dos mesmos depende da clareza de objetivos, da participação dos atores e da incorporação de metodologias soft que facilitem a interpretação.

Não se pretende nesse trabalho divulgar, como modelo final do desempenho, o índice que resultou para cada unidade estudada, até sob o risco de contradizer a colocação anterior de que o processo de escolha das variáveis e de introdução das restrições aos pesos deve ser construído por meio de consenso com os atores, especialistas, analistas e gestores envolvidos no processo. Pode-se, outrossim, observar que os resultados parciais ora apresentados são compatíveis com as premissas conceituais, com as novas tendências de aplicação de DEA, além de estruturados de forma a serem levados aos decisores, visando a garantir validade de conteúdo, de construto e a validade lógica, respectivamente.

Aqui, não se esgotam as possibilidades de utilização da metodologia proposta para apoio à Política de Reestruturação de Hospitais de Ensino. Além das medidas de desempenho baseadas nos dados de certificação desses hospitais, os contratos de metas, em fase de elaboração, com orçamentos fixos (inputs) para um conjunto de metas pactuadas (outputs), poderão gerar um algoritmo de apoio à decisão orçamentária, sem desconsiderar, mais uma vez, a necessidade de negociação entre as partes, já que a fronteira de produtividade, conforme descrito na metodologia, pode ser remodelada de acordo com a perspectiva do gestor em relação aos objetos sob negociação. Se o decisor pertence ao órgão regulador, a introdução das restrições deve se dar de forma homogênea para todas as DMUs. Por outro lado, para o gerente da unidade sob a avaliação, nem todas as porções da fronteira podem corresponder a soluções viáveis ou compatíveis com a realidade local, e um novo leque de restrições pode ser introduzido, servindo de base para futuras rodadas de negociação¹⁶. Finalmente, é consenso na perspectiva de todos que a eficiência é uma dimensão básica a ser avaliada no estudo de desempenho hospitalar¹⁷, que tanto o órgão regulador como as unidades buscam a coerência entre os mecanismos de controle externo e interno e, principalmente, que a transformação de ações punitivas em ações educativas e formativas é condição básica para melhoria da oferta de saúde para a população, pressupostos que a metodologia proposta busca considerar.

Colaboradores

ME Lins e AM da Silva trabalharam no desenvolvimento do software e modelagem. MS de Castro Lobo e R Fiszman, na elaboração do banco de dados, escolha de variáveis e concepção analítica. VJ Ribeiro fez revisão da literatura. A metodologia de trabalho integrou as atividades em reuniões semanais.

Agradecimentos

Os autores agradecem o suporte dado ao projeto pelo DECIT/MS, por intermédio do CNPq. Edital 037/2004 Sistemas e Políticas de Saúde – Qualidade e Humanização no SUS.

Artigo apresentado em 25/07/2006

Aprovado em 23/10/2006

Versão final apresentada em 24/11/2006

• ¹
  Ministério da Educação e Ministério da Saúde. Portaria Interministerial 1.006, de 27 de maio de 2004. Dispõe sobre a criação do Programa de Reestruturação dos Hospitais de Ensino do Ministério da Educação no Sistema Único de Saúde. Diário Oficial da União 2004; 27 maio.
• 2. Lins MPE, Meza LA. Análise Envoltória de Dados e Perspectivas de Integração no Ambiente de Apoio à Decisão Rio de Janeiro: COPPE/UFRJ; 2000.
• 3. Allen R., Athanassopoulos A., Dyson RG, Thanassoulis E. Weights restrictions and value judgements in data envelopment analysis: evolution, development and future directions. Annals of Operations Research 1997; 73: 13-34.
• 4. Seiford LM. A Bibliography for Data Envelopment Analysis (1978-1996). Annals of Operations Research 1997; 73: 393-438.
• 5. Rosko MD, Chilingerian JA. Estimating hospital inefficiency: Does case mix matter? Journal of Medical Systems 1999; 23(1): 51-71.
• 6. Lobo M S C, Bloch KV, Fiszman R, Oliveira MR, Ribeiro VJP. Sistema de informações dos hospitais universitários (SIHUF/MEC): um banco de dados administrativo. Cadernos de Saúde Coletiva 2006; 14 (1):149-162
• 7. Grosskopf S, Margaritis D, Valdmanis V. Competitive effects on teaching hospitals. European Journal of Operational Research 2004; 154 (11):515-525.
• 8. Roy B. Méthodology multicritère d'aide à la decision. Paris: Economica; 1990.
• 9. Donabedian A. Explorations in quality assessment and monitoring. Vol. I. The Definition of Quality and Approaches to its Assessment. Michigan, Ann Harbor: Health Administration Press; 1980.
• ¹⁰
  Ministério da Educação e Ministério da Saúde. Portaria Interministerial 1.000, de 15 de abril de 2004. Dispõe sobre os requisitos necessários para a certificação dos hospitais de ensino. Diário Oficial da União 2004; 15 abril.
• 11. Chen A, Hwang Y, Shao B. Measurement and sources of overall and input inefficiencies: Evidences and implications in hospital services. European Journal of Operational Research 2005;161: 447-468.
• 12. Ozcan Y. Efficiency of Hospital Service Production in Local Markets: the Balance Sheet of U.S. Medical Armament. Socio-Economic Planning Sciences 1995; 29(2):139-150.
• 13. Marinho A, Façanha LO. Hospitais universitários: avaliação comparativa da eficiência técnica. Revista de Economia Aplicada 2000; 4(2):315-349.
• 14. Gasparini CE, Ramos FS. Relative deficit of health services in Brazilian states and regions. Brazilian Review of Econometrics 2004; 24(1):75-107.
• 15. Freeman T. Using performance indicators to improve health care quality in the public sector: a review of the literature. Health Services Management Research 2002; 15(2):126-137.
• 16. Lins MPE, Sollero MKV, Calôba GM, Moreira da Silva AC. Integrating the regulatory and utility firm perspectives, when measuring the efficiency of electricity distribution. European Journal of Operational Research. In press 2006.
• 17. Veillard J, Champagne F, Klazinga N, Kazadjian V, Arah O A, Guisset A-L. A performance assessment framework for hospitals: the WHO regional office for Europe PATH project. International Journal for Quality in Health Care 2005; 17(6): 487-496.

Datas de Publicação

• Publicação nesta coleção
  19 Jun 2007
• Data do Fascículo
  Ago 2007

Histórico

• Aceito
  24 Nov 2006
• Revisado
  23 Out 2006
• Recebido
  25 Jul 2006