Acessibilidade / Reportar erro

Eficiência dos gastos municipais em saúde e educação: uma investigação através da análise envoltória no estado do Rio de Janeiro

Efficiency of municipal expenditure in health and education: an investigation using data envelopment analysis in the state of Rio de Janeiro, Brazil

Resumos

Este artigo analisa a eficiência dos gastos públicos nos municípios fluminenses no período 1999/2000, por meio da aplicação da análise envoltória de dados. O estudo adota os indicadores sociais e de gastos municipais das seguintes áreas temáticas da realidade social: educação e cultura; saúde e saneamento. O artigo apresenta uma revisão de várias aplicações de DEA no campo das políticas públicas e, em seguida, os indicadores e modelos propostos para análise da eficiência dos gastos sociais. Aplicou-se o modelo BCC da DEA, com orientação output, isto é, visando maximizar os outputs sem diminuir os inputs. Foram selecionados indicadores de despesas per capita com educação e cultura e com saúde e saneamento como inputs do modelo em questão. Já as variáveis "candidatas" a outputs foram definidas como: taxa de alfabetização de 10 a 14 anos; proporção de domicílios particulares permanentes com esgotamento sanitário adequado; proporção de domicílios particulares permanentes com saneamento adequado; o inverso da taxa de mortalidade por causas hídricas; a proporção de crianças de dois a cinco anos matriculadas em creches ou escolas de educação infantil. O artigo destaca como "boas práticas", no que se refere à eficiência das políticas públicas, pelos resultados que alcançam em termos do que alocam como recursos ou pelas condições de renda média, os municípios de São Gonçalo, Japeri, Queimados, Cantagalo, São João de Meriti e Resende.

eficiência; gasto público; indicadores sociais; DEA


This article analyzes the efficiency of the public spending in cities and towns of the state of Rio de Janeiro during 1999-2000 applying data envelopment analysis. The study adopted social indicators of municipal expenses in following thematic areas of the social reality: education and culture; health and sanitation. The article reviews several DEA applications to public policies and then presents the indicators and models considered for social expenditure efficiency analysis. It adopted the BCC output model of DEA, so as to maximize outputs without decreasing inputs. Indicators of per capita expenditure on education and culture and on health and sanitation were used as inputs of the model in question. The ‘candidates’ for outputs were the following well-being indicators: literacy rate of 10-14 year-old children; ratio of permanent private homes with adequate sanitary disposal; ratio of permanent private homes with proper sanitation; the inverse of mortality rate by sanitation causes; ratio of 2-5 year-old children registered at day child-care centers or children schools. The analysis indicated as ‘good practices’, considering the efficiency of their public expenditure, the cities of São Gonçalo, Japeri, Queimados, Cantagalo, São João de Meriti, and Resende, due to the results they achieve in terms either of resource allocation or of medium revenue.

efficiency; public expenses; social indicators; DEA


ARTIGOS

Eficiência dos gastos municipais em saúde e educação: uma investigação através da análise envoltória no estado do Rio de Janeiro* * Artigo resultante de dissertação de mestrado da primeira autora, no Programa de Mestrado em Estudos Populacionais e Pesquisas Sociais da Ence, como parte das atividades do projeto de pesquisa "Informação estatística no ciclo de formulação, monitoramento e avaliação de políticas públicas no Brasil" com recursos do CNPq (Proc. 307101/2004-5). Os autores agradecem ao prof. dr. Marcos Estellita Lins pelas valiosas sugestões a este artigo, não cabendo-lhe qualquer responsabilidade por eventuais imprecisões e lacunas.

Efficiency of municipal expenditure in health and education: an investigation using data envelopment analysis in the state of Rio de Janeiro, Brazil

Flavia Peixoto FariaI; Paulo de Martino JannuzziII; Silvano José da SilvaIII

IMestre em estudos populacionais e pesquisas sociais. Escola Nacional de Ciências Estatísticas do IBGE. Endereço: Rua André Cavalcanti, 106/1o andar — CEP 20231-050, Rio de Janeiro, RJ, Brasil. E-mail: flavia_faria@uol.com.br

IIDoutor em demografia pela Unicamp, professor associado. Escola Nacional de Ciências Estatísticas do IBGE. Endereço: Rua André Cavalcanti, 106/1o andar — CEP 20231-050, Rio de Janeiro, RJ, Brasil. E-mail: pjannuzzi@ibge.gov.br

IIIBolsista da Faperj. Doutor em engenharia de produção pelo Instituto Alberto Luiz Coimbra de Pós-Graduação e Pesquisa de Engenharia da Universidade Federal do Rio de Janeiro (Coppe/UFRJ). Endereço: Rua Presidente Carlos de Campos, 300, ap. 301 — CEP 22231-080, Rio de Janeiro,RJ, Brasil. E-mail: silvano46@oi.com.br

RESUMO

Este artigo analisa a eficiência dos gastos públicos nos municípios fluminenses no período 1999/2000, por meio da aplicação da análise envoltória de dados. O estudo adota os indicadores sociais e de gastos municipais das seguintes áreas temáticas da realidade social: educação e cultura; saúde e saneamento. O artigo apresenta uma revisão de várias aplicações de DEA no campo das políticas públicas e, em seguida, os indicadores e modelos propostos para análise da eficiência dos gastos sociais. Aplicou-se o modelo BCC da DEA, com orientação output, isto é, visando maximizar os outputs sem diminuir os inputs. Foram selecionados indicadores de despesas per capita com educação e cultura e com saúde e saneamento como inputs do modelo em questão. Já as variáveis "candidatas" a outputs foram definidas como: taxa de alfabetização de 10 a 14 anos; proporção de domicílios particulares permanentes com esgotamento sanitário adequado; proporção de domicílios particulares permanentes com saneamento adequado; o inverso da taxa de mortalidade por causas hídricas; a proporção de crianças de dois a cinco anos matriculadas em creches ou escolas de educação infantil. O artigo destaca como "boas práticas", no que se refere à eficiência das políticas públicas, pelos resultados que alcançam em termos do que alocam como recursos ou pelas condições de renda média, os municípios de São Gonçalo, Japeri, Queimados, Cantagalo, São João de Meriti e Resende.

Palavras-chave: eficiência; gasto público; indicadores sociais; DEA.

ABSTRACT

This article analyzes the efficiency of the public spending in cities and towns of the state of Rio de Janeiro during 1999-2000 applying data envelopment analysis. The study adopted social indicators of municipal expenses in following thematic areas of the social reality: education and culture; health and sanitation. The article reviews several DEA applications to public policies and then presents the indicators and models considered for social expenditure efficiency analysis. It adopted the BCC output model of DEA, so as to maximize outputs without decreasing inputs. Indicators of per capita expenditure on education and culture and on health and sanitation were used as inputs of the model in question. The ‘candidates’ for outputs were the following well-being indicators: literacy rate of 10-14 year-old children; ratio of permanent private homes with adequate sanitary disposal; ratio of permanent private homes with proper sanitation; the inverse of mortality rate by sanitation causes; ratio of 2-5 year-old children registered at day child-care centers or children schools. The analysis indicated as ‘good practices’, considering the efficiency of their public expenditure, the cities of São Gonçalo, Japeri, Queimados, Cantagalo, São João de Meriti, and Resende, due to the results they achieve in terms either of resource allocation or of medium revenue.

Keywords: efficiency; public expenses; social indicators; DEA.

1. Introdução

A necessidade de se obter maior eficiência e maior impacto dos gastos públicos tem ensejado um aprimoramento nos instrumentos e técnicas para tomada de decisão e para avaliação das políticas públicas no país (Costa e Castanhar, 2003; Jannuzzi, 2002). Podemos observar um esforço crescente de diversas instituições e pesquisadores na aplicação de metodologias mais aprimoradas de avaliação de programas sociais e, entre estas, a análise envoltória de dados (DEA — data envelopment analysis) (Lins e Meza, 2000).

Este artigo é mais uma aplicação da DEA na área das políticas públicas. Mais especificamente, o seu objetivo é a análise da relação existente entre as despesas sociais realizadas nos municípios – isto é, os gastos públicos com educação e cultura, saúde e saneamento – e indicadores da condição de vida da população residente nos mesmos, no final dos anos 1990, tomando como universo de análise um conjunto expressivo de municípios fluminenses, por meio da aplicação da técnica análise envoltória de dados. Procuramos avaliar as políticas públicas desses municípios, por meio da análise entre os recursos (inputs) disponíveis e os resultados, ou melhor, o impacto dos serviços (outputs) prestados pelos mesmos. Em outras palavras, temos como objetivo verificar se os recursos orçamentários de cada um desses municípios estão sendo bem utilizados, para que isso se reflita nos seus indicadores sociais, em especial os de saúde e educação.

Para desenvolver este artigo, lidamos com os indicadores sociais e de gastos municipais das seguintes áreas temáticas da realidade social: educação e cultura; saúde e saneamento. Os indicadores aqui usados foram obtidos do Censo Demográfico de 2000, realizado pelo IBGE; da Fundação Cide (Instituto Estadual de Planejamento e Estatística do Estado do Rio de Janeiro); do Datasus (agência federal de informações em saúde pública); do Inep (Instituto Nacional de Estudos e Pesquisas Educacionais) e da Secretaria do Tesouro Nacional do Ministério da Fazenda.

O artigo está estruturado em cinco seções. Inicia-se com uma revisão de estudos aplicados de DEA no campo das políticas públicas, passando em seguida à especificação dos indicadores e amostra do estudo.

2. Aplicações de DEA em políticas públicas

A metodologia DEA surgiu na tese de doutorado de Edward Rhodes, publicada em 1978 (Lins e Meza, 2000). O objetivo da tese era o desenvolvimento de um método para comparar a eficiência de escolas públicas, considerando uma série de insumos ou recursos (inputs) utilizados e uma série de produtos (outputs) gerados por uma unidade – escola. Assim, de acordo com Meza (1998), o modelo desenvolvido estendia o enfoque da medida de eficiência de engenharia, limitado a um output/input, para múltiplos-outputs/múltiplos-inputs. A DEA se caracteriza por ser um enfoque não-paramétrico para a determinação de fronteiras de produção, isto é, não precisa de nenhuma suposição no que diz respeito à forma da função que define a fronteira de produção. Tal fronteira de produção ou tecnologia é definida como a máxima quantidade de outputs que pode ser obtida, tendo em vista os inputs utilizados num determinado processo de produção (figura 1). A eficiência calculada pela DEA é relativa e baseada em observações reais, ou seja, as unidades tomadoras de decisão (DMUs) têm seus desempenhos medidos por meio da comparação de seus resultados e dos seus insumos com os resultados e insumos das outras DMUs da amostra. As DMUs consideradas eficientes determinam uma fronteira de eficiência (Pareto-eficiente) e possuem eficiência igual a 1 ou 100%. Assim, a DEA permite que se calcule a eficiência de cada DMU, ao realizar comparações entre as unidades do grupo analisado, no intuito de destacar as melhores dentro dele. Além disso, essa técnica possibilita a identificação das causas e dimensões da ineficiência relativa de cada unidade avaliada, indicando as variáveis que podem ser trabalhadas para a melhoria do resultado de uma determinada DMU ineficiente.


Embora ainda recente no país, já há um conjunto significativo de trabalhos aplicados da técnica no campo, com nível avançado de sofisticação metodológica.1 1 Em âmbito internacional a técnica está mais disseminada nesse campo, como ilustra o trabalho de Martié e Savié (2001), que aplicaram a análise envoltória de dados para estimar como as regiões da Sérvia utilizavam os seus recursos. O objetivo do trabalho era analisar as possibilidades de a metodologia DEA classificar essas regiões com base no grau de utilização de suas potencialidades e de determinar um grupo de unidades reais ( targets) para que regiões relativamente ineficientes se tornassem eficientes. Assim, eles optaram por trabalhar com quatro inputs (área cultivável, material bruto, consumo de eletricidade e população) e quatro outputs (PIB, número total de médicos, número total de alunos na escola primária e número total de empregados no setor social). Um exemplo nesse sentido, de aplicação da metodologia DEA no âmbito das políticas públicas, é o estudo feito por Marinho (2001), onde foram avaliados os serviços ambulatoriais e hospitalares nos municípios do estado do Rio de Janeiro relativos ao ano de 1998. Marinho (2001) analisou a eficiência da prestação de serviços de saúde em 74 municípios do estado do Rio de Janeiro no referido ano, o que definiu as DMUs que constam no modelo da DEA. Com base nesses dados, a rede de serviços de saúde do estado do Rio de Janeiro foi representada como "um sistema de entradas e saídas que transforma capacidade de atendimento, materializada em recursos materiais e financeiros, em serviços típicos do atendimento hospitalar e ambulatorial, além de um indicador de qualidade" (Marinho, 2001:1).

Bezerra e Diwan (2001), por sua vez, desenvolveram um trabalho cujo objetivo foi comparar os indicadores socioeconômicos das cidades brasileiras mais populosas. Tal comparação foi realizada por meio da utilização do índice de desenvolvimento humano (IDH) e da técnica DEA, cuja aplicação se deu no intuito de medir a eficiência da alocação dos recursos municipais. Com o objetivo de comparar as metodologias — IDH e DEA — os autores utilizaram, como outputs, os mesmos indicadores usados no cálculo do índice de desenvolvimento humano. Foram escolhidos como inputs fatores que podem ser divididos em investimentos municipais e em infra-estrutura existentes nas cidades. Entre tais investimentos destacam-se: gastos per capita do município com educação, saúde e saneamento, habitação e transporte. Já como fatores relacionados à infra-estrutura municipal, os autores empregaram o número de habitantes por leito hospitalar, o número de matrículas nos ensinos pré-escolar, fundamental e médio sobre o número de professores nesses três níveis de ensino e o número de empresas sediadas ou com atividades no município. Bezerra e Diwan concluíram que a utilização da análise envoltória de dados permitiu a consideração da eficiência dos usos dos recursos municipais, ampliando, assim, o alcance da metodologia do IDH, possibilitando a identificação dos municípios "bons" e "ruins", isto é, aqueles que conseguiram bons resultados mesmo com poucos investimentos e os que precisam reformular sua gestão em função dos resultados comparativamente baixos, tendo em vista o volume aportado de recursos públicos.

Castro (2003) desenvolveu um trabalho cujo objetivo era verificar a aplicabilidade da DEA ao setor de saneamento. Tal aplicação visava medir a eficiência gerencial relativa de um grupo de empresas prestadoras de serviços de água e esgotos listadas no Sistema Nacional de Informações sobre Saneamento (SNIS). A base de dados utilizada foi composta pelas 71 maiores empresas de água e esgotos do Brasil, com base no número de ligações ativas de água e indicadores de desempenho operacional. Concluiu-se que a aplicação da metodologia DEA mostrou-se adequada ao permitir a identificação das empresas eficientes em diversas situações, em virtude, principalmente, do seu poder discriminatório, já que os dados para as variáveis utilizadas apresentaram altas correlações. Além disso, a utilização da DEA serviu para apontar pontos com potencial de melhoria nas empresas, sugerindo, até mesmo, onde buscar as melhores práticas.

Em contextos mais específicos, como no campo da avaliação educacional, existem vários trabalhos que utilizam a metodologia da análise envoltória de dados. Um deles, realizado por Façanha e Marinho (2001), tem como base de dados as informações referentes às atividades das instituições de ensino superior (IES) extraídas dos censos do ensino superior, para os anos de 1995, 1996, 1997 e 1998. Também foram considerados os dados obtidos junto à Coordenação de Aperfeiçoamento do Pessoal de Ensino Superior (Capes), do Ministério da Educação e do Desporto (MEC), para os anos de 1996 e 1997. As DMUs foram definidas a partir das agregações de IES federais, estaduais, municipais e particulares feitas para cada ano e para cada UF. As variáveis utilizadas como inputs foram: total de docentes, total de docentes em tempo integral, total de docentes em tempo parcial e total de servidores. Já entre as variáveis escolhidas como outputs podemos citar o total de docentes com doutorado, o total de matrículas em cada área de conhecimento e o total de cursos. Por meio dessas comparações, Façanha e Marinho concluíram, entre outras coisas, que as eficiências relativas das DMUs municipais e particulares foram máximas em 1995, não ocorrendo o mesmo com as DMUs federais e estaduais. Eles observaram ainda que, com o passar dos anos, a média da eficiência relativa das DMUs particulares foi diminuindo, enquanto a média de eficiência relativa das DMUs estaduais sofreu aumentos até o ano de 1997. Concluindo, os autores apontaram a limitação dos resultados, pelo fato de não considerarem indicadores de recursos mais abrangentes.

Meza (1998) aplicou a metodologia DEA ao estudo da eficiência dos 12 programas de pós-graduação da Coppe/UFRJ, com o objetivo de analisar a eficiência dos recursos humanos (professores e funcionários) com que conta cada programa e os "produtos" fornecidos por esses recursos. Para minimizar os problemas referentes à importância relativa das variáveis para cada programa foi utilizada uma técnica complementar, chamada avaliação cruzada (cross evaluation). Essa técnica avalia cada programa segundo o esquema de pesos ótimos dos outros programas.

Estudo semelhante foi desenvolvido por Silva e Fernandes (2001), que fizeram uso da DEA como ferramenta quantitativa auxiliar no processo de avaliação de cursos de pós-graduação. Para o trabalho, foram usados os dados dos programas de pós-graduação de engenharias que foram coletados pela Capes para o ano-base de 1998. O processo de avaliação desenvolvido pela Capes se divide basicamente em três critérios: a divisão dos programas em áreas do conhecimento; os quesitos e itens de avaliação; e os atributos da avaliação, onde se atribui um determinado grau para cada curso. Por meio da DEA foram identificadas as referências de fronteira apontadas como melhores práticas para esses programas. De acordo com Silva e Fernandes (2001:60),

as indicações de potenciais de melhoramento (sugestões para aumentar ou diminuir inputs e outputs), os programas mais vezes referenciados na fronteira (benchmarks), a contribuição que cada unidade apontada como referência teve para a formulação das metas sugeridas e a contribuição que cada variável teve na formulação do resultado para esses programas.

Soares de Mello e colaboradores (2000) integraram os modelos DEA com os sistemas de informação geográfica (SIG) para avaliar a eficiência da Universidade Federal Fluminense (UFF) em motivar jovens dos municípios (DMUs) do estado do Rio de Janeiro a tentar ingressar em seus cursos superiores, assim como a eficiência desses municípios em conseguir que seus habitantes ingressem no ensino superior. O objetivo era fornecer uma visão quantitativa da atuação da UFF nesse estado, que pudesse ser usada como base para futuras tomadas de decisão dessa instituição em sua política de interiorização. Em outra oportunidade, Soares de Mello e colaboradores (2002) usaram a análise envoltória de dados como ferramenta para o apoio multicritério à decisão (MCDA) na problemática de ordenação, enfocando o problema da fraca discriminação que surge nessa aplicação. Para tanto, um método objetivo que se baseia no uso adequado de um número limitado de inputs e outputs é apresentado, no intuito de melhorar o poder discriminatório de DEA e de minimizar a perda de parte da relação causal da abordagem que utiliza DEA como ferramenta MCDA na solução da problemática dessa natureza. Ao final de todo o processo, foi concluído que o uso de um modelo multicritério para a escolha de variáveis do modelo DEA permitiu uma boa ordenação, sem grande prejuízo ao ajuste das DMUs à fronteira de eficiência.

Esses relatos mostram o quadro de complexidade crescente de situações em que a DEA tem sido aplicada, e da sofisticação metodológica empregada na pesquisa na área. Embora a aplicação aqui não trate de uma situação de avaliação muito complexa, nem de uma implementação técnica mais sofisticada, sua contribuição está na discussão acerca das especificações de indicadores e amostra do modelo, além da interpretação dos seus resultados.

3. As especificações do estudo: amostra de DMUs e indicadores input e output

Como observam Lins e Meza (2000), a aplicação da metodologia DEA em um problema qualquer segue três etapas principais: a definição e seleção das DMUs para análise; a seleção de variáveis (inputs e outputs) que são relevantes e apropriadas para estabelecer a eficiência relativa das DMUs selecionadas; a aplicação dos modelos DEA, com maior ou menor nível de sofisticação.

A seleção de DMUs para a análise é de grande importância para os resultados já que a metodologia DEA é sensível a valores extremos, o que configura, ao mesmo tempo, uma limitação (se os dados forem imprecisos) e uma potencialidade dessa técnica (se os dados denotam uma situação de boas práticas). É preciso garantir que os indicadores relativos às DMUs sejam confiáveis, e que eventuais variações extremas sejam, de fato, situações concretas, não erros de medida. Ou seja, os valores que se apresentam muito afastados da tendência central dos indicadores em questão não devem ser potenciais outlier, mas, sim, um padrão a ser seguido pelas unidades ineficientes para que estas se tornem eficientes. Por isso, antes da aplicação da metodologia é preciso realizar uma análise exploratória de dados, a fim de retirar DMUs potencialmente enviesantes.

A escolha das variáveis para se trabalhar no modelo da DEA foi baseada no objetivo já explicitado. Assim, optamos por trabalhar com as despesas por função, no caso, gastos per capita com educação e cultura (gedu) e com saúde e saneamento (gsau) como inputs do modelo em questão. Tais gastos foram considerados em um momento apenas, não em um período anterior aos resultados do censo 2000, pois supomos que, dada a rigidez da orçamentação pública (nas grandes rubricas de gastos), o nível identificado por volta do ano 2000 seja representativo dos dados dos anos anteriores.

O rendimento médio mensal dos responsáveis pelos domicílios particulares permanentes (renda) também foi considerado um input nesse caso. Tal rendimento, calculado em nível municipal, deve ser considerado uma variável exógena, ambiental ou não discricionária (Lins e Meza, 2000) introduzida no modelo DEA como input com o objetivo de relativizar os efeitos que um padrão médio mais elevado de renda poderia ter sobre os outputs, independentemente do nível de gasto público alocado. Assim, podemos fazer um julgamento mais consistente da situação, por exemplo, em que dois municípios, com renda média muito diferente, mas que apresentem nível de gasto social per capita muito próximo, venham revelar resultados muito diferentes em termos dos indicadores de condições de vida. Para o município mais pobre há que se considerar que o output esperado seja menor, ainda que com gasto público igual ou maior que o verificado no município mais rico. Por outro lado, para o município mais rico há que se esperar resultados tão bons ou melhores, para o mesmo nível de gasto social; do contrário, ele deveria ser considerado um município menos eficiente.

Já as variáveis "candidatas" a outputs foram definidas como os seguintes indicadores de condições de vida: taxa de alfabetização de 10 a 14 anos (txalfa); proporção de domicílios particulares permanentes com esgotamento sanitário adequado (propesgot);2 2 Domicílios com escoadouros ligados à rede geral ou fossa séptica. proporção de domicílios particulares permanentes com saneamento adequado (propsan);3 3 Domicílios com escoadouros ligados à rede geral ou fossa séptica, servidos de água proveniente de rede geral de abastecimento e com destino do lixo coletado diretamente ou indiretamente pelos serviços de limpeza. o inverso da taxa de mortalidade por causas hídricas (invtxmort);4 4 Mortes por algumas doenças infecciosas e parasitárias. proporção de crianças de 2 a 5 anos matriculadas em creches ou escolas de educação infantil (propcrech); e o indicador de provimento social (provs), ou seja, o complemento do déficit social, entendido como a proporção de domicílios particulares permanentes, com saneamento não adequado, com responsáveis com menos de 4 anos de estudo e com rendimento mensal de até 2 salários mínimos.5 5 O indicador provimento social é, por construção, complementar ao indicador de déficit social, trazido na publicação Indicadores sociais municipais do IBGE. É um indicador síntese das condições sociais nos municípios brasileiros, refletindo o déficit de atendimento de serviços públicos básicos nos municípios. Outra função para provs, o inverso do indicador de déficit social, poderia ter sido utilizada, mas teve pouco poder de discriminação.

A escolha da taxa de alfabetização de 10 a 14 anos está intimamente ligada ao fato de que a educação destinada a essa faixa etária (escolarização básica) é de crescente incumbência dos municípios, ainda que com forte participação de verbas estaduais. O fato de não se ter escolhido como output, por exemplo, o grau de instrução dos responsáveis pelos domicílios particulares permanentes, se justifica pela constatação de que este indicador não está diretamente associado às despesas com educação e cultura desse município especificamente. Muitas vezes, um indivíduo sai de sua terra natal para completar os seus estudos em outro município, em busca de melhores oportunidades, podendo, até mesmo, nem retornar ao seu município de origem. Logo, esse indicador não tem ligação intrínseca com os gastos com educação e cultura realizados no município no presente.

O indicador proporção de crianças em creches é certamente mais específico e mais relacionado aos gastos municipais em educação e cultura que a taxa de alfabetização, já que a Constituição Federal, em seu art. 211, § 2o, delega à esfera municipal a responsabilidade pelo provimento desse tipo de serviço público.

A escolha por trabalhar com o inverso da taxa de mortalidade por causas hídricas (e com o indicador de provimento social) se deve à própria orientação output do modelo DEA considerado neste artigo. Como buscamos, na realidade, a minimização da taxa de mortalidade e do indicador de déficit social, então, para que houvesse uma adequação na introdução desses indicadores no modelo, definimos como output a ser maximizado o inverso dessa taxa de mortalidade (1/txmort) e o indicador de provimento social (provs = 100 – déficit social). O indicador inverso da taxa de mortalidade de 0 a 4 anos por causas hídricas é certamente uma medida bastante específica e válida de condições de vida. Está sujeito, contudo, a problemas de confiabilidade na declaração do atestado de óbito e à variabilidade de um ano para outro. Por isso tomamos a média de 1999 a 2001 no cômputo do indicador usado neste artigo.

A escolha pelo indicador de proporção de domicílios particulares permanentes com esgotamento sanitário adequado em detrimento, por exemplo, do indicador de proporção de domicílios com rede geral de saneamento se baseia no fato de que o indicador selecionado engloba esse aspecto, uma vez que seu cálculo foi obtido da razão entre a soma do número de domicílios permanentes com rede geral e com fossa séptica e o número total de domicílios permanentes. Esse indicador e o de proporção de domicílios particulares permanentes com saneamento adequado estão, em tese, intimamente relacionados com os gastos públicos com saúde e saneamento, e o provs também deve possuir ligação com os gastos na área de educação e cultura.

4. A análise do modelo DEA adequado

De acordo com o nosso objetivo e a constatação de que, em geral, as relações que se estabelecem no campo das políticas públicas não supõem retornos constantes de escalas, como vimos nas diversas aplicações da metodologia DEA citadas anteriormente, optamos por aplicar o modelo BCC da DEA. Tal modelo utiliza a fronteira VRS, que considera rendimentos variáveis de escala, com orientação output. Trata-se, pois, de maximizar os outputs sem diminuir os inputs, ou seja, responder às questões: dados os recursos orçamentários limitados, quais municípios conseguem utilizá-los de forma mais eficiente? Qual o output esperado em termos de indicadores sociais para os municípios fluminenses tendo em vista o volume de recursos públicos neles aportados?

A análise exploratória de dados univariada, aplicada ao conjunto de indicadores disponíveis, sugeriu a retirada de alguns municípios por falta de dados ou por possuírem dados destoantes. Com relação à falta de informação para alguns municípios, vale citar, no caso dos inputs, a não disponibilidade de dados sobre gastos para os municípios de Mesquita e Seropédica. Optamos por retirar esses dois municípios da análise. O mesmo foi feito no caso do output, onde se evidenciou a falta de dados para alguns municípios no que diz respeito à taxa de mortalidade de 0 a 4 anos por causas hídricas (Cambuci, Italva, Itaocara, São José de Ubá, Carapebus, Quissamã, Comendador Levy Gasparian, Sapucaia, Trajano de Moraes, Casimiro de Abreu, Iguaba Grande, Silva Jardim, Rio das Flores e São José do Vale do Rio Preto). Dos 92 municípios, após a análise exploratória, ficamos com uma amostra de 75. Com a aplicação de uma análise exploratória trivariada, isto é, de gráficos com três variáveis simultaneamente, permitida pelo programa Ideal,6 6 Foi usada a versão 1.1 do programa Ideal, em desenvolvimento pelo prof. dr. Marcos Estellita Lins/Coppe/UFRJ. Por meio dele foi possível fazer gráficos com três indicadores simultaneamente, especialmente com os indicadores de gastos em saúde/educação, renda e os demais, a serem usados no modelo DEA como outputs. Retiramos da amostra aqueles municípios em que a visualização dos gastos, renda e indicador output se mostrasse inconsistente. Naturalmente, nesse procedimento há sempre o risco de se tomar um benchmark como outlier. o conjunto de municípios ficou ainda mais reduzido: ao final do processo de depuração, foram selecionados 62 municípios.

De acordo com Lins e Meza (2000), a seleção de variáveis a serem introduzidas no modelo DEA deve se pautar pelos seguintes aspectos: se a variável possui informação necessária que não tenha sido incluída em outras variáveis; se a variável possui relação com pelo menos um dos objetivos da aplicação ou contribui para algum(ns) deste(s) objetivo(s); se a variável possui dados confiáveis e seguros; se a variável explica a eficiência de uma DMU. Os autores acrescentam ainda que um dos critérios para seleção de variáveis é o impacto dela na discriminação das DMUs. No intuito de selecionar as variáveis que deverão ser excluídas do modelo, deve-se testar o poder de discriminação das mesmas. Essa foi a técnica adotada na seleção do modelo adequado.

A construção dos modelos foi pautada pelo teste seqüencial dos indicadores output, já que como input deveriam figurar, pela problemática proposta, o indicador de gasto em educação (geduc) e/ou saúde (gsau), além do indicador renda, usado como variável não discricionária no modelo.

Entre os vários modelos estudados para os 62 municípios, com diferentes outputs, chegamos aos modelos A (gsau-renda-invtxmort) e B-1 (geduc-renda- ppcrech), que apresentaram maior poder de discriminação das DMUs, na forma medida pela diferença interquartilítica e outras medidas de dispersão. O modelo B (geduc-renda-txalfa) é certamente muito pouco apropriado, a julgar pela magnitude do intervalo interquartilítico. Era de se esperar que assim fosse, já que os gastos municipais com educação têm, em geral, pouca aplicação em campanhas específicas e massivas em alfabetização de adultos. Os demais modelos, com o B-2 com todas as variáveis incluídas como output, não melhoraram o poder de discriminação dos modelos DEA, como podemos verificar pela tabela 1. Os modelos com provs apresentaram pouco poder de discriminação das DMUs, certamente como resultado da baixa associação e especificidade dos gastos mencionados com as dimensões retratadas no indicador.

Optamos, assim, por dois modelos DEA, um para avaliação da eficiência do gasto em saúde e saneamento (tendo como output o inverso da mortalidade de crianças por causas hídricas), outro para gasto em educação e cultura (tendo como resultado avaliado a proporção de crianças em creches e educação infantil). Tais modelos parecem enquadrar melhor as especificidades da associação entre os gastos sociais (gsau ou geduc) e suas medidas de resultados específicos (invtxmort ou ppcrech). A visualização gráfica dos mesmos é apresentada nas figuras 2 e 3.



Como podemos verificar na tabela 2, há, nos dois modelos (A e B-1), 4 DMUs (municípios) considerados eficientes: Cardoso Moreira, Japeri, São Fidélis e São Gonçalo. Cardoso Moreira é um município que, apesar de possuir a menor renda do estado do Rio de Janeiro, possui gastos elevados em educação e cultura e apresenta gasto relativamente alto em saúde e saneamento, porém não tão alto quanto o de educação. Os seus indicadores de invtxmort e propcrech são "bons" (medianos), no sentido de estarem de acordo com os gastos que apresentam.

O município de Japeri, por sua vez, gasta pouco tanto com saúde e saneamento quanto com educação e cultura, além de possuir a 4a menor renda do estado. Isso se reflete nos seus indicadores, ou seja, esse município possui uma taxa de mortalidade por causas hídricas elevada e baixa proporção de crianças de 2 a 5 anos matriculadas em creches ou em escolas de educação infantil. Logo, os indicadores sociais de Japeri estão de acordo com as suas condições econômicas, e por esse motivo o município é considerado eficiente.

Já o município de São Fidélis se destaca por gastar relativamente pouco nas áreas de saúde e educação, ter renda baixa e, mesmo assim, atingir valores altos para os seus indicadores sociais (invtxmort e propcrech). Assim, esse município faz uso de seus poucos recursos com eficiência. São Gonçalo, assim como Japeri, possui resultados condizentes com a sua realidade no que se refere à área de educação. É o município que menos gasta com educação e cultura e, possuindo uma renda baixa, atinge a 5a menor proporção de crianças matriculadas em creches. Com relação à área de saúde e saneamento, São Gonçalo se aproxima do município de São Fidélis, pois apesar de ser o 5o município que menos gasta nessa área, possui a 6a menor taxa de mortalidade. Outros dois municípios que se destacam por utilizar com eficiência os seus recursos são Cachoeiras de Macacu e Miracema. O primeiro, apesar de possuir o 3o menor gasto em saúde, possui a 8a menor taxa de mortalidade; enquanto o segundo, mesmo possuindo um gasto pequeno na área de educação, alcançou a 3a maior proporção de crianças matriculadas em creches.

Vale comentar que os municípios de Queimados e Bom Jardim apresentam-se como eficientes em saúde e saneamento pelo fato de apresentarem taxas de mortalidade por causas hídricas (elevadas) compatíveis com os gastos em saúde (os menores de todo o estado). Em outras palavras, tais resultados (taxas de mortalidade) já eram esperados uma vez que esses municípios gastam muito pouco nessa área.

Esses resultados ilustram que eficiência não está relacionada à disponibilidade maior ou menor de recursos. É possível que um município gaste muito e, ao mesmo tempo, gaste mal os seus recursos, enquanto outro gasta pouco, porém, investe bem, usando-os com eficiência. Tal fato pode ser observado na figura 4, que mostra a dispersão dos gastos dos municípios tanto na área de saúde quanto na de educação. O mesmo pode ser dito a respeito da renda dos municípios e de suas eficiências. Ou seja, municípios pobres podem ser eficientes nos gastos públicos, no caso gastos em educação e saúde, enquanto municípios mais ricos podem obter eficiência muito baixa.


Como era de se esperar, uma maior eficiência dos gastos deve proporcionar melhores resultados das políticas públicas. De fato há uma relação linear entre o inverso da taxa de mortalidade por causas hídricas (invtxmort) e a eficiência apontada pelo modelo A que, por possuir orientação output, tem como função-objetivo do modelo dos multiplicadores minimizar a combinação linear dos inputs considerados, fixada a combinação linear dos outputs em 1. Há contudo municípios que, embora eficientes nos gastos, não conseguem atingir níveis elevados de atendimento em creche e nem baixas taxas de mortalidade por causas hídricas, seja porque são estruturalmente mais pobres, ou porque os gastos ainda são insuficientes para atingirem melhores resultados. Isso ocorre, por exemplo, com os municípios de Bom Jardim, Cardoso Moreira, Japeri e Queimados (figura 5).


Além da identificação dos benchmarks, a DEA permite a avaliação dos resultados esperados das DMUs ineficientes, apresentados na tabela 3, que apresenta os valores observados e os valores esperados de cada output (invtxmort e propcrech) considerado, dados os inputs disponíveis e os municípios — benchmarks de referência. Angra dos Reis, por exemplo, deveria apresentar uma mortalidade por causas hídricas de crianças de 0 a 4 anos de 1,64 por mil, e não de 2,8 por mil, dado o nível alocado de gasto em saúde e saneamento e renda média das famílias do município. Há, aparentemente, margem para melhoria da eficiência dos gastos municipais nessa rubrica.

5. Considerações finais

Os resultados apresentados devem ser apontados como indicativos e certamente requerem aprofundamentos analíticos e metodológicos. A DEA mede os desempenhos das unidades tomadoras de decisão (DMUs), por meio da comparação de seus resultados e insumos com os resultados e insumos das demais DMUs da amostra, já que as DMUs com eficiência máxima (100%) determinam uma fronteira de eficiência. Lembre-se que os municípios que possuíam valores muito discrepantes dos demais foram retirados deste artigo, por se tratarem de potenciais outliers (e não benchmarks).

A metodologia DEA também depende, aqui, dos indicadores sociais escolhidos como outputs. Tais indicadores devem estar associados aos inputs, no caso, os gastos per capita tanto com educação e cultura, quanto com saúde e saneamento. Além disso, devemos ter cuidado com a escolha do modelo com o qual pretendemos trabalhar. Tal escolha tem relação com a seleção de variáveis, especificamente de indicadores sociais, que devem constituir o modelo indicado no intuito de permitir o aumento do poder de discriminação da técnica. Neste artigo, testamos vários modelos, na medida em que se incluíam variáveis aos mesmos. Paralelamente, verificamos o poder de discriminação dos referidos modelos, até chegarmos aos finais (mod A e mod B-1).

Um maior detalhamento a respeito desse assunto seria possível com a utilização de modelos DEA com orientação input, com vistas a minimizar os inputs, mantendo fixos os níveis dos outputs. Tal aplicação serviria para fornecer maiores informações a respeito das quantidades de recursos/investimentos disponíveis em cada município. Além disso, se poderia escolher outros indicadores sociais, inclusive de outras áreas temáticas, no intuito de ampliar a discussão sobre as condições de vida dos municípios em questão.

Enfim, seguindo outros trabalhos na área, este artigo ilustra a potencialidade da DEA como técnica alternativa aos modelos econométricos em situações de avaliação de programas sociais. Naturalmente, o potencial e a pertinência da técnica no campo é maior quanto mais consistentes forem as escolhas dos indicadores usados como inputs, outputs e variáveis não discricionárias e mais precisos e específicos são os mesmos indicadores, para garantir relações não espúrias entre os mesmos e efetivos benchmarks (não outliers no sentido estatístico-descritivo).

Artigo recebido em dez. 2005 e aceito em mar. 2007.

  • BEZERRA, Eliezer Panceri da Gama; DIWAN, José Roberto. Uso de DEA como alternativa ao IDH na mensuração do desenvolvimento humano nos maiores municípios brasileiros 2001. Monografia (Graduação em Engenharia de Produção) UFRJ, Rio de Janeiro.
  • CASTRO, Carlos Eduardo Tavares de. Avaliação da eficiência gerencial de empresas de água e esgotos brasileiras por meio da envoltória de dados (DEA) 2003. Dissertação (Mestrado em Engenharia Industrial) PUC, Rio de Janeiro.
  • COSTA, F. L.; CASTANHAR, José Cezar. Avaliação de programas públicos: desafios conceituais e metodológicos. Revista de Administração Pública, v. 37, n. 5, p. 969- 992, Rio de Janeiro, 2003.
  • FAÇANHA, Luís Otávio; MARINHO, Alexandre. Instituições de ensino superior governamentais e particulares: avaliação comparativa de eficiência. Texto para discussão, n. 813. Rio de Janeiro: Ipea, 2001.
  • JANNUZZI, P. M. Considerações sobre o uso, mau uso e abuso dos indicadores sociais na formulação e avaliação de políticas públicas municipais. Revista de Administração Pública, p. 51-72, Rio de Janeiro, 2002.
  • LINS, Marcos Pereira Estellita; MEZA, Lidia Angulo. Análise envoltória de dados e perspectivas de integração no ambiente do apoio à decisão Rio de Janeiro: Coppe/ UFRJ, 2000.
  • MARINHO, Alexandre. Avaliação da eficiência técnica nos serviços de saúde dos municípios do estado do Rio de Janeiro. Texto para discussão, n. 842. Rio de Janeiro: Ipea, 2001.
  • MARTIÉ, Milan; SAVIÉ, Gordana. An aplication of DEA for comparative analysis and ranking of regions in Serbia with regards to social-economic development. European Journal of Operational Research, v. 132, p. 343-356, 2001.
  • MELLO, J. C. C. Soares Baptista et al. Integração SIG-DEA aplicada à análise de dados de um vestibular. In: SIMPÓSIO BRASILEIRO DE PESQUISA OPERACIONAL, 32., Viçosa, 2000, Anais... Viçosa, 2000.
  • ______ et al. Seleção de variáveis para utilização de análise envoltória de dados como ferramenta multicritério: uma aplicação em educação. Revista Pesquisa Naval, p. 55-66, Rio de Janeiro, 2002.
  • MEZA, L. A. Data envelopment analysis (DEA) na determinação da eficiência dos programas de pós-graduação do Coppe/UFRJ 1998. Dissertação (Mestrado em Engenharia de Produção) UFRJ, Rio de Janeiro.
  • SILVA, Mauro Medina da; FERNANDES, Elton. Um estudo da eficiência dos programas de pós-graduação em engenharia no Brasil. Revista Rede Avaliação Instituição da Educação Superior, ano 6, v. 6, n. 3, p. 53-66, 2001.
  • *
    Artigo resultante de dissertação de mestrado da primeira autora, no Programa de Mestrado em Estudos Populacionais e Pesquisas Sociais da Ence, como parte das atividades do projeto de pesquisa "Informação estatística no ciclo de formulação, monitoramento e avaliação de políticas públicas no Brasil" com recursos do CNPq (Proc. 307101/2004-5). Os autores agradecem ao prof. dr. Marcos Estellita Lins pelas valiosas sugestões a este artigo, não cabendo-lhe qualquer responsabilidade por eventuais imprecisões e lacunas.
  • 1
    Em âmbito internacional a técnica está mais disseminada nesse campo, como ilustra o trabalho de Martié e Savié (2001), que aplicaram a análise envoltória de dados para estimar como as regiões da Sérvia utilizavam os seus recursos. O objetivo do trabalho era analisar as possibilidades de a metodologia DEA classificar essas regiões com base no grau de utilização de suas potencialidades e de determinar um grupo de unidades reais (
    targets) para que regiões relativamente ineficientes se tornassem eficientes. Assim, eles optaram por trabalhar com quatro
    inputs (área cultivável, material bruto, consumo de eletricidade e população) e quatro
    outputs (PIB, número total de médicos, número total de alunos na escola primária e número total de empregados no setor social).
  • 2
    Domicílios com escoadouros ligados à rede geral ou fossa séptica.
  • 3
    Domicílios com escoadouros ligados à rede geral ou fossa séptica, servidos de água proveniente de rede geral de abastecimento e com destino do lixo coletado diretamente ou indiretamente pelos serviços de limpeza.
  • 4
    Mortes por algumas doenças infecciosas e parasitárias.
  • 5
    O indicador provimento social é, por construção, complementar ao indicador de déficit social, trazido na publicação
    Indicadores sociais municipais do IBGE. É um indicador síntese das condições sociais nos municípios brasileiros, refletindo o déficit de atendimento de serviços públicos básicos nos municípios. Outra função para provs, o inverso do indicador de déficit social, poderia ter sido utilizada, mas teve pouco poder de discriminação.
  • 6
    Foi usada a versão 1.1 do programa Ideal, em desenvolvimento pelo prof. dr. Marcos Estellita Lins/Coppe/UFRJ. Por meio dele foi possível fazer gráficos com três indicadores simultaneamente, especialmente com os indicadores de gastos em saúde/educação, renda e os demais, a serem usados no modelo DEA como
    outputs. Retiramos da amostra aqueles municípios em que a visualização dos gastos, renda e indicador
    output se mostrasse inconsistente. Naturalmente, nesse procedimento há sempre o risco de se tomar um
    benchmark como
    outlier.
  • Datas de Publicação

    • Publicação nesta coleção
      26 Jun 2008
    • Data do Fascículo
      Fev 2008

    Histórico

    • Aceito
      Mar 2007
    • Recebido
      Dez 2005
    Fundação Getulio Vargas Fundaçãoo Getulio Vargas, Rua Jornalista Orlando Dantas, 30, CEP: 22231-010 / Rio de Janeiro-RJ Brasil, Tel.: +55 (21) 3083-2731 - Rio de Janeiro - RJ - Brazil
    E-mail: rap@fgv.br