Resumos
Os indicadores de desempenho (ID) são amplamente utilizados como ferramenta de avaliação dos serviços de saneamento básico e o seu uso vem se tornando uma prática cada vez mais comum. Guiando-se por uma base norteadora de 699 indicadores de 11 entidades e organizações do Brasil e do mundo, a presente pesquisa propôs um sistema único de 46 ID específicos para o serviço de esgotamento sanitário. O sistema proposto foi baseado em uma metodologia criteriosa, fundamentada principalmente na avaliação comparativa dos ID hoje utilizados e na consulta aos especialistas do setor. Tendo como princípio metodológico a determinação de duas variáveis consideradas fundamentais aos indicadores de desempenho - a importância e a praticidade deles -, foi possível propor um sistema relevante para os quatro atores do saneamento: as prestadoras de serviço, as agências reguladoras, a administração pública e os usuários.
Indicadores de desempenho; esgotamento sanitário; avaliação
Performance indicators (PI) are widely used as a tool for assessing the quality of basic sanitation services and their use is becoming an increasingly common practice. From a base guiding of 699 indicators from 11 organizations in Brazil and worldwide, this research proposed a unique system of 46 specific PI of sanitation service. The proposed system was based on a rigorous methodology, based mainly on benchmarking of PI used today and in consultation with the water sector experts. As a methodological principle the determination of two variables considered fundamental do the performance indicators - the importance and the practicality of them -, it was possible to propose a relevant system to the four actors involved in sanitation services: the operators, the regulators, the government and the users
Performance indicators; sanitation service; assessment
Introdução
O termo indicador vem do latim, indicare, que significa indicar, revelar, apontar, assimilar. No setor do saneamento, indicador de desempenho (ID) é uma medida quantitativa da eficiência e da eficácia de uma entidade gestora relativamente a aspectos específicos da atividade desenvolvida ou do comportamento dos sistemas (ALEGREALEGRE, H.; HIRNER, W.; BAPTISTA, J.M.; PARENA, R. (2000) Performance indicators for water supply services. Londres: IWA Publishing. 160 p. et al., 2000).
Os indicadores até hoje desenvolvidos são, em geral, calculados pela razão entre duas variáveis da mesma natureza ou de natureza distinta, sendo assim adimensionais (expressos em percentagem) ou não (exemplos: número de ligações / extensão de rede) (STAHRE e ADAMSSONSTAHRE, P.; ADAMSSON, J. (2004) Performance benchmarking. A powerful management tool for water and wastewater utilities. WATERMARQUE. 3.5., 2004; OFWAT, 2007; ALEGREALEGRE, H.; BAPTISTA, J.M.; CABRERA JR., H.; CUBILLO, F.; DUARTE, P.; HIRNER, W.; MERKEL, W.; PARENA, R. (2006) Performance indicators for water supply services. 2. Ed. Londres: IWA Publishing. 312 p. et al., 2006).
O uso de indicadores no Brasil e no mundo vem se tornando uma prática cada vez mais crescente. A Lei nº 11.445/2007, que estabelece diretrizes nacionais para o saneamento básico e passa a ser o novo Marco Regulatório do setor no Brasil, institucionaliza o uso de indicadores de desempenho e passa a integrar o processo de planejamento, regulação e fiscalização dos serviços. Sua aplicação fundamenta-se no princípio da transparência das ações do saneamento, estabelecido no artigo 2º da Lei e complementarmente no seu artigo 9º, estabelecendo um sistema de informações articulado com o Sistema Nacional de Informações em Saneamento (SINISA).
De modo geral, a implantação de qualquer sistema de indicadores constitui um grande desafio. Em âmbito nacional, a institucionalização de um sistema de indicadores para o saneamento básico esbarrou em um cenário desmotivador, haja vista as dificuldades existentes até o novo Marco Regulatório Federal. SILVA e BASILIO SOBRINHOSILVA, A.C.; BASILIO SOBRINHO, G. (2008) Indicadores da prestação dos serviços: induzindo eficiência e eficácia nos serviços públicos de saneamento básico. In: GALVÃO JUNIOR, A.C.; XIMENES, M.M.A.F. Regulação: normatização da prestação de serviços de água e esgoto. Fortaleza: Expressão Gráfica Ltda. ARCE. p. 347-367. (2008) destacam as deficiências nos sistemas de monitoramento, registro, organização ou tratamento das informações produzidas pelas empresas de saneamento e a falta de disciplinamento e integração dos diversos papéis a serem exercidos pelos demais atores do setor de saneamento.
Apesar das dificuldades destacadas, foi possível elaborar, por meio do Programa de Modernização do Setor Saneamento (PMSS), com iniciativa do Ministério das Cidades, o Sistema Nacional de Informações sobre Saneamento (SNIS). O sistema apoia-se em um banco de dados administrado na esfera federal e contém informações de caráter institucional, administrativo, operacional, gerencial, econômico-financeiro e de qualidade sobre a prestação dos serviços de água, esgotos e de manejo de resíduos sólidos.
Além do SNIS, destaca-se a atuação da Associação Brasileira de Agências de Regulação (ABAR), entidade de direito privado criada em 1999, cujos associados são as agências de regulação existentes no Brasil, em nível federal, estadual e municipal. Em 2006, a ABAR, em parceria com o PMSS, realizou uma oficina internacional de indicadores para regulação dos serviços de água e esgotos. Como resultado da oficina, foi proposto um conjunto de indicadores para regulação do saneamento, a ser utilizado por todas as agências reguladoras.
Ainda em âmbito nacional, deve-se destacar o programa desenvolvido pelo Prêmio Nacional de Qualidade em Saneamento (PNQS), tendo à frente a ABES. Esse programa visa estimular as melhores práticas do setor, instituindo prêmios às empresas segundo critérios de avaliação de desempenho baseado em indicadores (ABES, 2008).
Já em âmbito internacional, os ID vêm sendo utilizados amplamente como uma ferramenta de avaliação de serviços de esgotamento sanitário. Diversas organizações desenvolveram na ultima década conjuntos de indicadores específicos, com diferentes objetivos e prioridades, podendo-se destacar a International Water Association(IWA), a Entidade Reguladora dos Serviços de Águas e Resíduos de Portugal (ERSAR/IRAR), a Associación de Entes Reguladores de Agua Potable e Saneamiento de las Americas (ADERASA), o International Benchmarking Network for Water and Sanitation Utilities (IBNET), o Six-Cities Group da Escandinávia, a Water Services Association of Australia (WSAA), a American Water Works Association (AWWA) e a Office of Water Services (OFWAT).
Segundo VON SPERLINGVON SPERLING, T.L. (2010) Estudo da utilização de indicadores de desempenho para avaliação da qualidade dos serviços de esgotamento sanitário. 134 f. Dissertação (Mestrado em Saneamento, Meio Ambiente e Recursos Hídricos) - Escola de Engenharia, Universidade Federal de Minas Gerais, Belo Horizonte, MG. e VON SPERLINGVON SPERLING, T.L.; VON SPERLING, M. (2012) Sistema de informações para gestão do saneamento básico. In: GALVÃO JUNIOR, A.C.; PHILIPPI JUNIOR, A. Gestão do saneamento básico: abastecimento de água e esgotamento sanitário. Barueri: Manole. p. 823-858. (2012), as organizações nacionais e internacionais citadas têm como objetivos a utilização de ID para a prestação, a regulação e o planejamento dos serviços de saneamento. Por sua vez, os indicadores utilizados têm como finalidades principais informar, avaliar e definir critérios, em diferentes âmbitos de atuação (global, nacional e regional) e por diferentes usuários (tomadores de decisão, políticos, economistas, técnicos ou o público em geral).
Dessa forma, trabalhos que buscam articular, agregar e propor indicadores de desempenho a serem utilizados no setor do saneamento são de fundamental importância para a evolução dos sistemas de informação. Com base na conjuntura apresentada, o presente trabalho tem como objetivo principal propor um sistema de ID para ser utilizado em avaliações da qualidade dos serviços de esgotamento sanitário prestados no Brasil.
Metodologia
Para atingir o objetivo da pesquisa, foi traçado um esquema metodológico dividido em três etapas principais, a seguir descritas.
Definição da base norteadora
A primeira etapa para o desenho de um sistema de indicadores de desempenho é, basicamente, o levantamento dos indicadores já existentes. Esse levantamento foi feito por meio da revisão da literatura, identificando os indicadores desenvolvidos nas últimas décadas e utilizados atualmente por diversas entidades e organizações nacionais e internacionais. Em função da diversidade de dimensões utilizadas pelas entidades norteadoras, foram propostas cinco novas dimensões, a fim de classificar os ID existentes. Dessa forma, puderam-se identificar os indicadores mais utilizados atualmente.
Pré-seleção dos indicadores de desempenho
A etapa de pré-seleção dos indicadores teve como finalidade principal eliminar aqueles considerados irrelevantes para a pesquisa e ainda facilitar o desenvolvimento da etapa seguinte, a de consulta aos especialistas do setor. A pré-seleção foi realizada pelos próprios autores, com base na definição dos critérios aos quais os indicadores deveriam atender, entre eles: o número de entidades que utiliza um mesmo indicador; a coerência com a realidade brasileira; a facilidade ao acesso dos dados primários; a confiabilidade da fonte; a clareza em sua definição; e a capacidade do indicador em estabelecer metas.
Metodologia Delphi para proposição dos indicadores de desempenho
A terceira e principal etapa da pesquisa envolveu uma consulta aos especialistas do setor do saneamento, com a finalidade de determinar, em um primeiro momento, a importância e a praticidade dos ID pré-selecionados, e em seguida a relevância deles para os atores envolvidos com o setor. A consulta foi baseada na já consagrada metodologia Delphi, em duas rodadas. A seleção do painel consultado foi considerada a etapa determinante para o sucesso da pesquisa. Procurou-se montar um painel representativo de todo o setor do saneamento, composto por 107 especialistas distribuídos entre as mais diversas áreas, a saber: prestadores de serviço (companhia estadual, autarquias municipais e empresa privada); meio acadêmico; agências reguladoras; empresas projetistas e consultores; e outros órgãos que compõem a área ambiental (FEAM, IGAM, FUNASA, MCidades, Ministério do Meio Ambiente e Prefeitura de Belo Horizonte).
Na primeira rodada do Delphi, os 107 especialistas foram convidados a responder à seguinte questão: Na sua opinião, qual a importância e praticidade de implementação e utilização dos indicadores de desempenho para avaliação da qualidade dos serviços prestados de esgotamento sanitário? Cada ID enviado aos painelistas deveria ser pontuado em uma escala de 1 a 5, separadamente para os dois critérios estudados (importância e praticidade), sendo a nota 1 considerada como irrelevante e a 5 como o indicador sendo muito importante ou muito prático, respectivamente.
Já na segunda rodada do método, os participantes que responderam ao primeiro painel tiveram a oportunidade de reavaliar a resposta anterior com base na moda das respostas de todos os painelistas. Além da reavaliação da primeira questão, optou-se por realizar outra pergunta central: Na sua opinião, os indicadores de desempenho listados são relevantes para quais atores ligados ao saneamento? As seguintes opções foram apresentadas: prestadora de serviço; agência reguladora; administração pública; e usuários. Os painelistas foram então convidados a marcar uma ou mais das quatro alternativas apresentadas para cada indicador. Os dados foram tabulados segundo a matriz adaptada de ONGONG, B.K.; SUHAIMI, A.T.; GHUFRAN, R. (2007) Establishment of performance indicators for water supply services industry in Malaysia. Malaysia Journal of Civil Engineering, Malásia, v. 19, p.73-83. et al. (2007), apresentada na Figura 1. Cada ID foi classificado na matriz com base nas notas recebidas de importância e praticidade. Por fim, foram selecionados apenas os ID de nível A1, ou seja, aqueles considerados muito importantes e muito práticos.
Resultados e Discussão
Revisão da literatura e indicadores de desempenho norteadores do estudo
Com base em ampla revisão da literatura nacional e internacional, foram escolhidas 11 entidades e organizações que trabalham com indicadores de desempenho relacionados aos sistemas de esgotamento sanitário como base norteadora do estudo. Tais entidades/organizações, abordadas na introdução do presente texto, possuem objetivos específicos de atuação e, consequentemente, abordam o uso de indicadores de maneira particularizada. Dentre elas foram levantados 699 ID, sendo que 321 são específicos ao serviço de esgotamento sanitário, 216 ao serviço de abastecimento de água e 162 mistos, ou seja, podem ser utilizados nos dois componentes do saneamento. A Figura 2 ilustra a quantidade de ID utilizados por entidade/organização em estudo. Atenta-se que os indicadores utilizados pela IWA não estão incluídos na figura, pois somam a quantidade expressiva de 182 ID relativos ao serviço de esgotamento sanitário.
Percebe-se que as entidades em estudo não se restringem ao uso de indicadores apenas para o serviço de esgotamento sanitário, tema central da presente pesquisa. A maioria delas possui ID específicos para sistemas de esgotos, outros de abastecimento de água e ainda indicadores que podem ser aplicados aos dois componentes do saneamento. Enquadra-se nessa categoria, por exemplo, a maioria dos ID relativos aos aspectos administrativos e financeiros das prestadoras de serviço. Dessa forma, ao propor indicadores de desempenho relativos apenas ao serviço de esgotamento sanitário, passa a ser necessário estudar aqueles que se aplicam aos dois componentes do saneamento. Portanto, dentre os 699 ID levantados na revisão, foram estudados 483 deles, sendo 321 exclusivos ao sistema de esgotamento sanitário e 162 mistos.
Ao se deter o olhar nesse novo conjunto de 483 indicadores de desempenho, identificou-se a inexistência de uma forma única de classificação deles pelas entidades em estudo. Enquanto uma entidade específica classifica seus indicadores em três grandes dimensões - por exemplo, operacionais, de qualidade e econômico-financeiros, como é o caso da ABAR -, outra entidade classifica-os em seis outras dimensões, como a IWA e a IBNET. Por causa dessa heterogeneidade de dimensões utilizadas pela base norteadora, foram propostas cinco novas dimensões, a fim de padronizar e unificar os IDs estudados, quais sejam: indicadores operacionais, de qualidade, de recursos humanos, de infraestrutura e econômico-financeiros. Tais dimensões procuram englobar todos os aspectos relativos ao serviço de esgotamento sanitário. A Figura 3 ilustra a quantidade de ID reorganizados nas novas dimensões propostas. Nessa reorganização observou-se que diversos ID estudados são utilizados por mais de uma entidade, por exemplo, o indicador 'população residente conectada à rede coletora'. Esse ID específico é utilizado por 8 das 11 entidades em estudo, tornando-se, portanto, um primeiro indicativo da importância de sua utilização. Dessa forma, os 483 ID utilizados pelas 11 entidades apresentadas neste trabalho, ao serem comparados e reorganizados nas dimensões propostas, se reduzem a 246 IDs, em razão da superposição de indicadores idênticos ou semelhantes.
Pré-seleção dos indicadores em estudo
A etapa de pré-seleção foi necessária para o perfeito andamento da etapa seguinte, a de consulta aos especialistas. A quantidade de 246 ID foi considerada exagerada para se trabalhar em uma metodologia Delphi. Com isso, tomando por base os critérios descritos na metodologia deste trabalho, buscou-se avaliar a real relevância dos ID para a pesquisa, excluindo aqueles considerados desnecessários. A Figura 4 ilustra a quantidade de indicadores no início e após a pré-seleção, divididos por dimensão. A principal preocupação dos autores nesta etapa foi a de evitar a possibilidade de um viés dos resultados, o que se verifica na figura - não houve nenhum tipo de distorção da proporcionalidade de indicadores por dimensão, haja vista a forma da mancha ilustrada em ambos os gráficos apresentados (trata-se de uma representação gráfica da quantidade de indicadores por dimensão).
Comparação entre a quantidade de indicadores de desempenho da revisão da literatura e pré-selecionados.
Metodologia Delphi para a definição da importância, praticidade e relevância dos indicadores de desempenho
Assim como apresentado na metodologia deste trabalho, foram consultados 107 especialistas do setor do saneamento, em duas rodadas estruturadas do método Delphi. Em um período pré-determinado de 35 dias, 51 painelistas responderam ao questionário da primeira rodada, perfazendo uma taxa de abstenção de 52%. Já na segunda rodada, dos 51 painelistas que aceitaram participar, 38 deles responderam no prazo determinado de 21 dias, reduzindo a taxa de abstenção para 25%. Dessa forma, a taxa de abstenção total do método foi de 65%, de acordo com a faixa média observada por GORDONGORDON, T.J. (1994) The Delphi method, United Nations University, USA. (1994) e WRIGHT e GIOVINAZZOWRIGHT, J.T.C.; GIOVINAZZO, R.A. (2000) Delphi - Uma ferramenta de apoio ao planejamento prospectivo. Caderno de Pesquisas em Administração, São Paulo, v. 1, n. 12, p. 54-65. (2000).
Para a definição dos níveis de importância e praticidade dos 174 ID em estudo, utilizou-se a média aritmética das respostas dos painelistas consultados nas duas rodadas do método, sendo possível produzir uma matriz de importância e praticidade dos ID, ilustrada na Figura 5. Os pontos nos diagramas de dispersão representam a média aritmética da nota de cada ID para os critérios de importância e praticidade e as linhas de tendência, assim como o coeficiente de correlação (R2), ilustram a relação entre as duas variáveis em estudo.
É interessante observar, pela Figura 5, que a maioria dos indicadores de desempenho teve notas elevadas para os dois critérios (acima de 3), levando a uma classificação deles nos níveis A, ou seja, considerados pelo menos importantes e práticos. Atenta-se que os indicadores selecionados no final da pesquisa foram apenas aqueles de nível A1, ou seja, considerados muito importantes e muito práticos, apresentados mais adiante.
Quanto à correlação entre as variáveis importância e praticidade, observam-se números bem elevados, principalmente para a dimensão econômico-financeira, com o coeficiente acima de 0,9. Já para a dimensão operacional, pode-se exemplificar a moderada correlação encontrada com dois casos distintos. O ID "troca de tampões de poços de visita", por exemplo, é considerado prático, ou seja, não possui dificuldades para obtenção dos dados primários e de interpretação de seu significado, contudo ele não foi considerado muito importante para se medir o desempenho operacional de uma prestadora de serviço. Já o ID "índice de limpeza nas tubulações" foi considerado importante para se medir o desempenho operacional, entretanto possui uma dificuldade de obtenção e medição dos dados primários para o cálculo deles. Dessa forma, esses indicadores possuem correlação um pouco abaixo dos demais.
Paralelamente à reavaliação dos níveis de importância e praticidade, os painelistas foram convidados a determinar se cada ID estudado é relevante para a prestadora de serviço, a agência reguladora, a administração pública ou o usuário. Determinou-se a relevância de um ID a qualquer um dos atores do saneamento caso houvesse a marcação de pelo menos 50% dos respondentes, correspondendo a 19 painelistas. A Figura 6 ilustra a distribuição da quantidade de painelistas que determinaram a relevância de cada ID. Pelos gráficos tipo box plot, pode-se observar os valores máximo e mínimo, bem como a mediana dos indicadores de cada dimensão proposta. Apenas os indicadores acima da linha de corte de 50% foram considerados relevantes.
Relevância dos indicadores de desempenho para os atores envolvidos com o saneamento básico.
Observa-se que todos os 174 ID em estudo foram considerados pelos painelistas consultados como relevantes para as prestadoras de serviço, sendo que as medianas se encontram acima de 84%. As dimensões de infraestrutura e operacional, como já esperado, são as duas mais relevantes às prestadoras.
Já para as agências reguladoras, a maioria dos ID relevantes é da dimensão de infraestrutura, qualidade e econômico-financeira. Os indicadores de recursos humanos e operacionais tiveram as suas medianas abaixo da linha de corte. O indicador considerado mais relevante para os entes reguladores foi o "população residente servida por Estação de Tratamento de Esgoto (ETE) (%)".
Para a administração pública, as duas dimensões consideradas mais relevantes foram a de qualidade e econômico-financeira, com os respectivos indicadores "população residente conectada à rede coletora (%)", "população residente servida por ETE (%)" e "tarifa média de esgoto ($/m3) ". Por fim, a relevância dos indicadores aos usuários está restrita à dimensão de qualidade e apenas um à dimensão econômico-financeira, o indicador "tarifa média de esgoto ($/m3)".
Em suma, pode-se constatar que, exceto para as prestadoras de serviço, a dimensão mais relevante para os atores envolvidos com o saneamento é a de qualidade, enquanto a menos relevante é a operacional. Finalmente, a Tabela 1, síntese da pesquisa, apresenta os IDs propostos (considerados muito importantes e muito práticos, portanto pertencentes ao nível A1 da matriz apresentada anteriormente) e a relevância deles para os quatro atores ligados ao saneamento básico.
Conclusões
Na presente pesquisa foram levantados 699 indicadores de desempenho, sendo 483 deles relacionados aos serviços de esgotamento sanitário. Após a reorganização nas cinco dimensões propostas, foram observadas similaridades entre os indicadores, reduzindo-se a um total de 246 ID. Estes foram pré-selecionados com a finalidade de eliminar aqueles considerados irrelevantes e de facilitar o desenvolvimento da metodologia Delphi, conduzindo a 174 indicadores. Destes 174 submetidos aos especialistas, foram selecionados 46, tornando-se o sistema de indicadores de esgotamento sanitário proposto.
O sistema proposto teve como principio norteador a determinação de duas variáveis consideradas fundamentais aos ID, a importância e a praticidade deles. Entende-se que tais variáveis dependem, evidentemente, da finalidade de sua utilização. Para as prestadoras de serviço, por exemplo, entende-se que o consumo de energia no sistema de esgotamento sanitário é uma medida relevante. Já para o usuário, esse indicador não tem a mesma importância que a tarifa cobrada pelo serviço. São perspectivas diferentes do saneamento básico e, por isso, devem ser utilizados indicadores específicos que correspondam à expectativa de quem os utiliza.
A mesma analogia pode ser feita para a quantidade total de ID a ser utilizada em um sistema de informações. Enquanto uma prestadora de serviço tem o interesse de utilizar uma quantidade expressiva de indicadores para o monitoramento de todos os aspectos do seu sistema, a agência reguladora tende a utilizar um número mais reduzido, já que a finalidade da utilização de seus indicadores é distinta. Acredita-se, portanto, que, quanto menor o sistema de indicadores, mais fácil se torna a compreensão dos seus resultados.
Dessa forma, os 46 indicadores de desempenho propostos nesta pesquisa compõem um sistema único de informações relativo ao serviço de esgotamento sanitário, que pode ser utilizado pelos diversos atores ligados ao saneamento básico. Atenta-se que o conjunto de indicadores proposto foi baseado em uma metodologia criteriosa, fundamentada, principalmente, na avaliação comparativa dos ID hoje utilizados e na consulta aos especialistas do setor
Referências
- ABAR - ASSOCIAÇÃO BRASILEIRA DE AGÊNCIAS DE REGULAÇÃO. Disponível em: <www.abar.org.br>. Acesso em: 8 out. 2009.
» Disponível em: <www.abar.org.br> - ABES - ASSOCIAÇÃO BRASILEIRA DE ENGENHARIA SANITÁRIA E AMBIENTAL. (2010) Guia PNQS 2010: Guia de referência para medição do desempenho. Belo Horizonte: ABES.
- ALEGRE, H.; HIRNER, W.; BAPTISTA, J.M.; PARENA, R. (2000) Performance indicators for water supply services. Londres: IWA Publishing. 160 p.
- ALEGRE, H.; BAPTISTA, J.M.; CABRERA JR., H.; CUBILLO, F.; DUARTE, P.; HIRNER, W.; MERKEL, W.; PARENA, R. (2006) Performance indicators for water supply services. 2. Ed. Londres: IWA Publishing. 312 p.
- ASSOCIACIÓN DE ENTES REGULADORES DE AGUA POTABLE Y SANEAMIENTO DE LAS AMERICAS - ADERASA. (2007) Manual de indicadores de gestión para agua potable y alcantarilado sanitario. Buenos Aires.
- AWWA - AMERICAN WATER WORKS ASSOCIATION. Disponível em: <www.awwa.org>. Acesso em: 22 out. 2009.
» Disponível em: <www.awwa.org> - BANCO MUNDIAL. IBNET indicator definitions - IBNET toolkit - 2006. Disponível em <www.ib-net.org>. Acesso em: 9 dez. 2009.
» Disponível em <www.ib-net.org> - BRASIL. (2007) Lei nº 11.445, de 5 de janeiro de 2007, que estabelece diretrizes nacionais para o saneamento básico e para a política federal de saneamento básico. Brasil.
- GORDON, T.J. (1994) The Delphi method, United Nations University, USA.
- IRAR - INSTITUTO REGULADOR DE ÁGUAS E RESÍDUOS. (2008) Relatório anual do sector de águas e resíduos de Portugal (2007) - Avaliação da qualidade do serviço prestado. Lisboa.
- IBNET - INTERNATIONAL BENCHMARKING NETWORK FOR WATER AND SANITATION UTILITIES. Disponível em: <www.ib-net.org>. Acesso em: set. 2009.
» Disponível em: <www.ib-net.org> - MATOS, R.; CARDOSO, A.; ASGLEY, R.; DUARTE, P.; MOLINARI, A.; SCHULZ, A. (2003) Performance indicators for wastewater services. Londres: IWA Publishing. 192 p.
- OFWAT - OFFICE OF WATER SERVICES, UNITED KINGDOM. (2004) Updating the overall performance assessment (OPA) - Conclusions and methodology for 2004-05 onwards. UK. Report.
- ONG, B.K.; SUHAIMI, A.T.; GHUFRAN, R. (2007) Establishment of performance indicators for water supply services industry in Malaysia. Malaysia Journal of Civil Engineering, Malásia, v. 19, p.73-83.
- PMSS - PROGRAMA DE MODERNIZAÇÃO DO SETOR SANEAMENTO (2009). Sistema Nacional de Informações sobre Saneamento (SNIS) - diagnóstico dos serviços de água e esgotos - 2007. Secretaria Especial de Desenvolvimento Urbano da Presidência da República, Instituto de Pesquisa Econômica Aplicada, Programa de Modernização do Setor Saneamento, Brasília, DF.
- SILVA, A.C.; BASILIO SOBRINHO, G. (2008) Indicadores da prestação dos serviços: induzindo eficiência e eficácia nos serviços públicos de saneamento básico. In: GALVÃO JUNIOR, A.C.; XIMENES, M.M.A.F. Regulação: normatização da prestação de serviços de água e esgoto. Fortaleza: Expressão Gráfica Ltda. ARCE. p. 347-367.
- STAHRE, P.; ADAMSSON, J. (2004) Performance benchmarking. A powerful management tool for water and wastewater utilities. WATERMARQUE. 3.5.
- VON SPERLING, T.L. (2010) Estudo da utilização de indicadores de desempenho para avaliação da qualidade dos serviços de esgotamento sanitário. 134 f. Dissertação (Mestrado em Saneamento, Meio Ambiente e Recursos Hídricos) - Escola de Engenharia, Universidade Federal de Minas Gerais, Belo Horizonte, MG.
- VON SPERLING, T.L.; VON SPERLING, M. (2012) Sistema de informações para gestão do saneamento básico. In: GALVÃO JUNIOR, A.C.; PHILIPPI JUNIOR, A. Gestão do saneamento básico: abastecimento de água e esgotamento sanitário. Barueri: Manole. p. 823-858.
- WRIGHT, J.T.C.; GIOVINAZZO, R.A. (2000) Delphi - Uma ferramenta de apoio ao planejamento prospectivo. Caderno de Pesquisas em Administração, São Paulo, v. 1, n. 12, p. 54-65.
- WSAA - WATER SERVICES ASSOCIATION OF AUSTRALIA. (2009) National performance framework. 2008 - 09 Urban water performance report. Indicators and definitions handbook. National Water Comission. Austrália.
Datas de Publicação
-
Publicação nesta coleção
Oct-Dec 2013
Histórico
-
Recebido
29 Fev 2012 -
Aceito
31 Jul 2013
