Ferramenta de avaliação dos Planos Municipais de Gestão Integrada de Resíduos Sólidos: parte 1

Assessment tool for Integrated Solid Waste Management Municipal Plans: part 1

RESUMO

O gerenciamento adequado dos resíduos sólidos é um desafio para os municípios brasileiros. Considerando-se as exigências da Política Nacional de Resíduos Sólidos (PNRS), uma etapa importante nessa adequação é a elaboração do Plano Municipal de Gestão Integrada de Resíduos Sólidos (PMGIRS). Considerando a importância deste instrumento planejador, este artigo propõe uma ferramenta de avaliação desses planos. O caminho metodológico de construção e validação se configurou em três etapas: concepção dos indicadores a partir de revisão bibliográfica e documental; validação com especialistas, em que os indicadores foram validados e os fatores de ponderação foram definidos por meio da técnica Delphi; e validação de aplicação, que consistiu na aplicação da ferramenta para avaliar o PMGIRS de seis municípios brasileiros de diferentes portes. Neste artigo serão apresentados os resultados da primeira e da segunda etapa. Os resultados da terceira etapa serão apresentados na parte 2 deste artigo. A ferramenta permite verificar o atendimento às exigências da PNRS, a qualidade dos planos, a complexidade da sua elaboração e o seu potencial de implantação e continuidade das ações estabelecidas. Com isso, espera-se minimizar a lacuna relacionada ao acompanhamento das várias etapas de implantação da PNRS.

Palavras-chave:
resíduos sólidos; índice; indicadores; desempenho; Política Nacional de Resíduos Sólidos

ABSTRACT

Proper management of solid waste is a challenge for Brazilian municipalities. Considering the requirements of the National Solid Waste Policy (Política Nacional de Resíduos Sólidos - PNRS), an important step in this adaptation is the elaboration of the Municipal Plan of Integrated Solid Waste Management (Plano Municipal de Gestão Integrada de Resíduos Sólidos - PMGIRS). Considering the importance of this planning instrument, this article proposes a tool for evaluating these plans. The methodological path of construction and validation was configured in three stages: conception of the indicators from bibliographic and documentary review; validation with experts, in which indicators were validated and weighting factors were defined using the Delphi technique; and application validation, which consisted of applying the tool to evaluate the PMGIRS of six Brazilian municipalities of different sizes. This article will present the results of the first and second stages. The results of the third stage will be presented in part 2 of this article. The tool allows to verify the fulfillment of PNRS requirements, the quality of the plans, the complexity of its elaboration, and its potential of implementation and continuity of the established actions. With this, it is expected to minimize the gap related to the monitoring of the various stages of PNRS implementation. .

Keywords:
solid waste; index; indicators; performance; National Policy on Solid Waste

INTRODUÇÃO

O crescimento populacional e a concentração em espaços urbanos, associados ao crescimento da oferta e da demanda por bens e serviços, resultam em um dos maiores desafios da sociedade moderna: o equacionamento entre a geração de resíduos sólidos e sua gestão ambientalmente adequada (JACOBI; BESEN, 2011). No Brasil, embora 71,3 milhões de toneladas (91% de cobertura) de resíduos sólidos urbanos (RSU) sejam coletadas, 29,7 milhões de toneladas (41,6% do coletado) ainda encontram disposição final inadequada, podendo ocasionar diversos impactos socioambientais (ABRELPE, 2017). Isso evidencia que, apesar dos avanços do país no sentido de propor políticas públicas para a gestão adequada dos resíduos sólidos, muitas melhorias são necessárias.

Com o marco regulatório do setor, definido pelas leis federais nº 11.445/2007 (BRASIL, 2007) e nº 12.305/2010 (BRASIL, 2010b), o conceito de gestão integrada de resíduos sólidos passou a ter maior visibilidade no Brasil. A Lei nº 11.445/2007 estabeleceu diretrizes nacionais para o saneamento básico incluindo, como componente do saneamento, a limpeza urbana e o manejo dos RSU. Já a Lei nº 12.305/2010 instituiu a Política Nacional de Resíduos Sólidos (PNRS), que estabeleceu os princípios, objetivos, instrumentos e diretrizes para a gestão integrada e o gerenciamento adequado dos resíduos sólidos (OLIVEIRA; GALVÃO JUNIOR, 2016).

A PNRS também definiu as responsabilidades do poder público e dos geradores responsáveis pelos resíduos sólidos. Os municípios são responsáveis por elaborar Planos Municipais de Gestão Integrada de Resíduos Sólidos (PMGIRSs), os quais devem atender ao conteúdo mínimo definido nos incisos I a XIX do art. 19 dessa lei. Os PMGIRSs podem estar inseridos nos Planos Municipais de Saneamento (PMSBs), de que trata a Lei Federal nº 11.445/2007 (BRASIL, 2007), desde que respeitado o conteúdo mínimo estabelecido nas duas normas legais. Se o município optar por soluções consorciadas intermunicipais para a gestão dos resíduos sólidos, ele poderá ser dispensado da elaboração do PMGIRS, desde que o plano intermunicipal preencha o conteúdo mínimo estabelecido (GOMES et al., 2014; OLIVEIRA; GALVÃO JUNIOR, 2016).

Para os municípios com menos de 20 mil habitantes, desde que: não integrem áreas de especial interesse turístico; não estejam inseridos em área de influência de empreendimentos ou atividades com significativo impacto ambiental; ou não tenham seus territórios total ou parcialmente inseridos em Unidades de Conservação (UCs), os planos podem ter o conteúdo mínimo simplificado, conforme estabelecido no art. 51 do Decreto nº 7.404/2010, que regulamenta a PNRS (BRASIL, 2010a; OLIVEIRA; GALVÃO JUNIOR, 2016).

O conteúdo mínimo envolve as condições pelas quais os objetivos da PNRS devem ser alcançados, incluindo ações voltadas a não geração, redução, minimização, reciclagem, tratamento e disposição final ambientalmente adequada dos rejeitos (CAMPOS, 2014; MACHADO, 2012). Portanto, espera-se que os planos que atendam às exigências mínimas tenham maior possibilidade de atingir as metas legalmente impostas e realizar a adequada gestão dos resíduos sólidos.

As principais etapas que devem compor um PMGIRS são: diagnóstico geral, que deverá tratar dos aspectos gerais do município; diagnóstico setorial, que envolve a análise da situação atual da gestão dos resíduos gerados na localidade; prognóstico, que envolve a elaboração de cenários futuros e a definição de objetivos e metas; programas, projetos e ações; avaliação do plano, por meio de indicadores de monitoramento; e definição de responsáveis pela implementação e operacionalização (BERTICELLI; KORF, 2016).

A PNRS determinou prazos para que as suas determinações fossem cumpridas pelos municípios. Para o ano 2012, os Estados e municípios deveriam ter elaborado os planos estaduais e municipais de gestão integrada dos resíduos sólidos, determinados pela PNRS (JACOBI; BENSEN, 2011). Contudo, há certo atraso quanto ao atendimento das disposições da lei por parte dos municípios. Segundo a Confederação Nacional dos Municípios (CNM), até o ano de 2017 apenas 38,2% de um total de 4.224 municípios pesquisados (75,6% do total de municípios no Brasil) haviam concluído seus PMGIRS, enquanto 38,7% ainda estavam em processo de elaboração. Entretanto, 20,4% da amostra pesquisada não havia sequer iniciado a construção do plano (CNM, 2017).

O fato de ainda não ter iniciado a elaboração dos planos após sete anos de promulgação da lei já é um fato importante que remete aos variados desafios na implantação dessa política no âmbito local (MARINO; CHAVES; SANTOS JUNIOR, 2016; JABBOUR et al., 2014; CAMPOS, 2014; CHAVES; SANTOS JUNIOR; ROCHA, 2014). Além disso, muitos dos planos finalizados não apresentam a qualidade desejada, ou seja, não estão adequados à legislação ou às necessidades operacionais para a correta gestão dos resíduos (OLIVEIRA; GALVÃO JUNIOR, 2016).

Isso evidencia que, apesar dos esforços governamentais lançados para auxiliar na preparação dos planos municipais (ROMANI; SEGALA, 2014) e de as exigências da PNRS serem bem definidas, isso não é suficiente para viabilizar a elaboração ou assegurar a correta apropriação, pelos municípios, de seus planos. Quanto à elaboração dos planos, existe um despreparo dos municípios que se desdobra em múltiplas dimensões: política, administrativa, técnica e orçamentário-financeira. Deficiências na administração pública, tais como a carência de mão de obra especializada e capacitação técnica local e de recursos financeiros, sobretudo em municípios de pequeno porte, são fatores restritivos e que afetam o processo de elaboração dos planos (HEBER; SILVA, 2014; MARINO; CHAVES; SANTOS JUNIOR, 2016).

Diante disso, vê-se a oportunidade de avaliar os PMGIRSs para verificar se eles estão sendo elaborados em conformidade com a legislação, pois esse é o primeiro passo para que a gestão dos resíduos sólidos seja realizada adequadamente no âmbito local. Além disso, a avaliação de políticas públicas pode contribuir para o seu planejamento e a sua formulação, o acompanhamento de sua implementação, suas revisões e atualizações, assim como para a tomada de decisões (RAMOS; SCHABBACH, 2012).

Portanto, o objetivo deste artigo é propor uma ferramenta de avaliação de PMGIRSs baseada nos elementos mínimos exigidos pela legislação vigente. A demanda pela elaboração de uma ferramenta de avaliação surgiu não só na identificação de uma lacuna na literatura, mas também em documentos ou plataformas governamentais.

Para isso, este artigo está dividido em três seções além desta introdução. A segunda seção contém uma breve revisão sobre a construção de um sistema de avaliação e sobre a avaliação da gestão de resíduos sólidos. Além disso, são apresentadas as etapas metodológicas para construção da ferramenta de avaliação proposta neste artigo. Na terceira seção é apresentada a ferramenta de avaliação, com os indicadores e índices propostos. O resultado da etapa de aplicação da ferramenta é apresentado na parte 2 deste artigo. Por fim, a conclusão encerra a parte 1 deste artigo.

METODOLOGIA

Uma vez que o objetivo deste artigo é desenvolver uma ferramenta de avaliação dos PMGIRSs, por meio de índices e indicadores, a metodologia para seu desenvolvimento se pautou, no primeiro momento, na revisão da literatura acerca da construção de sistemas de indicadores e da avaliação da gestão dos resíduos sólidos.

Aspectos conceituais da construção de um sistema de avaliação

Análises por meio de indicadores permitem que informações de caráter técnico e científico se tornem mais fáceis para serem utilizadas em tomadas de decisões. Os indicadores são ferramentas utilizadas para acompanhar determinados processos no alcance de uma meta ou de um padrão mínimo de desempenho. A partir das análises dos indicadores, pode ser identificada a distância ou a diferença para o objetivo estabelecido. Caso necessário, podem ser realizadas correções de possíveis desvios apresentados. Os resultados obtidos fornecem informações importantes para o planejamento e o gerenciamento dos processos, podendo contribuir para o processo de tomada de decisão (VEDUNG, 2017).

O termo indicador tem origem do latim indicare, que significa apontar. Ele pode ser definido como um instrumento que permite mensurar as modificações nas características de um sistema. O processo de construção de um sistema de indicadores ambientais envolve uma série de decisões: devem ser definidos os seus objetivos; o marco teórico; as áreas que participarão da avaliação; as técnicas e os instrumentos de coleta de dados; os métodos de ponderação e agregação dos indicadores (BORJA; MORAES, 2003).

Para a construção de indicadores, algumas características devem ser consideradas para atender aos propósitos da avaliação. Desse modo, deve-se definir o que avaliar; como e por quanto tempo avaliar; por que avaliar; de que elementos constam a avaliação; e de que maneira serão expostos, integrados e aplicados os resultados da avaliação para o melhoramento do perfil dos sistemas analisados (HEINRICH, 2012).

Após o processo de construção dos indicadores, Cloquell-Ballester et al. (2006) propõem uma metodologia de validação de indicadores em três etapas (metodologia 3S), a saber: autovalidação (self-validation), validação científica (scientific validation) e validação social (social validation). A autovalidação deverá ser realizada pela própria equipe de trabalho. Ela auxilia na identificação de inconsistências metodológicas, a fim de que os novos indicadores estejam corretos para avaliar o que se pretende. A etapa de validação científica fornece rigor e objetividade aos indicadores propostos, e deve contar com julgamentos de especialistas na área. Por fim, a validação social inclui a participação pública (CLOQUELL-BALLESTER et al., 2006). As três etapas são complementares, de modo que, à medida que são aplicados os diferentes níveis de validação, a credibilidade dos indicadores se torna maior.

Definidos e validados os indicadores, estes podem ser agregados em índices. Os índices se configuram como um valor numérico que representa a correta interpretação de todo um procedimento de cálculo, utilizando-se bases científicas e métodos adequados, incluindo os indicadores. O índice permite uma visão agregada e ponderada de vários indicadores. Por outro lado, o indicador permite a obtenção de informações sobre as condições de uma realidade, de forma isolada ou em combinação com outros indicadores (SICHE et al., 2007).

Revisão da avaliação de gestão de resíduos sólidos

A gestão integrada de resíduos sólidos envolve um conjunto de ações direcionadas para a busca de soluções, a fim de evitar que eles causem danos ao meio ambiente e à saúde pública. Portanto, essa gestão deve ser constantemente avaliada (SANTIAGO; DIAS, 2012). Wilson et al. (2015) evidenciaram que muitos trabalhos foram desenvolvidos para adequar a avaliação de desempenho da gestão de resíduos sólidos aos desafios atuais, mas poucos focam em países em desenvolvimento.

Portanto, para verificar o que já foi publicado sobre o tema nos últimos dez anos, nacional e internacionalmente, foi realizada uma busca por artigos publicados em periódicos e outros estudos, tais como teses e monografias. Essa busca foi realizada no portal de periódicos da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES) e no Google Acadêmico utilizando uma combinação das palavras-chave: “resíduos sólidos”, “indicadores”, “PMGIRS”, “PMBS”, “avaliação”, “indicators”, “solid waste” e “evaluation”. Também foi realizada uma pesquisa documental em relatórios, manuais e plataformas governamentais, tais como o Ministério do Meio Ambiente (MMA), o Sistema Nacional de Informações sobre Saneamento (SNIS), entre outros. No intuito de identificar indicadores e/ou índices que fossem adequados para o caso brasileiro, foi realizada uma avaliação dos documentos obtidos.

Verificou-se que alguns trabalhos (BRINGHENTI; ZANDONADE; GÜNTHER, 2011; WILSON et al., 2015) buscavam avaliar a gestão e gerenciamento dos resíduos sólidos, mas essas avaliações não relacionavam as medidas com o atendimento às exigências estabelecidas legalmente. Wilson et al. (2015) propõem indicadores para a gestão integrada de resíduos sustentáveis que permitem a avaliação comparativa do desempenho do sistema municipal de gestão e reciclagem de resíduos sólidos em cidades, de forma padronizada, e o acompanhamento da evolução ao longo do tempo. Esses indicadores foram projetados para serem aplicáveis a municípios de qualquer país, independentemente do seu nível de desenvolvimento e das práticas de gestão de resíduos sólidos. Bringhenti, Zandonade e Günther (2011) sugerem indicadores e índices para avaliação do planejamento e implementação de programas de coleta seletiva, a fim de contribuir para a tomada de decisões, a adoção de ações corretivas, a confirmação do desempenho do programa e o fortalecimento dos laços com a população-alvo.

Entre os estudos analisados, verificou-se que existem trabalhos que propõem indicadores para avaliar a qualidade relacionada à adequação à legislação dos Planos Municipais de Saneamento Básico (PMSBs) (BARACHO, 2015; DARONCO, 2016; MIRANDA, 2014; PEREIRA; HELLER, 2015; BASILIO SOBRINHO, 2011; TIMÓTEO PEREIRA, 2012). Como o saneamento básico inclui a gestão dos resíduos sólidos, alguns desses trabalhos apresentam indicadores nessa área. Outros trabalhos (ALVARENGA, 2014; FERRAZ, 2008; POLAZ; TEIXEIRA, 2009; SANTIAGO; DIAS, 2012) trataram da avaliação da gestão dos resíduos sólidos por meio de indicadores fundamentados na sustentabilidade, tais como impactos ambientais associados aos RSU; grau de recuperação dos passivos ambientais; grau de disponibilização dos serviços públicos de RSU à população; variação da geração per capita de RSU, entre outros.

Entre essas publicações, destaca-se a de Daronco (2016), que propõe o desenvolvimento de um índice de qualidade e um de auditoria dos PMSBs, compostos de uma série de indicadores, incluindo os para resíduos sólidos, que buscam quantificar a qualidade dos serviços de manejo dos RSU. Apesar de não envolver os requisitos mínimos exigidos pela PNRS, este trabalho envolve uma análise qualitativa e quantitativa dos PMSBs, para avaliação e auditoria dos planos, e foi utilizado como base para este artigo.

Contudo, nenhum desses trabalhos visava a identificar o cumprimento legal, pelos municípios, de todos os requisitos mínimos exigidos na lei para elaboração dos seus planos de gestão locais. Diante disso, este artigo propõe uma ferramenta para avaliação dos PMGIRSs, para verificar o desempenho com relação ao conteúdo mínimo exigido pela PNRS.

Etapas de elaboração da ferramenta proposta

O processo de construção dos indicadores foi adaptado da metodologia apresentada por Cloquell-Ballester et al. (2006), descrita anteriormente. Nesse caso, as validações científica e social foram realizadas conjuntamente. A validação social foi executada parcialmente, visto que nem todos os setores da sociedade civil tiveram participação nesta pesquisa. A escolha de um setor específico deu-se por conveniência, ou seja, pela disponibilidade em participar da pesquisa e pela relevância na contribuição para o julgamento da ferramenta de avaliação proposta. Essa etapa foi denominada de validação especializada, por envolver pesquisadores e profissionais com amplo conhecimento teórico e prático na área.

Ao procedimento proposto por Cloquell-Ballester et al. (2006) foi acrescentada uma etapa de aplicação, no sentido de verificar a aplicabilidade da ferramenta em problemas específicos. Desse modo, três etapas foram realizadas:

• Construção da ferramenta preliminar de avaliação, que consistiu na definição dos indicadores a partir de pesquisa bibliográfica e documental com autovalidação;

• Processo de validação especializada dos indicadores, por meio da avaliação por especialistas na área e com experiência em instituições de governança no setor;

• Validação de aplicação, que consistiu na aplicação da ferramenta em seis municípios.

O esquema do processo de construção da ferramenta é demonstrado na Figura 1.

Figura 1 -
Etapas da pesquisa.

Inicialmente, realizou-se uma busca por indicadores adequados ou que pudessem ser adaptados para aplicação específica ao objeto da pesquisa. Após a busca bibliográfica e documental, verificou-se a inexistência de um sistema de avaliação que pudesse ser utilizado, havendo apenas alguns indicadores isolados que não atendiam ao propósito do objetivo deste artigo. Assim, iniciou-se o processo de construção de novos indicadores, que foram elaborados com base no conteúdo mínimo legal (art. 19 da PNRS) e a partir de orientações provenientes do manual de orientação e do guia para elaboração de planos de gestão de resíduos sólidos (BRASIL, 2010b; 2011; 2012). A primeira etapa teve como resultado a ferramenta de avaliação preliminar, após a autovalidação pelos autores.

Depois de definir os indicadores, a segunda etapa envolveu a validação especializada da ferramenta considerando a experiência de especialistas, na área de resíduos, dos setores científicos e profissionais. Essa etapa foi executada em duas partes: para avaliar a coerência conceitual e operacional bem como a utilidade da ferramenta; e para definir os fatores de ponderação da ferramenta.

A primeira parte da validação especializada foi realizada com um grupo de cinco especialistas na área de resíduos sólidos. São eles:

• Um professor universitário que tem experiência nas áreas de saneamento e gestão ambiental, atua como consultor em meio ambiente e saneamento básico e participou da elaboração de mais de 30 PMGIRSs integrados ao PMSB no Estado do Espírito Santo;

• Um consultor de gestão sustentável de resíduos sólidos, membro da Associação Internacional de Resíduos Sólidos (ISWA), com mais de 20 anos de experiência em gestão de resíduos sólidos no Brasil, nos setores público e privado. Também tem experiência no planejamento, gestão operacional e marco regulatório dos PGIRSs nos âmbitos municipal, regional, estadual e nacional. Atua na elaboração de planos de gestão dos resíduos sólidos;

• Um representante do MMA que atuou como gerente de resíduos no desenvolvimento e na avaliação do PNRS, na supervisão e no desenvolvimento do Sistema Nacional de Informações sobre a Gestão de Resíduos Sólidos (SINIR) no Brasil, entre outros projetos. Além disso, participou como gestor das linhas de financiamento dos PGIRS aos municípios e Estados pelo MMA. Atualmente é doutorando em gestão e tratamento de resíduos;

• Dois representantes da Secretaria de Estado de Saneamento, Habitação e Desenvolvimento Urbano do Espírito Santo (SEDURB-ES) que atuaram na fiscalização e no gerenciamento de contrato para elaboração de PMGIRSs no Estado do Espírito Santo.

Os especialistas foram contatados inicialmente por e-mail, por intermédio do qual foi enviada a ferramenta para avaliação dos indicadores propostos com base em suas experiências e em seu conhecimento. Posteriormente, por meio de reuniões virtuais, os especialistas discutiram com os autores sobre a ferramenta e apresentaram, individualmente, os pontos que careciam de ajustes. Essas reuniões tiveram duração média de 3 horas, para avaliação e discussão, e foram realizadas entre dezembro de 2017 e abril de 2018. Todas as sugestões e propostas foram avaliadas e discutidas, sendo grande parte delas incorporada à ferramenta de avaliação. Portanto, essa etapa permitiu obter a ferramenta de avaliação revisada (Figura 1).

A segunda parte da validação especializada consistiu na definição dos fatores de ponderação para a ferramenta. Para isso, utilizou-se a técnica Delphi, que busca o consenso de opiniões de um grupo de especialistas. Ela é baseada no uso estruturado do conhecimento e da experiência do grupo de especialistas, pressupondo-se que o julgamento coletivo, ao ser bem organizado, é melhor do que a opinião de um só indivíduo (BALASUBRAMANIAN; AGARWAL, 2013). As etapas da técnica Delphi consistem: na definição do problema objeto da pesquisa; na seleção dos especialistas; no envio dos questionários aos especialistas, com vistas a obter o parecer do especialista com base em sua experiência e conhecimento; no retorno dos questionários; e na análise das respostas, buscando-se o consenso em relação ao assunto. A divergência entre os especialistas é solucionada com novas rodadas de questionamentos até a obtenção do consenso (MUNARETTO; CORRÊA; CUNHA, 2013).

Nesta pesquisa, buscou-se o consenso dos especialistas quanto aos fatores de ponderação para a ferramenta de avaliação dos PMGIRSs. Dos cinco especialistas que participaram da primeira etapa da validação, apenas três participaram da segunda, a saber: o professor universitário, o consultor de gestão de resíduos sólidos e o representante do MMA. Os demais não tiveram disponibilidade de tempo para participar nessa fase. Em adição, também participou dessa etapa um engenheiro ambiental, mestre em engenharia e desenvolvimento sustentável, que participou da elaboração de PMSBs e PMGIRSs no Estado do Espírito Santo. Desse modo, participaram dessa etapa quatro especialistas na área de resíduos sólidos e com experiência na elaboração de PMGIRSs. O número de participantes na técnica Delphi pode variar, não há uma regra única. Mais relevante do que o número de participantes para determinar a qualidade dos resultados é o equilíbrio dos conhecimentos representados (CHAVES; MAZZON; DE SOUZA, 2012).

Os especialistas definiram, conforme os seus julgamentos, os fatores de ponderação para os índices da ferramenta, que serão apresentados posteriormente. Após o retorno dos questionários, verificou-se que houve divergência em algumas respostas. Desse modo, foi realizada mais uma rodada (a 2ª) com os pontos divergentes, que resultou no consenso. Essa fase foi realizada em maio de 2018 e culminou na ferramenta de avaliação revisada, apresentada na seção Resultados.

A terceira e última etapa consistiu na validação de aplicação, em que a ferramenta de avaliação foi aplicada ao objeto de estudo para verificar sua utilidade no uso final. Para isso, foram selecionados seis municípios distintos, com amostragem intencional, para avaliar os seus PMGIRSs. Os resultados dessa etapa serão apresentados na segunda parte desse artigo.

RESULTADOS

A ferramenta de avaliação do Plano Municipal de Gestão Integrada de Resíduos Sólidos

Os indicadores propostos para a ferramenta de avaliação (Quadro 1) foram concebidos com base nas exigências da PNRS, com foco principal no conteúdo mínimo para os PMGIRSs (art. 19 da PNRS). Essa análise foi realizada pelos autores e validada pelos especialistas.

Quadro 1 -
Indicadores propostos.

Indicadores	Avaliação		Formulação de análise dos indicadores
1 - Participação da sociedade	Atendido		Foi definida realização de processos participativos (eventos públicos e canais de comunicação) durante a elaboração do PMGIRS.
	Suficiente		Foram apresentados quais foram os eventos previstos, incluindo a ordem cronológica deles.
	Condição	Bom	Foi prevista a realização de, pelo menos, quatro eventos, um para cada uma das seguintes etapas: planejamento de mobilização social, diagnóstico dos resíduos, planejamento de ações e apresentação da versão final, disponibilizando nos canais de comunicação para participação da sociedade.
		Regular	Foi prevista a realização de apenas três eventos.
		Ruim	Foi prevista a realização de apenas dois ou menos eventos para participação social.
2 - Grupo de sustentação	Atendido		Foi estabelecido um grupo de sustentação (ou outra denominação), responsável por coordenar, orientar e acompanhar a elaboração do plano, garantindo o debate e engajamento de todos os segmentos ao longo do processo participativo, de maneira a garantir o controle social.
	Suficiente		Foram definidas as atribuições e responsabilidades do grupo de sustentação.
	Condição	Bom	O grupo de sustentação é composto de representantes do setor público e da sociedade civil organizada, incluindo os segmentos popular, técnico/acadêmico e empresarial.
		Regular	O grupo de sustentação é composto de representantes do setor público e da sociedade civil organizada, mas não inclui todos os três segmentos citados anteriormente.
		Ruim	O grupo de sustentação é composto apenas de representantes do setor público.
3 - Divulgação do PMGIRS	Atendido		Foram definidas as ferramentas de divulgação e comunicação para disseminação e acesso às informações sobre os eventos previstos durante a construção do PMGIRS.
	Suficiente		Foi estabelecida a divulgação de todos os eventos para a participação social, durante a elaboração do PMGIRS.
	Condição	Bom	O plano de divulgação inclui a divulgação por meio de mídias virtuais, impressas (convites, cartazes ou folders, por exemplo) e mídias sonoras, tais como rádio e/ou carros de som.
		Regular	O plano de divulgação inclui apenas duas das três mídias citadas anteriormente.
		Ruim	O plano de divulgação estabelece a divulgação por apenas uma tipo de mídia..
4 - Comitê diretor do PMGIRS	Atendido		Foi apresentado um comitê diretor (ou outra denominação), de caráter técnico e papel executivo, responsável pela operacionalização do processo de elaboração do plano, garantindo o bom andamento do processo.
	Suficiente		Foram definidas as atribuições do comitê diretor durante as etapas de elaboração do PMGIRS.
	Condição	Bom	Foram definidas quais são as representações que compõem o comitê diretor estabelecido, ou seja, os órgãos municipais envolvidos com o tema e os seus respectivos representantes.
		Regular	Foram definidos quais órgãos municipais compõem o comitê, mas não foram indicados quem são seus respectivos representantes. Se for apresentado aos representantes, mas não indicar quais órgãos eles representam, também será considerado regular.
		Ruim	Não foram apresentadas quais são as representações que compõem o comitê diretor.
5 - Diagnóstico dos resíduos	Atendido		O município identificou e classificou os tipos de resíduos sólidos gerados na localidade, por meio da realização do seu diagnóstico.
	Suficiente		O diagnóstico apresentado contém informações e análise criteriosa de todos os resíduos sólidos gerados no município.
	Condição	Bom	O diagnóstico engloba os procedimentos adotados atualmente, formalizados ou não, na geração, coleta, transporte, destinação e disposição final.
		Regular	O diagnóstico apresenta as informações de apenas quatro etapas descritas anteriormente.
		Ruim	O diagnóstico engloba as informações de três ou menos etapas.
6 - Procedimentos para o gerenciamento de resíduos	Atendido		O município apresenta os procedimentos operacionais e as especificações mínimas adotadas pelos serviços públicos de limpeza urbana e de manejo de resíduos sólidos para o gerenciamento dos resíduos sólidos.
	Suficiente		Inclui nos procedimentos e especificações a definição das responsabilidades quanto à sua implementação e operacionalização.
	Condição	Bom	Foram apresentados os procedimentos operacionais e especificações mínimas adotados em todas as seguintes etapas do gerenciamento: geração, coleta, transporte, destinação e disposição final dos rejeitos.
		Regular	Foram apresentados os procedimentos operacionais e especificações mínimas adotados de apenas quatro etapas, descritas anteriormente.
		Ruim	Foram definidos os procedimentos operacionais e especificações mínimas de apenas três ou menos etapas descritas anteriormente.
7 - Áreas para disposição final	Atendido		O município identificou e incluiu no PMGIRS as áreas favoráveis e disponíveis para a disposição final ambientalmente adequada dos rejeitos, ou seja, áreas que o município utiliza ou pretende utilizar futuramente, podendo estar no próprio município ou em municípios vizinhos e podendo ser públicas ou privadas.
	Suficiente		Foi apresentada a forma de disposição final ambientalmente adequada utilizada atualmente (aterro sanitário), contendo o prognóstico de vida útil e suas especificidades.
	Condição	Bom	Foi apresentada a avaliação da viabilidade das áreas identificadas considerando os aspectos técnicos, sociais, econômicos e ambientais.
		Regular	Foi apresentada a avaliação da viabilidade das áreas identificadas considerando somente três aspectos dos quatro anteriormente citados.
		Ruim	Foi apresentada a avaliação da viabilidade das áreas identificadas considerando menos do que três aspectos considerados necessários.
8 - Consórcios intermunicipais	Atendido		O município apresenta as possibilidades de implantar soluções consorciadas ou compartilhadas intermunicipais. São consideradas possibilidades se o município já fizer parte de um consórcio e apresentar um acordo de intenção ou termo de compromisso.
	Suficiente		Foram definidas quais são as atividades, de cunho tipicamente local, que serão executadas pelo município de forma isolada e quais serão planejadas e executadas regionalmente, por meio de soluções consorciadas ou compartilhadas.
	Condição	Bom	Foi estabelecida a realização de estudos, com objetivo de identificar as afinidades físicas, sociais, econômicas e político institucionais existentes entre os municípios que favorecem a adoção de soluções conjuntas para a gestão dos resíduos entre eles.
		Regular	Foi estabelecida a realização de estudos, que proporcionem a identificação de três afinidades das quatro citadas anteriormente.
		Ruim	Foi estabelecida a realização de estudos, proporcionando a identificação de duas ou menos afinidades das quatro citadas anteriormente.
9 - Elaboração de PGRS e logística reversa	Atendido		Foram apresentados quais são os resíduos sólidos e os respectivos setores sujeitos a elaborar o plano de gerenciamento de resíduos sólidos e/ou implantarem logística reversa.
	Suficiente		Foi definido um órgão público local competente, no qual os geradores específicos deverão entregar o plano de gerenciamento e manter atualizadas e disponíveis as informações completas sobre a implementação e a operacionalização do plano sob sua responsabilidade.
	Condição	Bom	Foram definidos programas, projetos ou ações para acompanhamento, controle e fiscalização da implementação e operacionalização dos planos de gerenciamento dos resíduos e dos sistemas de logística reversa.
		Regular	Foram apresentados programas, projetos ou ações para acompanhamento, controle e fiscalização da implementação e operacionalização apenas dos planos de gerenciamento dos resíduos ou apenas dos sistemas de logística reversa.
		Ruim	Não foram definidos programas, projetos ou ações para acompanhamento, controle e fiscalização da implementação e operacionalização dos planos de gerenciamento dos resíduos e dos sistemas de logística reversa.
10 - Compatibilidade com outros planos	Atendido		O PMGIRS articula com o Plano Diretor Municipal (PDM) e com PMSB. Para os municípios com menos do que 20 mil habitantes, o PDM não é obrigatório (BRASIL, 2001, art. 41).
	Suficiente		O PMGIRS articula com outras políticas públicas além do PMSB e do PDM.
	Condição	Bom	O PMGIRS articula com, pelo menos, mais três políticas públicas.
		Regular	O PMGIRS articula com mais duas políticas.
		Ruim	O PMGIRS articula apenas com mais uma política.
11 - Revisão periódica do PMGIRS	Atendido		O plano apresenta a periodicidade em que serão realizadas as revisões periódicas..
	Suficiente		As revisões de atualização do plano foram definidas para execução, a cada 4 anos pelo menos
	Condição	Bom	Foi estabelecido um mecanismo de acompanhamento e monitoramento do PMGIRS, no período de 4 anos após a apresentação do plano e antes da revisão, e os responsáveis por implantá-lo. O objetivo é verificar o quanto os projetos e ações estão sendo executados, obtendo informações que contribuam com a revisão do plano.
		Regular	Foi definido um mecanismo de acompanhamento e monitoramento do PMGIRS que contribua com a revisão do plano, mas não foram definidos os responsáveis por implantá-lo.
		Ruim	Não foi estabelecido um mecanismo de acompanhamento e monitoramento do PMGIRS, no período dos 4 anos após a apresentação do plano e antes da revisão.
12 - Desempenho operacional e ambiental*	Atendido		Foi definido um conjunto de indicadores que será utilizado para verificar o desempenho operacional e ambiental dos serviços públicos de limpeza urbana e manejo de resíduos sólidos
	Suficiente		Foi definido um mecanismo de acompanhamento e avaliação da evolução dos indicadores ao longo dos anos.
	Condição	Bom	O mecanismo de acompanhamento e avaliação apresentado inclui metas com os respectivos procedimentos e ações para alcançá-las.
		Regular	Foram apresentadas as metas para o mecanismo de acompanhamento do desempenho, mas não foram definidos os procedimentos e ações para alcançá-las.
		Ruim	Não foram incluídas as metas no mecanismo de acompanhamento e avaliação dos indicadores
13 - Qualificação dos envolvidos*	Atendido		Foi definida a realização de treinamentos e cursos para capacitação técnica dos envolvidos no processo de elaboração do PMGIRS.
	Suficiente		Foram definidos os tipos de capacitação e quais setores a receberão.
	Condição	Bom	Foi estabelecida capacitação técnica para os envolvidos do setor público, da sociedade civil organizada e do setor privado.
		Regular	Foi estabelecida capacitação apenas para os envolvidos do setor público e da sociedade civil
		Ruim	Foi estabelecida capacitação técnica apenas para os envolvidos do setor público.
14 - Educação ambiental	Atendido		Foram apresentados os programas e projetos de educação ambiental a serem realizados, em todos os níveis e modalidades do processo educativo, incluindo educação formal e informal.
	Suficiente		Foi estabelecido um modelo contendo estratégias, metas e ações para o desenvolvimento e acompanhamento dos programas e projetos de educação ambiental.
	Condição	Bom	O modelo apresentado possibilita a verificação da eficácia dos programas e projetos, por meio de indicadores, e define o agente promotor das ações.
		Regular	O modelo apresentado possibilita a verificação da eficácia por meio de indicadores, mas não define o agente promotor.
		Ruim	Não foram definidos indicadores que possibilitem a verificação da eficácia dos programas e projetos de educação ambiental.
15 - Inclusão de catadores	Atendido		Foram definidos programas, projetos e ações para a participação dos grupos interessados, em especial das cooperativas ou outras formas de associação de catadores de materiais reutilizáveis e recicláveis.
	Suficiente		Foram apresentadas as etapas e ações em que poderá ocorrer a participação de cooperativas ou outras formas de associação de catadores de materiais reutilizáveis e recicláveis e foram definidas as ações para auxiliar na criação e desenvolvimento das associações/cooperativas.
	Condição	Bom	Foram definidas as ações para auxiliar no desenvolvimento das associações e cooperativas de catadores nas três fases de desenvolvimento: formalização, contendo a descrição das exigências e adequações necessárias, tais como a adequação do licenciamento ambiental e o atendimento a outros requisitos legais; estruturação e ampliação, onde será previsto os programas e projetos para auxiliar na implantação das associações e cooperativas; e capacitação continuada, onde serão estabelecidos treinamentos que contribuam para o fortalecimento da atuação dos catadores, incluindo autogestão.
		Regular	Foram definidas as ações apenas para duas das três fases de desenvolvimento citadas anteriormente, sendo obrigatória a fase de formalização.
		Ruim	Foram apresentadas as ações para auxiliar no desenvolvimento das associações e cooperativas de catadores apenas na fase de formalização.
16 - Valorização dos resíduos*	Atendido		Foram apresentados os programas, projetos e ações para criação de fontes de negócios, emprego e renda a partir da implantação de tecnologias para valorização dos resíduos reutilizáveis e recicláveis, transformando-os em matérias primas para outros produtos.
	Suficiente		Foram apresentadas medidas e ações estratégicas, tais como incentivos fiscais e investimentos, para fomentar o uso de matérias-primas e insumos derivados de materiais recicláveis e reciclados, identificando oportunidades relativas à comercialização e identificando potenciais parcerias com setor privado e instituições financeiras.
	Condição	Bom	Foram apresentadas, pelo menos, as quatro seguintes ações: ampliação da coleta seletiva, política pública para pagamento de serviços ambientais para coleta e triagem, identificação de oportunidades de formação de redes e política pública para desoneração fiscal dos recicláveis. Outras ações podem ser previstas pelo plano, como identificação de oportunidades de negócios com diversificação de portfólio de produto.
		Regular	Foram apresentadas apenas três ações das quatro citadas anteriormente.
		Ruim	Foram apresentadas apenas duas ou menos ações das quatro citadas anteriormente.
17 - Regulação do SLPMRS	Atendido		Foi definido um sistema de cálculo dos custos de prestação dos Serviços de Limpeza Pública e de Manejo dos Resíduos Sólidos (SLPMRS), bem como a forma de cobrança desses serviços ou subsídios de outras fontes para manter este serviço.
	Suficiente		Foi definida uma sistemática de como deverá ser realizada a cobrança dos serviços. Um exemplo de sistemática é uma planilha de custos, envolvendo custeio, capital e investimentos.
	Condição	Bom	Foram apresentadas as quatro seguintes ações: diferenciação social de taxas e/ou tarifas de cobrança, definição de lei municipal que regulamenta a tarifa social, definição de novas fontes de subsídios e definição de meios para que ocorra a transparência financeira.
		Regular	Foram definidas apenas três das quatro ações citadas anteriormente.
		Ruim	Foram definidas apenas duas ou menos das quatro ações citadas anteriormente.
18 - Elaboração de metas	Atendido		Foram apresentadas metas para todos os programas, planos e projetos propostos no PMGIRS.
	Suficiente		Foram definidas as ações a serem adotadas para o alcance das metas definidas.
	Condição	Bom	Foram definidos os prazos para cada meta estabelecida e foi definido o agente promotor responsável pela implementação das ações.
		Regular	Foram definidos prazos para a realização de cada meta estabelecida, mas não foi definido o agente promotor.
		Ruim	Não foram definidos prazos e agente promotor para as metas estabelecidas.
19 - Delimitação das responsabilidades do poder público	Atendido		Foram descritas as formas e os limites de participação do poder público local na coleta seletiva e logística reversa ou em outras ações relativas à responsabilidade compartilhada pelo ciclo de vida do produto.
	Suficiente		Foram apresentadas as atividades que são responsabilidades dos geradores, mas que podem ser realizadas por titulares dos serviços públicos de limpeza urbana e de manejo de resíduos sólidos. Neste caso, as ações do poder público deverão ser devidamente remuneradas, na forma previamente acordada entre as partes.
	Condição	Bom	Foram descritas as responsabilidades, no gerenciamento dos resíduos gerados na localidade, do poder público, do setor privado e dos consumidores.
		Regular	Foram descritas as responsabilidades do poder público e de mais um dos dois setores citados.
		Ruim	Foram descritas somente as responsabilidades do poder público, ou seja, dos titulares dos serviços públicos de limpeza urbana e de manejo de resíduos sólidos.
20 - Passivos ambientais	Atendido		Foram apresentados os passivos ambientais relacionados aos resíduos sólidos identificados, incluindo as áreas contaminadas, como de lixões, pontos viciados e aterros controlados.
	Suficiente		Foram definidas, após diagnóstico, as medidas saneadoras cabíveis para erradicação dos passivos ambientais a serem executadas em cada área contaminada identificada.
	Condição	Bom	Foram definidas as fases de planejamento, orçamento e acompanhamento das medidas saneadoras definidas. O planejamento deve conter os prazos para as ações serem realizadas e o orçamento das ações propostas deve considerar os recursos humanos, técnicos e logísticos, assim como eventuais serviços de terceiros. O acompanhamento é necessário para verificar se as medidas saneadoras estão sendo realizadas de forma correta, nos prazos definidos na fase de planejamento, além de verificar se os passivos ambientais estão sendo recuperados.
		Regular	Foram definidas apenas duas das três fases citadas anteriormente.
		Ruim	Foi definida apenas uma ou nenhuma das três fases citadas anteriormente.
21 - Ações de prevenção e correção*	Atendido		Foram apresentadas ações e/ou medidas de contingências ou emergência com o intuito de orientar a atuação dos setores responsáveis para controlar e solucionar os impactos causados por situações críticas não esperadas.
	Suficiente		Foram definidas e descritas, de forma clara, as possíveis situações de emergência e contingência no município, a fim de identificar riscos e assim, estabelecer os procedimentos para prevenção e/ou correção.
	Condição	Bom	Foram definidos os responsáveis para controlar e monitorar as situações de risco, o plano de ações e quem deverá ser comunicado em caso emergências e contingência.
		Regular	Foram definidos os responsáveis e o plano de ações para as ocorrências e situações de riscos, mas não estabelece quem deve ser comunicado em caso de emergência e contingência.
		Ruim	Foram definidos apenas os responsáveis pelo monitoramento e controle das situações de risco ou não define nenhum dos elementos citados.

• *Indicadores não obrigatórios para municípios com menos de 20 mil habitantes; PMGIRS: Plano Municipal de Gestão Integrada de Resíduos Sólidos.

Os requisitos para a avaliação dos indicadores da ferramenta proposta estão apresentados detalhadamente no material suplementar deste artigo.

Com base em Daronco (2016), cada indicador descrito no Quadro 1 é avaliado por três critérios: atendimento, suficiência e condição, os quais são quantificados pelas notas descritas no Quadro 2. Portanto, para cada item da legislação, verifica-se seu atendimento decidindo se foi realizado (atribuição de nota 1) ou não (atribuição de nota 0). Caso não tenha sido realizado no PMGIRS, finaliza-se a avaliação do referido item. Em caso positivo, procede-se à avaliação do grau de suficiência desse atendimento.

Quadro 2 -
Critérios de avaliação de indicadores.

Critério	Avaliação
Atendimento	Realizado	1
	Não realizado	0
Suficiência	Abordagem suficiente	2
	Abordagem insuficiente	1
Condição	Ruim	1
	Regular	2
	Bom	3

• Fonte: adaptado de Wartchow, Duarte e Mansur (2011).

Para a avaliação da suficiência, as condições foram definidas de acordo com a clareza das informações que devem ser completas e suficientes para atender à legislação e contribuir para a correta gestão dos resíduos na localidade. Como resultado, a abordagem pode ser considerada suficiente (nota 2) ou insuficiente (nota 1), em que parte do item foi realizado, mas não se considera a abordagem satisfatória ou completa.

Feito isso, a condição do atendimento também é avaliada. As condições foram estabelecidas de acordo com a qualidade das informações apresentadas nos critérios anteriores. Considera-se que a condição pode ser boa (nota 3) quando todo o desdobramento do item relacionado ao conteúdo mínimo da política foi descrito. Caso algum elemento do item analisado não tenha sido descrito, considera-se a condição como regular (nota 2) ou ruim (nota 1) quando mais de um elemento não foi incluído. Esse procedimento para avaliação pode ser observado na Figura 2.

Figura 2 -
Fluxograma de avaliação.

Dessa forma, os indicadores avaliados terão três notas, uma de cada critério avaliado. A nota parcial dos indicadores se dará pelo produto das notas de cada critério (atendimento × suficiência × condição), resultando na ocorrência de cinco valores possíveis, conforme mostrado no Quadro 3.

Quadro 3
Notas parciais dos indicadores.

Nota	Resultado
6	Indicador atendido
4
2
1	Indicador incompleto
0	Indicador não atendido

Os indicadores que obtiverem nota 6 foram avaliados como “atendidos”, “suficientes” e “bons”. Portanto, não necessitam de nenhuma melhoria, visto que, teoricamente, eles atendem à legislação e às necessidades operacionais para a adequada gestão. Para os itens com notas 4 e 2, apesar de terem sido atendidos e suficientes, a condição foi avaliada como “regular” e “ruim”, respectivamente. Isso pode indicar a necessidade de adequação na revisão e atualização do plano, caso tenha sido percebida alguma dificuldade em implantar aquela ação.

Os indicadores que obtiverem nota 1 serão considerados incompletos, pois, apesar de terem sido atendidos, não têm abordagem suficiente que garanta uma implantação em atendimento aos objetivos da PNRS. Portanto, recomenda-se que, quando for realizada a revisão e atualização do plano, esses pontos críticos sejam corrigidos, visando à adequação em sua abordagem. Por fim, os indicadores que obtiverem nota 0 serão considerados não realizados, uma vez que não estão adequados à legislação.

A partir da quantificação dos indicadores apresentados no Quadro 1, a ferramenta de avaliação dos PMGIRSs foi concebida por quatro índices complementares: o Índice de Atendimento do PMGIRS (IAP), o Índice de Qualidade do PMGIRS (IQP), o Índice de Complexidade do PMGIRS (ICP) e o Índice do Potencial do PMGIRS (IPP).

O IAP tem a finalidade de avaliar os PMGIRS em função do atendimento ao conteúdo mínimo exigido pela PNRS. A nota final do IAP será o resultado da soma das notas obtidas para o critério atendimento de cada indicador definido no Quadro 1. O IQP busca avaliar a qualidade do plano com relação à qualidade das informações presentes no seu conteúdo. Desse modo, a nota final do IQP será o resultado da multiplicação das notas parciais (Quadro 3) de cada indicador apresentado no Quadro 1.

O ICP tem por objetivo avaliar o plano em função da complexidade, do tempo e dos recursos gastos com cada item durante a sua elaboração. O processo de elaboração dos planos representa um encargo de grande importância aos municípios, sobretudo em virtude da quantidade e da complexidade das exigências mínimas que devem ser contempladas pelos PMGIRSs (MARINO; CHAVES; SANTOS JUNIOR, 2016). O IPP, por sua vez, tem a finalidade de avaliar o plano de acordo com o seu potencial na implementação e na continuidade das ações na troca da gestão política e gerencial do município, aspecto qualitativo igualmente importante. Esse índice foi denominado “potencial”, pois sua real implantação depende de outros fatores, tais como a capacidade técnica da equipe responsável por sua implantação, a autoridade política dos gestores responsáveis, entre outros (MARINO; CHAVES; SANTOS JUNIOR, 2018).

Portanto, foram atribuídos fatores de ponderação (pesos) para o ICP e o IPP (Quadro 4), a partir do consenso dos especialistas. Os indicadores foram considerados muito importantes (peso 2), essenciais (peso 1,5) ou menos importante (peso 1) para a complexidade ou o potencial do plano. Sendo assim, os valores de todos os quatro índices foram obtidos pela soma da nota de cada indicador (Quadro 1) ponderada pelo peso determinado no Quadro 4. Para o cálculo do IAP e do IQP não há diferenciação na importância dos indicadores. Por isso, os fatores de ponderação serão iguais a 1 para todos eles (Quadro 4).

Os índices podem atingir determinadas notas máximas. Contudo, essas notas são distintas em função do porte do município, conforme apresentado no Quadro 5.

Quadro 4 -
Fatores de ponderação dos indicadores.

Indicadores	1	2	3	4	5	6	7	8	9	10	11	12	13	14	15	16	17	18	19	20	21
Pesos IAP e IQP	1	1	1	1	1	1	1	1	1	1	1	1	1	1	1	1	1	1	1	1	1
Pesos ICP	1,5	1	1	1	2	2	1,5	1,5	1	1,5	1	1,5	1	1,5	1,5	1,5	1,5	1,5	1	1,5	1
Pesos IPP	2	2	1,5	1,5	1,5	1,5	1,5	1,5	1	1,5	1,5	2	1,5	2	1,5	1,5	2	1,5	1,5	1	1

• IAP: índice de atendimento do Plano Municipal de Gestão Integrada de Resíduos Sólidos (PMGIRS); IQP: índice de qualidade do PMGIRS; ICP: índice de complexidade do PMGIRS; IPP: índice do potencial do PMGIRS; 1: Menos importante (exceto para o IAP e IQP); 1,5: Essencial; 2: Mais importante.

Quadro 5 -
Notas máximas dos índices para municípios com mais de 20 mil habitantes.

Município	IAP	IQP	ICP	IPP
Acima de 20 mil habitantes	21	126	171	195
Abaixo de 20 mil habitantes	17	102	141	159

• IAP: índice de atendimento do Plano Municipal de Gestão Integrada de Resíduos Sólidos (PMGIRS); IQP: índice de qualidade do PMGIRS; ICP: índice de complexidade do PMGIRS; IPP: índice do potencial do PMGIRS.

Para os municípios com menos de 20 mil habitantes, que podem elaborar o plano com conteúdo simplificado (art. 51) (BRASIL, 2010a), os indicadores 12, 13, 16 e 21, apresentados no Quadro 1, não serão considerados na avaliação, pois eles não são obrigatórios. Desse modo, os índices terão notas máximas diferentes e menores, se comparadas com as notas para os municípios com mais de 20 mil habitantes.

A partir da análise das notas alcançadas pelos municípios, é possível verificar a respeito do desempenho do PMGIRS, comparando o percentual do valor máximo atingido pelo índice. No caso do IAP, o PMGIRS somente será considerado com bom desempenho se ele atingir nota máxima, ou seja, nota 21 para municípios com mais de 20 mil habitantes e nota 17 para municípios com menos de 20 mil habitantes. Isso porque o IAP avalia se o PMGIRS atendeu às exigências mínimas da legislação. Em contrapartida, no caso dos índices IQP, ICP e IPP, para o desempenho do PMGIRS ser considerado bom não é necessário que eles alcancem notas máximas. Se todos os indicadores forem avaliados como atendidos e suficientes, mas com condição ruim, os índices atingem 33% dos seus valores máximos. Por esse motivo, foi definido que, se eles alcançarem percentual a partir de 67% do valor máximo para cada índice, o desempenho do PMGIRS será considerado adequado, caso o IAP seja considerado atendido e todos os indicadores sejam considerados suficientes. Isso evidencia a importância de verificar as notas dos indicadores individualmente, em cada critério. Algumas questões relevantes devem ser analisadas, a saber: existe algum indicador não atendido? Há muitos indicadores avaliados como não suficientes? Existem muitos indicadores avaliados como regular ou ruim no critério condição? Com relação aos fatores de ponderação, aqueles que são classificados como “mais importantes” (ponderação nota 2) alcançaram notas máximas? Assim, após verificar essas questões, além do percentual atingido pelo índice, é possível afirmar se o PMGIRS tem bom desempenho ou não, com relação ao atendimento à legislação, à qualidade do seu conteúdo, à complexidade da sua elaboração e ao potencial de implantação das ações.

CONCLUSÕES

O artigo propôs uma ferramenta de avaliação dos PMGIRSs que possibilita a quantificação do desempenho na elaboração dos PMGIRSs. Os indicadores propostos foram concebidos de modo a serem de fácil mensuração, baseados em informações facilmente disponíveis e de baixo custo. Além disso, levou-se em consideração a capacidade do indicador em demonstrar a condição do PMGIRS no âmbito municipal, a habilidade de entendimento pelo profissional responsável pela avaliação e a disponibilidade de dados.

Apesar dessas vantagens, reconhece-se que a avaliação de alguns indicadores não abrange todas as questões envolvidas com as temáticas. Foi feita uma escolha, em função da elevada complexidade em avaliar determinados pontos com profundidade. O indicador “participação da sociedade”, por exemplo, é limitado, pois para avaliar esse item com mais profundidade seria necessário realizar uma análise da qualidade da participação e dos eventos, por meio de indicadores específicos de participação social. Se essa abordagem fosse adotada para todos os indicadores, a ferramenta se tornaria mais completa. Contudo, isso aumentaria sua complexidade em função da dificuldade (e custos) em obter todos os dados necessários. Isso poderia limitar as possibilidades de aplicação da ferramenta proposta.

Além disso, sabe-se que a capacidade gerencial depende do porte do município e isso pode influenciar a elaboração do plano. Um município com capacidade gerencial baixa poderá ter prioridades, como eliminar o lixão em vez de propor um plano complexo. Nesse sentido, uma sugestão é avaliar os municípios por porte, região ou nível de capacidade administrativa (conforme proposto por Marino, Chaves e Santos Junior, 2018), a fim de possibilitar comparações mais equilibradas.

Na prática, os itens do plano têm uma integração. Por exemplo, as metas propostas dão resposta aos problemas encontrados no diagnóstico. Os indicadores deveriam incluir essa análise da conectividade entre esses itens, ou seja, a integração ou a relação entre os itens do plano deveria ser verificada. Contudo, a ferramenta proposta não analisa essa interligação devido à complexidade da sua avaliação. Entretanto, reconhece-se a importância dessa avaliação, que segue como sugestão de aperfeiçoamento para estudos posteriores.

Portanto, apesar de não envolver todos esses desdobramentos, o artigo contribui para a literatura provendo uma ferramenta para avaliação de uma política específica voltada para a gestão dos resíduos sólidos. Por ser uma ferramenta fácil de ser aplicada, espera-se possibilitar sua utilização no diagnóstico dos PMGIRSs elaborados, ou seja, do atendimento às exigências quanto ao conteúdo mínimo, à qualidade dos planos, à complexidade da elaboração e a seu potencial de implantação. Esse diagnóstico apontará a situação estática das políticas no âmbito local e poderá servir de marco ou base para avaliação da implantação dessas políticas nos municípios brasileiros. Uma aplicação preliminar dessa ferramenta é apresentada na parte 2 deste artigo.

REFERÊNCIAS

• ALVARENGA, J.C.F. (2014) Avaliação do gerenciamento de resíduos sólidos urbanos em municípios da Zona da Mata de Minas Gerais utilizando indicadores de sustentabilidade em conformidade com a Política Nacional de Resíduos Sólidos Dissertação (Mestrado) - Universidade Federal de Viçosa, Viçosa.
• ASSOCIAÇÃO BRASILEIRA DE EMPRESAS DE LIMPEZA PÚBLICA E RESÍDUOS ESPECIAIS (ABRELPE). (2017) Panorama de Resíduos Sólidos no Brasil 2016 São Paulo: Associação Brasileira de Empresas de Limpeza Pública e Resíduos Especiais.
• BALASUBRAMANIAN, R.; AGARWAL, D. (2013) Delphi technique: a review. International Journal of Public Health Dentistry, v. 3, n. 2, p. 16-25.
• BARACHO, R.O. (2015) Análise e avaliação de planos municipais de saneamento básico no Paraná: um estudo de caso em cinco cidades Monografia (Trabalho de Conclusão de Curso) - Universidade Tecnológica Federal do Paraná, Londrina.
• BASILIO SOBRINHO, G. (2011) Planos municipais de saneamento básico (PMSB): instrumento para universalização do abastecimento de água e do esgotamento sanitário Tese (Doutorado) - Universidade Federal do Ceará, Fortaleza.
• BERTICELLI, R.; KORF, E.P. Diretrizes para elaboração de um plano municipal de gestão integrada de resíduos sólidos. Revista de Engenharia Civil IMED, v. 3, n. 1, p. 19-24, 2016.
• BORJA, P.C.; MORAES, L.R.S. (2003) Indicadores de saúde ambiental com enfoque para a área de saneamento: parte I- aspectos conceituais e metodológicos. Engenharia Sanitária e Ambiental, v. 8, n. 1/2, p. 13-25.
• BRASIL. (2007) Lei nº 11.445, de 5 de janeiro de 2007 Estabelece diretrizes nacionais para o saneamento básico. Brasília. Disponível em: <Disponível em: http://www.planalto.gov.br/ccivil_03/_ato2007-2010/2007/lei/l11445.htm >. Acesso em: 7 jun. 2018.
  » http://www.planalto.gov.br/ccivil_03/_ato2007-2010/2007/lei/l11445.htm
• BRASIL. (2010a) Decreto nº 7.404, de 23 de dezembro de 2010 Regulamenta a Lei nº 12.305, de 2 de agosto de 2010. Brasília. Disponível em: <Disponível em: http://www.planalto.gov.br/ccivil_03/_ato2007-2010/2010/decreto/d7404.htm >. Acesso em: 7 jun. 2018.
  » http://www.planalto.gov.br/ccivil_03/_ato2007-2010/2010/decreto/d7404.htm
• BRASIL. (2010b) Lei nº 12.305, de 2 de agosto de 2010 Institui a Política Nacional de Resíduos Sólidos. Brasília. Disponível em: <Disponível em: http://www.planalto.gov.br/ccivil_03/_ato2007-2010/2010/lei/l12305.htm >. Acesso em: 7 jun. 2018.
  » http://www.planalto.gov.br/ccivil_03/_ato2007-2010/2010/lei/l12305.htm
• BRASIL. (2011) Ministério do Meio Ambiente. Guia para elaboração dos Planos de Gestão de Resíduos Sólidos Brasília: Ministério do Meio Ambiente.
• BRASIL. (2012) Ministério do Meio Ambiente. Planos de gestão de resíduos sólidos: manual de orientação Brasília: Ministério do Meio Ambiente.
• BRINGHENTI, J.R.; ZANDONADE, E.; GÜNTHER, W.M.R. (2011) Selection and validation of indicators for programs selective collection evaluation with social inclusion. Resources, Conservation and Recycling, v. 55, n. 11, p. 876-884. https://doi.org/10.1016/j.resconrec.2011.04.010
  » https://doi.org/https://doi.org/10.1016/j.resconrec.2011.04.010
• CAMPOS, H.K.T. (2014) Recycling in Brazil: Challenges and prospects. Resources, Conservation and Recycling, v. 85, p. 130-138. https://doi.org/10.1016/j.resconrec.2013.10.017
  » https://doi.org/https://doi.org/10.1016/j.resconrec.2013.10.017
• CHAVES, G.L.D.; SANTOS JUNIOR, J.L.; ROCHA, S.M.S. (2014) The challenges for solid waste management in accordance with Agenda 21: a Brazilian case review. Waste Management & Research, v. 32, n. 9, p. 19-31. https://doi.org/10.1177%2F0734242X14541987
  » https://doi.org/https://doi.org/10.1177%2F0734242X14541987
• CHAVES, S.; MAZZON, J.A.; DE SOUZA, C.A. (2012) Proposição de um método para mensuração de rankings com emprego da técnica Delphi. Future Studies Research Journal: Trends and Strategy, v. 4, n. 2, p. 49-72.
• CLOQUELL-BALLESTER, V.A.; CLOQUELL-BALLESTER, V.A.; MONTERDE-DÍAZ, R.; SANTAMARINA-SIURANA, M.C. (2006) Indicators validation for the improvement of environmental and social impact quantitative assessment. Environmental Impact Assessment Review, v. 26, n. 1, p. 79-105. https://doi.org/10.1016/j.eiar.2005.06.002
  » https://doi.org/https://doi.org/10.1016/j.eiar.2005.06.002
• CONFEDERAÇÃO NACIONAL DE MUNICÍPIOS (CNM). (2017) Pesquisa sobre Gestão Municipal de Resíduos Sólidos. Estudos Técnicos Disponível em: <Disponível em: http://www.cnm.org.br/biblioteca/exibe/3080 >. Acesso em: 18 mar. 2018.
  » http://www.cnm.org.br/biblioteca/exibe/3080
• DARONCO, G.C. (2016) Proposição e aplicação de metodologia para avaliação e auditoria de planos municipais de saneamento básico. Cuadernos de Trabajo de La Red Waterlat-Gobacit, v. 3, p. 4-25.
• FERRAZ, J.L. (2008) Modelo para avaliação da gestão municipal integrada de resíduos sólidos urbanos Tese (Doutorado) - Universidade Estadual de Campinas, Campinas.
• GOMES, M.H.S.C.; OLIVEIRA, E.C.; BRESCIANI, L.P.; SILVA PEREIRA, R. (2014) Política Nacional de Resíduos Sólidos: perspectivas de cumprimento da Lei 12.305/2010 nos municípios brasileiros, municípios paulistas e municípios da região do ABC. Revista de Administração da Universidade Federal de Santa Maria, v. 7, ed. esp., p. 93-110. http://dx.doi.org/10.5902/1983465913026
  » https://doi.org/http://dx.doi.org/10.5902/1983465913026
• HEBER, F.; SILVA, E.M.D. (2014) Institucionalização da Política Nacional de Resíduos Sólidos: dilemas e constrangimentos na Região Metropolitana de Aracaju (SE). Revista de Administraçao Pública, Rio de Janeiro, v. 48, n. 4, p. 913-937. http://dx.doi.org/10.1590/0034-76121537
  » https://doi.org/http://dx.doi.org/10.1590/0034-76121537
• HEINRICH, C.J. (2012) Measuring public sector performance and effectiveness. In: PETER, G; PIERRE, J. (orgs.) The SAGE handbook of public administration Los Angeles: Sage. p. 32-49.
• JABBOUR, A.B.L.S.; JABBOUR, C.J.C.; SARKIS, J.; GOVINDAN, K. (2014) Brazil’s new national policy on solid waste: challenges and opportunities. Clean Technologies and Environmental Policy, v. 16, n. 1, p. 7-9. http://dx.doi.org/10.1007/s10098-013-0600-z
  » https://doi.org/http://dx.doi.org/10.1007/s10098-013-0600-z
• JACOBI, P.R.; BESEN, G.R. (2011) Gestão de resíduos sólidos em São Paulo: desafios da sustentabilidade. Estudos Avançados, v. 25, n. 71, p. 135-158. http://dx.doi.org/10.1590/S0103-40142011000100010
  » https://doi.org/http://dx.doi.org/10.1590/S0103-40142011000100010
• MACHADO, P.A.L. (2012) Princípios da política nacional de resíduos sólidos. Revista do Tribunal Regional Federal da 1ª Região, v. 24, n. 7, p. 25-33.
• MARINO, A.L.; CHAVES, G.L.D.; SANTOS JUNIOR, J.L. (2016) Capacidades Administrativas na gestão dos resíduos sólidos urbanos nos municípios brasileiros Curitiba: CRV.
• MARINO, A.L.; CHAVES, G.L.D.; SANTOS JUNIOR, J.L. (2018) Do Brazilian municipalities have the technical capacity to implement solid waste management at the local level? Journal of Cleaner Production, v. 188, p. 378-386. https://dx.doi.org/10.1016/j.jclepro.2018.03.311
  » https://doi.org/https://dx.doi.org/10.1016/j.jclepro.2018.03.311
• MIRANDA, S.J.F. (2014) Planos municipais de saneamento básico como instrumento de garantia do princípio de universalização de acesso ao saneamento básico o caso de municípios cearenses com menos de 20 mil habitantes: uma questão em xeque Dissertação (Mestrado) - Universidade Federal do Ceará, Fortaleza.
• MUNARETTO, L.F.; CORRÊA, H.L.; CUNHA, J.A.C. (2013) Um estudo sobre as características do método Delphi e de grupo focal, como técnicas na obtenção de dados em pesquisas exploratórias. Revista de Administração da UFSM, v. 6, n. 1, p. 9-24. http://dx.doi.org/10.5902/198346596243
  » https://doi.org/http://dx.doi.org/10.5902/198346596243
• OLIVEIRA, T.B.; GALVÃO JUNIOR, A.C. (2016) Planejamento municipal na gestão dos resíduos sólidos urbanos e na organização da coleta seletiva. Engenharia Sanitária e Ambiental, v. 21, n. 1, p. 55-64. http://dx.doi.org/10.1590/S1413-41520201600100155929
  » https://doi.org/http://dx.doi.org/10.1590/S1413-41520201600100155929
• PEREIRA, T.S.T.; HELLER, L. (2015) Planos municipais de saneamento básico: avaliação de 18 casos brasileiros. Engenharia Sanitária e Ambiental, v. 20, n. 3, p. 395-404. http://dx.doi.org/10.1590/S1413-41522015020000098824
  » https://doi.org/http://dx.doi.org/10.1590/S1413-41522015020000098824
• POLAZ, C.N.M.; TEIXEIRA, B.A.N. (2009) Indicadores de sustentabilidade para a gestão municipal de resíduos sólidos urbanos: um estudo para São Carlos (SP). Engenharia Sanitária e Ambiental, v. 14, n. 3, p. 411-420. http://dx.doi.org/10.1590/S1413-41522009000300015
  » https://doi.org/http://dx.doi.org/10.1590/S1413-41522009000300015
• RAMOS, M.P.; SCHABBACH, L.M. (2012) O estado da arte da avaliação de políticas públicas: conceituação e exemplos de avaliação no Brasil. Revista de Administração Pública, v. 46, n. 5, p. 1271-1294.
• ROMANI, A.P.; SEGALA, K. (2014) Plano de resíduos sólidos: Desafios e oportunidades no contexto da Política Nacional de Resíduos Sólidos Rio de Janeiro: IBAM.
• SANTIAGO, L.S.; DIAS, S.M.F. (2012) Matriz de Indicadores de sustentabilidade para a gestão de resíduos sólidos urbanos. Engenharia Sanitária e Ambiental, v. 17, n. 2, p. 203-212.
• SICHE, R.; AGOSTINHO, F.; ORTEGA, E.; ROMEIRO, A. (2007) Índices versus indicadores: precisões conceituais na discussão da sustentabilidade de países. Ambiente & Sociedade, v. 10, n. 2, p. 137-148. http://dx.doi.org/10.1590/S1414-753X2007000200009
  » https://doi.org/http://dx.doi.org/10.1590/S1414-753X2007000200009
• TIMÓTEO PEREIRA, T.S. (2012) Conteúdo e metodologia dos planos municipais de saneamento básico: um olhar para 18 casos no Brasil Monografia (Trabalho de Conclusão de Curso) - Fundação Oswaldo Cruz, Brasília.
• VEDUNG, E. (2017) Public policy and program evaluation Nova York: Routledge.
• WARTCHOW, D.; DUARTE, P.; MANSUR, E.C. (2011) Desenvolvimento e aplicação de metodologia para a auditoria de estudos e projetos aplicados ao saneamento básico e ao meio ambiente. In: CONGRESSO BRASILEIRO DE ENGENHARIA SANITÁRIA E AMBIENTAL, 26., 2011. Anais.. Porto Alegre.
• WILSON, D.C.; RODIC, L.; COWING, M.J.; VELIS, C.A.; WHITEMAN, A.D.; SCHEINBERG, A.; VILCHES, R.; MASTERSON, D.; STRETZ, J.; OELZ, B. (2015) “Wasteaware” benchmark indicators for integrated sustainable waste management in cities. Waste Management, v. 35, p. 329-342. https://doi.org/10.1016/j.wasman.2014.10.006
  » https://doi.org/https://doi.org/10.1016/j.wasman.2014.10.006

Datas de Publicação

• Publicação nesta coleção
  16 Mar 2020
• Data do Fascículo
  Jan-Feb 2020

Histórico

• Recebido
  06 Set 2018
• Aceito
  22 Mar 2019