Acessibilidade / Reportar erro

CONSTRUÇÃO DE INDICADORES DE RESILIÊNCIA COMUNITÁRIA AOS DESASTRES NO BRASIL: UMA ABORDAGEM PARTICIPATIVA1 1 . Agradecemos à Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes) pelo suporte financeiro e a todos especialistas que contribuíram com este estudo, participando da aplicação do método Delphi.

Resumo

A resiliência comunitária é essencial na gestão de desastres e sua mensuração é necessária para apoiar tomadas de decisão. Este artigo apresenta uma primeira lista de indicadores de resiliência comunitária desenvolvida para municípios brasileiros, resultante de revisão da literatura, de consulta a especialistas e de aplicação de método Delphi. Os especialistas participantes do método Delphi compreenderam gestores públicos (43%) e pesquisadores (57%). O estudo envolveu seis etapas: seleção de quadro conceitual; composição de lista de indicadores; elaboração de instrumento de avaliação; seleção e convite a especialistas; avaliação dos indicadores (método Delphi); e análise dos dados. Como resultado, 101 indicadores distribuídos em seis dimensões (ambiental; social; econômica; institucional; infraestrutura e capital social) tiveram sua importância consensuada após duas rodadas do método. Na primeira rodada, 98 indicadores foram submetidos à avaliação de 97 especialistas, com possibilidade de proposição de novos, enquanto na segunda, a lista final resultou do consenso entre 72 especialistas. As dimensões Institucional e Infraestrutura foram predominantes, evidenciando o valor das políticas públicas e da infraestrutura urbana para a resiliência comunitária aos desastres na percepção de especialistas brasileiros.

Palavras-chave:
Resiliência Comunitária; Gestão de Desastres; Delphi; Indicadores; Brasil

Abstract

Community resilience is essential for disaster management and its measurement is necessary to support decision-making. This paper presents as first list of community resilience indicators for Brazilian municipalities, resulting from literature review, experts’ consulting and application of the Delphi method. The experts group consisted of public managers (43%) and researchers (57%). The study comprised six phases: conceptual framework selection; composition of the indicators list; elaboration of evaluation tool (Delphi method); selection and invitation to experts; evaluation of indicators; and data analysis. As a result, the importance of 101 indicators distributed in six dimensions (environmental; social; economic; institutional; infrastructure; social capital) achieved consensus among the experts after two rounds. In the first round, 98 indicators were submitted to the evaluation of 97 specialists, with the possibility of proposing new indicators, while in the second round the final list reached consensus among the 72 respondents. The Institutional and Infrastructure dimensions were predominant, evidencing the value of public policies and urban infrastructure for community resilience to disasters in the perception of Brazilian experts.

Keyword:
Community resilience; Disaster Management; Delphi; Indicators; Brazil

Resumen

La resiliencia comunitaria es esencial en la gestión de desastres y su medición es necesaria para apoyar la toma de decisiones. Este artículo presenta una primera lista de indicadores de resiliencia comunitaria desarrollados para municipios brasileños, como resultado de revisión de literatura, consultas con expertos y aplicación del método Delphi. El panel de expertos participantes del método Delphi estaba compuesto por gerentes públicos (43%) e investigadores (57%). El estudio involucró seis etapas: selección del cuadro conceptual, composición de lista de indicadores, elaboración de herramienta de evaluación, selección e invitación de expertos, evaluación de indicadores (método Delphi) y análisis de datos. Como resultado, 101 indicadores distribuidos en seis dimensiones (ambiental, social, económico, institucional, infraestructura y capital social) obtuvieron consenso después de dos rondas del método. En la primera ronda, 98 indicadores fueron sometidos a evaluación por 97 expertos, con la posibilidad de proponer nuevos. Mientras que, en la segunda ronda la lista final resultó del consenso de 72 especialistas. Las dimensiones Institucional e Infraestructura fueron predominantes, evidenciando bajo la percepción de especialistas brasileños el valor de las políticas públicas y la infraestructura urbana en la resiliencia comunitaria a los desastres.

Palabras clave:
Resiliencia comunitaria; Gestión de desastres; Delphi; Indicadores; Brasil

1. Introdução

A partir da década de 1980, observa-se expressivo aumento dos registros de desastres, tanto os associados a ameaças naturais, quanto antropogênicas (EM-DAT, 2018). A ocorrência de desastres pode estar, de fato, aumentando ou os subregistros têm diminuído em decorrência da atenção atualmente dada à temática dos desastres. No Brasil, 10% dos quase 40 mil registros de desastres naturais entre 1991 e 2012 concentraram-se no ano de 2012 (CEPED UFSC, 2013).

Desastres resultam em impactos socioambientais e econômicos negativos, constituindo importante problema de saúde ambiental. Para atenuar esses impactos, governos nacionais e locais buscam construir estratégias proativas de gestão, com foco na identificação e desenvolvimento das capacidades das comunidades para a prevenção e o enfrentamento de eventos adversos.

A resiliência, incorporada nas diretrizes internacionais de Redução de Riscos de Desastres (RRD), tem se consolidado como elemento essencial na gestão de desastres. Resiliência é definida pela Estratégia Internacional para a Redução de Riscos de Desastres (EIRD) como:

“a capacidade de um sistema, comunidade ou sociedade expostos a ameaças de resistir, absorver, adaptar-se e recuperar-se dos seus efeitos em tempo hábil e de forma eficiente, o que inclui a preservação e restauração de suas estruturas essenciais e funções básicas” (UNISDR, 2017).

O termo resiliência, utilizado no estudo de desastres desde os anos 1990, ganhou relevância a partir da II Conferência Mundial para Redução de Desastres, em 2005, que resultou no “Marco de Ação de Hyogo 2005-2015: Aumento da resiliência das nações e das comunidades frente aos desastres” (UNISDR, 2005).

Em 2010, a UNISDR iniciou a campanha global “Construindo cidades resilientes” sobre governabilidade local e risco urbano (UNISDR, 2018a). Na adesão a essa campanha, o gestor público local se compromete a implementar dez passos para aumentar a resiliência de sua cidade: organização e coordenação, atribuição de orçamento, análises de risco, desenvolvimento e melhoria da infraestrutura, segurança de escolas e serviços de saúde, planejamento do uso e ocupação do solo, programas de educação e treinamento, proteção de ecossistemas e implantação de sistemas de alerta. Até fevereiro de 2018, aderiram a essa campanha 3.847 cidades, sendo 362 do Brasil (UNISDR, 2018b).

Uma cidade resiliente necessita de gestão pública que, além de poder responder aos impactos resultantes, esteja também concentrada na prevenção e redução de riscos. Esta abordagem da resiliência tem como principais pilares: planejamento do uso do solo, melhoria e adaptação da infraestrutura urbana, e mudanças comportamentais e culturais. A promoção da cultura da resiliência pode contribuir com a prevenção de desastres e, consequentemente, com a redução de perdas humanas, econômicas e socioambientais (WARNER; ANGEL, 2014WARNER, J.; ENGEL, K. Disaster Culture Matters. Ambiente & Sociedade, São Paulo, v. XVII, n. 4, p. 1-8, 2014.).

A avaliação do grau de resiliência de uma comunidade é fundamental para a preparação e recuperação de desastres (FRAZIER et al., 2013FRAZIER, T. G.; THOMPSON, C. M.; DEZZANI, R. J.; BUTSICK, D.; Spatial and temporal quantification of resilience at the community scale. Applied Geography, v. 42, p. 95-107, 2013.), além de fornecer métricas para definir prioridades, medir o progresso e auxiliar na tomada de decisões (CUTTER, 2010CUTTER S. L.; BURTON, C. G.; EMRICH, C. T.; Disaster resilience indicators for benchmarking baseline conditions. J Homeland Secur Emerg Manag 7, n.1, p.1-22, 2010.).

A importância das ações proativas para aumentar a capacidade de enfrentamento de desastres das sociedades foi reforçada na III Conferência Mundial sobre Redução do Risco de Desastres, que culminou na adoção do Marco de Sendai para a Redução do Riscos de Desastres 2015-2030 por países membros da ONU. Esse marco estabelece metas e ações globais para redução do riscos de desastres e suas perdas, representando um avanço em relação ao marco de Hyogo, estabelecido para os 15 anos anteriores, com destaque para a formulação de indicadores (UNISDR, 2015).

Embora a importância da resiliência comunitária aos desastres seja reconhecida, ainda não há metodologia globalmente definida para sua mensuração. Todavia, há consenso sobre a importância da construção e definição de indicadores (ASADZADEH et al., 2017ASADZADEH, A.; KÖTTER, T.; SALEHI, P.; BIRKMANN, J. Operationalizing a concept: The systematic review of composite indicator building for measuring community disaster resilience. International Journal of Disaster Risk Reduction, v. 25, p. 147-162, 2017.).

Em 2015, no âmbito do Projeto Alerta CEPED-SP/USP, iniciou-se estudo para seleção de indicadores de resiliência comunitária aos desastres associados a ameaças naturais e tecnológicas para municípios brasileiros. Este artigo se propõe a apresentar uma primeira lista de indicadores de resiliência comunitária concebida para municípios brasileiros e descrever o processo participativo desenvolvido com este objetivo.

2. Estudos sobre indicadores de resiliência

Ao longo da última década têm sido desenvolvidos diversos estudos e iniciativas para proposição de indicadores de resiliência comunitária aos desastres (ALSHEHRI et al., 2015aALSHEHRI, S. A.; REZGUI, Y.; LI, H. Delphi-based consensus study into a framework of community resilience to disaster. Nat Hazards, v. 75, p. 2221-2245, 2015a.,b; COX; HAMLEN, 2015COX, R. S.; HAMLEN, M.; Community Disaster Resilience and the Rural Resilience Index. American Behavioral Scientist, v. 59 n.2, p. 220-237, 2015.; CUTTER et al., 2008CUTTER, S. L; BARNES, L.; BERRY, M.; BURTON, C.; EVANS, E.; TATE, E.; WEBB, J. A place-based model for understanding community resilience to natural disasters. Global Environmental Change, 18, n.4, p. 598-606, 2008., 2010; EMBRACE, 2018; FRAZIER et al., 2013FRAZIER, T. G.; THOMPSON, C. M.; DEZZANI, R. J.; BUTSICK, D.; Spatial and temporal quantification of resilience at the community scale. Applied Geography, v. 42, p. 95-107, 2013.; TWIGG, 2009TWIGG, J.; Characteristics of a Disaster-Resilient Community. A Guidance Note. NGO inter-agency group, 2009.; YOON et al., 2016YOON, D. K.; KANG, J. E.; BRODY, S. D. A measurement of community disaster resilience in Korea. Journal of Environmental Planning and Management, v. 59, n. 3, p. 436-460, 2016.). Contudo, grande parte considera apenas os desastres associados a ameaças naturais, embora muitos riscos da vida contemporânea relacionem-se às atividades humanas, como migrações que alastram epidemias, ou falhas na produção industrial, transporte e geração de energia, que resultam em desastres tecnológicos (GÜNTHER et al., 2017GÜNTHER, W. M. R.; CICCOTTI, L.; RODRIGUES, A. C.; BOSCOV, M. E. G. O desafio da avaliação da resiliência comunitária aos desastres: uso de indicadores. In: GÜNTHER, W. M. R.; CICCOTTI, L.; RODRIGUES, A. C. (orgs.). Desastres: Múltiplas Abordagens e Desafios. Rio de Janeiro: Elsevier, 2017.; RODRIGUES et al., 2015RODRIGUES, A.C.; GÜNTHER, W. M. R.; VASCONCELLOS, M. P.; Di GIULIO, G. M.; BOSCOV, M. E. G. Delineamento da produção científica sobre desastres no Brasil no início deste século. Desenvolvimento e Meio ambiente, v. 34, p. 61-73, 2015.).

Cutter et al. (2008CUTTER, S. L; BARNES, L.; BERRY, M.; BURTON, C.; EVANS, E.; TATE, E.; WEBB, J. A place-based model for understanding community resilience to natural disasters. Global Environmental Change, 18, n.4, p. 598-606, 2008.) conceberam o quadro conceitual Disaster Resilience of Place (DROP) - correspondendo a Resiliência a Desastres do Local em português -, no qual a resiliência comunitária corresponde a um processo dinâmico, dependente de condições antecedentes, severidade do desastre, tempo entre os eventos adversos e influência de fatores externos às comunidades. As condições antecedentes locais, resultantes da interação entre o sistema natural, ambiente construído e sistemas sociais, compreendem a vulnerabilidade e a resiliência inerente.

A resiliência inerente do DROP é determinada por seis dimensões: ambiental, social, econômica, infraestrutura, institucional e capital comunitário (Figura 1). O incremento da resiliência é geralmente atribuído à melhoria da infraestrutura, dependente de fatores econômicos e institucionais: a melhor preparação do meio físico com implantação de obras preventivas, que pode envolver vultosos recursos financeiros, de fato resulta em áreas menos vulneráveis. No entanto, os impactos dos desastres podem ser reduzidos também pela melhoria dos fatores sociais e organizacionais, como a capacitação comunitária.

Figura 1
Modelo DROP

O quadro conceitual DROP foi utilizado para o desenvolvimento do índice BRIC (da sigla em inglês - Baseline Resilience Indicators for Communities - Indicadores de resiliência de referência para comunidades) como forma de operacionalizar a resiliência inerente. O BRIC foi a primeira iniciativa de construção de indicadores replicáveis e consistentes para mensuração e acompanhamento da resiliência comunitária aos desastres. Cutter et al. (2010CUTTER S. L.; BURTON, C. G.; EMRICH, C. T.; Disaster resilience indicators for benchmarking baseline conditions. J Homeland Secur Emerg Manag 7, n.1, p.1-22, 2010.) realizaram seleção inicial de indicadores a partir de revisão da literatura, seguida de análises estatísticas, coeficiente de correlação de Pearson6 6 . Mede o grau de correlação linear entre duas variáveis, com valor entre -1 e +1. Nesses valores extremos, a correlação entre as duas variáveis é forte e próxima a zero, fraca. Os sinais positivo e negativo indicam, respectivamente, correlação direta e inversa. e alpha de Cronbach7 7 . Coeficiente Alfa de Cronbach estima a confiabilidade de um questionário aplicado em uma pesquisa, medindo a correlação entre as respostas por meio da análise do perfil das respostas dadas pelos respondentes. É calculado a partir do somatório da variância dos itens individuais e da soma da variância de cada avaliador. Os valores de a variam de 0 a 1, quanto mais próximo de 1, maior confiabilidade. . O BRIC foi inicialmente aplicado a 736 condados (county - divisão administrativa dos EUA, que pode compreender mais de um município) do sudeste dos EUA, sem incluir a dimensão ambiental, por se considerar que havia inconsistência de dados para grandes áreas. Foram selecionados 50 indicadores, dos quais permaneceram 36 após as análises estatísticas.

Em uma segunda aplicação, ampliada para 3.108 (99%) dos 3.144 condados norte-americanos, foram incluídas as seis dimensões da resiliência (CUTTER et al., 2014CUTTER S.L.; ASH, K. D.; EMRICH, C. T. The geographies of community disaster resilience. Global Environmental Change, v.29, p. 65-77, 2014.). Na primeira etapa, Cutter et al. (2014CUTTER S.L.; ASH, K. D.; EMRICH, C. T. The geographies of community disaster resilience. Global Environmental Change, v.29, p. 65-77, 2014.) selecionaram 61 indicadores, reduzidos a 49 após as análises estatísticas e orientação teórica, uma vez que alguns indicadores possuíam alto grau de colinearidade ou não eram conceitualmente congruentes com a maioria. Em uma segunda etapa foram construídos 6 subíndices, correspondentes às dimensões consideradas. O índice foi construído por meio da somatória dos subíndices. Essas aplicações possibilitaram análise espacial comparativa dos condados, para as diferentes dimensões.

Asadzadeh et al. (2017ASADZADEH, A.; KÖTTER, T.; SALEHI, P.; BIRKMANN, J. Operationalizing a concept: The systematic review of composite indicator building for measuring community disaster resilience. International Journal of Disaster Risk Reduction, v. 25, p. 147-162, 2017.), em revisão sobre a construção de índices de resiliência comunitária aos desastres, constataram prevalência de métodos não participativos. Entretanto, alguns estudos buscaram, após seleção inicial com base na literatura, formas participativas complementares para definição do conjunto de indicadores.

Frazier et al. (2013FRAZIER, T. G.; THOMPSON, C. M.; DEZZANI, R. J.; BUTSICK, D.; Spatial and temporal quantification of resilience at the community scale. Applied Geography, v. 42, p. 95-107, 2013.) realizaram estudo no condado de Sarasota, Estado da Flórida (Estados Unidos da América) para identificar e analisar indicadores específicos para a região. Preliminarmente, os fatores de resiliência foram identificados em revisão da literatura e análise de planos de gestão de desastres. A seguir foram realizados grupos focais com funcionários do condado para identificar e classificar indicadores específicos para o local de estudo. A técnica de grupo focal, amplamente utilizada em estudos sociais, permite coleta de informações e compreensão de percepções, crenças e atitudes da população em estudo. Porém, o grupo pode se tornar tendencioso devido à influência de participantes mais ativos. Ademais, em estudos com maior abrangência geográfica, como a nacional, a técnica pode se tornar inviável (TRAD, 2009TRAD, L. A. B. Grupos focais: conceitos, procedimentos e reflexões baseadas em experiências com o uso da técnica em pesquisas de saúde. Physis Revista de Saúde Coletiva, Rio de Janeiro, v. 19, n. 3, p. 777-796, 2009.).

Em 2009, o Instituto de Justiça da Columbia Britânica do Canadá (JIBC, da sigla em inglês) iniciou o Projeto de Resiliência a Desastres Rurais voltado para as comunidades rurais, isoladas e costeiras. Este projeto resultou no Índice de Resiliência Rural (RRI, da sigla em inglês), desenvolvido segundo os princípios da pesquisa-ação participativa. O RRI envolveu a integração de metodologia top-down (de cima para baixo) na primeira etapa e bottom-up (de baixo para cima) na segunda etapa. Na primeira etapa, selecionaram-se indicadores com base na literatura e opinião de especialistas. A segunda etapa envolveu pesquisa qualitativa em nove comunidades de duas regiões da Columbia Britânica, cujos resultados revelaram padrões de indicadores semelhantes aos identificados no processo top-down (COX; HAMLEN, 2015COX, R. S.; HAMLEN, M.; Community Disaster Resilience and the Rural Resilience Index. American Behavioral Scientist, v. 59 n.2, p. 220-237, 2015.).

Alshehri et al. (2015aALSHEHRI, S. A.; REZGUI, Y.; LI, H. Delphi-based consensus study into a framework of community resilience to disaster. Nat Hazards, v. 75, p. 2221-2245, 2015a.,b) desenvolveram quadro teórico para resiliência comunitária aos desastres na Arábia Saudita. Os indicadores selecionados a partir da literatura foram submetidos à apreciação de especialistas, utilizando-se o método Delphi, o qual visa consenso de opiniões qualificadas de um grupo composto por indivíduos com conhecimento sobre determinado tema (especialistas). Posteriormente, foram submetidos ao processo de hierarquia analítica (PHA) para ponderação dos indicadores.

No Brasil, há poucos estudos sobre resiliência, em especial sobre indicadores. Desde 2012, o Brasil possui relevante Política Nacional de Proteção e Defesa Civil (Lei nº 12.608, de 10 de abril de 2012), que estimula o desenvolvimento de cidades resilientes, tendo-se tornado, em pouco tempo, o país com maior número de cidades inscritas na campanha Cidades Resilientes da UNISDR. No entanto, a lei carece de regulamentação e não há confirmação de efetiva implantação dos dez passos essenciais para construção de cidades resilientes (UNISDR, 2018a) pelos municípios aderentes. Assim, a temática da resiliência urbana, no país, ainda tem muitos desafios a serem enfrentados.

Este artigo apresenta uma primeira abordagem participativa para definição de indicadores de resiliência comunitária a desastres com vistas a contribuir com a tomada de decisão e a identificação de prioridades na gestão de desastres no país.

3. Métodos

3.1 Escopo

Este estudo considerou as ameaças naturais decorrentes de fenômenos hidrológicos, meteorológicos, climatológicos e geológico-geotécnicos, assim como ameaças de origem antrópica, como acidentes em instalações industriais e de transporte envolvendo produtos perigosos, incêndios urbanos e colapso de obras civis.

Na temática de resiliência comunitária a desastres, comunidade corresponde a grupos sociais expostos aos mesmos riscos, por compartilharem espaço comum, como um bairro, cidade ou estado. Tal definição objetiva facilitar as ações de gestão de desastres, uma vez que designa um grupo de pessoas sujeito a ameaças e interesses comuns e de localização facilmente identificável (TWIGG, 2009TWIGG, J.; Characteristics of a Disaster-Resilient Community. A Guidance Note. NGO inter-agency group, 2009.; McASLAM, 2011). Portanto, é fundamental a existência de dados desagregados por região para construir indicadores que permitam comparar localidades. Neste estudo, a “comunidade” é o município, adotado como unidade de análise para a obtenção de dados.

3.2 Etapas desenvolvidas

O estudo compreendeu seis etapas: i) Seleção de quadro conceitual sobre indicadores de resiliência a desastres e definição das dimensões; ii) Composição de lista de indicadores; iii) Elaboração de instrumento de avaliação; iv) Seleção e convite a especialistas; v) Avaliação dos indicadores pelos especialistas (método Delphi); e vi) Análise e sistematização dos dados. A avaliação dos indicadores desenvolveu-se em duas rodadas (Figura 2).

Figura 2
Etapas desenvolvidas no estudo

Diferente de outras metodologias participativas, no método Delphi não há contato direto, apenas questionário interativo visando ao consenso. É necessário o mínimo de duas rodadas, sendo raros estudos com mais de três rodadas. As principais características do método são: anonimato dos participantes, representação estatística dos resultados e feedback das respostas do grupo para reavaliação nas rodadas subsequentes (GIANNAROU; ZERVAS, 2014GIANNAROU, L.; ZERVAS, E. Using Delphi technique to build consensus in practice. Int. Journal of Business Science and Applied Management, v. 9, Issue 2, 2014.; WRIGHT; GIOVINAZZO, 2000WRIGHT, J. T. C.; GIOVINAZZO, R. A.; Delphi - Uma Ferramenta de Apoio ao Planejamento Prospectivo. Caderno de Pesquisas em Administração, São Paulo, v. 1, n. 12, 2 trim., 2000.).

A seleção dos especialistas e o desenvolvimento do instrumento de coleta de dados são determinantes para a qualidade e imparcialidade dos resultados. As características do grupo de especialistas selecionado e instrumento ambíguo podem resultar em viés na pesquisa, por outro lado, o anonimato e o contato indireto reduzem a influência de fatores psicológicos e a dominância de alguns indivíduos (WRIGHT; GIOVINAZZO, 2000WRIGHT, J. T. C.; GIOVINAZZO, R. A.; Delphi - Uma Ferramenta de Apoio ao Planejamento Prospectivo. Caderno de Pesquisas em Administração, São Paulo, v. 1, n. 12, 2 trim., 2000.).

Etapa 1 - Seleção de quadro conceitual sobre indicadores de resiliência a desastres e definição das dimensões

Após revisão da literatura, adotou-se, para este estudo, a parte do quadro conceitual DROP que corresponde à resiliência inerente. O DROP, concebido para desastres associados a ameaças naturais, pode ser adaptado a outros tipos, como os tecnológicos ou ataques terroristas (CUTTER et al., 2008CUTTER, S. L; BARNES, L.; BERRY, M.; BURTON, C.; EVANS, E.; TATE, E.; WEBB, J. A place-based model for understanding community resilience to natural disasters. Global Environmental Change, 18, n.4, p. 598-606, 2008.).

Foram consideradas as seis dimensões adotadas por CUTTER et al. (2008CUTTER, S. L; BARNES, L.; BERRY, M.; BURTON, C.; EVANS, E.; TATE, E.; WEBB, J. A place-based model for understanding community resilience to natural disasters. Global Environmental Change, 18, n.4, p. 598-606, 2008., 2010): i) ambiental; ii) social, iii) econômica; iv) institucional; v) infraestrutura e vi) capital social, para as quais foi dada nova redação, conforme segue:

Dimensão Social

Visa capturar a capacidade de enfrentamento e recuperação dos impactos de desastres, por meio da associação com características sociodemográficas. Algumas das características consideradas são: nível de escolaridade, composição etária da população (exceto idosos e crianças), capacidade física e mental da população (ausência de deficiências), acesso a serviços e meios de locomoção particular, acesso a meios de comunicação (telefone, TV, internet) e acesso a serviços de saúde.

Dimensão Econômica

Visa refletir a capacidade e vitalidade econômica da comunidade, por meio de atributos que tenham influência na viabilização de medidas estruturais para prevenção, minimização, redução de danos e aceleração do processo de reconstrução. Dentre os atributos estão: equidade na distribuição de renda, nível de emprego, dimensão das empresas, estabilidade econômica dos meios de subsistência e diversidade das atividades da economia local.

Dimensão Infraestrutura

Representa os elementos do ambiente construído e os serviços existentes na comunidade que contribuem com a prevenção, mitigação, resposta e recuperação de desastres. Dentre as características de infraestrutura desejáveis estão: presença de estrutura adequada de atendimento médico, locais para abrigo provisório, gestão de resíduos sólidos, saneamento básico, sistemas de alerta e infraestrutura para resposta.

Dimensão Ambiental

Representa as características do ambiente que contribuem com a capacidade da comunidade absorver e mitigar danos causados por eventos adversos. Considera-se a interação da comunidade com o território, composto por recursos naturais e ambiente construído, compreendendo a forma de ocupação e uso do solo e dos recursos ambientais para o desenvolvimento das atividades humanas. Um exemplo de indicador é a porcentagem de área ocupada não sujeita a risco, por exemplo, não propensa a inundação ou a deslizamento de terra.

Dimensão Institucional

Representa aspectos relacionados às políticas, projetos e programas que contribuem com a capacidade de planejamento, preparação e recuperação da comunidade frente aos desastres e seus impactos. Os indicadores devem expressar o esforço despendido por governos e sociedade na elaboração e implementação de instrumentos para todas as fases do ciclo da gestão de desastres. Os indicadores devem capturar os canais de participação social nas decisões públicas e instrumentos de gestão pública, como plano diretor e licenciamento ambiental.

Dimensão Capital Social

Representa as relações cooperativas entre os indivíduos, suas vizinhanças e as comunidades maiores. Relaciona-se às normas e redes sociais que facilitam a ação coletiva e a solidariedade no caso de ocorrência de desastres. Busca capturar o senso de comunidade, a fixação das pessoas ao local e a inovação social (capacidade de produção de conhecimento). O senso de comunidade caracteriza-se pela preocupação com os problemas da comunidade, respeito e serviço aos outros, sentimento de conexão entre as pessoas e de pertencimento ao local.

Etapa 2 - Composição de lista de indicadores

A segunda etapa focou na composição da lista inicial de indicadores, selecionados/elaborados a partir de consulta e análise de diversas fontes: revisão da literatura, guia Cidades Resilientes8 8 . Como Construir Cidades Mais Resilientes: Um Guia para Gestores Públicos Locais (UNISDR, 2012) , Lei da PNDC, Pesquisa de Informações Básicas Municipais - Perfil dos Municípios Brasileiros do Instituto Brasileiro de Geografia e Estatística (IBGE, 2014) e notas de eventos científicos e reuniões relacionadas à gestão de riscos ambientais urbanos. Esta lista inicial totalizou 98 indicadores distribuídos nas seis dimensões.

Etapa 3 - Elaboração de instrumento de avaliação

Foi elaborado formulário no Google Forms para avaliação dos indicadores segundo seu grau de importância, por meio de escala Likert (GIANNAROU; ZERVAS, 2014GIANNAROU, L.; ZERVAS, E. Using Delphi technique to build consensus in practice. Int. Journal of Business Science and Applied Management, v. 9, Issue 2, 2014.): (1) não é importante; (2) pouco importante; (3) importante e (4) muito importante. Inseriu-se também a alternativa “não possuo opinião formada para avaliar este indicador”. Na parte introdutória, foram colocadas instruções de preenchimento e as definições de resiliência comunitária e das seis dimensões consideradas. Ao final de cada dimensão, foi inserido campo de preenchimento opcional para a sugestão de outros indicadores ou de alteração da redação dos indicadores apresentados. Realizou-se pré-teste com três participantes, que levou a ajustes necessários no instrumento.

Etapa 4 - Seleção e convite a especialistas para participação no estudo

Na seleção dos especialistas, buscou-se o equilíbrio das representações das partes interessadas, contemplando tanto gestores públicos dos três níveis federativos, atuantes na defesa civil e em planejamento urbano, como pesquisadores de áreas do conhecimento relacionadas aos desastres como: engenharia, geociências, educação, psicologia, saúde coletiva, ciências sociais aplicadas e direito. Foram também convidados representantes de órgãos ambientais estaduais que atuam em emergências químicas. Inicialmente, 298 convites foram enviados aos especialistas selecionados, via endereço eletrônico.

A estratégia para seleção dos especialistas obedeceu aos seguintes critérios:

Gestores públicos da área de defesa civil, ambiental e de planejamento urbano em estados e municípios - Foram encaminhados convites aos coordenadores de Defesa Civil dos 27 estados da federação. Para a inclusão de municípios, inicialmente, foram realizados contatos, por telefone e e-mail, com as 27 coordenadorias estaduais de Defesa Civil, informando sobre o estudo e solicitando a indicação de 4 municípios considerados prioritários para a gestão de desastres. Nos estados que não hoube indicação, procedeu-se à seleção dos municípios com maior número de ocorrências de desastres segundo o Atlas Brasileiro de Desastres Naturais (CEPED UFSC, 2013). A seguir foram convidados esses coordenadores municipais de defesa civil e, quando possível, também representantes da área de planejamento urbano desses municípios.

Foram selecionados representantes de órgãos estaduais de meio ambiente de dois estados por região geográfica, visando refletir a diversidade do país. O levantamento dos participantes foi realizado nas páginas web desses órgãos.

Gestores públicos da área de defesa civil, ambiental e de planejamento urbano no nível federal - Inicialmente, foram convidados os representantes do IBAMA, Ministério das Cidades e Ministério da Integração Nacional que realizaram palestras no I Congresso Brasileiro de Redução de Riscos de Desastres, ocorrido em outubro de 2016, em Curitiba, Paraná. Outros participantes foram identificados por indicação ou buscas em páginas web.

Pesquisadores - Para a seleção e convites aos pesquisadores foram utilizadas diversas estratégias: levantamento de autores de publicações sobre a temática dos desastres no portal Scielo Brasil; convite a palestrantes do I Congresso Brasileiro de Redução de Riscos de Desastres; convite a pesquisadores do Centro Nacional de Monitoramento e Alertas de Desastres Naturais (CEMADEN), do Instituto Geológico (IG), do Centro de Estudos e Pesquisas sobre Desastres da Universidade de São Paulo (CEPED-SP/USP) e do Instituto de Pesquisas Tecnológicas do Estado de São Paulo (IPT); além de convite aos coordenadores científicos de Centros de Pesquisas sobre Desastres existentes no Brasil, com solicitação de indicação de mais quatro pesquisadores.

Adicionalmente, foram convidados 22 integrantes da Câmara Temática Metropolitana de Gestão de Risco Urbano, devido à facilidade de acesso, composta por gestores públicos da área de defesa civil de municípios da Região Metropolitana de São Paulo e por especialistas de duas universidades, IPT e de órgãos do estado de São Paulo: Companhia Ambiental do Estado de São Paulo (CETESB) e Departamento de Águas e Energia Elétrica do Estado de São Paulo (DAEE).

Etapa 5 - Avaliação dos indicadores pelos especialistas

Entre março e setembro de 2017, foram realizadas duas rodadas para avaliação dos indicadores. Uma mensagem aos especialistas selecionados informou sobre manutenção do anonimato e confidencialidade, característica do método Delphi.

Na primeira rodada houve convite para participar do estudo e preencher o formulário, com prazo de 30 dias para retorno. A mensagem enviada continha informações sobre o estudo e link para o formulário.

Na segunda rodada, dado o elevado número de indicadores, optou-se por reavaliar somente os não consensuais na primeira rodada e incluir novos indicadores, resultantes das sugestões apresentadas na primeira rodada. Os indicadores com consenso e respectivos percentuais na primeira rodada foram incluídos no formulário apenas a título de informação. Dessa forma, o instrumento de avaliação foi atualizado, com a retirada e/ou inclusão de novos indicadores sugeridos pelos participantes, mantendo-se a estrutura do instrumento. Na segunda rodada não houve a possibilidade de inclusão de sugestões adicionais.

Etapa 6 - Análise e sistematização dos dados

Com os dados da primeira rodada, foram calculados os percentuais de cada score. O critério adotado de consenso foi: a soma do score 3 (importante) + score 4 (muito importante) ≥ 75% das respostas dadas para cada indicador.

As sugestões de novos indicadores ou alteração na redação foram analisadas quanto a(o): i) alinhamento com as definições de resiliência comunitária aos desastres e de suas seis dimensões; ii) possibilidade/facilidade de mensuração; iii) nível de avaliação (município) e iv) semelhança/aproximação com os indicadores da lista inicial.

Na segunda rodada, repetiram-se os mesmos procedimentos de cálculo para verificação de consenso sobre a importância do indicador.

4. Resultados e discussão

4.1 Características dos participantes do grupo

O método Delphi não apresenta rigidez em termos do número de participantes; o tamanho do grupo é relacionado ao propósito do estudo. Neste estudo, buscou-se ampla participação, para obter diferentes perspectivas. Na primeira rodada participaram 97 especialistas, correspondendo a 33% dos convites inicialmente encaminhados (298). Na segunda rodada, com envio do instrumento aos 97 respondentes, a participação foi reduzida para 72 (74% dos participantes da primeira rodada). Este número é significativo em comparação a outros estudos de dimensão nacional e objetivos semelhantes.

O perfil dos 72 especialistas participantes mostrou que 57% são pesquisadores de universidades e institutos de pesquisa e 43% gestores públicos. Ressalta-se a significativa participação de gestores públicos, que vivenciam o cotidiano das questões relacionadas à gestão de desastres e estão envolvidos na formulação e/ou implementação de políticas públicas. Por outro lado, pesquisadores geralmente centram suas investigações em algum aspecto específico dos desastres. Essa distribuição garantiu que a totalidade das dimensões propostas fosse contemplada e que as questões fossem abordadas de maneira, tanto específica como abrangente.

Buscou-se também agregar pesquisadores e gestores públicos das diferentes áreas do conhecimento, de forma a minimizar viés na pesquisa. Dentre os pesquisadores, a maioria atua nas ciências da terra e nas engenharias, e investiga desastres naturais.

4.2 Avaliação dos indicadores

Na primeira rodada, foram propostos e avaliados 98 indicadores de resiliência comunitária aos desastres distribuídos em seis dimensões; desses, 80 foram considerados importantes (nota 3 ou 4) por todos os participantes, logo obtiveram consenso na primeira rodada. Por sugestão dos participantes, 1 desses indicadores foi desmembrado em 2, resultando em 81.

Os indicadores sem consenso na primeira rodada (18) e novos indicadores decorrentes da análise/seleção das sugestões apresentadas na primeira rodada (16), totalizando 34 indicadores, foram novamente submetidos aos especialistas na segunda rodada. Entre os 18 indicadores sem consenso inicial, 12 foram reescritos de acordo com sugestões dos especialistas; para uma melhor compreensão, as versões original e modificada foram apresentadas aos especialistas na segunda rodada. Ao final da segunda rodada, 20 indicadores foram considerados importantes pelos especialistas.

Ao final do processo, 101 indicadores foram considerados importantes para a resiliência comunitária aos desastres. A evolução do número de indicadores durante o processo de avaliação e a lista final com os 101 indicadores estão apresentadas, respectivamente, na Tabela 1 e no Quadro 1.

Tabela 1
Número de indicadores, por dimensão e por rodada

Verifica-se que, do total de 98 indicadores da lista inicial, ao final do estudo, apenas 14 não foram considerados importantes.

Todos os 16 indicadores sugeridos pelos especialistas ao final da primeira rodada obtiveram consenso, o que reforça a importância de considerar a inclusão de sugestões dos especialistas no método Delphi.

Quadro 1
Lista final de indicadores para resiliência comunitária aos desastres, por dimensão

Há preponderância de indicadores das dimensões Institucional (39) e Infraestrutura (24), correspondentes a 62% do total. É importante mencionar que todos esses indicadores alcançaram consenso entre os especialistas. Nenhum dos indicadores inicialmente propostos das dimensões Institucional (33) e Infraestrutura (19), correspondendo a 53% do total inicial, foi descartado. Pelo contrário, novos indicadores (respectivamente, 5 e 6), foram sugeridos e integrados. O caráter participativo do estudo evidenciou a importância dessas dimensões na percepção dos especialistas.

A lista inicial já continha um número elevado de indicadores dessas dimensões, o que mostra uma tendência decorrente da abordagem dos desastres até o momento observada na prática e na literatura: as fontes pesquisadas privilegiam elementos de prevenção e planejamento, que recaem sobre essas duas dimensões.

Por outro lado, apenas 50% dos indicadores da dimensão Capital Social e 40% da Econômica que constavam na lista inicial permaneceram. O percentual da população que reside no mesmo local há mais de 5 anos, indicador que representa identidade da população com o local, foi excluído. Ainda, nenhum novo indicador foi sugerido para esta dimensão, o que pode estar relacionado ao perfil dos participantes, a maioria atuando nas áreas das ciências da terra e engenharias. No âmbito de pesquisas sobre desastres no país, há predomínio das áreas de Geociências e Engenharias em relação às Ciências Humanas e Sociais (RODRIGUES et al., 2015RODRIGUES, A.C.; GÜNTHER, W. M. R.; VASCONCELLOS, M. P.; Di GIULIO, G. M.; BOSCOV, M. E. G. Delineamento da produção científica sobre desastres no Brasil no início deste século. Desenvolvimento e Meio ambiente, v. 34, p. 61-73, 2015.; VALENCIO, 2010VALENCIO, N. Desastres, ordem social e planejamento em defesa civil: o contexto brasileiro. Saúde e Sociedade, 19(4), 748-762, 2010.).

Nas dimensões Econômica e Ambiental, alguns indicadores da lista inicial foram excluídos (6 em 10 e 3 em 15, respectivamente), porém compensados pela sugestão de novos, praticamente mantendo-se o número inicialmente proposto.

Destaca-se, como diferencial deste estudo, a inclusão de indicadores relacionados a desastres tecnológicos. Na primeira rodada foram apresentados seis indicadores exclusivos de desastres associados a ameaças tecnológicas e dois referentes, simultaneamente, a ameaças tecnológicas e naturais. Na segunda rodada, foi excluído apenas o indicador número de empresas atuantes não sujeitas a licenciamento ambiental/total de empresas atuantes; não houve sugestões para novos indicadores sobre desastres tecnológicos. Apesar da crescente importância dos desastres tecnológicos (ESHGHI E LARSON, 2008ESHGHI, K.; LARSON R.C. Disasters: lessons from the past 105 years. Disaster Prevention and Management, v. 17, n. 1, p. 62-82, 2008.), os resultados corroboram afirmação de Günther et al. (2017GÜNTHER, W. M. R.; CICCOTTI, L.; RODRIGUES, A. C.; BOSCOV, M. E. G. O desafio da avaliação da resiliência comunitária aos desastres: uso de indicadores. In: GÜNTHER, W. M. R.; CICCOTTI, L.; RODRIGUES, A. C. (orgs.). Desastres: Múltiplas Abordagens e Desafios. Rio de Janeiro: Elsevier, 2017.): grande parte das iniciativas de mensuração da resiliência a desastres ainda se voltam a desastres associados a ameaças naturais.

5. Considerações finais

Sistemas baseados no registro de dados de ocorrência de desastres (danos e prejuízos), como a Base internacional EM_DAT e o Sistema Integrado de Informações a Desastres (S2iD)9 9 . https://s2id.mi.gov.br , são fundamentais para apoiar gestores públicos na definição de prioridades, tomada de decisão, planejamento de obras e locação de recursos, assim como para informação à sociedade.

Entretanto, a gestão de riscos de desastres requer também coleta sistemática de informações/dados sobre fortalezas e capacidades de enfrentamento dos municípios, ou seja, sobre a resiliência comunitária. Nesse sentido, foi pioneiro o levantamento de informações municipais sobre gestão de risco e respostas a desastres realizado pelo IBGE em 2013 (Pesquisa de Informações Básicas Municipais10 10 . Perfil dos Municípios Brasileiros 2013 (IBGE, 2014). ). Visando ampliar esta abordagem, o presente estudo buscou definir indicadores de resiliência comunitária aos desastres para os municípios brasileiros, considerando o olhar de gestores públicos e pesquisadores de diferentes regiões do país.

Por meio de método participativo, foram identificados e selecionados 101 indicadores de resiliência comunitária, majoritariamente das dimensões Institucional e Infraestrutura. O predomínio dessas dimensões evidencia o valor das políticas públicas e da infraestrutura urbana para a resiliência comunitária aos desastres na percepção de especialistas brasileiros.

Na sequência deste estudo, o conjunto de indicadores selecionados passará por sistematização, tratamento estatístico e análise de viabilidade para redução do número total, com vistas à formulação de um índice. O índice permitirá avaliar, comparar e hierarquizar a resiliência comunitária dos municípios brasileiros de forma multidimensional, com possibilidade de ser utilizado para tomada de decisão e priorização de políticas públicas, visando prevenir danos resultantes de desastres e promover a resiliência comunitária.

References

  • ALSHEHRI, S. A.; REZGUI, Y.; LI, H. Delphi-based consensus study into a framework of community resilience to disaster. Nat Hazards, v. 75, p. 2221-2245, 2015a.
  • ______. Disaster community resilience assessment method: a consensus-based Delphi and AHP approach. Nat Hazards, v. 78, p. 395-416, 2015b.
  • ASADZADEH, A.; KÖTTER, T.; SALEHI, P.; BIRKMANN, J. Operationalizing a concept: The systematic review of composite indicator building for measuring community disaster resilience. International Journal of Disaster Risk Reduction, v. 25, p. 147-162, 2017.
  • CEPED-UFSC - Centro Universitário de Estudos e Pesquisas sobre Desastres, Universidade Federal de Santa Catarina. Atlas Brasileiro de Desastres Naturais: 1991 a 2012. Florianópolis: CEPED UFSC, 2013.
  • COX, R. S.; HAMLEN, M.; Community Disaster Resilience and the Rural Resilience Index. American Behavioral Scientist, v. 59 n.2, p. 220-237, 2015.
  • CUTTER, S. L; BARNES, L.; BERRY, M.; BURTON, C.; EVANS, E.; TATE, E.; WEBB, J. A place-based model for understanding community resilience to natural disasters. Global Environmental Change, 18, n.4, p. 598-606, 2008.
  • CUTTER S. L.; BURTON, C. G.; EMRICH, C. T.; Disaster resilience indicators for benchmarking baseline conditions. J Homeland Secur Emerg Manag 7, n.1, p.1-22, 2010.
  • CUTTER S.L.; ASH, K. D.; EMRICH, C. T. The geographies of community disaster resilience. Global Environmental Change, v.29, p. 65-77, 2014.
  • EMBRACE. emBRACE project - Building Resilience Amongst Communities in Europe. Disponível em: <http://www.embrace-eu.org/>. Acesso em: 20.mar. 2018.
    » http://www.embrace-eu.org
  • EM-DAT - The International Disaster DataBase. Disponível em: <http://www.emdat.be>. Consult The Database Acesso em: 20 mar. 2018.
    » http://www.emdat.be>. Consult The Database
  • ESHGHI, K.; LARSON R.C. Disasters: lessons from the past 105 years. Disaster Prevention and Management, v. 17, n. 1, p. 62-82, 2008.
  • FRAZIER, T. G.; THOMPSON, C. M.; DEZZANI, R. J.; BUTSICK, D.; Spatial and temporal quantification of resilience at the community scale. Applied Geography, v. 42, p. 95-107, 2013.
  • GIANNAROU, L.; ZERVAS, E. Using Delphi technique to build consensus in practice. Int. Journal of Business Science and Applied Management, v. 9, Issue 2, 2014.
  • GÜNTHER, W. M. R.; CICCOTTI, L.; RODRIGUES, A. C.; BOSCOV, M. E. G. O desafio da avaliação da resiliência comunitária aos desastres: uso de indicadores. In: GÜNTHER, W. M. R.; CICCOTTI, L.; RODRIGUES, A. C. (orgs.). Desastres: Múltiplas Abordagens e Desafios. Rio de Janeiro: Elsevier, 2017.
  • IBGE - Instituto Brasileiro de Geografia e Estatística. Pesquisa de Informações Básicas Municipais - Perfil dos Municípios Brasileiros. Rio de Janeiro: IBGE, 2014.
  • McASLAN, A. Community resilience: Understanding the Concept and its Application. A discussion paper prepared for the Torrens Resilience Institute, Adelaide, Australia. 2011.
  • RODRIGUES, A.C.; GÜNTHER, W. M. R.; VASCONCELLOS, M. P.; Di GIULIO, G. M.; BOSCOV, M. E. G. Delineamento da produção científica sobre desastres no Brasil no início deste século. Desenvolvimento e Meio ambiente, v. 34, p. 61-73, 2015.
  • TRAD, L. A. B. Grupos focais: conceitos, procedimentos e reflexões baseadas em experiências com o uso da técnica em pesquisas de saúde. Physis Revista de Saúde Coletiva, Rio de Janeiro, v. 19, n. 3, p. 777-796, 2009.
  • TWIGG, J.; Characteristics of a Disaster-Resilient Community. A Guidance Note. NGO inter-agency group, 2009.
  • UNISDR - United Nations Office for Disaster Risk Reduction. Hyogo Framework for Action 2005-2015: Building the resilience of nations and communities to disasters. Summary, 2005. Disponível em: < http://www.unisdr.org/files/1037_finalreportwcdrspanish1.pdf>. Acesso em: 21 fev. 2018.
    » http://www.unisdr.org/files/1037_finalreportwcdrspanish1.pdf
  • ______. Terminology, 2017. Disponível em: < https://www.unisdr.org/we/inform/terminology >. Acesso em: 09 dez. 2019.
    » https://www.unisdr.org/we/inform/terminology
  • ______. Como Construir Cidades Mais Resilientes Um Guia Para Gestores Públicos Locais, 2012. Disponível em: <https://www.unisdr.org/files/26462_guiagestorespublicosweb.pdf>. Acesso em: 26 fev. 2018.
    » https://www.unisdr.org/files/26462_guiagestorespublicosweb.pdf
  • ______. Sendai Framework for Disaster Risk Reduction 2015 - 2030. Genebra, 2015. Disponível em: <http://www.unisdr.org/files/43291_sendaiframeworkfordrren.pdf>. Acesso em: 02 fev. 2018.
    » http://www.unisdr.org/files/43291_sendaiframeworkfordrren.pdf
  • ______. Making cities resilient: my city is getting ready. Disponível em <http://www.unisdr.org/campaign/resilientcities/>. Acesso em 10 Fev 2018a.
    » http://www.unisdr.org/campaign/resilientcities
  • ______. Participating Local Government. Disponível em <http://www.unisdr.org/campaign/resilientcities/home/cities>. Acesso em 23 Fev 2018b.
    » http://www.unisdr.org/campaign/resilientcities/home/cities
  • VALENCIO, N. Desastres, ordem social e planejamento em defesa civil: o contexto brasileiro. Saúde e Sociedade, 19(4), 748-762, 2010.
  • WARNER, J.; ENGEL, K. Disaster Culture Matters. Ambiente & Sociedade, São Paulo, v. XVII, n. 4, p. 1-8, 2014.
  • WRIGHT, J. T. C.; GIOVINAZZO, R. A.; Delphi - Uma Ferramenta de Apoio ao Planejamento Prospectivo. Caderno de Pesquisas em Administração, São Paulo, v. 1, n. 12, 2 trim., 2000.
  • YOON, D. K.; KANG, J. E.; BRODY, S. D. A measurement of community disaster resilience in Korea. Journal of Environmental Planning and Management, v. 59, n. 3, p. 436-460, 2016.
  • 1
    . Agradecemos à Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes) pelo suporte financeiro e a todos especialistas que contribuíram com este estudo, participando da aplicação do método Delphi.
  • 6
    . Mede o grau de correlação linear entre duas variáveis, com valor entre -1 e +1. Nesses valores extremos, a correlação entre as duas variáveis é forte e próxima a zero, fraca. Os sinais positivo e negativo indicam, respectivamente, correlação direta e inversa.
  • 7
    . Coeficiente Alfa de Cronbach estima a confiabilidade de um questionário aplicado em uma pesquisa, medindo a correlação entre as respostas por meio da análise do perfil das respostas dadas pelos respondentes. É calculado a partir do somatório da variância dos itens individuais e da soma da variância de cada avaliador. Os valores de a variam de 0 a 1, quanto mais próximo de 1, maior confiabilidade.
  • 8
    . Como Construir Cidades Mais Resilientes: Um Guia para Gestores Públicos Locais (UNISDR, 2012)
  • 9
    . https://s2id.mi.gov.br
  • 10
    . Perfil dos Municípios Brasileiros 2013 (IBGE, 2014).

Datas de Publicação

  • Publicação nesta coleção
    11 Maio 2020
  • Data do Fascículo
    2020

Histórico

  • Recebido
    16 Jul 2018
  • Aceito
    14 Nov 2019
ANPPAS - Revista Ambiente e Sociedade Anppas / Revista Ambiente e Sociedade - São Paulo - SP - Brazil
E-mail: revistaambienteesociedade@gmail.com