Desenvolvimento de questionário para indicar posicionamentos em relação às Sociedades Sustentáveis partindo de conceitos correlatos

Desarrollo de un cuestionario para indicar posiciones en relación a Sociedades Sostenibles basado en conceptos correlacionados

Resumo

Apresenta-se o processo de elaboração do Índice Composto de Concepções Socioambientais (ICCSA): um questionário modelo multi-resposta que aborda os temas da Educação Ambiental, Sustentabilidade e Meio Ambiente sob a ótica da transição para Sociedades Sustentáveis. Durante o processo de elaboração foram realizadas duas fases de análises de consistência interna e validade, com a participação de especialistas. A versão final do ICCSA apresenta 43 afirmações, dispostas em seis dimensões, sugerindo suficiência quanto à confiabilidade interna e validades de conteúdo e discriminante. Os resultados mostram que o instrumento pode ser utilizado para indicar os posicionamentos em relação à transição para Sociedades Sustentáveis. Recomenda-se a realização de estudos futuros, com populações maiores, para complementar as análises de confiabilidade e validade com participantes não especialistas. O ICCSA encontra-se disponível para pesquisadoras que quiserem utilizá-lo.

Palavras-chave:
ICCSA; Validade do Questionário; Alfa de Cronbach; Sociedades Sustentáveis; Educação Ambiental

Resumen

Se presenta el proceso de elaboración del Índice Compuesto de Conceptos Sociales y Ambientales (ICCSA): un modelo de cuestionario de respuestas múltiples acerca de los temas de Educación Ambiental, Sostenibilidad y Medio Ambiente desde la perspectiva de la transición a Sociedades Sostenibles. Durante el proceso de elaboración, se llevaron a cabo dos fases de análisis de consistencia interna y validez, con la participación de expertos. La versión final del ICCSA presenta 43 declaraciones, ordenadas en seis dimensiones, sugiriendo suficiencia en términos de confiabilidad interna y validez discriminante y de contenido. Los resultados muestran que el instrumento se puede utilizar para indicar posiciones en relación a la transición a Sociedades Sostenibles. Se recomienda que se realicen estudios futuros, con poblaciones más grandes, para complementar los análisis de confiabilidad y validez con participantes no especialistas. El ICCSA está disponible para las investigadoras que deseen utilizarlo.

Palabras-clave:
ICCSA; Validez del cuestionario; Alfa de Cronbach; Sociedades Sostenibles; Educación ambiental

Abstract

Presents the process of preparing the Composite Index of Social and Environmental Concepts (ICCSA): a multi-response model questionnaire that addresses the themes of Environmental Education, Sustainability and Environment from the perspective of the transition to Sustainable Societies. During the elaboration process, two internal consistency and validity analysis phases were conducted with participation of experts. The final version of the ICCSA presents 43 statements, arranged in six dimensions, suggesting sufficiency in terms of internal reliability and content and discriminant validity. The results show that the instrument can be used to indicate stances in relation to the transition to Sustainable Societies. It is recommended that future studies be carried out, with larger populations, to complement the reliability and validity analyzes with non-specialist participants. ICCSA is available for any researchers who might wish to use it.

Keywords:
ICCSA; Questionnaire Validity; Cronbach’s alpha; Sustainable Societies; Environmental Education

Introdução

Os desafios colocados pela crise socioambiental exigem ações que rompam com as práticas estabelecidas nas relações entre sociedades ocidentais, ou ocidentalizadas, e a natureza - a lógica do quadrimotor da modernidade: ciência, técnica, indústria e interesse econômico (MORIN, CIURANA & MOTTA, 2003). Para construção de uma outra racionalidade, coerente com um futuro possível alternativo à crise socioambiental, se faz necessário o questionamento de lógicas herdadas do projeto positivista moderno - a “hipereconomização do mundo”, a racionalidade coisificadora da modernidade, e os pensamentos excessivamente objetivos e utilitaristas (LEFF, 2006). Assim, a própria produção científica deve se renovar a partir de compreensões que se opõem à fragmentação dos saberes (MORIN, 2005). A constituição de um novo paradigma socioecológico passa pela articulação política de saberes em diferentes campos de conhecimento, numa constante negociação de premissas e metodologias para compreensão sobre os fenômenos em curso (GARRIDO-PEÑA, 2007). Logo, é foco deste estudo uma reflexão sobre o desenvolvimento e uso de um questionário quantitativo para indicar o posicionamento das concepções de agentes sociais em relação às Sociedades Sustentáveis, em específico quanto às práticas da Educação Ambiental (EA), da relação com o Meio Ambiente e a Sustentabilidade, bem como suas interações.

Em face da busca por perspectivas integradoras, é oportuna a reflexão acerca das limitações teórico-metodológicas sobre as abordagens disponíveis a quem produz ciência, particularmente sobre as potencialidades e limitações do uso de instrumentos quantitativos na avaliação de construtos psicológicos complexos. Diante desses marcadores, concebe-se a produção de indicadores quantitativos num contexto histórico de produção científica mecânica, orientada para e pelo progresso, potencializadora da mundialização pela Idade de Ferro Planetária (MORIN; CIURANA; MOTTA, 2003).

Propõe-se o rompimento com essa tradição, que perpetua a separação do know-how científico natural do know-how moral (SANTOS, 2008). Não se trata de descartar o uso de avaliações sistemáticas para a compreensão de um dado fenômeno, mas de explicitar os processos e decisões envolvidas na construção desses indicadores e as potenciais implicações sociais e ecológicas de seus resultados. Diante desse olhar contra hegemônico para as avaliações quantitativas, reconhece-se uma antítese aparente entre a potência de um olhar transversal amplo e a capacidade de aprofundar sua reflexão ante cada respondente; no entanto, “(...) é nessa dialética de complementaridade e antagonismo onde se encontra a complexidade” (MORIN, 2007, p. 64, tradução livre)

Distante de produzir um conhecimento acabado e definitivo, busca-se a proposição de um instrumento com aplicação e interpretação simplificadas, mas com potência para subsidiar novas reflexões quanto à adoção de práticas que impactam o meio ambiente. A abordagem quantitativa viabiliza análises rápidas, como em estatísticas descritivas a partir de indicadores padronizados (LANKSHEAR; KNOBEL, 2008). Dadas essas justificativas para adotar instrumentos dessa natureza, é necessário refletir sobre sua validade - se o instrumento pode responder ao que foi desenhado para mensurar (acurácia) - e confiabilidade - a estabilidade (consistência) do instrumento em diferentes aplicações (FIELD, 2009; HAIR-JR; PAGE; BRUNSVELD, 2020). Tais reflexões visam conhecer e reduzir os erros inerentes à mensuração de construtos complexos a níveis aceitáveis (HAIR-JR; PAGE; BRUNSVELD, 2020).

Para que um instrumento seja considerado válido, seus resultados devem ser consonantes com o construto que se propõe a medir. Dessa forma se faz necessário delimitar os conceitos que se pretende avaliar, partindo de uma discussão de seus significados. Os debates sobre indicadores de “Sustentabilidade” e “Desenvolvimento Sustentável” marginalizam outras dimensões além das ecológica, social e econômica - como a dimensão psicossocial (PAULISTA; VARVAKIS; MONTIBELLER-FILHO, 2008). Os próprios instrumentos que constroem esses indicadores carregam em si as concepções dos autores sobre esses conceitos (GUIMARÃES; FEICHAS, 2009). Somada às dificuldades intrínsecas de se trabalhar com conceitos complexos, está a polissemia que esses termos carregam, muitas vezes tratados como consenso, apesar de apresentarem divergências estruturantes (IRVING, 2014; LOUREIRO, 2014; SARTORI; DA SILVA; DE SOUZA CAMPOS, 2014).

Nesse sentido, críticas ao conceito de Desenvolvimento Sustentável, especialmente à primazia da dimensão econômica em relação a outras dimensões e à incompatibilidade de um crescimento econômico ilimitado em um planeta finito, fortalecem uma concepção alternativa e contra-hegemônica: a construção de Sociedades Sustentáveis (IRVING, 2014). A escrita deste conceito no plural reflete a intenção de aceitar a diversidade de relações e conceitos possíveis de “sociedades”. A sustentabilidade aqui não se apresenta apenas como um adjetivo a um tipo de desenvolvimento, estático e definitivo, e sim como um valor a ser construído e incorporado pelos diferentes povos e comunidades. Nessa perspectiva:

A construção de comunidades e sociedades sustentáveis deve partir da reafirmação de seus elementos culturais e históricos, do desenvolvimento de novas solidariedades, do respeito à natureza não pela mercantilização da biodiversidade, mas pelo fato que a criação ou manutenção de uma relação mais harmoniosa entre sociedade e natureza serem um dos fundamentos das sociedades sustentáveis (DIEGUES, 2003, p.1).

A busca por uma relação mais harmoniosa entre sociedades e natureza não deve ser baseado em “consensos” na pauta ambiental, como se esta estivesse descolada da pauta social, a justiça socioambiental deve ser um dos princípios a compor os horizontes desejáveis das Sociedades Sustentáveis (CARVALHO, 2008). Sendo assim, reforça-se a perspectiva de que a sustentabilidade na construção de Sociedades Sustentáveis extrapola um equilíbrio na balança uso versus disponibilidade das riquezas naturais, “suas raízes estão localizadas em um relacionamento interno à sociedade, de natureza econômica e politicamente equilibrada e equitativa” (RATTNER, 1999, p. 237).

A construção de Sociedades Sustentáveis abarca aspectos materiais e imateriais (COSTA-PINTO, 2019), e “seriam sociedades fluidas, capazes de adaptação, orientadas por suas especificidades culturais e sua maneira de interpretar o mundo e a natureza” (IRVING, 2014, p. 35). Desse modo, a transição para Sociedades Sustentáveis demanda uma nova ética de organização da vida (ACOSTA, 2012), o que exige a superação ou abandono do modelo atual, inclusive superando o modelo racionalista instrumental que está na base do modelo de desenvolvimento hegemônico (GONÇALVES, 2006).

A proposta de Sociedades Sustentáveis incorpora-se às pautas do campo da EA, especialmente após a publicação do Tratado de Educação Ambiental para Sociedades Sustentáveis e Responsabilidade Global (LIMA, 2009; LOUREIRO, 2014; MEIRA; SATO, 2005). Mesmo que essas compreensões não sejam uniformes, o Tratado influencia importantes políticas públicas de EA no Brasil, como a Política e o Programa nacionais de EA (TRAJBER; SORRENTINO, 2006). Os diversos posicionamentos frente a essas questões são influenciados pelas visões de mundo e conceitos como meio ambiente e sustentabilidade (LOUREIRO, 2014; SAUVÉ, 2005). Essas ideias estão inter-relacionadas, auxiliando na caracterização das diferentes ações dentro do campo da EA e do enfrentamento à crise socioambiental (MEIRA; SATO, 2005; SILVA; CAMPINA, 2011).

Apesar de relevante, a ideia de transição para Sociedades Sustentáveis normalmente é silenciada pela visão hegemônica do Desenvolvimento Sustentável e carece de instrumentos que possam indicar a aproximação das concepções de indivíduos à perspectiva contra hegemônica. Dada essa lacuna, o questionário elaborado articula sob essa ótica estes três conceitos: Educação Ambiental (EA), Meio Ambiente (MA) e Sustentabilidade (SUS). Propõe-se, assim, o estabelecimento do Índice Composto de Concepções Socioambientais (ICCSA), apresentado a seguir, que indica os posicionamentos dos sujeitos em relação às Sociedades Sustentáveis partindo de conceitos correlatos.

Estratégia de Construção do ICCSA

Discute-se adiante alguns dos marcadores conceituais que subsidiaram a concepção dos eixos do ICCSA, pretendendo-se apresentar o percurso metodológico percorrido. Nesse sentido, à proposta inicial adicionou-se mais uma seção para trabalhar os três conceitos interligados (EA, MA e SUS). Fundamentando-se nas ideias das dimensões da práxis humana (CARVALHO, 2006), propôs-se a segmentação do eixo relativo à EA em três dimensões: i) EA - Conhecimento; ii) EA - Ética; iii) EA - Participação e Cidadania; uma quarta dimensão para o Meio Ambiente (iv MA); uma para Sustentabilidade (v SUS) e a última integrando os conceitos vi) EA, MA e SUS, cada dimensão envolvendo um bloco de itens. Posto que na literatura especializada não foram encontrados instrumentos para avaliações análogas, destaca-se que essa é uma proposta exploratória para validação do uso desse tipo de questionário ao tratar de temas em relação à transição para Sociedades Sustentáveis.

Propôs-se o questionário baseado no modelo do COCTS, acrônimo em espanhol para Questionário sobre Opiniões de Ciência-Tecnologia-Sociedade (VÁZQUEZ-ALONSO; MANASSERO-MAS; ACEVEDO-DÍAZ, 2006). No Brasil, outro questionário com estratégia similar é o “Visões de Estudantes sobre a Natureza da Ciência por meio da Contextualização em Ecologia” (VENCCE) (AZEVEDO; SCARPA, 2017a, 2017b). Esse modelo de questionário, a partir do grau de concordância com as múltiplas afirmações apresentadas para responder uma mesma pergunta, gera índices que variam em uma escala de (-1) a (+1), em que o maior valor representa alta aproximação com o arcabouço teórico utilizado. Cada item é introduzido com uma breve contextualização e múltiplas respostas ou afirmações, apresentadas para completar o enunciado da questão.

Cada uma dessas afirmações no instrumento proposto apresenta espectros de respostas compreendidas em três categorias: na direção da transição para sociedades sustentáveis (D); parcialmente na direção de sociedades sustentáveis (P, afirmações contraditórias ou parcialmente alinhadas com o arcabouço teórico); e em outras direções, diferentes de sociedades sustentáveis (O). A depender da categoria da afirmação, o valor escolhido pela participante reflete positivamente ou negativamente no índice (Tabela 1). Assim, participantes que apresentam um valor do ICCSA próximo a (+1) demonstram posicionamentos em acordo com os marcadores apresentados sobre a transição para Sociedades Sustentáveis (Figura 1).

O questionário foi apresentado na plataforma do “Google Forms”, uma ferramenta gratuita que viabiliza a participação à distância e intuitiva. Para cada afirmação, a participante assinala concordância numa escala de 1 a 9, podendo abster-se da resposta para sinalizar que “Não sabe” ou “Não entendeu”. Considera-se esse par de respostas em reafirmação às premissas sobre não-determinismo no uso de instrumentos quantitativos, uma vez que quem participa na pesquisa não precisa inserir-se na escala proposta. Nesses casos, o valor total do índice não pode ser comparado com outras participantes, já que o valor final baseia-se na quantidade de afirmações por categoria.

Tabela 1
Referência para pontuação do ICCSA por categoria de respostas

As afirmações das dimensões relacionadas com a EA foram construídas a partir do debate acadêmico sobre a pluralidade do desenvolvimento do tema no Brasil (LAYRARGUES, 2004; SILVA; CAMPINA, 2011; SORRENTINO, 2018). Especificamente sobre a dimensão i) EA - Conhecimento, inseriram-se itens sobre a “disciplinarização” ou não da Educação Ambiental na educação formal, a hierarquização dos saberes acadêmicos, sobre outras formas de conhecimento e quais seriam temas próprios da EA (CARVALHO, 2006; DE OLIVEIRA, 2007). Nas questões ii) EA - Ética, priorizou-se a representação de diferentes visões do papel da EA na transformação dos comportamentos da sociedade (CARVALHO; FARIAS; PEREIRA, 2011; GRÜN, 2010). Na questão iii) EA - Participação e Cidadania, compõe-se diferentes visões sobre participação e envolvimento da EA nos processos de políticas e gestão públicas (JACOBI, 2003; RAYMUNDO; BRIANEZI; SORRENTINO, 2015; SORRENTINO et al., 2005).

Na discussão sobre Meio Ambiente (iv), incluem-se diferentes concepções coexistentes, que direcionam a uma pluralidade de atitudes frente à temática (SAUVÉ, 2005; GONÇALVES, 2006). Compôs-se o conceito de Sustentabilidade (v) dentro das possibilidades que se apresentam em torno do debate do Desenvolvimento Sustentável, ou de Sociedades Sustentáveis, e as diferentes dimensões que compõem este debate. Por fim, conceitua-se na última dimensão (vi) uma proposta de integração dos marcadores conceituais apresentados, postas as interações complexas na produção desses significados.

Envio para contribuição de especialistas

O estabelecimento do questionário passou por 5 etapas principais, organizadas em duas fases, da construção das afirmações à realização das análises de confiabilidade interna e validade. A 1ª fase iniciou com a elaboração da 1ª proposta do ICCSA e envio para um grupo de especialistas (Grupo A). Com essas respostas, foram analisadas a confiabilidade interna e validade de conteúdo, que proporcionaram a elaboração da 2ª proposta do ICCSA. A 2ª fase consistiu no preenchimento da 2ª proposta por outro grupo de especialistas (Grupo B) e novas análises da confiabilidade interna, da validade de conteúdo e da validade discriminante. As devolutivas e resultados encontrados durante a participação das especialistas foram consideradas em todas essas análises (Figura 2A).

Figura 1
Exemplo do processo de aplicação do questionário até a obtenção do ICCSA do participante. Para mais informações de categorias e pontuação, conferir o texto e Tabela 1

Na primeira fase, o instrumento continha duas questões (Q1 e Q2) para cada dimensão (12 questões), com 6 a 10 afirmações para cada questão, totalizando 103 afirmações, apresentando também espaço para comentários e sugestões. O Grupo A congrega o conselho científico e editorial da publicação “Avaliação e monitoramento de políticas públicas de educação ambiental no Brasil: transição para sociedades sustentáveis” (RAYMUNDO; BRANCO; SORRENTINO, 2019). Foi escolhida essa publicação por ser recente, com diversas pesquisadoras em atuação no campo da EA na transição para Sociedades Sustentáveis. Essa perspectiva culminou no convite a 19 especialistas, das quais 10 responderam o questionário entre março e abril de 2021.

Figura 2
Representação esquemática do desenvolvimento do ICCSA com a distribuição das afirmações na 2ª proposta considerando as seguintes etapas: A. Elaboração do ICCSA desenvolvida em duas fases e cinco etapas. B. Quadro de distribuição das afirmações na 2ª proposta do instrumento, considerando o questionário total (Geral), as seis dimensões avaliadas (i a vi) e as três categorias possíveis das afirmações

Na primeira aplicação, uma das especialistas relatou problemas de conexão com a internet durante o preenchimento do formulário, em sua primeira proposta, necessitando iniciar novo preenchimento. A combinação entre o relato sobre a perda de respostas, o padrão de respostas inconsistente, e a alta frequência de respostas outlier; levantou suspeitas sobre o cuidado da participante ao preencher o questionário (MEADE; CRAIG, 2012). É possível que a respondente tenha utilizado a estratégia de resposta satisficing (KROSNICK, 1991), que envolve a utilização de atalhos mentais para driblar o esforço cognitivo necessário para responder um questionário. Por isso, as respostas dessa participante foram desconsideradas das análises que justificaram as adaptações entre a 1ª e a 2ª versão do instrumento. Uma atualização da ferramenta do “Google Forms” em julho de 2021 incorporou a funcionalidade de salvar automaticamente as respostas durante o preenchimento, o que evita a perda de dados como ocorreu com essa participante.

Dito isso, a participação das especialistas do Grupo A viabilizou a codificação dos escores dados às afirmações, definindo a categoria em que cada afirmação pertence. A categorização das afirmações busca posicionar as concepções dentro de um eixo, explicitando divergências e convergências no debate (VÁZQUEZ-ALONSO; MANASSERO-MAS; ACEVEDO-DÍAZ, 2006). Cada afirmação recebeu, então, um valor de concordância, em que a média dos valores assinalados define a categoria das afirmações na seguinte relação: menor ou igual a 3 = “O”; entre 3 e 7 = “P”; e maior ou igual a 7 = “D”.

Uma vez estabelecidas as categorias das afirmações, o instrumento seguiu para a 2ª fase de validação, que contou com outras especialistas (Grupo B), obtendo-se 32 respostas, a partir de 80 convites, durante julho de 2021. Compõem o Grupo B: integrantes do Núcleo de Pesquisa e Extensão em Educação Ambiental da UFSB (NUPEEA/UFSB), integrantes da coordenação do Fundo Brasileiro de Educação Ambiental (FunBEA), especialistas que não puderam responder a primeira etapa de validação, autoras da “Parte I - Análises e reflexões a partir dos indicadores e controle social de políticas públicas de Educação Ambiental” da mesma publicação utilizada na primeira fase, e alunas e ex-alunas da Especialização Educação e Sustentabilidade Ambiental da OCA-USP. Considera-se esse Grupo como menos homogêneo, com algumas das convidadas em processo de formação. Essa escolha justifica-se pela necessidade de um olhar ampliado, tendo em vista aplicações do questionário em diferentes públicos e contextos, sobretudo para avaliação da validade discriminante do ICCSA.

Na proposta inicial, o tempo médio de preenchimento foi de 45 minutos - o que caracteriza um questionário cansativo, como apontado por 8 das 10 respondentes. Esse apontamento era esperado, uma vez que se apresentou um pool de itens extenso, levantando possibilidades para purificar o instrumento final. Assim, a segunda proposta do instrumento demandou cerca de 15 minutos para preenchimento.

Decisões envolvidas e critérios para validação do instrumento

Dado o contexto epistemológico para desenvolvimento desse material, busca-se explicitar as decisões e critérios envolvidos na construção de um instrumento quantitativo que se pretende não determinista - tensionando-se, adiante, as discussões em face dos resultados encontrados nas etapas da validação. Em diálogo com as perspectivas qualitativas apontadas, considera-se necessária uma validação ampla, visando a acurácia e confiabilidade dos resultados quantitativos.

Para avaliar a confiabilidade, adotaram-se os indicadores Alfa de Cronbach (𝞪-Cronbach), sendo 0,7 o valor de referência para validade (CRONBACH; SHAVELSON, 2004; FIELD, 2009; KLINE, 1999), e a correlação item-total, com 0,3 como valor mínimo (FIELD, 2009, p. 678), para as subescalas (dimensões). A exclusão de itens visando a redução do instrumento e o aumento de sua confiabilidade foi acompanhada pela análise da validade do questionário. Ambas as análises foram complementares, garantindo que os itens restantes compusessem escalas confiáveis e válidas (etapa três, Figura 2A).

As análises estatísticas devem acompanhar uma análise qualitativa na validação e interpretação dos resultados (HAIR-JR; PAGE; BRUNSVELD, 2020; VÁZQUEZ-ALONSO; MANASSERO-MAS; ACEVEDO-DÍAZ, 2006). Reflexões sobre a consistência interna do instrumento são complementares à avaliação da validade de conteúdo do instrumento, visando garantir “que o conteúdo do teste foi pertinente e relevante para o seu propósito” (KLINE, 1999, p. 23). Ou seja, a validação de conteúdo envolve reflexões sobre a pertinência da seleção de itens, dentro de um pool, para adequada representação dos construtos sob análise (FIELD, 2009; HAIR-JR; PAGE; BRUNSVELD, 2020). Assim, os comentários feitos pelas especialistas foram analisados de maneira qualitativa, seguindo Ludke e André (1986), e subsidiaram a reformulação do instrumento, em diálogo com os indicadores de confiabilidade - assegurando sua validade de conteúdo durante o processo de purificação das subescalas.

Em adição, distante de esgotar as reflexões sobre a validade do instrumento, propõe-se uma avaliação ampla de sua validade discriminante, que pode ser compreendida como “(...) a extensão com a qual o construto não se relaciona com medidas que são diferentes dele” (HAIR-JR; PAGE; BRUNSVELD, 2020, p. 265). Considera-se tal critério como uma etapa para avaliar a validade de construto que, neste estudo, reflete uma diferenciação teórica entre as percepções registradas entre os grupos A e B- uma vez que as concepções em avaliação são construções históricas e individuais e, assim, deve haver diferenças no ICCSA entre os dois grupos de especialistas. Reconhece-se que, embora as especialistas atuem num mesmo campo temático, carregam processos próprios, conforme as orientações e concepções subjacentes aos critérios para participação neste estudo.

Dito isso, buscou-se avaliar a confiabilidade interna - quantitativa: 𝞪-Cronbach e correlação item-total (CRONBACH; SHAVELSON, 2004; FIELD, 2009) - e as validades de conteúdo e discriminante - abordagens qualitativa (KLINE, 1999; LUDKE; ANDRÈ, 1986) e quantitativa (teste Mann-Whitney, FIELD, 2009), respectivamente - de forma interdependente, reafirmando as premissas sobre processos não deterministas. Os resultados desses olhares são descritos a seguir, em que os cálculos apresentados foram feitos com o software IBM SPSS v. 23.0.0.

Resultados para estabelecer e validar o ICCSA

Confiabilidade interna

Diante da primeira fase, verificou-se, para a primeira proposta do questionário total, um valor de confiabilidade satisfatório (𝞪= 0,757), enquanto as subescalas para algumas dimensões (𝞪_Dim ) e questões isoladas apresentaram valores insuficientes, sobretudo a dimensão EA-Conhecimento (𝞪_Dim = -0,027) (Tabela 2). As demais dimensões, nessa aplicação, apresentaram valores que podem ser considerados satisfatórios em estudos exploratórios, com valores próximos de 0,6 (HAIR-JR; PAGE; BRUNSVELD, 2020). Faz-se a salvaguarda de que, para as subescalas das questões, não foi verificada adesão a tal premissa para todas as questões trabalhadas. Tal resultado inicial era esperado, uma vez que o indicador de Cronbach é um índice da consistência interna do construto e o vasto pool de itens iniciais, que representariam as categorias D, P ou O, não refletia afirmações correlacionadas entre si.

Buscando uma redução significativa no número de itens do instrumento, procedeu-se a uma avaliação dos itens de forma individual. Para a decisão da manutenção dos itens na próxima fase, considerou-se os critérios de i) representação de, ao menos, dois itens classificados como D, P ou O em cada dimensão, ii) correlação item-total corrigida para o item >0,3 (FIELD, 2009, p. 677), iii) aumento no valor do 𝞪-Cronbach para a dimensão se o item for excluído e iv) adesão às premissas teóricas sobre a unidade do construto. É importante ressaltar a articulação entre esses critérios para decisão final, uma vez que se pretende evitar um procedimento mecânico nessas decisões.

As reflexões acerca desses indicadores, em conjunto com a avaliação qualitativa das participantes, levaram à composição de um novo conjunto de assertivas, reduzindo o questionário de 103 para 43 afirmações (Figura 2B). Na primeira fase de validação, os valores de 𝞪-Cronbach foram recalculados a partir do Grupo A, considerando apenas as 43 afirmações mantidas, e, na segunda fase, a nova versão do instrumento foi aplicada com o Grupo B, calculando-se, também, os valores de consistência interna (Tabela 2). Apesar de na 2^a proposta o valor de 𝞪-Cronbach do Grupo A para o questionário total ter diminuído, os valores de 𝞪_Dim foram mais satisfatórios, com nenhum valor negativo e apenas um abaixo de 0,6 (i. EA-Conhecimento). Ainda que o número de itens na escala seja diretamente proporcional ao valor do 𝞪-Cronbach, mesmo com a exclusão de 60 itens, os valores para o questionário completo aumentaram de 0,757 na primeira fase do Grupo A para 0,928 na aplicação com o Grupo B.

Tabela 2
Valores de Alfa de Cronbach (𝞪) para o questionário completo (Total), dimensões (𝞪 Dim) e questões (𝞪Q), conforme as diferentes fases e número de itens em cada subescala (Ni)

Os valores de 𝞪 obtidos na segunda proposta levantam reflexões sobre a sensibilidade do indicador ao público amostrado, visto que o mesmo instrumento gera valores distintos com o Grupo A e o Grupo B, e sobre possíveis redundâncias do instrumento, devido ao valor >0,900 (FIELD, 2009), obtido com o Grupo B. Sobre isso, ressalta-se que o alto valor de 𝞪 foi restrito ao questionário total, não se repetindo nas dimensões; em contraponto, (HAIR-JR; PAGE; BRUNSVELD, 2020) interpretam como redundância valores 𝞪>0,950.

Em relação às subescalas do Grupo B, a partir das questões 1 e 2 para cada dimensão da primeira proposta, verificaram-se valores ideais de 𝞪_Dim (0,722 <𝞪_Dim<0,831), à exceção da dimensão iv MA (𝞪_Dim= 0,493). Tal resultado justifica-se na ocorrência de uma diversidade de concepções sobre MA, como apresentado por uma das respondentes:

Esse bloco provavelmente é o que tive maior dificuldade pelo uso generalizado do termo “Meio Ambiente”, justamente por este ser mais uma representação social que um conceito hegemônico, ele é polissêmico. (...) Para cada uma das respostas, há que se levar em consideração o que eu entendo por Meio Ambiente (Especialista 8).

A partir desses resultados, considerou-se a avaliação da confiabilidade do instrumento como suficiente para aplicação ampla. Uma vez que o indicador de Cronbach também já tenha sido utilizado como mensuração da unidimensionalidade do construto (Field, 2009), pode-se aceitar um baixo valor de consistência interna em face das múltiplas interações dos conceitos abordados, como no caso de iv MA. Dito de outra forma, entende-se que tal resultado é um produto da complexidade subjacente aos processos de construção de suas concepções. Assim, aceitar um valor abaixo do considerado ideal remonta às premissas sobre complexidade e não determinismo e sobre a polissemia dos conceitos, constituindo, então, um elemento esperado na construção de representações dos antagonismos nos construtos avaliados, sobretudo em relação às interações com as concepções sobre EA (SAUVÉ, 2005).

Validade do Conteúdo

Primeira aplicação (Grupo A)

Na primeira fase, além dos comentários gerais sobre a delonga para responder todo o questionário, uma anotação comum entre os comentários versou sobre a importância da reflexão sobre os conceitos. Conforme já pontuado, faz parte da técnica do questionário modelo multi-resposta apresentar afirmações contraditórias ou parcialmente corretas, de acordo com o referencial teórico, o que causou estranhamento em algumas participantes: “Muito interessante o exercício de refletir sobre essas questões. Algumas afirmações não estão muito claras, pois envolvem conceitos em disputa (...)” (Especialista 4). Outras especialistas apontam como algumas afirmações podem ser confusas e dependem da percepção da respondente sobre os conceitos trabalhados:

Muitas das questões acima geram uma dupla interpretação dependendo do critério de análise que se utilize para respondê-las. Isto porque ensinar ecologia e técnicas de reciclagem não são suficientes e estão longe de serem a solução, pois reforçam uma perspectiva naturalista, conservadora e normativa-prescritiva da Educação Ambiental (EA). Mas ao mesmo tempo elas são importantes e necessárias, não sendo excludentes de uma EA critica, emancipadora, transformadora e libertária ou ainda revolucionária (...) (Especialista 8).

Uma das preocupações com a validação era como as especialistas se comportariam na hora de transformar esses conceitos em números numa escala. Esperava-se que, ao serem apresentadas as afirmações contraditórias, as respondentes as enquadrassem como “parcialmente”. Ao que indica, essa ideia foi compreendida por elas:

Por exemplo, a última questão (...) Contém, para mim, um equilíbrio. A primeira frase eu não concordo, mas a segunda sim. Isso cria uma dificuldade em responder. Por isso o número 5 atribuído. Mas se fossem separadas, a primeira seria 1 e a segunda frase seria 9. (...) (Especialista 8, grifo da respondente).

Nesse caso, com a afirmação categorizada como P, o valor ‘5’ gera a maior pontuação para o índice, o que acompanha o objetivo no uso do questionário modelo multi-resposta (Tabela 1). Das 43 afirmações selecionadas, apenas duas foram deixadas sem respostas, por duas participantes diferentes, ambas da categoria P.

Segunda aplicação (Grupo B)

Na segunda fase, apenas três respondentes comentaram achar o questionário longo. Os poucos comentários sobre a extensão do questionário demonstraram êxito no objetivo de diminuir a quantidade de itens no instrumento, preservando sua validade e consistência. Considera-se que isso foi alcançado, uma vez que, mesmo ao responder ao questionário mais curto, as participantes demonstraram a necessidade de um olhar reflexivo para a interpretação das afirmações.

Como esperado, algumas especialistas apontaram que as afirmações podem ter interpretações diferentes: “Muitas questões são dúbias, possibilitam leituras diferentes, a depender do entendimento de conceitos” (Especialista 32), assim como na 1ª fase. Ainda em relação às dúvidas no preenchimento, assim como na 1ª fase, as participantes demonstraram dúvidas sobre como responder as afirmações da categoria P: “Algumas perguntas (eu) estavam de acordo com a metade dela e geralmente depois da vírgula entrava em contradição. Nesta situação tive dificuldade de responder que concordava pouco” (Especialista 25).

Apenas uma respondente apresentou um comportamento diferente ao encontrar afirmações contraditórias, deixando 9 afirmações sem resposta (4 D, 4 P, 1 O):

O fato de haver mais de um argumento, muitas vezes com sentidos diferentes, em várias das afirmativas apresentadas como “questões” me levou a concordar parcialmente ou pouco de muito do que estava expresso no formulário (...) Deixei várias sem responder, ou porque entendi que o período era composto de frases que se contradiziam ou porque não compreendi o sentido da afirmativa como um todo (Especialista 37).

Ainda com relação aos itens sem respostas, somente duas especialistas não responderam algumas afirmações (uma 2 P e 2 D; e outra 1 P e 2 O), sendo que em apenas um caso a mesma assertiva foi deixada sem resposta por duas especialistas.

Valores de ICCSA e Validade Discriminante

O modelo multi-resposta com diferentes dimensões possibilita o cálculo dos valores dessas dimensões em diferentes agrupamentos. Para o índice geral do questionário (ICCSAg), o Grupo A mostrou um valor significativamente maior que o Grupo B (U=12 p < 0,01), o que evidencia Validade Discriminante (Tabela 3). Os escores nas categorias (D, P e O) também sugerem diferenças significativas entre as duas aplicações, em que o segundo grupo foi capaz de se posicionar mais próximo às posições na direção de sociedades sustentáveis na categoria D (U= 50.5 p=0.04), enquanto nas categorias P e O, o primeiro grupo teve uma pontuação significativamente maior (U=21.5 p<0.01 e U= 53.5 p=0.04, respectivamente).

Tabela 3
Escores de ICCSA com uma medida de desvio padrão, assim como o valor da estatística do Teste de Mann Whitney, assim como seu p _valor . Também são apresentados os escores com uma medida de desvio padrão para as dimensões isoladas. São destacados (negrito) os maiores valores para cada categoria de respostas entre os diferentes grupos

	ICCSAg	D	P	O
Grupo A	0.47 +- 0.05	0.69 +-0.12	0.15 +- 0.24	0.57+-0.11
Grupo B	0.24+-17	0.79 +-0.14	-0.28+-0.28	0.22+-0.44
	U= 12 p= 0.00*	U =50.5 p= 0.04*	U=21.5 p = 0.001*	U=53.5 p= 0.04*
Valores calculados do ICCSA por dimensão
Dimensões		Grupo A	Grupo B
i. EA Conhecimento		0.45+-0.23	0.32+-0.34	U=104 p= 0.43
ii. EA Participação		0.34+-0.14	0.11+-023	U= 53 p = 0.01*
iii. EA Ética		0.54+-0.12	0.34+-0.24	U= 62,5 p =0.01*
iv. MA		0.53+-0.22	0.38+-0.26	U=89.5 p=0.11
v. SUS		0.43+-0.20	0.11+-0.21	U=32 p =0.00*
vi. EA, MA e SUS		0.52+-0.08	0.17+-0.28	U=37,5 p= 0.00*

• Fonte: Elaboração própria
• Notas: *Diferença estatisticamente significativa pelo teste de Mann-Whitney; D = Na direção da transição para sociedades sustentáveis; P = Parcialmente na direção de sociedades sustentáveis; O = Em outras direções, diferentes de sociedades sustentáveis. EA = Educação Ambiental; MA = Meio Ambiente; SUS = Sustentabilidade

Essas divergências entre os grupos podem sinalizar uma maior tendência a concordar com D no Grupo B, já que essas participantes assinalaram maior quantidade de afirmações no valor “9”, ou próximo a “9”, aumentando a pontuação de D e reduzindo a expressão de P e O. Para ambos os grupos, tanto no ICCSAg quanto nas dimensões separadamente, as afirmações P foram as que apresentaram menor valor, sendo a única categoria que apresentou valores negativos. Essa categoria resulta em menor valor quanto mais extremos os posicionamentos em relação à concordância ou não das afirmações P. Os valores baixos nessa categoria podem refletir a dificuldade apresentada pelas respondentes ao se depararem com afirmações contraditórias, conforme relatado em suas falas. Além disso, caso alguma participante apresente o comportamento de satisfacing, especialmente as respostas da categoria P apresentarão valor baixo (KROSNICK, 1991; MEADE; CRAIG, 2012).

A maior pontuação do Grupo A em relação ao Grupo B se manteve nas diferentes dimensões; apenas i) EA conhecimento (U=104 p= 0.43) e iv) Meio Ambiente (U=89.5 p=0.11) não apresentaram diferenças significativas entre os dois grupos. Esses resultados sugerem que, mesmo com composições diferentes, ambos os grupos podem convergir na macrotendência político-pedagógica da EA crítica (LAYRARGUES; LIMA, 2011). Em adição, o posicionamento dentro de uma dessas grandes vertentes também dialoga com as concepções de Meio Ambiente (SILVA; CAMPINA, 2011).

Apesar do mesmo ser esperado para outras dimensões, considera-se que as dimensões ii. EA ética e iii. EA participação e Cidadania envolveram valores não necessariamente explicitados ou homogêneos no campo da EA crítica. O mesmo ocorre com os resultados das dimensões de Sustentabilidade (v) e Integração (vi), que abrangem conceitos como as visões de modelos socioeconômicos e de justiça ambiental (CARVALHO, 2008). Mesmo que as ideias sobre Sustentabilidade sejam diversas e polissêmicas, a maior diferença entre os grupos nessas dimensões sugere uma distinção estruturante entre a transição para Sociedades Sustentáveis e a visão hegemônica de Desenvolvimento Sustentável.

Considerações finais sobre o instrumento

O instrumento desenvolvido neste trabalho é o primeiro instrumento quantitativo que busca identificar posicionamentos em relação à transição para Sociedades Sustentáveis. Além disso, o comportamento ao preencher o questionário pode ser analisado tanto de maneira ampla, como em cada uma das dimensões apresentadas e suas inter-relações. É necessária cautela na interpretação de seus resultados - uma vez que, além dos erros inerentes ao preenchimento de qualquer instrumento de mensuração, há uma limitação das respostas possíveis, previamente estabelecidas por quem as elabora. O processo ponderado durante a elaboração e validação desse instrumento minimiza esses problemas, potencializando as vantagens de sua utilização, como a aplicação em larga escala.

A análise dos comentários das especialistas favorece a validade de conteúdo do questionário e as medidas do Alfa de Cronbach e correlação item-total contribuem para a confiabilidade do instrumento. Adicionalmente, a performance durante a segunda fase revelou uma distinção nos índices obtidos entre os diferentes públicos respondentes, o que denota a validade discriminante do instrumento.

Considera-se que o modelo de questionário escolhido é capaz de abordar os temas propostos. Ao envolver essas dimensões, cria-se a possibilidade de análise pelas categorias ou para cada afirmação apresentada, de forma que, dependendo da pergunta a ser respondida, o questionário pode ser adaptado ou reavaliado. As afirmações adotadas neste trabalho partiram de um levantamento bibliográfico sobre os temas. Ainda que novas questões possam ser incluídas e removidas a partir de revisões sistemáticas ou dados primários coletados, recomenda-se uma etapa de validação para as novas versões elaboradas.

O processo de validação a partir dos comentários e dos indicadores pode ser aprimorado com um acompanhamento das especialistas durante o preenchimento, criando a oportunidade de questionar os valores dados para cada afirmação, a fim de elucidar como a escala tem sido interpretada pelas respondentes. Com os resultados encontrados, recomendam-se novas aplicações, com etapas de validação, sobretudo com público não especialista. Ressalta-se a necessidade de cautela especial com relação às afirmações P, uma vez que causaram dúvidas de preenchimento, que podem, inclusive, refletir nos valores do índice e gerar ruído na interpretação dos dados. Por fim, também foi uma limitação do processo descrito as breves instruções fornecidas sobre o preenchimento da escala: sugere-se, na apresentação do questionário, um estímulo para maior exploração do espectro apresentado, diminuindo respostas automatizadas e dúvidas sobre o preenchimento. A aplicação assistida do questionário pode minimizar esses problemas, possibilitando que as respondentes sanem suas dúvidas.

O uso do ICCSA para avaliação das concepções de uma população contextualiza-se no campo de desenvolvimento de instrumentos diagnósticos para apoio a ações educadoras, explicitando particularidades em concepções complexas, entre e dentre grupos. O questionário também pode ser aplicado antes e após uma intervenção educadora, podendo indicar possíveis transformações nos posicionamentos de participantes por estímulo do processo formativo. Assim como nos levantamentos realizados na área de CTS (Ciência-Tecnologia-Sociedade) e Natureza da Ciências, depreende-se o uso do Indicador como diagnóstico sobre lacunas ou pontos críticos, tanto para processos educativos como na implementação de políticas públicas. Em suma, o ICCSA pode orientar ações estratégicas, contextualizadas e dialógicas que contribuam com a transição para as Sociedades Sustentáveis.

O ICCSA está disponível para qualquer pesquisadora que queira utilizar ou modificar o instrumento. As 43 afirmações que compõem esta proposta, distribuídas em suas categorias e dimensões, estão listadas em Santos (2022). Para receber outros conteúdos pertinentes à aplicação, basta enviar e-mail para o primeiro autor.

Agradecimentos

As autoras agradecem o apoio do Edital Nº 19/2020/PRPGI/IFBA: Apoio e Fortalecimento dos Programas de Pós-Graduação Stricto Sensu do IFBA por viabilizar a submissão e tradução deste artigo.

Referências

• ACOSTA, Alberto. O Buen Vivir: uma oportunidade de imaginar outro mundo. In: BARTELT, Dawid Danilo (org.). Um campeão visto de perto - Uma análise do Modelo de Desenvolvimento Brasileiro. Brasília/DF: Heinrich-Böll-Stiftung. Série Democracia,2012, p. 198-216.
• AZEVEDO, Nathália Helena; SCARPA, Daniela Lopes. Um levantamento em larga escala das concepções de Natureza da Ciência de graduandos de biologia brasileiros e os possíveis elementos formativos associados. Ensaio Pesquisa em Educação em Ciências, Belo Horizonte, v. 19, p. 1-28, 2017a.
• AZEVEDO, Nathália Helena; SCARPA, Daniela Lopes. Decisões envolvidas na elaboração e validação de um questionário contextualizado sobre Concepções de Natureza da Ciência. Investigações em Ensino de Ciências, Porto Alegre, v. 22, n. 2, p. 57, 2017b
• CARVALHO, Luiz Marcelo de. A temática ambiental e o processo educativo: dimensões e abordagens. In: CINQUETTI, H. C.; LOGAREZZI, A. (org.). Consumo e Resíduo: Fundamentos para o trabalho Educativo. São Carlos: EdUFScar, 2006. p. 1-19.
• CARVALHO, Isabel Cristina de Moura. Educação para Sociedades Sustentáveis e ambientalmente justas. Revista Eletrônica do Mestrado em Educação Ambiental, Rio Grande, v. especial, p. 46-55, 2008.
• CARVALHO, Isabel Cristina de Moura; FARIAS, Carmen Roselaine; PEREIRA, Marcos Villela. A Missão “ecocivilizatória” e as novas moralidades ecológicas: A Educação ambiental entre a norma e a antinormatividade. Ambiente & Sociedade, São Paulo, v. 14, n. 2, p. 35-49, 2011.
• CRONBACH, Lee J.; SHAVELSON, Richard J. My Current Thoughts on Coefficient Alpha ans Successor Procedures. Los Angeles: Center for the Study of Evaluation (CSE) National Center for Research on Evaluation, Standards, and Student Testing (CRESST) Graduate School of Education & Information Studies University of California, 2004.
• DIEGUES, Antonio Carlos. Sociedades e comunidades sustentáveis. 2003. Disponível em: <http://nupaub.fflch.usp.br/sites/nupaub.fflch.usp.br/files/color/comsust.pdf>. Acesso em: 19 jun. 2022.
  » http://nupaub.fflch.usp.br/sites/nupaub.fflch.usp.br/files/color/comsust.pdf
• DE OLIVEIRA, Haydée Torres. Educação ambiental - ser ou não ser uma disciplina: essa é a principal questão?! In: MELLO, Soraia Silva De; TRAJBER, Rachel (org.). Vamos cuidar do Brasil: conceitos e práticas em educação ambiental na escola. Brasília: Ministério da Educação, Coordenação Geral de Educação Ambiental: Ministério do Meio Ambiente, Departamento de Educação Ambiental : UNESCO, 2007. p. 103-114.
• FIELD, Andy. Descobrindo a estatística usando o SPSS-5. Porto Alegre: Penso, 2009.
• GARRIDO-PEÑA, Francisco. Sobre la epistemología ecológica. In: GARRIDO, Francisco et al. (org.). El paradigma ecológico en las ciencias sociales. Barcelona: Icaria:Antrazyt, 2007. p. 31-53.
• GONÇALVES, Carlos Walter Porto. Os (des) caminhos do meio ambiente. 14 ed. São Paulo: Contexto, 2006.
• GRÜN, Mauro. Ética e educação ambiental: a conexão necessária. 13. ed. Campinas: Papirus, 2010.
• GUIMARÃES, Roberto Pereira; FEICHAS, Susana Arcangela Quacchia. Desafios na construção de indicadores de sustentabilidade. Ambiente & Sociedade, São Paulo, v. 12, n. 2, p. 307-323, 2009.
• HAIR-JR, Joe F.; PAGE, Michael.; BRUNSVELD, N. Essentials of business research methods. 4. ed. Abringdom: Routledge, 2020.
• IRVING, Marta de Azevedo. Sustentabilidade e O futuro que não queremos: polissemias, controvérsias e a construção de sociedades sustentáveis. Sinais Sociais, Rio de Janeiro, v. 6, n. 26, p. 13-38, 2014.
• JACOBI, Pedro. Educação ambiental, cidadania e sustentabilidade. Cadernos de Pesquisa, São Paulo, n. 118, p. 189-206, 2003.
• KLINE, Paul. The Handbook of psychological testing. 2. ed. Abingdon: Routledge, 1999. DOI: 10.1016/s0191-8869(96)90047-1.
  » https://doi.org/10.1016/s0191-8869(96)90047-1.
• KROSNICK, Jon A. Response strategies for coping with the cognitive demands of attitude measures in surveys. Applied Cognitive Psychology, Nova Jersey, v. 5, n. 3, p. 213-236, 1991.
• LANKSHEAR, Colin; KNOBEL, Michele. Pesquisa pedagógica: do projeto à implementação. Porto Alegre: Artmed, 2008.
• LAYRARGUES, Philippe Pomier (ORG.). Identidades Educação Ambiental Brasileira. Brasília: Ministério do Meio Ambiente - Diretoria de Educação Ambiental, 2004.
• LAYRARGUES, Philippe Pomier; LIMA, Gustavo Ferreira da Costa. Mapeando as macro-tendências político-pedagógicas da educação ambiental contemporânea no brasil. VI Encontro “Pesquisa em Educação Ambiental” A Pesquisa em Educação Ambiental e a Pós-Graduação no Brasil., Ribeirão Preto, p. 1-15, 2011.
• LEFF, Enrique. Racionalidade ambiental: a reapropriação social da natureza. Rio de Janeiro: Civilização Brasileira, 2006.
• LIMA, Gustavo Ferreira da Costa. Educação ambiental crítica: Do socioambientalismo às sociedades sustentáveis. Educação & Pesquisa, São Paulo, v. 35, n. 1, p. 145-163, 2009.
• LOUREIRO, Carlos Frederico Bernardo. Sustentabilidade e educação ambiental: controvérsias e caminhos do caso brasileiro. Sinais Sociais, Rio de Janeiro, v. 1, n. 1, p. 39-72, 2014.
• LUDKE, Menga; ANDRÉ, Marli E. D. A. Pesquisa em Educação: Abordagens Qualitativas. São Paulo: EPU, 1986.
• MEADE, Adam W.; CRAIG, S. Bartholomew. Identifying careless responses in survey data. Psychological Methods, Washington, v. 17, n. 3, p. 437-455, 2012.
• MEIRA, Pablo; SATO, Michèle. Só os peixes mortos não conseguem nadar contra a correnteza. Revista de Educação Pública, Cuiabá, v. 14, n. 25, p. 1-19, 2005.
• MORIN, Edgar. Ciência com Conscienciência. 8. ed. Rio de Janeiro: Bertrand Brasil, 2005.
• MORIN, Edgar. La Epistemología de la complejidad. In: GARRIDO, Francisco et al. (org.). El paradigma ecológico en las ciencias sociales. Barcelona: Icaria:Antrazyt, 2007.
• MORIN, Edgar; CIURANA, Emilio-Roger; MOTTA, Raúl Domingo. Educar na Era Planetária: O pensamento complexo como “Método” de aprendizagem no erro e na incerteza humana. São Paulo: Cortez, 2003.
• PAULISTA, Geralda; VARVAKIS, Gregório; MONTIBELLER-FILHO, Gilberto. Espaço emocional e indicadores de sustentabilidade. Ambiente & Sociedade, São Paulo, v. 11, n. 1, p. 185-200, 2008.
• RATTNER, Henrique. Sustentabilidade - uma visão humanista. Ambiente & Sociedade, São Paulo, n. 5, p. 233-240, 1999.
• RAYMUNDO, Maria Henriqueta Andrade; BRANCO, Evandro Albiach; SORRENTINO, Marcos. Avaliação e monitoramento de políticas públicas de educação ambiental no Brasil: transição para sociedades sustentáveis. Piracicaba: MH-Ambiente Natural, 2019.
• RAYMUNDO, Maria Henriqueta Andrade; BRIANEZI, Thaís; SORRENTINO, Marcos (ORG.). Como Construir Políticas Públicas De Educação Ambiental Para Sociedades Sustentáveis? São Carlos: Diagrama Editorial, 2015.
• SANTOS, Boaventura de Sousa. Um discurso sobre as ciências. 5. ed. São Paulo: Cortez, 2008.
• SANTOS, Leandro Fernandes Antonio. Unidades de Conservação e Sociedades Sustentáveis: A Educação Ambiental desenvolvida nas UC da Costa do Descobrimento - BA. Dissertação (Mestrado em Ciências e Tecnologias Ambientais) - Universidade Federal do Sul da Bahia; Instituto Federal de Educação, Ciência e Tecnologia da Bahia, Porto Seguro, 2022. Disponível em: < https://sig.ufsb.edu.br/sigaa/verArquivo?idArquivo=727550&key=b7e7b9437998669c30d5e6d4f30fb0e4>. Acesso em: 19 jun. 2022.
  » https://sig.ufsb.edu.br/sigaa/verArquivo?idArquivo=727550&key=b7e7b9437998669c30d5e6d4f30fb0e4
• SARTORI, Simone; DA SILVA, Fernanda Latrônico; DE SOUZA CAMPOS, Lucila Maria. Sustainability and sustainable development: A taxonomy in the field of literature. Ambiente e Sociedade, São Paulo, v. 17, n. 1, p. 1-22, 2014.
• SAUVÉ, Lucie. Educação ambiental: possibilidades e limitações. Educação e Pesquisa, São Paulo, v. 31, n. 2, p. 317-322, 2005.
• SILVA, Rosana Louro Ferreira; CAMPINA, Nilva Nunes. Concepções de educação ambiental na mídia e em práticas escolares : contribuições de uma tipologia. Pesquisa em Educação Ambiental, Rio Claro, v. 6, n. 1, p. 29-46, 2011.
• SORRENTINO, Marcos. Educação ambiental e políticas públicas : conceitos, fundamentos e vivências. 2. ed. Curitiba: Appris, 2018.
• SORRENTINO, Marcos; TRAJBER, Rachel; MENDONÇA, Patrícia; FERRARO JUNIOR, Luiz Antonio. Educação ambiental como política pública. Educação e Pesquisa, São Paulo, v. 31, n. 2, p. 285-299, 2005.
• TRAJBER, Rachel; SORRENTINO, Marcos. As políticas de educação ambiental do Estado brasileiro: transformações socioambientais para a sociedade sustentável. In: TASSARA, Eda (org.). Mudanças Climáticas e Mudanças Socioambientais Globais: reflexões sobre alternativas de futuro. Brasília: UNESCO, 2006. p. 155-168.
• VÁZQUEZ-ALONSO, Ángel; MANASSERO-MAS, María Antonia; ACEVEDO-DÍAZ, José-Antonio. An analysis of complex multiple-choice science-technology-society items: Methodological development and preliminary results. Science Education, Washington, v. 90, n. 4, p. 681-706, 2006.

• Nota

  Reconhecendo a importância política da linguagem, iremos adotar sempre que possível uma linguagem de gênero neutra ou feminina como genérica.

Datas de Publicação

• Publicação nesta coleção
  17 Jul 2023
• Data do Fascículo
  2023

Histórico

• Recebido
  01 Fev 2022
• Aceito
  21 Nov 2022