SciELO - Scientific Electronic Library Online

 
vol.21 suppl.3Local environmental public policies assessmentManagement practices of urban mega projects author indexsubject indexarticles search
Home Pagealphabetic serial listing  

Services on Demand

Journal

Article

Indicators

Related links

Share


Saúde e Sociedade

Print version ISSN 0104-1290

Saude soc. vol.21  supl.3 São Paulo Dec. 2012

http://dx.doi.org/10.1590/S0104-12902012000700002 

ARTIGOS

 

Avaliação de políticas ambientais: desafios e perspectivas1

 

Environmental policies assessment: challenges and prospects

 

 

Marcelo Prudente de AssisI; Tadeu Fabrício MalheirosII; Valdir FernandesIII; Arlindo Philippi JrIV

IMestre em Ciências, Doutor em Ciências pelo Programa de Pós-graduação em Saúde Pública da Faculdade de Saúde Pública /USP, Endereço: Av. Dr Arnaldo 715, Cerqueira Cesar, CEP 01246 904, São Paulo, SP, Brasil, CEP 01246-904, São Paulo SP, Brasil, E-mail: marcelo.assis@usp.br
IIEngenheiro Civil e Ambiental. Doutor em Saúde Pública. Professor da Escola de Engenharia de São Carlos da Universidade de São Paulo, Endereço: Av. Trabalhador Sãocarlense, 400  CP 359,  CEP 13566-590,  São Carlos, SP, Brasil, E-mail: tmalheiros@usp.br
IIICientista Social, Doutor em Engenharia Ambiental, Professor da FAE e da Universidade Positivo (UP), Endereço: Av. Prof. Pedro Viriato Parigot de Souza, 5300. CEP 81280-330, Curitiba, PR, Brasil, E-mail: vfernandes@up.edu.br
IVEngenheiro Civil e Sanitarista. Doutor em Saúde Pública. Professor Titular da Faculdade de Saúde Pública da Universidade de São Paulo. Pesquisador CNPq, Endereço: Av Dr Arnaldo 715, Cerqueira Cesar, CEP 01156 -000, São Paulo, SP, Brasil, E-mail: aphij@usp.br

 

 


RESUMO

O presente artigo tem como objetivo contribuir para o debate sobre a inserção da avaliação no ciclo das políticas ambientais no Brasil, discutindo desafios e perspectivas que se apresentam. Para tanto, é feito um resgate histórico da evolução da avaliação, discutindo o conceito, classificação e usos da avaliação e finalmente a avaliação de políticas ambientais, com base nos pressupostos de que ferramentas desenvolvidas para a avaliação de políticas sociais podem ser adaptadas para avaliar políticas ambientais, e ferramentas da área ambiental também podem contribuir para o avanço do campo de estudo. As conclusões mostram que os desafios são grandes, principalmente na obtenção de dados. Em um primeiro momento, talvez não seja possível avaliar impactos de forma ampla, mas é importante avaliar critérios relativos à transparência, equidade e legitimidade, bem como reconstruir as teorias de implementação. O uso automático dos resultados é pouco provável, mas se a avaliação faz parte de um arcabouço mais amplo de melhoria da gestão pública, eles repercutem no aperfeiçoamento das políticas.

Palavras-chave: Avaliação de Políticas; Política Ambiental; Políticas Públicas.


ABSTRACT

This article aims to contribute to the debate about the role of assessment in the cycle of environmental policies in Brazil discussing the challenges and prospects for the advancement of the tool. For this purpose we made a historical survey of assessment, discussing the concept, classification and uses and finally the assessment of environmental policies based on the assumptions that developed tools for assessment social policies can be adapted to assess environmental policies and tools of environmental field as the Strategic Environmental Assessment can also contribute to advancing the field of study. The findings show that the challenges are great, especially in obtaining data. At first it may not be possible to evaluate impacts broadly, but it is important to assessment criteria relating to transparency, equity and legitimacy, as well as reconstructing the implementation theories. The automatic use of the results is unlikely, but if evaluation is part of a broader framework for improving public management, they have repercussions on policy improvements.

Keywords: Policy Assessment; Environmental Policy; Policies.


 

 

Introdução

A avaliação de políticas se firmou como um campo de estudos na década de 1960 com a perspectiva de que seus resultados teriam uso automático na correção dos rumos das intervenções governamentais, tornando a política mais efetiva. Embora essa expectativa não tenha se confirmado, o campo de estudo continuou se desenvolvendo e passa hoje por uma fase de intenso crescimento, apoiado nas funções de accountability e aprendizado, sem perder de vista o objetivo de tornar os governos mais científicos e baseados em evidências.

Usado inicialmente para políticas sociais, o leque de atuação da avaliação foi se expandindo para outras áreas da política, até chegar à área ambiental, somente nos anos 1990. Esse relativo atraso pode ser atribuído ao fato de a política ambiental ser relativamente recente, mas também se deve a características intrínsecas da política ambiental que tornam a avaliação bastante complexa. Por outro lado, essa incorporação tardia traz o benefício de se poder usar as experiências de outras áreas, evitando repetir os mesmos erros.

A partir dessas considerações sumárias, o objetivo deste artigo é contribuir para o debate sobre a inserção da avaliação no ciclo das políticas ambientais no Brasil, discutindo desafios e perspectivas que se apresentam. Para isso, são feitos um resgate histórico da evolução da avaliação e a discussão do conceito, classificação e usos da avaliação, para finalmente se discutir a avaliação de políticas ambientais, com base nos pressupostos de que ferramentas desenvolvidas para a avaliação de políticas sociais podem ser adaptadas para avaliar políticas ambientais e ferramentas da área ambiental também podem contribuir para o avanço do campo de estudo.

 

Histórico da Avaliação de Políticas

A avaliação de políticas é um campo relativamente novo, mesmo na história dos programas sociais, uma vez que as primeiras políticas da área não incluíam a avaliação (Weiss, 1998).

De acordo com Albaek (1998), a avaliação, como conhecemos hoje, embora tenha raízes históricas distantes no tempo, se firmou nos Estados Unidos nos anos 1960 em termos do escopo de atividades, base teórica e metodológica e profissionalização disciplinar. Em um contexto de crescimento do setor público e do pouco conhecimento sobre a atuação das agências e instituições públicas – se estavam realmente fazendo o que deviam fazer (produtos) e se suas atividades tinham os efeitos desejados (impactos) – fazia-se necessário buscar informações. Essa demanda surgiu primeiramente entre ao alto escalão do serviço público, tendo como característica predominante o seu desenho top-down. Acreditava-se que as ideologias poderiam ser substituídas por uma tomada de decisão racional e que o conhecimento científico poderia ser usado para resolver os problemas sociais. Com a crise econômica nos anos de 1970 ficou claro que as expectativas de utilização racional-instrumental da avaliação não aconteceram. Enquanto a avaliação nos anos 1960 era uma ferramenta gerencial top-down para os altos escalões da política, nos anos 1970 a avaliação se desenvolveu como uma ferramenta de orientação bottom-up para executores dos programas.

Derlien (2001) propõe uma divisão em fases históricas, partindo da distinção das três funções básicas atribuídas à avaliação – informação, realocação e legitimação – para dividir as fases evolutivas das pesquisas de avaliação, dos anos 1960 aos anos de 1990.

Nos anos 1960, predominou a função de informação nas pesquisas de avaliação. Essa etapa esteve amplamente ligada aos governos socioliberais engajados em programas que visavam a solução de problemas sociais. Os processos de avaliação eram conduzidos pelos departamentos responsáveis pela execução das políticas. O foco era a melhoria dos programas, e os gerentes de programas tinham interesse em usar a avaliação como mecanismo de feedback. Em outras palavras, partindo da pergunta "as políticas funcionam?" chegava-se à outra pergunta, "como se podem melhorar essas políticas?" (Derlien, 2001; Ala-Harja e Helgason, 1999).

A função realocação foi predominante nos anos 1980, segunda etapa de institucionalização: o objetivo era contribuir para uma alocação mais efetiva de recursos do orçamento. Os atores principais não são mais os administradores dos programas, mas órgãos de auditoria, ministérios de finanças e unidades centrais, aos quais compete a elaboração global do orçamento. Essa fase foi estimulada por governos predominantemente conservadores, na tentativa de restringir programas públicos em face de limitações fiscais (Derlien, 2001; Ala-Harja e Helgason, 1999).

Durante a década de 1990, o foco na avaliação de políticas passa a ser a função de legitimação. Problemas relacionados à legitimidade do setor público e a necessidade de fortalecer a responsabilidade do governo levaram a novos e mais sofisticados mecanismos de controle, como, por exemplo, a avaliação. Partia-se do pressuposto que as provas científicas serviam para justificar as decisões políticas, fosse para melhorar, reduzir ou suprimir programas (Derlien, 2001; Ala-Harja e Helgason, 1999).

Para Faria (2005), após o crescimento explosivo nos anos 1960 e consolidação nos anos 1970, na década seguinte a avaliação é posta a serviço da reforma do Estado.

Em trabalho mais recente, Vedung (2010) usa a metáfora de ondas que depositam sedimentos para dividir em fases a história da avaliação. De acordo com o autor, a metáfora, além de capturar a passagem do tempo, expressa também o fato de que as diversas ondas atingem diferentes partes do mundo em diferentes momentos. Os sedimentos depositados permanecem mesmo quando a próxima onda chega e moldam o pensamento e a prática atual da avaliação. Segundo o autor, são quatro ondas. A primeira delas, a "Onda Científica", surge nos anos 1950 e se firma no meio da década seguinte: a avaliação era parte de um fluxo maior de ideias para tornar o governo "mais científico". A partir de metas preestabelecidas, pesquisadores acadêmicos eram contratados para avaliar cientificamente os meios para atingir tais metas. Os resultados seriam usados para subsidiar a tomada de decisão, substituindo os jogos de curto prazo entre partidos e grupos de interesse.

A segunda onda, "Orientada para o Diálogo", surge nos anos 1970 e é caracterizada pelo envolvimento de outros atores na avaliação: além dos políticos, do alto escalão do governo e de pesquisadores acadêmicos, todos os stakeholders devem ser envolvidos na avaliação.

A terceira onda, chamada "Neoliberal", ocorre a partir do início dos anos 1980.  Baseada em uma desconfiança no planejamento centralizado, viu solução não no diálogo e na participação, mas na orientação para o mercado. A avaliação tem ênfase na accountability dos agentes públicos em termos do uso de recursos, verificando a economia, eficácia e custo/ eficiência.

Por fim, a quarta onda, chamada "Onda da Evidência", surge por volta 1995-2000, tem como característica o esforço para fazer o governo ser mais científico e mais baseado em evidências empíricas. Essa onda tende a estruturar o campo da avaliação de um ponto de vista das ciências sociais, não do ponto de vista político, administrativo ou orientado para o cliente. É baseada na lógica dos meios e fins, em que a tarefa da avaliação é aumentar e disseminar o conhecimento dos meios. Pode ser vista como um retorno da avaliação com base na ciência, mas com uma nova roupagem.

Embora, como destaca Vedung (2010), os avanços na história da avaliação cheguem aos países em diferentes momentos e com diferentes intensidades, percebe-se que o desenvolvimento da avaliação ocorre inicialmente nos Estados Unidos, país onde surgiu o estudo de políticas públicas. Na Europa, as iniciativas científicas explícitas no campo de estudo de políticas públicas surgem apenas a partir dos anos 1970 (Regonini, 1989). Na década seguinte, em um contexto de restrições fiscais, e a partir dos anos 1990, com o advento dos fundos estruturais da União Europeia ocasionando a obrigatoriedade da avaliação, o interesse pelo campo ocorre principalmente na Europa e decresce nos EUA (Derlien, 2001).

No contexto da América Latina, a institucionalização da avaliação ocorreu apenas na década de 1990, tendo prevalecido a perspectiva de instrumentalização da pesquisa avaliativa para o sucesso da reforma do Estado (Faria, 2005). No Brasil, o campo é ainda bastante incipiente, havendo carência de estudos dedicados aos processos e às metodologias de avaliação de políticas, o que pode ser atribuído à escassa utilização da avaliação como instrumento de gestão pelo setor público nos três níveis de governo (Faria, 2003).

Na área ambiental, a avaliação também chega tardiamente, e não poderia ser diferente, já que as primeiras políticas ambientais surgiram a partir do final da década de 1960, por exemplo, no Japão em 1967 e nos Estados Unidos em 1970 (Mickwitz, 2006). Assim, o campo se firma apenas no final da década de 1990, e segundo Lehtonen (2005) com base nas funções de a) aprendizado e desenvolvimento e b) accountability. Mickwitz destaca também a necessidade de "convencer os políticos e o público de que as políticas ambientais são necessárias e boas para a sociedade como um todo" (2006, p.20).

 

Conceito de Avaliação

A avaliação se insere no campo mais amplo do estudo de políticas públicas. O estudo de políticas públicas, normalmente, buscando simplificar a complexidade inerente ao campo, faz uso de modelos que buscam representar a realidade de forma mais acessível e compreensível. Um dos modelos mais conhecidos é o do ciclo da política pública, que simplifica o pro­cesso de produção de políticas em uma série de fases sequenciais, em que a avaliação normalmente aparece como a última fase, embora ela possa ser colocada também no centro do ciclo, sugerindo que a avaliação pode ser feita em cada fase do ciclo (Crabbé e Leroy, 2008). Existem diferentes propostas de representação desse ciclo, mas são comuns a todas elas as fases de formulação, implementação e controle dos impactos (avaliação). (Frey, 2000).

Segundo Ala-Harja e Helgason (1999) não há consenso quanto ao conceito de avaliação, admitindo-se múltiplas definições, algumas delas contraditórias, o que seria explicado pela variedade de disciplinas que tratam do tema, bem como de instituições e executores, além de uma gama de questões, necessidades e clientes abrangidos no universo das avaliações.

Weiss (1998) define a avaliação de política como a avaliação sistemática da operação e/ou impactos de um programa ou política, comparados a um grupo de padrões implícitos ou explícitos, como forma de contribuir para a melhoria do programa ou política.

Belloni e colaboradores (2003) entendem a avaliação como um processo sistemático de análise de uma atividade, atos ou coisas, que permite compreender, de forma contextualizada, todas as suas dimensões e implicações com vistas a estimular seu aperfeiçoamento. Segundo esses autores, a avaliação contempla a atividade a ser avaliada de um modo global, a saber: os processos de formulação e desenvolvimento, as ações implementadas ou os fatos ocorridos, assim como os resultados alcançados, histórica e socialmente contextualizados, o que, para Dye (2008), significa aprender sobreas consequências dessa política.

Para a política ambiental especificamente, Mickwitz (2006) considera avaliação a verificação criteriosa do mérito, importância e valor da administração, produtos e impactos das políticas, com a intenção de utilização concreta em situações futuras, seja para aprendizado ou melhoria da política ou accountability.

Tentando sistematizar os elementos-chave das definições apresentadas, pode-se dizer da avaliação de políticas que: 1) trata-se de um processo sistemático; 2) o foco está nos resultados, nos processos ou em ambos; 3) há um padrão de comparação (contextualizado); 4) há uso em situações concretas com finalidade de melhoria, aprendizado.

 

Tipos e Classificações da Avaliação

Existem diversas maneiras de classificar as avaliações. De acordo com Belloni e colaboradores (2003), as concepções de avaliação podem ser agrupadas em diferentes conjuntos, considerando óticas ou critérios distintos: (1) de acordo com a concepção de avaliação adotada e os objetivos visados; (2) segundo o momento em que se realiza, contemplando elementos históricos condicionantes do objeto (atividade, fato ou coisa) avaliado; (3) quanto ao tipo ou procedência dos sujeitos envolvidos no processo avaliativo. Os agrupamentos propostos por estes autores são apresentados nos parágrafos a seguir.

Do ponto de vista da concepção de avaliação, podem ser considerados os seguintes tipos principais: (1) avaliação como comparação entre uma situação ou realidade dada e um modelo ou perspectiva definida previamente; (2) avaliação como comparação entre proposto e realizado, isto é, comprovação do atendimento de objetivos e metas; (3) avaliação como processo metódico de aferição de eficiência e eficácia; (4) avaliação como instrumento de identificação de acertos e dificuldades com vistas ao aperfeiçoamento.

Quanto ao momento em que se realiza o processo avaliativo, a avaliação pode ser: (1) diagnóstica, quando realizada antes da ação, isto é, antes da definição (tomada de decisão) ou da implementação de uma ação ou política, e pode ter como objetivos tanto a identificação de prioridades e metas, quanto o estabelecimento de parâmetros de comparação para a avaliação a posteriori; (2) processual, quando desenvolvida durante o processo de implementação da ação avaliada, muitas vezes confundindo-se com processo de acompanhamento e controle; (3) global, quando se realiza ao final da implementação ou execução e tendo como objeto tanto o processo de formulação e implementação, como os resultados e implicações da atividade ou política avaliada.

Considerando os sujeitos do processo avaliativo, a avaliação pode ser: (1) interna, ou autoavaliação, quando o processo é conduzido por sujeitos diretamente participantes das ações avaliadas; (2) externa, quando conduzida por sujeitos externos e independentes da formulação, da implementação ou dos resultados da ação avaliada; (3) mista, quando envolve estes dois grupos de sujeitos; (4) participativa, que é um tipo de autoavaliação apropriada a processos participativos nos quais a população-alvo participa.

Scriven, apud Weiss (1998), propôs a divisão em avaliação formativa e somativa. As avaliações formativas são desenhadas para apoiar o desenvolvimento da intervenção nas suas etapas iniciais. A ênfase dos estudos de natureza formativa está em gerar feedback para aqueles diretamente ligados ao desenvolvimento ou implementação dos programas, possibilitando realizar correções e melhoria do programa. A avaliação de natureza somativa é conduzida nas etapas mais avançadas de implementação e tem como interesse analisar a eficácia e o valor geral da intervenção. Os clientes são geralmente externos, como políticos, agentes de decisão e atores externos do programa. As avaliações somativa e formativa são frequentemente conduzidas em conjunto, podendo ser vistas como complementares.

De acordo com Arretche (2006), a literatura de avaliação de políticas públicas costuma distingui-la em termos de sua efetividade, eficácia e eficiência. Por avaliação de efetividade, entende-se o exame da relação entre a implementação de um determinado programa e seus impactos e/ ou resultados, isto é, seu sucesso ou fracasso em termos de uma efetiva mudança nas condições prévias de vida das populações atingidas pelo programa sob avaliação. É também conhecida como avaliação de impacto. Por avaliação de eficácia, entende-se a avaliação da relação entre metas e instrumentos explícitos de um dado programa e os resultados alcançados (Figueiredo e Figueiredo, 1986). Esta avaliação pode ser feita entre, por exemplo, as metas propostas e as metas alcançadas pelo programa ou entre os instrumentos previstos para sua implementação e aqueles efetivamente empregados. Por avaliação de eficiência, entende-se a avaliação da relação entre o esforço empregado na implementação de uma dada política e os resultados alcançados (Figueiredo e Figueiredo, 1986). Ou seja, a relação entre o programado e realizado, considerando, por exemplo, custos, recursos humanos ou tempo.

Chelimsky (1997) classifica a avaliação em três perspectivas: accountability, knowledge (conhecimento) e developmental (para trazer melhorias). A primeira perspectiva é aquela do ponto de vista de auditores, patrocinadores de ações governamentais, doadores para projetos internacionais, órgãos de fomento. A avaliação na perspectiva de conhecimento é feita para gerar conhecimento e explicações a partir do ponto de vista de pesquisadores trabalhando independentemente em universidades e outras instituições de pesquisa. A perspectiva para trazer melhorias é feita visando otimizar o desempenho de instituições e programas. Serve como ferramenta que funciona de maneira prospectiva e retrospectiva para estabelecer uma agenda de pesquisa na instituição, para melhorar o desenho de projetos, para comparar e recomendar mudanças, para desenvolver indicadores e metas de desempenho para melhorar efetividade, para monitorar os projetos que estão sendo implementados.

De acordo com Scheirer (1994), a avaliação de processo é o uso de dados empíricos para avaliar o alcance de programas, verificando o que o programa é na verdade (seu verdadeiro conteúdo), se ele está atingindo o público-alvo e se ele está sendo implementado como previsto. A avaliação de processo trata de três questões básicas: a) o que o programa deveria ser (métodos para desenvolver e especificar os componentes do programa), b) o que na realidade é entregue aos beneficiários (métodos para medir a implementação do programa),  c) e por que existem diferenças entre o que foi planejado e o que está sendo realizado.

De acordo com Lion e colaboradores (2006), quando se avalia uma política/ programa, o objeto da avaliação não é somente os objetivos iniciais a serem alcançados, mas também os elementos intermediários e as etapas que ajudam a produzir os resultados durante a fase de implementação. Segundo estes autores, a avaliação do processo conta com diferentes teorias e abordagens na literatura e na prática, e pode ser dividida em duas categorias: análise do processo e análise das condições que geraram os produtos. No primeiro caso, geralmente é avaliada a conformidade entre o que foi planejado e que foi realmente implementado. No segundo caso, a análise da implementação tem como objeto complementar a avaliação dos efeitos, uma vez que visa identificar o nexo causal entre os elementos da implementação do programa e os produtos observados.

A avaliação baseada em teoria é citada pela literatura como uma abordagem avaliativa, embora possa ser entendida também como parte de outras abordagens. A Teoria do Programa, também chamada Teoria de Intervenção, pode ser entendida como um conjunto de objetivos e pressupostos nos quais a intervenção pública está baseada. Com apoio nela, surge a avaliação baseada em teoria, que pode ser descrita como a análise e valoração da contribuição das estratégias de intervenção para resolver ou controlar problemas sociais. O tradicional ponto de partida da avaliação baseada em teoria é dado pelos objetivos e pressupostos nos quais um determinado programa é baseado. O processo é baseado em hipóteses racionais: assume-se um nexo entre os objetivos e a maneira pela qual esses objetivos são alcançados pelo uso dos recursos (Knaap, 2004). A ideia fundamental da avaliação baseada em teoria é que crenças e pressupostos que constituem a base de uma intervenção podem ser expressos em termos de uma sequência de causas e efeitos. Espera-se que a avaliação recolha dados para ver como cada passo da sequência é realmente confirmado. Essa abordagem possibilita que a avaliação revele não somente em que intensidade a mudança ocorreu, mas também se a sequência de etapas foi a esperada e como a mudança ocorreu. Se houver falha na sequência prevista, a avaliação pode mostrar em que ponto a falha ocorreu (Weiss, 1998).

Como abordagem alternativa, Scriven (1967) propôs a avaliação livre de objetivos (goal-free evaluation), que, diferentemente das demais abordagens, não parte dos objetivos para procurar os resultados, mas busca, por meio de um trabalho de campo, os efeitos reais da intervenção. O autor justifica sua abordagem por considerar que nas abordagens tradicionais os efeitos não previstos são desprezados e que estes são cruciais para o redirecionamento da intervenção.

Existe também a divisão entre abordagem quantitativa e qualitativa. De acordo com Weiss (1998) a diferença entre elas está mais no tipo de dados que no desenho: abordagens quantitativas trabalham com dados numéricos, a análise tende a ser fortemente baseada em estatística e os relatórios baseados na extensão dos efeitos e na significância das relações estatísticas. Já a abordagem qualitativa tende a usar entrevistas não estruturadas e técnicas de observação, de forma que os relatórios têm forma de narrativa.

Theodoulou (1995) afirma que, embora sejam encontradas na literatura mais de uma centena de abordagens de avaliação, elas podem ser enquadradas em duas categorias: avaliação de processo e avaliação de impactos. Por exemplo, a avaliação de natureza formativa e a análise de processo se confundem e também são equivalentes aos estudos de implementação e ao monitoramento. Essa visão coincide com a afirmação de Garcia (2001), segundo o qual as pesquisas ou estudos de avaliação são concebidos com dois objetivos básicos: avaliar os processos (se a intervenção está sendo implementada conforme seus objetivos, diretrizes e prioridades e se seus produtos estão atingindo as metas previstas, com a necessária eficiência) ou avaliar os impactos (verificar se as transformações primárias e secundárias na realidade são atribuíveis às ações dos programas, estabelecendo as relações de causalidade).

A escolha por um tipo ou por um conjunto de tipos complementares vai depender dos objetivos, dos potenciais usuários, da disponibilidade de dados e de recursos, enfim do contexto em que se dá a avaliação.

 

O Uso dos Resultados da Avaliação

Como destacado por Weiss (1998), ao se encerrar uma avaliação existe a expectativa de que os resultados sejam automaticamente usados, seja para a) ajudar os governantes a decidir se continuam ou encerram certas iniciativas, b) expandir ou institucionalizar programas bem-sucedidos e reduzir os malsucedidos; d) decidir que programas mudar e quais componentes do programa necessitam de modificação (Weiss, 1999). Essa expectativa tem gerado frequentes desapontamentos: diversos autores, como Weiss (1998 e 1999), Faria (2003), Mokate (2002), têm mostrado que a incorporação da avaliação nos processos de gestão, como suporte à tomada de decisão, ainda é baixa.

Não considerando a possibilidade (real) do pouco uso ser devido a problemas no formato da avaliação ou na comunicação dos resultados, as razões dessa não incorporação são relacionadas à natureza do processo político. Como realça Weiss (1999), uma política não toma forma em um único lugar e momento, ou, nas palavras de Lomas (2000), a tomada de decisão não é um evento. Ainda lançando mão de Weiss (1998), a avaliação é uma iniciativa fundamentada no que se convencionou denominar racionalidade instrumental (Fernandes, 2008), mas a elaboração de políticas, segundo Pestiaeu (2003), é mais uma arte que uma ciência, e as decisões não são meramente instrumentais.

Para Weiss (1999), quatro fatores interagem para moldar uma política pública: interesses, ideologias, informação e instituições. A avaliação seria apenas uma das muitas fontes de informação.

O quadro apresentado nos parágrafos anteriores traz implícita a ideia de avaliação somativa, que abrange um contexto de decisão que vai além dos envolvidos na execução de programa. Espera-se que, no contexto da avaliação formativa, o uso dos resultados seja mais provável. Mokate (2002), porém, lembra que é fundamental que os gerentes tenham autonomia para redefinir os programas em função dos resultados da avaliação, o que implicaria autoridade para realocar recursos, redefinir estratégias, situação essa que não é regra no contexto da administração pública.

A situação apresentada não diminui, porém, a importância da avaliação. Segundo Weiss (1999), o que avaliação pode fazer, e realmente faz, é contribuir para o que o autor chama de esclarecimento (enlightenment): "a percolação de novas informações, ideias e perspectivas dentro das arenas de decisão. A avaliação traz dados e generalizações com base nos dados do sistema político. E, muitas vezes, mostra que velhas suposições estão na direção errada, derrubando velhos mitos. Com o tempo, as ideias da avaliação penetram na consciência das pessoas e mudam o modo que as questões são postas e as alternativas desenhadas". Para explicar melhor, com base em Pestiaeu (2003), o esclarecimento se dá quando a pesquisa de avaliação: a) identifica e traz novas questões para a atenção pública, b) reformula velhas questões de novas maneiras, c) traz diferentes stakeholders na busca de soluções; e d) mostra como outros países ou instituições trataram de questões similares.

 

Avaliação de Políticas Ambientais

Mickwitz (2006) considera política ambiental como o conjunto de esforços com o qual as autoridades públicas exercem seu poder na tentativa de melhorar ou evitar a deterioração da qualidade ambiental. Já Kraft (1996) entende que política ambiental abrange uma série de ações governamentais que produz ou tenta produzir efeitos sobre a qualidade ambiental ou o uso dos recursos naturais. Isso representa uma decisão coletiva com a qual a sociedade busca determinadas metas e objetivos usando ferramentas específicas para atingi-las, frequentemente em um tempo determinado. A política ambiental não é encontrada em uma única lei ou estatuto. Normalmente, ela é um agregado de leis, regulamentos, decisões dos tribunais e atitudes e comportamentos de funcionários públicos encarregados de elaborar, implementar e fazer cumpri-la. A política ambiental inclui o que o governo escolhe fazer para proteger a qualidade ambiental e os recursos naturais, bem como aquilo que ele escolhe não fazer, permitindo outras influências, como os mecanismos de decisão privados, para determinar os resultados no meio ambiente. Políticas ambientais podem ser tangíveis ou simbólicas. Nem todas as políticas ambientais têm o objetivo de resolver problemas: algumas são de natureza simbólica. Exemplo disso é a Agenda 21 Brasileira. Ainda que tenham pouca relação direta com metas e objetivos legalmente especificados, podem ocasionar importantes mudanças ao longo do tempo por influenciar crenças e valores organizacionais, bem como o processo de tomada de decisão.

Embora a avaliação tenha chegado mais tarde ao campo ambiental, atualmente, um grande desenvolvimento está em curso em vários países, notadamente na Comunidade Europeia (CE). De acordo com Lehtonen (2005), esse crescente interesse na avaliação de políticas ambientais provém de dois fatores: a) o movimento rumo a uma gestão pública mais transparente, o aumento da influência dos experts na política e administração, o crescente uso da gestão de projetos, as pressões para redução do gasto público, no que se convencionou chamar Nova Gestão Pública, e b) a busca de novos instrumentos para lidar com a complexidade, incerteza e pluralidade de valores, trazidos pela emergência do conceito de desenvolvimento sustentável. Exemplos desse crescente interesse são a publicação pela Agência Ambiental Europeia de um relatório sobre o tema (EEA, 2001), a explicitação da necessidade de avaliar políticas ambientais no Sexto Programa em Matéria de Meio Ambiente da CE (Mickwitz, 2006) e o Programa de Avaliação do Desempenho Ambiental conduzido pela Organização para Cooperação Econômica e Desenvolvimento - OECD (Lehtonen, 2005).

Mickwitz (2003) destaca que a história de avaliações de política ambiental é curta e os conceitos fragmentados, e chama atenção para a necessidade de levar em conta as experiências de outras políticas, para que conceitos descartados há décadas não sejam reinventados e então descartados no contexto das políticas ambientais. Já Weiss (1998) cita que as técnicas da avaliação são bastante adaptáveis, podendo ser aplicadas não só a programas e políticas sociais, mas também a políticas ambientais, programas de reflorestamento, dentre outros.

Nessa linha, parte-se do pressuposto que as ex­periências de avaliação de programas e políticas sociais, nas quais a avaliação se encontra em estágio mais avançado, podem ser usadas, com as devidas adaptações, para avaliação de políticas ambientais. Assim, partindo de recomendações para avaliação de programas sociais, com base em Wholey (1994), alguns procedimentos são necessários no planejamento das avaliações. Esse autor recomenda começar identificando as metas, objetivos e indicadores de desempenho pelos quais a intervenção será avaliada e pela identificação das fontes de dados disponíveis. Para contornar eventuais problemas nessa fase, o autor propõe uma análise da avaliabilidade (evaluability assessment), que seria um processo para clarear os desenhos dos programas, explorar sua realidade e, se necessário, redesenhá-los de maneira que seja possível realizar a avaliação.

Segundo Scheirer (1994), os passos-chave da análise da avaliabilidade incluem: a) envolver os usuários potenciais da informação proveniente da avaliação, b) clarear o objetivo do programa da perspectiva dos formuladores de política, gestores, staff e outros atores-chave, c) explorar a realidade do programa, incluindo a plausibilidade e mensurabilidade das metas e objetivos do programa, d) alcançar concordância sobre mudanças necessárias nas atividades ou objetivos do programa, e) explorar desenhos alternativos de avaliação, f) entrar em acordo sobre prioridades e usos pretendidos da informação obtida na avaliação.

Gysen e colaboradores (2006) propõem as seguintes etapas para avaliar políticas ambientais: 1) reconstrução do espectro da política (reconstrução da teoria da política e da parte que não é coberta pela teoria e deixa espaço para efeitos não previstos); 2) estimativa dos efeitos (produtos, resultados e impactos) previstos e não previstos; 3) estabelecimento de causalidade (estabelecer e explicar relações causais entre a política e seus efeitos).

Mickwitz e Hildén (2006) propõem uma abordagem baseada na ideia de triangulação: combinação de resultados usando diferentes métodos e dados, como análises qualitativas de dados de entrevistas, análise de documentos, dados estatísticos, entre outras fontes.

Para as políticas ambientais, Mickwitz (2002) vê um importante papel da avaliação baseada em teoria no aumento do entendimento entre diferentes grupos e indivíduos e no aprendizado, principalmente quando a teoria é reconstruída por meio de processos participativos. O autor entende que as teorias de intervenção são úteis para revelar especificações implícitas dos objetivos quando estes são muito gerais, para determinar quais produtos, resultados ou nexos causais sobre os quais se deve coletar dados e para combinar objetivos com efeitos. A afirmação de Weiss (1998), de que é comum que várias teorias possam ser usadas para descrever um programa, uma vez que diferentes grupos têm diferentes expectativas, é particularmente válida para a política ambiental, pois problemas ambientais envolvem atores com crenças diferentes e objetivos conflitantes (Mickwitz, 2003).

Cotta (1998) destaca a importância da seleção de critérios adequados de avaliação, os quais devem: a) refletir os objetivos da intervenção; b) ser mensuráveis; e c) incorporar a visão dos atores sociais relevantes. No mesmo sentido, Mickwitz e Hildén (2006) chamam atenção para o fato de avaliações focadas apenas no impacto ou na eficácia darem uma visão muito estreita do objeto da avaliação, e recomendam usar mais critérios. Mickwitz (2003) propõe alguns critérios para avaliar instrumentos de políticas ambientais, que são apresentados no Quadro 1.

Para aplicação desses critérios, a avaliação de políticas ambientais enfrenta alguns problemas e desafios (Mickwitz, 2003; Gysen e col., 2006; Crabbé e Leroy, 2008):

a) complexidade e incertezas – os padrões de causa e efeito são complexos e o caráter difuso das questões ambientais dificulta o estabelecimento de relações causais. A falta de consenso sobre as questões dificulta as discussões. Um exemplo disso é questão das mudanças do clima, que ainda divide os especialistas. A complexidade aumenta quando as interações sociais, técnicas e econômicas são consideradas;

b) dimensão espacial – problemas ambientais não respeitam fronteiras e conectam regiões geograficamente distantes: emissões podem atingir áreas distantes via transporte pela água, pelo ar ou mesmo pela cadeia alimentar. Com a globalização, mesmo regiões não conectadas por processos ambientais podem ser afetadas. Por exemplo, o consumo de madeira na Europa afeta o desmatamento na Amazônia;

c) intervalo de tempo – problemas ambientais são caracterizados por longos intervalos de tempo entre uma ação e suas últimas consequências e muitas vezes não há dados disponíveis para avaliar tendências de longo prazo. Os gases ligados ao efeito estufa, por exemplo, podem persistir na atmosfera por até 200 anos. Isso implica que os resultados de ações para controlar esses problemas não são observáveis no curto prazo;

d) iniquidade – problemas ambientais têm consequências que tendem a ser desigualmente distribuídas entre países, regiões e classes sociais. Por exemplo, a emissão de gases de efeito estufa é maior nos países desenvolvidos, mas os países mais pobres são mais afetados pelas mudanças climáticas;

e) percepção – não há problemas ambientais até que eles sejam percebidos como problemas, e essa percepção é afetada pelo conhecimento. Além disso, as pessoas tendem a ver o meio ambiente como algo distante da realidade do seu dia a dia. Os fenômenos ambientais dependem grandemente da ciência para ser explicados e alguns deles dificilmente são entendidos por leigos; por exemplo, a degradação da camada de ozônio pelo uso dos CFC;

f) diferentes visões – problemas ambientais envolvem atores com diferentes crenças e objetivos conflitantes. Por exemplo, na revisão do Código Florestal há diferentes visões da obrigatoriedade da Reserva Legal e das áreas de proteção permanente: enquanto grupos ligados ao Setor Agrícola veem isso como entrave à agricultura, essa obrigatoriedade é vista por outros setores como uma garantia de que haverá água e solos em boas condições para a agricultura no futuro.

Contribui para isso também a dificuldade em obter condições para a seleção de amostras sem influências externas, isolando fatores externos às intervenções (fatores de confusão), nos programas de grande escala, o que geralmente é o caso dos programas ambientais, que têm como beneficiários não um grupo social específico mas populações inteiras do município, estado, país ou até do planeta como um todo, como, por exemplo, a eliminação dos poluentes orgânicos persistentes, a proteção da camada de ozônio e a política de mudanças climáticas.

Outra questão importante é a disponibilidade e a qualidade dos dados (Kraft, 1996). Para as políticas ambientais no Brasil, em particular, um fator complicador é a ausência de monitoramento e sistematização de dados ambientais, as dificuldades de acesso aos sistemas de informação e a pouca integração dos sistemas existentes, nos quais as informações precisam ser garimpadas.

Um exemplo desse quadro é a situação dos instrumentos da Política Nacional do Meio Ambiente relacionados à informação, o Sistema Nacional de Informações sobre o Meio Ambiente – SINIMA e Relatório de Qualidade do Meio Ambiente – RQMA.

O Sistema Nacional de Informações sobre o Meio Ambiente – SINIMA foi previsto pela Lei 6938, de 31 de agosto de 1981, em sua primeira edição. Entretanto, somente em 2004, por meio da Portaria nº 310, de 13 de dezembro de 2004, foi criado um comitê gestor no sentido de definir  diretrizes, acordos e padrões nacionais para a integração da informação ambiental. A página do Ministério do Meio Ambiente – MMA na Internet mostrava a ocorrência de apenas duas reuniões desse Comitê, no ano de 20052. Atualmente, no portal do MMA, o website3 do SINIMA mostra apenas dois links que levam ao erro "página não encontrada". Na relação de Sistemas de Informação do Ministério do Meio Ambiente, disponíveis na citada página, também não consta o SINIMA. Enquanto isso, ainda se carece de padronização da informação: tramita no Conselho Nacional do Meio Ambiente - CONAMA uma proposta de resolução para padronizar as informações mínimas e terminologias a serem usadas nas licenças ambientais, de modo a possibilitar aos usuários a pesquisa a partir de sintaxe-padrão, de caráter nacional.

Já o RQMA, introduzido pela Lei 7.804, de 18 de julho de 1989, que altera a Lei 6938, a ser publicado anualmente, ainda estaria em fase de discussão da metodologia, conforme documentos disponibilizados na página do Instituto Brasileiro do Meio Ambiente e dos Recursos Naturais – IBAMA. Pelas informações do Acórdão 605/2011, do Tribunal de Contas da União (TCU, 2011), em que foi avaliada a atividade institucional do IBAMA, uma única versão do RQMA foi publicada em 1984. Ainda segundo o TCU (2011), a metodologia de elaboração do RQMA foi concluída em 2007, mas, apesar dos avanços metodológicos, o RQMA não avançou. O Acórdão destaca como causas para essa situação a falta de articulação para estabelecer redes colaborativas dentro do Sistema Nacional do Meio Ambiente e a indisponibilidade de indicadores e informações ambientais nos órgãos e entidades do SISNAMA, incluindo o próprio IBAMA.

Um ponto que chama a atenção é que a discussão do RQMA (sob responsabilidade do IBAMA) e a do SINIMA (sob responsabilidade da Secretaria de Articulação Institucional do MMA) parecem se dar de forma totalmente desarticulada.

Dificuldades de obtenção de dados são relatadas nas experiências de avaliação de políticas ambientais. Ribeiro (2005), para avaliar a política ambiental de Minas Gerais, coletou dados em 16 instituições, além de dados disponíveis na internet. O autor relata que, em muitos casos, os dados existiam, mas não estavam disponíveis de forma sistematizada, havendo a necessidade de coletá-los em vários relatórios anuais ou mesmo mensais.

Outra questão é o próprio conceito de política ambiental, que não se restringe a uma única norma e cuja implementação depende de diferentes órgãos. Mais que avaliar a política ambiental em si, se faz necessário avaliar a integração das questões ambientais em outras políticas. A Agência Ambiental Europeia tem avaliado essa integração por meio de critérios apresentados na forma de um check-list, abrangendo a) comprometimento político, visão e liderança; b) cultura administrativa e práticas; c) avaliação e informação como suporte para tomada de decisão; d) instrumentos políticos e e) monitoramento do progresso (EEA, 2005).

Nesse sentido, a Avaliação Ambiental Estratégica – AAE, entendida como uma ferramenta de apoio à decisão para integrar a dimensão ambiental em políticas, planos e programas, pode contribuir para o avanço da avaliação de políticas ambientais.  De acordo com essa ideia, Partidário e Arts (2005) afirmam que a elaboração de uma política e respectiva AAE podem ser vistas como o começo de um novo ciclo da política. Por outro lado, também podem ser vistas como um processo contínuo pelo qual elementos da política são modificados, com a AAE dando suporte ou facilitando o processo de decisão. Nesse caso, a AAE pode ser considerada como um modo de olhar para os efeitos da política em alteração e como follow up das políticas passadas. Para Sheate e colaboradores (2003), a AAE  pode ser usada para avaliar o desempenho de políticas já criadas e também como um processo sistemático que possibilita desenvolver, avaliar, aperfeiçoar, implementar, monitorar e rever a política.

Existe ainda a necessidade de uma mudança de paradigma. O fato de avaliações serem percebidas apenas como um processo de fiscalização dificulta que elas sejam vistas como aliadas no processo de gestão e de tomada de decisão (Mokate, 2002).

 

Considerações Finais

As dificuldades apresentadas não constituem um impedimento para a avaliação de políticas ambientais. Pelo contrário, reforçam a necessidade de se investir em pesquisas nessa área.

Talvez, em um primeiro momento, não seja possível avaliar os impactos de forma ampla, mas a avaliação dos processos, da legitimidade, transparência, ou mesmo a avaliação baseada em teoria podem ser feitas e servir para deflagrar uma cultura de avaliar e avançar em direção à avaliação dos resultados da política ambiental e de seus impactos na qualidade ambiental.

Concordamos com Arretche (2006): não há possibilidade de que qualquer modalidade de avaliação de política possa ser apenas instrumental, técnica ou neutra. Assim, o uso adequado dos instrumentos de análise e avaliação é fundamental para que não se confundam opções pessoais com resultados de pesquisa. É preciso lembrar que mesmo a avaliação baseada em rigorosos métodos ainda depende significativamente de julgamento (Ala-Harja e Helgason,1999).

É necessário também explicitar as limitações de cada processo avaliativo, já que nenhum deles conseguirá contemplar todas as variáveis envolvidas na complexidade da questão ambiental.

É fundamental que sejam incorporados na avaliação os diferentes atores, que podem ter visões e objetivos conflitantes. Nesse aspecto, a participação dos conselhos de meio ambiente, por exemplo, é de suma importância.

Existem desafios metodológicos, mas os trabalhos de outras áreas e alguns específicos da área ambiental podem servir como referência no primeiro momento. O uso de ferramentas específicas da área ambiental, como a Avaliação Ambiental Estratégica, pode contribuir muito para agregar qualidade às avaliações e para facilitar sua inserção no processo decisório.

O desenvolvimento e a integração de sistemas de informação são essenciais, podendo sua ausência constituir um gargalo para o avanço da avaliação.

Mesmo tendo consciência de que o uso automático dos resultados da avaliação é pouco provável, faz-se necessário trabalhar para que tais resultados consigam influenciar os processos de decisão, tornando-se aliados na gestão ambiental, num processo de melhoria contínua. Para o uso dos resultados da avaliação, esta deve fazer parte de um arcabouço maior de melhoria da gestão pública.

Por fim, nenhuma metodologia de avaliação conseguirá ficar isenta de críticas, mas adotar uma linha e começar a praticá-la pode ser um bom começo. O importante é que as críticas sejam consideradas, levando a um processo contínuo de aprendizagem.

 

Referências

ALA-HARJA, M.; HELGASON. S. Improving evaluation practices-best practice guidelines for evaluation and background paper. OECD - Organisation for Economic Co-operation and Development, 1999. Disponível em: <http//:www.oecd.org/puma>. Acesso em: 18 abr. 2011.         [ Links ]

ALBAEK, E. Knowledge, interests and the many meanings of evaluation: a developmental perspective. Scandinavian Journal of Social Welfare, Oxford, v. 7, p. 94-98, 1998.         [ Links ]

ARRETCHE, M. T. S. Tendências no estudo sobre avaliação. In: RICCO, E. M. Avaliação de políticas sociais: uma questão em debate. 4. ed. São Paulo: Cortez, 2006. p. 29-39.         [ Links ]

BELLONI, I.; MAGALHÃES, H.; SOUZA, L. C. Metodologia de avaliação em políticas públicas: uma experiência em educação profissional.3.ed. São Paulo: Cortes, 2003.         [ Links ]

CHELIMSKY, E. The coming transformations in evaluation. In: CHELIMSKY, E.; SHADISH,W. R. Evaluation for the 21st century-a handbook. Thousand Oaks: Sage, 1997.         [ Links ]

COTTA, T. C. Metodologias de avaliação de programas e projetos sociais: análise de resultados e de impacto. Revista do Serviço Público, Brasília, v. 49, n. 2, p. 103-124 abr./jun. 1998.         [ Links ]

CRABBÉ, A.; LEROY, P. The handbook of environmental policy evaluation. London: Earthscan, 2008.         [ Links ]

DERLIEN, H. Una comparación internacional en la evaluación de las políticas públicas. Revista do Serviço Público, Brasília, v. 52, n. 1, p. 105-124, jan./mar. 2001.         [ Links ]

DYE, T. Understanding public policy. 12. ed. Upper Saddle River: Person Education, 2008.         [ Links ]

EEA – European Environment Agency. Environmental policy integration in Europe - State of play and an evaluation framework. Luxembourg: Office for Official Publications of the European Communities, 2005. (EEA Technical report n. 2/2005).

EEA – European Environment Agency. Reporting on environmental measures: are we being effective? Luxembourg: Office for Official Publications of the European Communities, 2001.

FARIA, C. A. P. A política de avaliação de políticas. Revista Brasileira de Ciências Sociais, São Paulo, v. 20, n. 59, p. 99-109, 2005.         [ Links ]

FARIA, C. A. P. Ideias, conhecimento e políticas públicas: um inventário sucinto das principais vertentes analíticas recentes, Revista Brasileira de Ciências Sociais, São Paulo, v. 18, n. 51, p. 21-29, fev. 2003.         [ Links ]

FERNANDES, V. A racionalização da vida como processo histórico: crítica à racionalidade econômica e ao industrialismo. Cadernos EBAPE.BR, Rio de Janeiro, v. 6, p. 1-20, 2008.         [ Links ]

FIGUEIREDO, M.; FIGUEIREDO, A. Avaliação política e avaliação de políticas: um quadro de referência teórica. Análise e Conjuntura, Belo Horizonte, v. 1, n. 3, set./dez. 1986.         [ Links ]

FREY, K. Políticas públicas: um debate conceitual e reflexões referentes à prática da análise de políticas públicas no Brasil. Planejamento e Políticas Públicas, Brasília, n. 21, p. 211-259, jun. 2000.         [ Links ]

GARCIA, R.C. Subsídios para organizar avaliações da ação governamental. Planejamento e Políticas Públicas, Brasília: n.23, p.7-70, jun/2001.         [ Links ]

GYSEN, J.; BRUYNINCKX, H.; BACHUS, K. The modus NARRANDI - a methodology for evaluating effects of environmental policy. Evaluation, London, v. 12, n. 1, p. 95-118, 2006.         [ Links ]

KNAAP, P. Theory-based evaluation and learning: possibilities and challenges. Evaluation, London, v. 10; n. 1, p. 16-34, 2004.         [ Links ]

KRAFT. M. E. Environmental policy and politics- towards the twenty-first century New York: Harper College Publishers, 1996.         [ Links ]

LEHTONEN, M. OECD environmental performance review programme: accountability (f)or learning? Evaluation, London, v. 11, n. 2, p. 169–188, 2005.

LION, C.; MARTINI, P.; VOLPI, S. Evaluating the implementation process: a contribution within the framework of the European Social Fund (ESF) Programme. Evaluation, London, v. 12, n. 3, p. 313–329, 2006.

LOMAS, J. Connecting research and policy. Canadian Journal of Policy Research, Lethbridge, v. 1, n. 1, p. 140-144, 2000.         [ Links ]

MICKWITZ, P. A framework for evaluating environmental policy instruments: context and key concepts. Evaluation, London, v. 9, n. 4, p. 415-436, 2003.         [ Links ]

MICKWITZ, P. Effectiveness Evaluation of Environmental Policy: the role of intervention theories. Administrative Studies , v. 21, n., p.77-84, 2002.         [ Links ]

MICKWITZ, P. Environmental policy evaluation- concepts and practice. Vaajakosk: Finnish Society of Sciences and Letters, 2006.         [ Links ]

MICKWITZ, P.; HILDÉN. Multi-criteria evaluations for environmental policy development – the case of Finish permit systems. Manuscript (Apendix of MICKWITZ, P. Environmental Policy Evaluation- Concepts and Practice. Vaajakosk: Finnish Society of Sciences and Letters, 2006.

MOKATE, K. M. Convirtiendo el "monstruo" en aliado: la evaluación como herramienta de la gerencia social. Revista do Serviço Público, Brasília, v. 53, n. 1, p. 89-131, jan./mar. 2002.         [ Links ]

PARTIDÁRIO, M. R.; ARTS, J. Exploring the concept of strategic environmental assessment follow-up. Impact Assessment and Project Appraisal, London, v. 23, n. 3, p. 246-257, set. 2005.         [ Links ]

PESTIAEU, C. Evaluating policy research. Otawa, dec. 2003. Report. (Research Paper W|22). Disponível em: <http://cprn.org/documents/24336_en.pdf>. Acesso em: 05 jul. 2010.         [ Links ]

REGONINI, G. Lo studio delle politiche pubbliche. In: PANEBIANCO, A. (Org.). L'analisi della politica. Bologna: Il Mulino, 1989. p. 491-516.         [ Links ]

RIBEIRO, J. C. J. Desenvolvimento de modelo para avaliação de desempenho de política pública de meio ambiente - estudo de caso: Estado de Minas Gerais. 2005. Tese (Doutorado em Saneamento, Meio Ambiente e Recursos Hídricos) - Universidade Federal de Minas Gerais, Belo Horizonte.         [ Links ]

SCHEIRER, M. A. Designing and using process evaluation. In: WHOLEY, J. S; HATRY, H. P., NEWCOMER. K., E (Ed.). Handbook of practical evaluation. San Francisco: Jossey-Bass, 1994, p. 40-68.         [ Links ]

SCRIVEN, M. Goal-free evaluation. In: TYLER, R.W; GAGNE, R. M; SCRIVEN, M. Perspectives of curriculum evaluation. Chicago: Rand McNally, 1967. p. 319-329        [ Links ]

SHEATE, W. R. et al. Integrating the environment into strategic decision-making: conceptualizing policy SEA. European Environment, Chichester, v. 13, p. 1–18, 2003.

TCU - Tribunal de Contas da União. Acórdão 0605/2011. Disponível em: <https://contas.tcu.gov.br/juris/SvlHighLight?key=ACORDAO-LEGADO-89965&texto=2b2532384e554d41434f5244414f2533413630352b4f522b4e554d52454c4143414f2533413630
352532392b414e442b2b2532384e554d414e4f41434f5244414f253341323031312b4f522b4e554d414e4f5245
4c4143414f25334132303131253239&sort=RELEVANCIA&ordem=DESC&bases=ACORDAO-LEGADO;DECISAO-LEGADO;RELACAO-LEGADO;ACORDAO-RELACAO-LEGADO;&highlight=&posicaoDocumento=0
>. Acesso em: 30 out. 2012.

THEOUDOULOU, S. Z. How public policy is made. In: THEODOULOU, S. Z.; CAHN, M. A. (Ed.) Public policy: the essential readings. New Jersey: Prentice Hall, 1995.         [ Links ]

VEDUNG, E. Four waves of evaluation diffusion. Evaluation, London, v. 16, n. 3, p. 263-277, 2010.         [ Links ]

WEISS, C. H. Evaluation. Upper Saddle River: Prentice Hall, 1998.         [ Links ]

WEISS, C. H. The interface between evaluation and public policy. Evaluation, London, v. 5, n. 4, p. 468-486, 1999.         [ Links ]

WHOLEY, J. S. Asssessing the feasibility and likely usefulness of evaluation. In: WHOLEY, J. S.; HATRY, H. P.; NEWCOMER, K. E. (Ed.). Handbook of Practical evaluation. San Francisco: Jossey-Bass, 1994. p.15-39.         [ Links ]

 

 

1  Os autores agredecem a FAPESP - Fundação de Amparo à Pesquisa do Estado de São Paulo, o apoio recebido por meio do Edital PPP7.
2 Informação obtida em www.mma.gov.br em 13/04/09

3 Informação obtida em www.mma.gov.br em 02/06/11

Creative Commons License All the contents of this journal, except where otherwise noted, is licensed under a Creative Commons Attribution License