Avaliação de políticas públicas no Brasil e nos Estados Unidos: análise da pesquisa nos últimos 10 anos

Resumo

Este estudo compara a pesquisa sobre avaliação de políticas públicas no Brasil e nos Estados Unidos. No intuito de examinar o grau em que a pesquisa em avaliação está estabelecida nesses países, este artigo usa os métodos bibliométrico e de análise de rede social para comparar as publicações recentes da pesquisa em avaliação em ambos os países. Os resultados mostram que o Brasil e os Estados Unidos têm pesquisado e publicado nas mesmas áreas, em especial, nas áreas de saúde, de educação e de bem-estar social. Observou-se também que os pesquisadores dos dois países utilizam métodos de investigação similares, embora os americanos façam maior uso de métodos quanti-quali e suas redes de pesquisa apresentem características semelhantes, apesar de as redes americanas serem de tamanho e densidade maiores. A partir das evidências encontradas, conclui-se que a pesquisa em avaliação no Brasil evoluiu durante o período investigado e que está em vias de consolidação como um campo de estudo e prática.

Palavras-chave:
avaliação de política; política pública; gestão pública; pesquisa em avaliação; estudos comparativos.

Abstract

This study compares research on evaluation of public policies in Brazil and the United States. To examine the extent to which evaluation research has been established in these countries, this article uses the methods of bibliometric and social network analysis to compare recent use of evaluation research in these countries. The results show that Brazil and the United States have focused on the same areas of research, especially the areas of health, education and social welfare. It was also observed that researchers from both countries use research methods, although American researchers make more use of quanti-quali methods, and that research networks on policy evaluation in the two country have similar characteristics, although the average size and density of networks in Brazil is less than that in the United States. On the basis of the evidence, it is concluded that evaluation research in Brazil evolved during the period investigated and is becoming consolidated as a field of study and practice.

Keywords:
policy evaluation; public policy; public management; evaluation research; comparative studies

Resumen

Este estudio hace una comparación entre la investigación sobre la evaluación de políticas públicas en Brasil y en Estados Unidos. Con el objetivo de examinar el grado en que la investigación en evaluación se establece en los ya citados países, este artículo utiliza los métodos bibliométricos y de análisis de red social para comparar las publicaciones recientes de la investigación en evaluación en ambos países. Los resultados muestran que Brasil y Estados Unidos han investigado y publicado en las mismas áreas, en especial en las áreas de salud, educación y el bienestar social. También se observó que los investigadores de los dos países utilizan métodos de investigación similares, aunque los estadounidenses hacen un mayor uso de métodos cuanti-cuali, y que sus redes de investigación tienen características similares, aunque las redes americanas son de un tamaño y una mayor densidad maiores. A partir de las evidencias encontradas, se concluye que la evaluación de la investigación en Brasil ha evolucionado durante el período de investigación y está en el proceso de consolidación como un campo de estudio y práctica.

Palabras clave:
evaluación de la política; política pública; gestión pública; investigación en evaluación; estudios comparativos.

1. Introdução

Nos Estados Unidos da América, a análise de políticas e programas públicos é uma prática antiga na elaboração de políticas públicas (Munger, 2000). Os Federalist papers podem ser vistos como o exemplo mais proeminente de análise das potenciais políticas públicas. No entanto, o uso de uma "análise especializada" para avaliar a eficiência das políticas e dos programas públicos tem se desenvolvido apenas recentemente (Munger, 2000). De acordo com DeLeon (2006:39), a abordagem científica focada nas políticas pode ser percebida a partir da segunda metade do século XX:

Certamente, a disciplina acadêmica, geralmente associada aos estudos das políticas públicas, cresceu a partir da abordagem chamada de Ciências Políticas. Essa abordagem foi primeiramente atribuída ao trabalho de Harold D. Lasswell, escrito no final dos anos de 1940 e no início dos anos de 1950, em seu mais notório artigo "The policy orientation", usado como capítulo na obra The policy sciences, de Lasswell e Daniel Lerner. A orientação das ciências políticas focou-se explicitamente na aplicação rigorosa das ciências... nas questões que afetavam tanto a governança quanto o governo. {tradução nossa}

A recente demanda por uma análise das políticas públicas americanas e por respostas programáticas minuciosas surgiu a partir da mobilização massiva dos recursos públicos durante a Segunda Guerra Mundial. A aplicação prática de métodos científicos às análises sistemáticas em grande escala de dados foi seguida pela necessidade de armazenar eletronicamente dados no decorrer do período pós-guerra. Tal fato coincide com o foco crescente do fenômeno social, político e econômico dos estudiosos na aplicação rigorosa do método científico, especialmente em forma de análise quantitativa direcionada aos problemas sociais. O presidente Johnson, dos Estados Unidos, no período da Guerra contra a Pobreza, proporcionou grande ímpeto para o crescimento contínuo da análise política e para o estabelecimento de pesquisas em avaliação como um campo distinto dentro das ciências sociais (DeLeon, 2006; Munger, 2000; Rossi, Lipsey e Freeman, 2004).

Desde os anos 1960, a análise de política e a pesquisa em avaliação marcaram grande presença nos campos da educação, da pesquisa e da prática de administração política e políticas públicas nos Estados Unidos. Ambas se consolidaram como áreas acadêmicas e de prática ensinadas em diversos cursos superiores, em uma variedade de disciplinas das ciências sociais. Grupos de pesquisa que se encarregam de projetos em análise política e pesquisa em avaliação são empregados por universidades, organizações privadas com ou sem fins lucrativos, órgãos do setor legislativo, órgãos da administração pública, entidades filantrópicas e grupos de defesa de direitos civis e sociais. Uma grande variedade de associações reconhece e apoia a prática da análise política e da pesquisa em avaliação. Como resultado, um pressuposto fundamental deste artigo é que tanto a análise política quanto a pesquisa em avaliação são aspectos bem estabelecidos no cenário da administração e das políticas públicas nos Estados Unidos (DeLeon, 2006; Lynn Jr., 1999; Munger, 2000; Rossi, Lipesey e Freeman, 2004).

Por outro lado, esse é um campo ainda recente no Brasil. Com a Constituição de 1988, e com as várias iniciativas de interesse nas políticas públicas ocorridas no governo do presidente Luiz Inácio Lula da Silva (2003-10) (Monteiro, 2005; Sugiyama, 2013; Vaitsman, Ribeiro e Lobato, 2013), tem crescido, no Brasil, a conscientização da necessidade de se usar métodos das ciências sociais na implementação para se avaliar o impacto das políticas e programas públicos. Apesar de a análise de política e da pesquisa em avaliação estar desempenhando um crescente papel na administração e nas políticas públicas no Brasil (Capobiango et al., 2011), este artigo tem como proposição que tais fatores ainda não são usados em sua magnitude quando comparados aos Estados Unidos.

O artigo aqui apresentado foi desenvolvido tendo como referencial os trabalhos de Capobiango e outros pesquisadores, além de Vaistman, Ribeiro e Lobato (2013), que descreveram a emergente prática da análise das políticas públicas no Brasil. Para tanto, utilizaram-se métodos de análise bibliométrica para comparar a prática das políticas públicas e da pesquisa em avaliação nos Estados Unidos e no Brasil. De forma mais específica, foram comparados artigos acadêmicos publicados sobre o tema nesses países nos últimos 10 anos. Partindo da ênfase no desenvolvimento das políticas sociais no Brasil desde a Constituição de 1988 e, mais exatamente, a partir de 2003, espera-se que esses fatos tenham influenciado a literatura brasileira da análise de políticas públicas e da pesquisa em avaliação durante o período estudado.

A importância dessa área para melhorar a prática em análise de políticas públicas em países como o Brasil, que se mostram comprometidos em fortalecer seus arranjos institucionais, e a relativa falta de pesquisas comparativas nas práticas de administração e políticas públicas envolvendo os países do hemisfério sul justificam o esforço de mapeamento das características do campo de pesquisa em avaliação nesses dois países.

As variáveis usadas na comparação incluem: áreas de pesquisa, se os artigos são empíricos, teóricos ou teóricos/empíricos; se os dados são quantitativos ou qualitativos; se as fontes dos dados são primárias, secundárias ou primárias/secundárias; e a filiação institucional dos autores.

Além desta introdução, este artigo foi organizado nas seguintes seções: revisão teórica, método, resultados e discussão e considerações finais.

2. Revisão teórica

Pesquisa em avaliação, como uma análise de políticas públicas ou programas de avaliação, é um conjunto de instrumentos de pesquisa que vai além de identificar problemas e propor soluções. Mais do que isso, aponta mudanças que poderão levar melhorias às políticas e aos programas públicos (Bechelaine e Ckagnazaroff, 2014). A avaliação de políticas, programas e planos governamentais não é o destino final, mas sim uma ferramenta importante para melhorar a eficiência dos gastos públicos, o gerenciamento de qualidade e do controle social da eficiência e eficácia das ações governamentais (Ceneviva e Farah, 2012). De acordo com Ramos e Schabbach (2012), não há uma definição de pesquisa em avaliação que seja a melhor. Todas as definições, no entanto, referem-se ao exame sistemático e objetivo de uma política, programa ou projeto finalizado ou em andamento em relação com seu desempenho, com a implementação e com os resultados, para que sua eficiência, eficácia, impacto, sustentabilidade e relevância sejam determinados (Costa e Castanhar, 2005).

Avaliar envolve julgar valores da política implementada e tem como objetivo fornecer informações que possam melhorar a escolha de decisões na esfera pública. Requer definição de critérios a serem adotados e o conjunto de atributos e características das políticas ou programas a serem avaliados. Os critérios geralmente adotados são: eficiência, eficácia, eficácia/impacto, abrangência, qualidade técnica e científica, satisfação e aceitação dos usuários. Somando-se à definição dos critérios de avaliação, o analista deve considerar a extensão da política ou do programa. Nestes, está incluído um serviço ou um sistema? A oferta do serviço é local, municipal, regional ou nacional? O público-alvo das políticas ou programas também deve estar claramente definido (Costa e Castanhar, 2005).

Para avaliar é necessário determinar quais as dimensões do objeto que está sendo avaliado: mais/menos, muito/pouco, perto/longe, bom/ruim, adequado/inadequado, alcançado/inalcançado (Neirotti, 2012). Em cada avaliação há um objeto referente (um modelo, uma situação, uma condição esperada ou desejada do que está sendo avaliado) e um objeto referido (objeto a ser avaliado). O desafio da análise é fazer uma avaliação significativa da lacuna entre a realidade e a intenção, e fornecer evidências que apoiem a compreensão dessa lacuna. Avaliar é distintivo porque lida com o conhecimento aplicado, considerando decisões de políticas públicas feitas nas esferas públicas (Neirotti, 2012). Para isso, a pesquisa em avaliação mostra-se importante para o mundo das ações públicas, pois está integralmente ligada às políticas, aos programas e às práticas que afetam o cotidiano das pessoas (Mark e Henry, 2004).

A análise de políticas públicas e programas envolve quatro aspectos em seu design e operação: 1) identificação da necessidade de intervenção do governo; 2) consideração da teoria de intervenção e dos componentes operacionais; 3) avaliação da implementação e operação das políticas ou programas; e 4) cálculo do impacto da intervenção. Para alcançar cada um desses aspectos, o analista vale-se de métodos de pesquisa das ciências sociais e conceitos dos domínios econômicos, gerenciais, da sociologia e das ciências políticas (Chambers e Wedel, 2009; Kisby, 2007; Michael, 2006; Rossi e Wright, 1991; Weiss e Birckmayer, 2006).

Idealmente, a identificação da necessidade de políticas e programas públicos, incluindo especificações dos problemas sociais e reconhecimento das lacunas de resposta do governo ou inadequações em respondê-las, deve ser uma das principais formas utilizadas pelo analista de políticas ou programas para auxiliar os gestores governamentais. Entretanto, os profissionais de pesquisa em avaliação geralmente não estão envolvidos nos processos de políticas que antecedem a introdução de uma nova política ou de reações programáticas aos problemas sociais. Assim, depois que estão envolvidos em avaliar as intervenções de desempenho da política ou programa, eles devem, indispensavelmente, realizar uma avaliação retrospectiva para entender de onde surgiu essa necessidade (Altschuld e Kumar, 2010; Cook; Leviton e Shadish, 2000; Rossi; Lipsey e Freeman, 2004; Rossi e Wright, 1991).

Quando os analistas consideram as teorias que embasam as intervenções políticas e programáticas e as características operacionais com as quais são conduzidas, eles contribuem para uma política e uma administração pública de forma mais particular. Eles dão assistência a líderes políticos e administrativos para determinar se as políticas e os programas fornecem os produtos públicos e serviços pretendidos para aqueles que precisam de auxílio do governo. Os avaliadores de políticas e programas transformam seu conhecimento sobre políticas e programas operacionais em resultados e dados de custo, por exemplo. Assim, eles exercem papel de grande valor para líderes políticos e gestores, para os grupos de interesse (stakeholders) e para os cidadãos que buscam manter a eficiência da responsabilidade do governo. Avaliadores de políticas e programas públicos também buscam fornecer aos líderes políticos e administrativos dados e análises necessárias para confirmar que boas escolhas foram feitas na aplicação de recursos públicos. Eles, ainda, fornecem informações que podem ser úteis para melhorar ou abandonar escolhas de intervenção política e programática (Altschuld e Kumar, 2010; Cook; Leviton e Shadish, 2000; Costa e Castanhar, 2005; Jannuzzi, 2005; Ramos e Schabbach, 2012; Rossi, Lipsey e Freeman, 2004; Rossi e Wright, 1991).

De acordo com Appleton-Dyer e colaboradores (2012), a pesquisa em avaliação pode ser classificada segundo a forma com que é usada para desenvolver ou dar suporte a programas e políticas públicas, ou seja: 1) instrumentalmente, quando a serviço de direcionar políticas e práticas; 2) política ou simbolicamente, quando justifica as preferências e ações preexistentes; e 3) conceitualmente, quando é usada para fornecer novas generalizações, ideias ou conceitos que são úteis para trazer sentido à cena política. Estudos sobre avaliação são raramente usados como fundamento direto para decisões. O uso simbólico da avaliação oferece legitimação para justificar aquilo que as pessoas que tomam decisões optaram por fazer. Nesse caso, a avaliação dá suporte para políticas com base em intuição, experiência profissional, autointeresse e interesse organizacional. Pesquisadores em avaliação oferecem também suporte conceitual para a construção de políticas públicas e programas, uma vez que fornecem análises de evidências resultantes de avaliações de políticas e programação em outros contextos para os criadores e gerentes de políticas que estão procurando resposta para um problema em seu ambiente de atuação (Appleton-Dyer et al., 2012; Johnson et al., 2009; Weiss, 2005).

A pesquisa em avaliação também desempenha um importante papel em termos de responsabilidade. As evidências produzidas por meio da análise de políticas públicas podem ser utilizadas no apoio à responsabilidade interna, isto é, demonstram a produtividade da intervenção em questão tanto na política quanto na organização. Essas evidências que resultam da avaliação apoiam também responsabilidade externa, demonstrando ao amplo ambiente social ou político que as políticas e programas são eficientes em lidar com problemas sociais para os quais foram formulados. Assim, a pesquisa em avaliação pode corroborar uma maior transparência política para garantir que o planejamento social e a inovação alinhem-se aos interesses sociais e políticos (Neirotti, 2012).

De acordo com Cotta (2001), as avaliações podem ser classificadas com base: nos seus tempos - anterior, durante e posterior - de implementação das políticas e programas; na posição do avaliador com relação às políticas e programas - interna, externa ou semi-independente - e na natureza do objeto avaliado - contexto, input, processo e resultados. Enquanto a análise de políticas e programas públicos nos Estados Unidos da América tem se estabelecido como uma área acadêmica e profissional de prática por quase um século, no Brasil ainda está em processo de institucionalização. Arretche (2003) e outros autores observam que o estudo de políticas públicas tem sido implantado como uma subdisciplina da ciência política no Brasil. Frey (2000), ao discordar desse ponto de vista, argumenta que os estudos de políticas no Brasil começaram apenas recentemente e não encontraram, ainda, uma linha acadêmica ou profissional institucionalizada. Ao avaliarem o campo das políticas públicas, Melo (1999) e Faria (2005) apontam que o conhecimento da avaliação de políticas públicas no Brasil é muito limitado. Para Bechelaine e Ckagnazaroff (2014), apesar do interesse crescente em programas de avaliação dos governos brasileiros, há uma escassez nacional de estudos teóricos que verifiquem o uso dessas avaliações como ferramentas de reparo e melhoria para os serviços públicos.

Entre as principais razões para o crescimento da pesquisa em avaliação no Brasil, especialmente desde os anos 1990, estão: a crise fiscal que reduziu a capacidade de gasto do governo e a pressão crescente para maior eficiência; o aprofundamento da democracia, que trouxe novos atores sociais e novas demandas para o governo; a busca por programas sociais que atenuassem as diferenças sociais; e a pressão das organizações internacionais em promover e melhorar os programas sociais (Ramos e Schabbach, 2012).

Na América Latina, além do Brasil, a necessidade da pesquisa em avaliação aconteceu no fim dos anos 1980 e no início dos anos 1990. Essa urgência de análise sistemática das políticas e programas foi estimulada por organizações multilaterais que requereram avaliações como condição para financiamentos de projetos na região (Faria, 2005). De acordo com Ramos e Schabbach (2012), as grandes instituições internacionais da última década, incluindo as Nações Unidas, o Banco Mundial, a Organização para a Cooperação e Desenvolvimento Econômico (OCDE) e o Banco Interamericano de Desenvolvimento (BID), desenvolveram metodologias de avaliação de políticas públicas.

A pressão resultante de frequentes crises financeiras desde os anos 1970, assim como problemas na operação do estado de bem-estar social fizeram com que os governos fossem pressionados a responder questões a respeito da eficácia de suas ações para mudar a realidade social por meio de políticas públicas (Trevisan e Van Bellen, 2008). Como resultado, a pesquisa em avaliação tornou-se a melhor ferramenta na busca para aprimorar a eficiência dos gastos públicos e o controle social de ações desempenhadas pelo governo (Ramos e Schabbach, 2012).

Ao contrário do Brasil, a pesquisa em avaliação nos Estados Unidos da América tem sido, por mais de meio século, uma parte importante no estudo das políticas em termos de avanço teórico, desenvolvimento de metodologias e profissionalização (Albaek, 1998). A primeira fase, no pós-guerra, das avaliações de políticas e programas públicos aconteceu nos Estados Unidos entre os anos 1960 e 1980. O uso de análise de políticas e avaliação de programas cresceu junto às experiências de políticas sociais da great society da guerra contra a pobreza nos anos 1960 (Caracelli, 2000). Esse crescimento aplicado à pesquisa social está relacionado com o surgimento do processamento eletrônico de dados e com as ferramentas para a manipulação de grandes volumes de dados. Esse período inicial foi caracterizado pela abordagem top-down. Isso foi gradativamente se revertendo com a emergência da "nova gestão pública", nos anos 1990, que enfatizou uma abordagem bottom-up voltada para medidas de resultados (Faria, 2005).

Desde os anos 1960, a profissão de pesquisador em avaliação passou por um significativo crescimento, desenvolvimento e institucionalização nos Estados Unidos (Johnson et al., 2009). Produto de três organizações anteriores, a American Evaluation Association (AEA) foi fundada em 1986 (Gargani, 2011; Shulha e Cousins, 1997). Em 2013, a AEA já possuía mais de 7.500 membros. O desenvolvimento conceitual da avaliação também tem sido impressionante e incluiu debates sobre a teoria e a prática da avaliação, discussões acerca de estratégias e metodologias, deliberações sobre as competências avaliativas e o exame de várias contribuições que a avaliação pode trazer para a comunidade global (LaVelle e Donaldson, 2007).

No início do século XXI, a pesquisa em avaliação assumiu o papel de investigar os problemas extraordinariamente complexos e difíceis enfrentados pela sociedade (Caracelli, 2000). Em resposta ao complexo contexto político, social e econômico nos quais trabalham, os avaliadores adotam uma variedade de paradigmas, perspectivas e valores. Analistas de políticas e avaliadores de programas conduzem a pesquisa em avaliação para muitos propósitos, assumem diferentes papéis e usam uma diversidade de práticas (Caracelli, 2000).

3. Método

A pesquisa bibliométrica foi adotada para investigar as questões de interesse deste artigo. Métodos bibliométricos são usados para explicar e interpretar o comportamento de determinada área de conhecimento com a intenção de observar eventos, objetos, agentes, produtos e contextos, cujos elementos podem ser contados, medidos e quantificados (Borgman e Furner, 2002). Eles também são usados para descrever o número de publicações, autores, tipos de trabalho, vínculos institucionais dos pesquisadores e outras informações relevantes publicadas a respeito de dada área de conhecimento durante um período de tempo específico. A bibliometria é uma técnica quantitativa e estatística para medir a produção de conhecimento em certa área analisada (Araújo, 2006).

Para efeito deste artigo, a pesquisa foi conduzida usando seis bases de dados: duas do Brasil - Scielo Brasil e Spell - e quatro internacionais - Wiley Online Library, Sage Publications, Oxford Journals e Science Direct, incluindo o Elsevier. Tentou-se cobrir todas as principais bases de dados internacionais que contêm periódicos que são referência na área nos Estados Unidos. No Brasil, Scielo Brasil e Spell foram escolhidos, pois apresentam a maior base de dados aberta do país e com acesso livre. O estudo foi conduzido de modo a aumentar a confiabilidade dos dados relacionados com o Brasil, já que estas duas bases contemplam todos ou quase todos os trabalhos acadêmicos brasileiros publicados sobre administração pública e avaliação das políticas públicas. O uso dessas duas bases de dados resultou na identificação de um número comparável de estudos nas bases de dados nacionais e internacionais, contribuindo para uma sólida análise de algumas das variáveis de interesse.

A pesquisa nessas bases de dados cobriu 10 anos de artigos publicados entre 2005 e 2014. Os termos de pesquisa usados incluem descritores de avaliações, verificações e análises relativos a políticas públicas, programas e projetos. Na Wiley Online Library, Sage Publication, Science Direct e Spell a procura foi feita a partir de títulos, resumos e palavras-chave. Na base Scielo e no Oxford Journals não foi possível procurar por palavras-chave, portanto, a pesquisa foi feita apenas a partir de títulos e resumos. Tal fato não causou nenhum problema metodológico, já que as palavras-chave geralmente aparecem nos resumos. Além disso, vale ressaltar que a base de dados da Spell indicou dois tipos de artigos: aqueles apresentados em eventos científicos e aqueles publicados em revistas científicas. Neste estudo, apenas artigos publicados em revistas científicas foram incluídos a fim de manter a comparabilidade com as outras cinco bases de dados usadas.

A busca na base Scielo resultou em 173 artigos, dos quais 94 atenderam aos critérios de busca. No banco de dados Spell, recuperou-se 49 artigos, tendo 25 deles atendido aos critérios. Na Wiley Online Library, 884 artigos foram encontrados, mas só 106 atenderam aos critérios. No Science Direct, recuperaram-se 1.947 trabalhos e apenas 72 atenderam aos critérios. No banco de dados da Oxford Journals, foram 875 artigos e somente 20 atenderam aos critérios. Finalmente, no banco de dados da Sage Publications, 73 artigos foram encontrados e, desses, 21 atenderam aos critérios. Artigos produzidos em outros países que não no Brasil e nos Estados Unidos foram eliminados da amostra, pois ficaram fora do escopo da pesquisa. O resultado total da pesquisa incluiu artigos duplicados, porém esses trabalhos não foram considerados na análise dos artigos selecionados. A amostra final foi composta por um total de 320 trabalhos: 100 do Brasil e 220 dos Estados Unidos.

Como mencionado anteriormente, as variáveis de interesse, de acordo com os artigos analisados, incluíram: título do trabalho; ano de publicação; objetivos de pesquisa; áreas de pesquisa; se o artigo é de natureza empírica, teórica ou empírico/teórica; natureza dos dados (quantitativa ou qualitativa); natureza das fontes de dado (primária, secundária ou primária e secundária); e vínculo institucional dos autores. A análise das redes de colaboração social dos pesquisadores usou as seguintes medidas estruturais de rede: densidade, grau médio, centralidade de intermediação e centralidade de proximidade.

A análise quantitativa dos dados, a análise descritiva e a tabulação cruzada foram realizadas usando o software SPSS, versão 18. A análise de conteúdo foi usada na identificação dos objetivos estabelecidos para os respectivos artigos com o intuito de determinar não só as áreas de pesquisa envolvidas, mas também os tópicos de interesse em cada uma dessas áreas.

Dado o volume de dados envolvidos, o software Nvivo foi usado para apoiar o processo de análise do conteúdo. A classificação das áreas de pesquisa seguiu o mesmo padrão que já havia sido determinado para os artigos. Trabalhos sem foco claramente estabelecido em uma área específica de pesquisa ou com foco duplo, por exemplo, saúde e justiça criminal, foram classificados em uma dessas categorias, de acordo com o objeto em destaque. Alguns artigos teóricos que lidam com métodos, ensino, teoria ou políticas no geral não foram classificados como área de pesquisa. Artigos que tratam sobre políticas de agricultura foram categorizados na seção de desenvolvimento econômico. Na classificação da natureza das fontes de dados, determinou-se que artigos teóricos seriam classificados como fonte de dado "não aplicável", como pode ser visto nas tabelas apresentadas nos resultados deste estudo. Finalmente, o software livre Pajek, versão 3.14, foi usado para análise de redes de pesquisa em termos de elaboração de redes de pesquisas colaborativas e de cálculo de medida estrutural da rede (tamanho, densidade e centralidade).

Inicialmente, então, uma análise quantitativa foi realizada para descrever separadamente as principais variáveis de interesse de cada país. Após isso, uma análise comparativa dos dados quantitativos dos Estados Unidos e do Brasil foi realizada. A análise do conteúdo foi conduzida para identificar a natureza dos artigos publicados e o que os pesquisadores estavam procurando em seus respectivos países. Uma análise de rede final foi feita para identificar a relação entre pesquisadores e instituições. Nessa análise, os relacionamentos intraorganizacionais dos pesquisadores não foram considerados.

A principal limitação deste estudo é o possível viés de seleção resultante das bases de dados usadas para identificar os artigos científicos que compuseram esta amostra. Apesar de todo o esforço para integrar as bases de dados que incluem revistas que publicam artigos na área de interesse, é possível que algumas publicações relevantes tenham passado despercebidas.

4. Resultados e discussões

Nesta seção, são apresentados e discutidos os resultados do estudo conduzido. Na tabela 1 apresenta-se o número de artigos publicados em cada ano do período analisado (2005-14), de modo a determinar o comportamento do campo ao longo desse período de tempo.

Tabela 1
Publicações de pesquisa em avaliação (2005-14)

• Fonte: Dados da pesquisa (2015).

Como pode ser observado na tabela 1, publicações de pesquisas em avaliação variaram ao longo do tempo em ambos os países. No Brasil, em 2006, apenas dois trabalhos que atenderam os critérios de pesquisa foram encontrados, enquanto em 2011 e 2012 havia 15 em cada ano e seis em 2014. Portanto, nenhum padrão ou tendência pôde ser identificado no que diz respeito a publicações na área, no Brasil, durante o período de interesse. Já nos Estados Unidos, notaram-se menos variações nos números durante esse período. De maneira geral, durante o período analisado, o número de publicações que alcançaram os critérios do estudo indicados nas bases de dados consultadas nos Estados Unidos é mais do que o dobro do que no Brasil, embora essa proporção tenha variado muito de ano a ano.

Como apresentado anteriormente, alguns pesquisadores brasileiros afirmaram que o campo da pesquisa em avaliação no Brasil está ainda em seu estágio inicial (Faria, 2005; Frey, 2000; Melo, 1999). Ao analisar o número de artigos publicados de 2005 a 2014, no entanto, parece que Arretche (2003) está correta em argumentar que a pesquisa em avaliação se firmou no país. Em consonância com esse argumento está o fato de que o número de publicações encontradas sobre esse assunto no Brasil representa quase metade daquele encontrado nos Estados Unidos em quatro das mais importantes bases de dados americanas no mesmo período. Baseado nas evidências deste estudo, portanto, não se pode afirmar que há pouca pesquisa sobre esse tema no Brasil. De 320 trabalhos publicados sobre pesquisa em avaliação identificados neste estudo, quase um terço (31,25%) foi publicado no Brasil. Dada a trajetória de pesquisa dos respectivos países (Albaek, 1998; Caracelli, 2000; Faria, 2005; Johnson et al., 2009), a expectativa era de que essa diferença fosse muito maior. Logo, essas descobertas apontam avanços na pesquisa em avaliação no Brasil.

A tabela 2 fornece uma análise das áreas mais pesquisadas no Brasil e nos Estados Unidos, respectivamente.

Tabela 2
Principais áreas de pesquisa em avaliação

• Fonte: Dados da pesquisa (2015).

No Brasil, observa-se que as áreas da saúde (27%), educação (25%), pesquisa em avaliação (9%), quando somadas, totalizam 68% das publicações. Nos Estados Unidos, saúde (44,1%), educação (9,5%), pesquisa em avaliação (8,2%) correspondem a 66,8% do total de publicações. Em outras palavras, em ambos os países essas três áreas são as que recebem mais atenção, diferenciando-se apenas em termos de percentual de cada área. O que poderia explicar o fato de as áreas de interesse em pesquisa serem as mesmas em ambos os países? Seria a influência das pesquisas feitas nos Estados Unidos refletida nas pesquisas realizadas no Brasil? Influência de instituições internacionais, que contribuem para o aumento da pesquisa e da análise de orientação para as áreas que concentram mais recursos (Faria, 2005)? Pressão para mostrar a eficiência dos gastos públicos, a transparência e a accountability (Ramos e Schabbach, 2012)?

O tamanho e os amplos orçamentos para essas áreas podem explicar tais resultados. Com a nova Constituição do Brasil, as então chamadas áreas sociais, tais como saúde, educação e bem-estar, ganharam importância (Montero, 2005; Sugiyama, 2013; Vaitsman, Ribeiro e Lobato, 2013) e investimentos crescentes ao longo das últimas duas décadas. Assim, as áreas da análise de políticas e da pesquisa em avaliação estão em ascensão na política pública social no Brasil (Capobiango et al., 2011). Qualquer uma ou todas essas perguntas ou justificativas podem ser relevantes para explicar esses resultados, porém análises e estudos posteriores são necessários para que esses questionamentos possam ser respondidos com precisão.

A análise das fontes de dados usadas pelos pesquisadores, apresentada na tabela 3, revela que tanto no Brasil como nos Estados Unidos fontes de dados secundários prevalecem. A diferença mais significativa diz respeito ao uso de dados primários e secundários no mesmo estudo, fato consideravelmente maior nos Estados Unidos. Pesquisadores americanos fazem mais uso de múltiplas fontes de dados do que pesquisadores brasileiros, permitindo uma observação adicional de que eles também fazem melhor uso de métodos mistos, tanto quantitativos como qualitativos, para a análise de dados. A categoria "não aplicável" indica que artigos com essa classificação são de natureza teórica e não empírica. As respectivas percentagens são consideráveis, já que representam 26% dos trabalhos publicados no Brasil e 17,3% daqueles publicados nos Estados Unidos, evidenciando que um esforço substancial está sendo feito para produção teórica em ambos os países.

Além disso, como pode ser visto na tabela 3, há um uso significativo de dados qualitativos nos dois países.

As pesquisas americanas e brasileiras apresentam diferenças consideráveis ao nível de 0,05 em termos de quantidade de trabalhos e da natureza dos dados no teste Chi-Square. Nota-se uma maior diferença com relação à abordagem qualitativa. No Brasil, considerando o fato de que os trabalhos teóricos estão incluídos nessa categoria, a abordagem qualitativa predomina, com 58%. Nos Estados Unidos, o uso dessa abordagem apareceu apenas em 43,2% dos trabalhos analisados. A situação se inverte quando se analisa a abordagem quantitativa, adotada em 38,2% dos trabalhos americanos e em somente 30% dos brasileiros. O uso de métodos mistos foi outra diferença encontrada. Estudos que envolviam pesquisas tanto qualitativas quanto quantitativas foram encontrados em 18,6% dos trabalhos nos Estados Unidos e em somente 12% no Brasil. As evidências mostram, portanto, que a área é caracterizada pela preocupação em medir eficiência, eficácia, impacto e satisfação (Costa e Castanhar, 2005) e pela avaliação de aspectos quantitativos tais como: mais/menos, pouco/muito, bom/ruim, adequado/inadequado, alcançado/não alcançado (Neirotti, 2012).

Tabela 3
Relação entre natureza e fonte de dados de pesquisa

• Fonte: Dados da pesquisa (2015).

Nota-se, na tabela 3, de acordo com as expectativas, que os dados secundários são predominantes nos estudos quantitativos. Somente nos trabalhos americanos aparecem casos de coleta de dados primários e secundários nos estudos quantitativos. De fato, o uso de dados primários e secundários por esses pesquisadores é maior em todas as categorias. No Brasil, a pesquisa aparenta fazer maior uso de fontes secundárias nos estudos qualitativos. Há um grande uso de estudos qualitativos nos dois países, seguidos por estudos quantitativos e de métodos mistos. Dada a complexidade do campo, mais estudos quali-quanti podem ser oportunos para reduzir o viés do uso de uma única abordagem metodológica, conforme apontam Donaldson e Grant Vallone (2002).

No que se refere aos canais de publicação, foram encontradas 164 revistas nas seis bases de dados que publicam produções científicas sobre o campo de pesquisa em avaliação: 51 no Brasil e 112 nos Estados Unidos. Na base de dados americana, as principais revistas são: Journal of Policy Analysis and Management, Evaluation and Program Planning, New Directions for Evaluation, Journal and School Health, Policy Studies Journal e Nicotine and Tobacco Research. Juntas, elas publicam 22,6% dos artigos analisados neste estudo. No caso do Brasil, as principais revistas são: Ciência e Saúde Coletiva, Revista de Administração Pública e Ensaio: Avaliação e Política Pública de Educação, que juntas correspondem a 22,5% dos artigos encontrados na base de dados brasileira. Percebe-se que, no Brasil, há uma menor concentração de trabalhos de pesquisa em avaliação nos três principais periódicos identificados do que nos Estados Unidos.

Notou-se também que, nos Estados Unidos, há revistas especializadas no campo da pesquisa em avaliação, tais como Journal of Policy Analysis and Management, Evaluation and Program Planning e New Directions for Evaluation, enquanto, no Brasil, a incidência de revistas especializadas como Ensaio: Avaliação e Política Pública de Educação é rara.

A análise do número de autores por artigo mostrou que o percentual de trabalhos escritos por um ou dois autores foi de 58% no Brasil e 47,3% nos Estados Unidos; 95% dos artigos no Brasil foram escritos por quatro ou menos autores e nos Estados Unidos esse percentual é de 80,5%. Os dados sugerem que nos EUA é mais comum o envolvimento de vários pesquisadores em um mesmo artigo nesse campo de estudo. Foram encontrados artigos com até 12 autores nos Estados Unidos, enquanto no Brasil o maior número de autores foi seis. Parece haver duas formas de interpretar essa evidência: i) as revistas brasileiras não aceitam ou não encorajam que artigos sejam escritos por mais de seis autores; ou ii) os pesquisadores brasileiros podem estar menos envolvidos em redes de pesquisa do que os pesquisadores americanos. No entanto, uma análise das orientações da maioria das revistas do Brasil mostrou que esses periódicos não limitam o número de autores em suas publicações, favorecendo, assim, a segunda interpretação apresentada.

Uma análise acerca do segundo ponto mencionado anteriormente, apresentado nas figuras 1 e 2, respectivamente, revela que a Escola Nacional de Saúde Pública é a instituição brasileira com o maior número de colaborações com outras instituições no Brasil no que diz respeito à pesquisa em avaliação. Já nos Estados Unidos, é a Universidade do Norte do Texas que apresenta o maior número de pesquisadores que colaboram com pesquisas de outras instituições.

Figura 1
Redes de pesquisa no Brasil

Figura 2
Redes de pesquisa nos Estados Unidos

As principais medidas estruturais de redes de colaboração de pesquisa em avaliação no Brasil e nos Estados Unidos estão apresentadas na tabela 4.

Tabela 4
Medidas estruturais de redes de colaboração de pesquisadores que fazem pesquisa em avaliação

• Fonte: Dados da pesquisa (2015).

A densidade da rede é de 37% para os brasileiros e de 60% para os americanos. A medida do grau médio representa a média de conexões efetivas entre os possíveis nós de uma rede e é considerada uma melhor medida do que a densidade para se avaliar a coesão estrutural entre redes de diferentes tamanhos (Nooy, Mrvar e Batagelj, 2011). O grau médio da rede brasileira é mais baixo do que o da americana. Esse resultado já era esperado, uma vez que um maior número de artigos foi coletado em bases de dados dos Estados Unidos e lá o número de organizações científicas é maior quando comparado ao Brasil. Além disso, os indicativos de menor densidade e grau médio no Brasil podem ser explicados devido ao tempo consideravelmente menor de desenvolvimento de redes colaborativas nesse país. Nos Estados Unidos, a área de pesquisa em avaliação já existia há cerca de 30 anos antes de chegar ao Brasil (Albaek, 1998; Caracelli, 2000). Tendo como base os dados disponíveis, não é possível determinar se nos Estados Unidos há mais incentivo para o desenvolvimento de redes de colaboração de pesquisa, como o financiamento de projetos envolvendo mais de uma instituição de pesquisa, fato que também poderia explicar os resultados encontrados.

Duas métricas da tabela 4 merecem mais atenção: a da centralidade de intermediação e a da centralidade de proximidade. De acordo com Prell (2012), a primeira métrica apresenta o ator que tem mais influência na rede em termos de potencial de controle de rede, enquanto a segunda foca a independência do ator. Por meio das medidas de centralidade, a tabela 4 mostra as cinco instituições mais relevantes em ambas as redes. Essa análise chama a atenção para o papel de liderança da Escola Brasileira de Saúde Pública na área, mesmo que suas métricas sejam mais baixas do que as do Centro de Controle e Prevenção de Doenças (CCPD), CI (0076) e CP (0195) e do Departamento de Saúde Pública da Califórnia, CI (0061) e CP (0219).

Outra evidência interessante é que, em ambos os países, as parcerias institucionais de pesquisadores para a análise e a avaliação de políticas não se restringem às universidades. Eles mantêm parcerias com organizações públicas que fornecem serviços aos cidadãos, tais como governos locais e departamentos de saúde do governo federal e de governos locais, o que sugere, portanto, que essas organizações estão assumindo papel ativo na pesquisa científica atual em relação à avaliação de políticas.

5. Considerações finais

Os resultados encontrados neste estudo permitem afirmar que a área da pesquisa em avaliação é mais consolidada nos EUA, pois lá há duas vezes mais revistas que publicam na área (112 contra 51 no Brasil) e um considerável maior número de publicações - quase 70% das publicações encontradas no período analisado (2005-14). Além disso, nos Estados Unidos, ao contrário do Brasil, além de revistas especializadas, há associações profissionais, formadas por pesquisadores, que se dedicam à pesquisa em avaliação, como é o caso da Associação Americana de Avaliação (AEA) (Gargani, 2011; Shulha e Cousins, 1997), prova concreta da consolidação do campo nos EUA.

Outra evidência que constata a predominância da área nos EUA é o fato de as redes de pesquisa americanas serem mais amplas e densas, o que pode, pelo menos em parte, ser explicado pela longevidade desse campo de estudo nesse país (desde 1960), tendo emergido em média 30 anos antes do que no Brasil (1990). Pode-se dizer, portanto, que há uma diferença significativa nas gerações de pesquisadores que se dedicaram à pesquisa em avaliação.

Os resultados deste estudo reafirmam a proposição de que a pesquisa em avaliação ainda não está totalmente estabelecida como uma área de pesquisa no Brasil, assim como o é nos Estados Unidos. Apesar disso, esses resultados oferecem evidências de avanços na pesquisa em avaliação no Brasil, superando a expectativa inicial dos autores deste trabalho de que as diferenças de desenvolvimento da área nos respectivos países seriam mais significativas.

É relevante notar que, nesse aspecto, pesquisadores de ambos os países estabelecem parceria não apenas com as universidades e instituições de pesquisa, mas também com organizações públicas que prestam serviços aos cidadãos. A existência de redes de pesquisa que abrangem universidades, instituições de pesquisa e organizações de vários níveis do governo suporta a caracterização da pesquisa em avaliação como um campo de pesquisa aplicada (Neirotti, 2012) em ambos os países.

O fato de as quatro principais áreas em que a pesquisa em avaliação é conduzida - saúde, educação, análise de políticas e bem-estar social - convergirem nos dois países, ainda que com percentuais diferentes, é digno de nota e levanta alguns questionamentos: os interesses de pesquisa são os mesmos nos Estados Unidos e no Brasil? Os resultados apresentam uma pressão das organizações internacionais para focar em áreas que envolvem mais gastos de recursos públicos ou são prioridades do governo? Mais estudos são necessários para responder adequadamente a essas questões.

Algumas sugestões para estudos futuros sobre o assunto são: (i) a inclusão de outras bases de dados; (ii) análise da relação entre algumas das características organizacionais de grupos de pesquisa, de área de pesquisa, das abordagens metodológicas e de categorias teóricas; (iii) identificação das teorias usadas nos respectivos estudos e análise da relação entre o uso da teoria e das áreas específicas de avaliação em pesquisa.

Partindo do argumento de Vaitsman, Ribeiro e Lobato (2013) de que o Brasil está defasado em relação aos Estados Unidos na conceitualização e no desenvolvimento metodológico de análise de políticas, em geral, e a partir dos resultados deste estudo, sugerem-se as seguintes recomendações aos pesquisadores brasileiros na área da pesquisa em avaliação: (i) dada a complexidade da área, recomenda-se que eles façam uso de múltiplas fontes para a coleta de dados e (ii) que usem abordagens mistas, envolvendo métodos quantitativos e qualitativos. Finalmente, sugere-se a investigação de fatores que influenciam a formação e o fortalecimento das redes de pesquisa na área e a relação desses para se alcançar uma consolidação global, contribuindo para futuros avanços da pesquisa em avaliação no Brasil.

References

• ALBAEK, Erik. Knowledge, interests and the many meanings of evaluation: a developmental perspective. Scandinavian Journal of Social Welfare, n. 7, p. 94-98, 1998.
• ALTSCHULD, James W.; KUMAR, David Devraj. Needs assessment. Thousand Oaks, CA: Sage Publications, 2010.
• APPLETON-DYER, Sarah et al. Understanding evaluation influence within public sector partnerships: a conceptual model. American Journal of Evaluationv. 33, n. 4, p. 532-546, 2012.
• ARAÚJO, Carlos A. Bibliometria: evolução histórica e questões atuais. Em Questão, v. 12, n. 1, p. 11-32, 2006.
• ARRETCHE, Marta. Dossiê agenda de pesquisa em políticas públicas. Revista Brasileira de Ciências Sociais, v. 18, n. 51, p. 4, 2003.
• BECHELAINE, Cinthia H. De O.; CKAGNAZAROFF, Ivan B. Por que as avaliações vão para a gaveta? Uma revisão teórica dos fatores relacionados ao uso dos resultados das avaliações de políticas públicas. Contabilidade, Gestão e Governança, v. 17, n. 2, p. 78-93, 2014.
• BORGMAN, Christine L.; FURNER, Jonathan. Scholarly communication and bibliometrics. Annual Review of Information Science and Technology, v. 36, n. 1, p. 2-72, 2002. Available at: <Available at: http://onlinelibrary.wiley.com/doi/10.1002/aris.1440360102/abstract >. Accessed on: 25 feb. 2015.
  » http://onlinelibrary.wiley.com/doi/10.1002/aris.1440360102/abstract
• CAPOBIANGO, Ronan Pereira et al. Análise das redes de cooperação científica através do estudo das coautorias dos artigos publicados em eventos da Anpad sobre avaliação de políticas públicas. Rev. Adm. Pública, v. 45, n. 6, p. 1869-1890, 2011. Available at: <Available at: http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0034-76122011000600012&lang=pt >. Acessed on: 25 feb. 2015.
  » http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0034-76122011000600012&lang=pt
• CARACELLI, Valerie J. Evaluation use at the threshold of the twenty-first century. New Directions for Evaluation, v. 2000, n. 88, p. 99-111, 2000.
• CENEVIVA, Ricardo; FARAH, Marta F. S. Avaliação, informação e responsabilização no setor público. Revista de Administração de Empresas, v. 46, n. 4, p. 993-1016, 2012.
• CHAMBERS, Donald E.; WEDEL, Kenneth R. Social policy and social programs: a method for the practical public policy analyst. Fifth ed. Boston: Allyn and Bacon, 2009.
• COSTA, Frederico L.; CASTANHAR, José C. Avaliação de programas públicos: desafios conceituais e metodológicos. Rev. Adm. Pública, v. 37, n. 22, p. 969-992, 2005.
• COTTA, Tereza C. Avaliação educacional e políticas públicas: a experiência do Sistema Nacional de Avaliação da Educação Básica (Saeb). Revista do Serviço Público, v. 52, n. 4, p. 89-111, 2001.
• DELEON, Peter. The historical roots of the field. In: MORAN, Michael; REIN, Martin; GOODIN, Robert E. (Org.). The Oxford handbook of public policy. London: Oxford University Press, 2006. p. 1000.
• DONALDSON, Stewart I.; GRANT-VALLONE, Elisa J. Understanding self-report bias in organizational behavior research. Journal of Business and Psychology, v. 17, n. 2, p. 245-260, 2002.
• FARIA, Carlos Aurélio Pimenta de. A política da avaliação de políticas públicas. RBCS, v. 20, n. 59, p. 97-169, 2005.
• FREY, Klaus. Políticas públicas: um debate conceitual e reflexões. Planejamento e Políticas Públicas, n. 21, p. 211-259, jun. 2000.
• GARGANI, John. More than 25 years of the american journal of evaluation: the recollections of past editors in their own words. American Journal of Evaluation, v. 32, n. 3, p. 428-447, 2011.
• JANNUZZI, Paulo De Martino. Indicadores para diagnóstico, monitoramento e avaliação de programas sociais no Brasil. Revista do Serviço Público, v. 56, n. 2, p. 137-160, 2005.
• JOHNSON, Kelli et al. Research on evaluation use: a review of the empirical literature from 1986 to 2005. American Journal of Evaluationv. 30, n. 3, p. 377-410, 2009.
• KISBY, Ben. Analyzing Policy Networks. p. 71-90, 2007. Available at: <Available at: http://dx.doi.org/10.1080/01442870601121502 >. Accessed on: 25 feb. 2015.
  » http://dx.doi.org/10.1080/01442870601121502
• LAVELLE, John M.; DONALDSON, Stewart I. The state of preparing evaluators. New Directions for Evaluation, n. 114, p. 107-114, 2007.
• LYNN Jr., Lauence E. A place at the table: policy analysis, its the future of practice and postpositive critics. Journal of Policy Analysis and Management, v. 18, n. 3, p. 411-425, 1999. Avaliable at: < Avaliable at: http://onlinelibrary.wiley.com/doi/10.1002/(SICI)1520-6688(199922)18:3%3C411::AID-PAM5%3E3.0.CO;2-G/full >. Accessed on: 20 feb. 2015.
  » http://onlinelibrary.wiley.com/doi/10.1002/(SICI)1520-6688(199922)18:3%3C411::AID-PAM5%3E3.0.CO;2-G/full
• MARK, Melvin M.; HENRY, Gary T. The mechanisms and outcomes of evaluation influenceEvaluation, v. 30, n. 1, p. 35-57, 2004.
• MELO, Marcos A. Estado, governo e políticas públicas. O que ler na ciência social brasileira. São Paulo/Brasília: Sumaré; Anpocs; Capes, 1999. p. 55-100.
• MICHAEL, Ewen J. Public policy: the competitive framework. South Melbourne, Australia: Oxford University Press, 2006.
• MONTERO, Alfred P. Brazilian politics: reforming a democratic state in a changing world. Cambridge, UK: Polity Press, 2005.
• MUNGER, Michael C. Analyzing policy: choices, conflicts, and practices (new institutionalism in american politics). {S.l.}: W.W. Norton, 2000. Avaliable at: < Avaliable at: https://books.google.com.br/books?id=IYd5QgAACAAJ >. Accessed on: 20 feb. 2015.
  » https://books.google.com.br/books?id=IYd5QgAACAAJ
• NEIROTTI, Nerio. Evaluation in Latin America: paradigms and practices. In: KUSHNER, Saville; ROTONDO, Emma (Org.). Evaluation voices from Latin America. San Francisco: Jossey-Bass, 2012. p. 128.
• NOOY, Wouter De; MRVAR, Andrej; BATAGELJ, Vladmir. Exploratory social network analysis with pajek. New York: Cambridge University Press, 2011.
• PRELL, Christina. Social network analysis: history, theory and methodology. London: Sage, 2012.
• RAMOS, Marília P.; SCHABBACH, Letícia M. O estado da arte da avaliação de políticas públicas: conceituação e exemplos de avaliação no Brasil. Rev. Adm. Pública, v. 46, n. 5, p. 1271-1294, 2012.
• ROSSI, Peter H.; LIPSEY, Mark W.; FREEMAN, Howard E. Evaluation: a systematic approach. 7. ed. Thousand Oaks, CA: Sage Publications , 2004.
• ROSSI, Peter H.; WRIGHT, James D. Evaluation research: an assessment. In: MILLER, Delbert C. (Org.). Handbook of research design and social measurement. 5. ed. Newbury Park, CA: Sage Publications, 1991. p. 87-97.
• SHADISH, William R.; COOK, Thomas D.; LEVITON, Laura C. Foundations of program evaluation Theory of practice. Newbury Park, CA: Sage Publications , 1991.
• SHULHA, Lyn M.; COUSINS, J. Bradley. Evaluation use: theory, research, and practice since 1986. American Journal of Evaluation, v. 18, n. 3, p. 195-208, 1997.
• SUGIYAMA, Natasha B. Diffusion of good government: social sector reforms in Brazil. {S.l.}: University of Notre Dame Press, 2013.
• TREVISAN, Andrei P.; VAN BELLEN, Hans M. Avaliação de políticas públicas: uma revisão teórica de um campo em construção. Rev. Adm. Pública, Rio de Janeiro, v. 42, n. 3, p. 529-550, maio/jun. 2008.
• VAITSMAN, Jeni; RIBEIRO, Jose M.; LOBATO, LenauraPolicy analysis in Brazil. Chicago: University of Chicago Press, 2013. Avaliable at: < Avaliable at: http://www.policypress.co.uk/display.asp?k=9781447306849 >. Accessed on: 15 feb. 2015.
  » http://www.policypress.co.uk/display.asp?k=9781447306849
• WEISS, Carol Hirschon. An alternate route to policy influence: how evaluations affect D.A.R.E. American Journal of Evaluation, v. 26, n. 1, p. 12-30, 2005.
• WEISS, Carol H.; BIRCKMAYER, Johanna. Social experimentation in public policy. In: MORAN, Michael; REIN, Martin; GOODIN, Robert E. (Org.). The Oxford handbook of public policy. Oxford, UK: Oxford University Press, 2006. p. 806-830.

Datas de Publicação

• Publicação nesta coleção
  Nov-Dec 2016

Histórico

• Recebido
  06 Nov 2015
• Aceito
  13 Jul 2016