Avaliação de políticas sociais: notas sbore alguns limites e possíveis desafios

Evaluation of social policies: notes on some limits and challenges

ARTIGO

Avaliação de políticas sociais: notas sbore alguns limites e possíveis desafios

Evaluation of social policies: notes on some limits and challenges

Lenaura de Vasconcelos Costa Lobato¹

RESUMO

Discutem-se alguns elementos da avaliação de políticas sociais. O argumento central é que, a par do fortalecimento da área de avaliação em anos recentes, ainda predomina a concepção voltada para os objetivos específicos de programas e projetos, e não para a avaliação da política. Essa diferenciação tem especial importância quando se trata de políticas sociais, já que estas têm uma localização específica no conjunto das políticas públicas - principalmente no caso brasileiro, onde uma potente estrutura de proteção social convive com níveis astronômicos de desigualdade e exclusão. Em primeiro lugar, apontam-se algumas características da avaliação referentes ao argumento do trabalho. Em seguida, são discutidas as possibilidades da avaliação para além de programas e projetos. Ao final, apresentam-se, preliminarmente, alguns desafios atuais da avaliação de políticas sociais.

Palavras-chave: políticas sociais; avaliação.

ABSTRACT

Some elements in the evaluation of social policies are discussed. The central argument is that, despite the improvements in evaluation methods in recent years, the conception that the specific objectives of programmes and projects should be assessed - rather than the actual policies - still prevails. This differentiation has special relevance when dealing with social policies, since they occupy a specific place in the set of public policies. This is particularly so in the Brazilian case, where a powerful social security structure coexists with astronomical levels of inequality and exclusion. First we indicate some of the characteristics of the type of evaluation we refer to in the paper. Then we discuss the possibility of evaluations that will go beyond programmes and projects. Finally, we present a preliminary and brief survey of the present challenges found in the evaluation of social policies.

Key words: social policies; evaluation.

Introdução

A área de avaliação de políticas sociais vem se fortalecendo nos anos recentes. Apesar disso, ainda predomina uma concepção voltada para os objetivos específicos de programas e projetos, e não para a política. Isso faz com que a avaliação, um poderoso instrumento de melhoria das condições de exercício da coisa pública, perca a principal dimensão da política - que é a de um mecanismo privilegiado nas relações entre Estado e sociedade -, limitando-se a um conjunto de medidas de aferição de objetivos com baixa referência social ou política. Essa diferenciação tem especial importância quando se trata de políticas sociais, já que estas têm uma localização específica no conjunto das políticas públicas - principalmente no caso brasileiro, onde uma potente estrutura de proteção social convive com níveis astronômicos de desigualdade e exclusão.

As avaliações são capazes de identificar os limites dos programas e projetos, mas a explicação para esses limites, em geral, está relacionada a elementos do sistema político e/ou de nossa estrutura institucional, como estrutura burocrática, apropriação patrimonialista ou clientelista dos programas e dificuldade de pactuação entre níveis de governo. Embora os avaliadores reconheçam esses elementos, a inclusão destes nas estruturas de avaliação ainda é restrita, pois há um descompasso entre os resultados da avaliação e a capacidade explicativa desses resultados, o que reduz a possibilidade de serem usados como orientadores de mudanças. E, principalmente, é ainda baixo o alcance da identificação das alterações que a política de fato gera na proteção social e no bem-estar dos indivíduos, característica inerente à política social.

Para discutir esses elementos apontam-se, em primeiro lugar, algumas características da avaliação referentes ao argumento do trabalho. Em seguida, discutem-se as possibilidades da avaliação para além de programas e projetos. No final, apresentam-se, preliminarmente, alguns desafios atuais da avaliação de políticas sociais.

Algumas características atuais da avaliação de políticas

Em artigo já clássico na área de avaliação no Brasil, Figueiredo e Figueiredo (1986, p. 108) chamavam a atenção para a necessidade da 'avaliação política' da política, ou seja, a inclusão, pela avaliação, do conteúdo substantivo da política, seus princípios orientadores, explícitos ou não. Nas palavras dos autores: "por avaliação política entendemos a análise e elucidação do critério ou critérios que fundamentam determinada política: as razões que a tornam preferível a qualquer outra". E acrescentam, citando Barry, que "estas razões têm que ser relevantes, ou seja, devem estar referidas a princípios cuja realização irá, presumivelmente, contribuir para uma desejável quantidade e distribuição de bem-estar". Os autores distinguiam este tipo de avaliação da 'avaliação de políticas' stricto sensu, voltada para os processos ou impactos da política. A reflexão dos autores é relevante, considerando-se o contexto em que o trabalho foi realizado - o período da chamada Nova República pós-regime ditatorial -, no qual o resgate da chamada dívida social era a questão em pauta para as políticas sociais. Analisando o perfil e alcance das pesquisas de avaliação de políticas sociais no país, detectaram, entre outros aspectos, a pequena quantidade de pesquisas voltadas para a efetividade substantiva, onde estariam situados os estudos que examinassem parâmetros externos ao programa, como justiça social, igualdade, eqüidade e mesmo desenvolvimento econômico (Ibid., p. 120).

A distinção entre avaliação política e avaliação de políticas aponta, em primeiro lugar, a restritividade das avaliações denominadas 'políticas', mas que são, na verdade, avaliações de metas e objetivos de programas e projetos; em segundo, indica a necessidade de considerar o caráter normativo da política pública, em especial da política social, que abordaremos mais à frente. Assim, trata-se do redirecionamento que já vinha sendo apontado pela literatura e experiências internacionais há alguns anos e indicava o adensamento da área de avaliação de políticas por meio da interlocução com a área tradicional de análise de políticas públicas, na qual até então a avaliação era secundária. Isso levou a um avanço significativo da área de avaliação de políticas, com a introdução de critérios próprios da ciência política, incorporando uma série de variáveis que interferem na política pública, o que fez com que as avaliações pudessem expressar muito melhor a dinâmica real dessa política. Contudo, essa interlocução não pôde ainda dar conta de fazer a avaliação ultrapassar o plano dos programas e projetos; os elementos da política acabam sendo avaliados no limite desses programas e projetos, deixando de lado a identificação do conteúdo inerente à política, que é o de interferir e eventualmente transformar - para o bem ou para o mal - as relações sociais prevalentes.

Essa limitação é bastante compreensível e de difícil solução. Supõe-se que um dos nós esteja na dificuldade de superar as rígidas estruturas de corpos teóricos e metodológicos bastante distintos, como no caso da política e da avaliação. A área de avaliação stricto sensu tem como domínio principal na área social as avaliações de serviços - em especial de saúde e educação - e, no campo das políticas públicas, as tradicionais avaliações voltadas para o acompanhamento e controle dos processos. No primeiro caso, a predominância é de um arsenal bastante refinado de metodologias predominantemente quantitativas, que têm como premissa a delimitação muito clara do objeto e a explicitação minuciosa dos critérios de avaliação e suas medidas correspondentes. Isso implica avaliações setoriais, de pequeno escopo e/ou com um número limitado de variáveis. É o respeito a esse domínio o que, de alguma forma, identifica e mesmo autoriza uma avaliação. No segundo caso, as avaliações no plano governamental eram de caráter administrativo ou de auditagem, restritas ao cumprimento dos processos predeterminados pelos programas ou projetos, ao uso probo dos recursos e à entrega do produto.

A entrada dos elementos da ciência política se faz principalmente a partir das referências do policy making. Este, como se sabe, privilegiava a dinâmica de como as decisões são tomadas, com interesse especial na forma pela qual a política é formulada (Lindblon, 1981). A implementação era entendida como uma etapa dada, sob a responsabilidade da burocracia, e como um problema gerencial. A distância entre as políticas tal qual formuladas e sua implementação tornou esta fase objeto de especial atenção dos cientistas políticos (Pressman e Wildavsky, 1973; Hogwood e Gunn, 1984), e hoje é considerada uma etapa autônoma no policy making (Viana, 1995) sendo, inclusive, objeto específico de avaliação, que desperta cada vez mais atenção e interesse de especialistas (Draibe, 2001; Silva e Costa, 2002; Arretche, 2001).

Atualmente, são fundamentais, na avaliação de políticas públicas, elementos como o papel dos participantes e interessados na política (stakeholders, reconhecidos ou não como atores), a estrutura e dinâmica de decisão dos agentes, as especificidades de cada um e as relações entre os níveis de governo. Esses elementos são de difícil aplicação nas avaliações governamentais oficiais, que demandam estruturas de avaliação bem mais complexas. Entretanto, os especialistas vêm considerando cada vez mais sua relevância, sustentando que deveriam ser agregadas à função precípua dos governos no campo da aplicação eficiente e eficaz dos recursos públicos.

A avaliação era entendida como uma etapa externa à política, encaminhada por auditores ou avaliadores externos. Tinha um caráter fiscalizador, sempre realizada a posteriori e, portanto, auxiliava muito pouco a gestão e a tomada de decisão (Mokate, 2000). Hoje, ao contrário, ela avança como área de interesse no campo das políticas públicas. Contribuíram para isso a maior complexidade dos aparatos estatais, a maior interação entre os setores público e privado, e a democratização e maior transparência das ações públicas, que exigiram maior prontidão (responsiveness) e responsabilização (accountability) dos governos pelo resultado das políticas.

Em muitos países, esses elementos foram conseqüência das iniciativas de reforma do Estado levadas a cabo nas últimas três décadas. Com base na premissa da ineficiência dos aparatos estatais e na necessidade de reduzir seu tamanho, foram introduzidos mecanismos de competição e gestão voltados a resultados. Em linhas gerais, esses mecanismos visavam dar ao Estado e à administração pública a eficiência necessária para lidar com as novas demandas da economia globalizada, que exigiria uma velocidade de gestão incompatível com as estruturas arcaicas e burocratizadas². A forma mais acabada dessa concepção é a chamada New Public Management, que inspirou reformas da gestão pública em diversos países. Esta concepção sofreu várias críticas, dentre elas a de que, embora tenha como premissa central a idéia de gestão voltada para resultados, há poucas provas de que tenha dado resultados, já que ela não foi avaliada na maioria dos países onde foi implementada (Pollitt e Bouckaert, 2002). Mais importante seria o fato de que a gestão voltada para a eficiência e a prestação de contas resulta numa competição por rendimentos individuais e em estratégias de adaptação, mais do que em responsabilidades políticas coletivas; ou seja, a ganância por efetividade e eficiência comprometeria a responsabilidade política dos agentes públicos (Christensen e Laegreid, 2001).

Parte importante das estratégias de reforma da gestão pública foi a idéia da administração voltada para o cliente (OECD, 1987), depois expandida para o conceito de cidadão (OECD, 1996), embora mantendo a noção de cidadão como consumidor. Essa concepção inspirou iniciativas em diversos países, que criaram mecanismos de aferição da prestação de serviços pela administração pública, como as cartas de serviços ou cartas de cidadãos (Coutinho, 2000). Apesar da importância dada à preocupação com o resultado dos serviços prestados, essa concepção também sofreu críticas, em razão da dificuldade de se equiparar o cidadão a um consumidor, já que consumidor é aquele que escolhe, e o cidadão tanto não escolhe a administração pública como não pode mudá-la (Falco, 2000, p. 8).

Gilbert et al. (2000) concluem que as agências governamentais que atendem consumidores com possibilidade de escolha são mais bem avaliadas. Estudando o caso americano, demonstram como os consumidores cativos - aqueles que não podem optar por outros serviços - têm uma avaliação negativa dos serviços. Já os usuários consumidores - que podem optar por outra alternativa àquela ofertada pelo serviço público - têm opinião positiva do serviço público prestado. É curioso, porque, no caso brasileiro, os resultados são totalmente inversos, ao menos no caso do Sistema Único de Saúde (SUS). Aqui, as pesquisas demonstram que os cidadãos 'cativos' do SUS tendem a considerá-lo positivamente, enquanto os que têm planos de saúde julgam o sistema público negativamente (Lobato, 2000; Instituto Gallup, 1996; Conass, 1998). Mais do que uma diferença entre brasileiros e americanos, isso poderia demonstrar uma diferença substantiva entre o que se avalia e a metodologia aplicada (que é, de fato, o caso dos estudos citados). Mais importante, contudo, é ressaltar que se deve tomar com cuidado a idéia da satisfação do usuário como um mecanismo de avaliação de políticas. A satisfação do usuário é um importante instrumento de avaliação, mas seu alcance é restrito quando o âmbito é a política. É temerário perguntar a um cidadão de uma pequena cidade de qualquer estado do país sobre um projeto ou programa que ele identifica (claro, porque é pouco provável que possamos perguntar sua opinião ou percepção sobre, por exemplo, a política nacional de combate à fome) e esperar que estas respostas possam traduzir uma percepção sobre um conjunto de atividades, mecanismos e princípios que uma política envolve. A satisfação do usuário pode e deve ser identificada para avaliar serviços e benefícios. Já a relação entre governo e sociedade expressa na política envolve uma noção de coletivo mais do que a posição de indivíduos isolados. O cidadão não é o receptor de coisas que o governo faz, é o proprietário da coisa pública (Hirschmann apud Coutinho, 2000, pp. 44-45), ao menos do ponto de vista normativo. Assim, as avaliações que privilegiam a satisfação do usuário como mecanismo de qualificação da política podem estar adotando uma concepção que, ao fim e ao cabo, vê o cidadão como consumidor/cliente.

Possibilidades de avaliação da política para além de programas e projetos

A interlocução entre o domínio da avaliação científica, a renovação empreendida nos sistemas tradicionais de avaliação e as estratégias de reforma da gestão pública lança novos desafios para os estudos de avaliação de políticas. Um deles seria superar a noção de causalidade. Como se sabe, ela informa grande parte das pesquisas de avaliação e de análises de políticas; a área de avaliação de políticas tomou esse critério como modo de aferir um dos preceitos básicos da avaliação, que é a necessidade de poder identificar claramente os resultados com o percurso da política. Em outras palavras, é preciso poder atestar que os resultados não seriam alcançados se não fosse a intervenção daquela política. Contudo, argumenta-se se é possível estabelecer relações claras de causalidade quando se reconhece que a realidade da formulação e implementação de políticas é um território onde prevalecem o conflito e a ambigüidade. Na avaliação de serviços, programas ou projetos, é possível, e talvez mesmo necessário, aplicar a relação causal, considerada passível de comprovação numa situação observada - como ela o é nas ciências sociais. Ou seja, pode-se aí delimitar mais claramente a relação entre insumos gerais do projeto, programa ou serviço e o efeito sobre, por exemplo, a população, um grupo de profissionais ou a organização de um serviço.

Um programa é, por definição, um conjunto articulado e restrito de atividades, dirigido a situações-problema às quais busca responder (OECD apud Silva e Costa, 2002). No caso da política, a 'situação observada' inclui elementos nem sempre passíveis de submissão a relações causais. Por exemplo, pode-se estabelecer uma relação causal entre programas de redução da mortalidade infantil, como o da Pastoral da Criança, e a redução efetiva da mortalidade naqueles grupos específicos. A relação causal entre, de um lado, medidas de alimentação e nutrição e, de outro lado, a redução da mortalidade infantil está estabelecida mundialmente (mesmo que não como condições necessárias e suficientes), graças a estudos empíricos em situações observáveis que comprovaram esta relação. Já se quisermos relacionar o mesmo efeito como resultado da política de incentivo à saúde comunitária atualmente em implementação pelo Ministério da Saúde, será bem mais complexo. Mesmo se fosse possível estabelecer empiricamente esta relação de causalidade, e os outros elementos da política? E se essa política tiver alcançado esse efeito final previsto e desejado, mas à custa da redução da atenção em outros setores, ou pela imposição às mães de tratamentos com os quais elas não concordavam, embora fossem princípios da política o respeito à população atendida e a atenção integral à saúde? A avaliação poderia apontar esses aspectos, mas como indicar o que da política foi razoavelmente atingido para que ela pudesse ser replicada, aproveitada ou recusada? Seria a utilização de métodos rejeitados pelas mulheres a melhor forma de atingir os efeitos? Seria a redução da mortalidade incompatível com a atenção integral, indicando, por exemplo, a focalização das ações do Ministério em um segmento em prejuízo do outro? Não à toa, a dificuldade maior na confecção de modelos de causalidade não é estabelecer as relações, mas os valores de cada elemento no conjunto das relações.

A questão se complica se considerarmos a profusão de variáveis e indicadores que corretamente são hoje considerados necessários à avaliação. Em recente e extensivo estudo sobre a função avaliação em países da América do Sul, Toledo (2002) apresenta essa diversidade a partir da experiência de vários países. A complexidade talvez explique o fato de que se produzam muito mais modelos de avaliação do que avaliações propriamente. O autor aponta, entre outras, como prioridades comuns entre os sistemas estudados, a necessidade de "aprofundar estudos e pesquisas sobre métodos voltados a resgatar o nexo entre indicadores de desempenho no âmbito dos programas e objetivos finais das políticas públicas em que se inserem" (Toledo, 2002, p. 280).

Ao indicar critérios para uma metaavaliação (avaliação da avaliação), o mesmo autor estabelece um conjunto de 11 critérios, cada um com distintas situações dispostas numa escala de cinco pontos, da mais positiva à mais negativa (Toledo, 2002, pp. 66-73). Os critérios cobrem quase todas as áreas relacionadas ao desempenho dos sistemas de avaliação, mas dizem pouco respeito aos problemas político-institucionais ou aos efeitos ou impactos sociais que os sistemas de avaliação deveriam considerar para avaliar políticas, à exceção de um deles, que seria a inclusão de parâmetros de eqüidade social. Isso parece evidenciar ao menos a especificidade dos sistemas oficiais de avaliação em relação à avaliação de políticas e, possivelmente, a impossibilidade de que esses sistemas oficiais introduzam critérios tão complexos como os que requerem a avaliação substantiva da política. Um caminho razoável talvez fosse os sistemas oficiais nacionais assumirem as limitações de um sistema de avaliação, enfocando mesmo nos critérios de desempenho de programas e projetos, e se empenharem no desenvolvimento de sistemas refinados de informação, estimulando avaliações locais ou regionais, e incentivando as universidades e os centros de pesquisas para as avaliações de caráter mais substantivo sobre os resultados das políticas. Isto ao menos redirecionaria recursos em consultorias na tentativa de montar metodologias complexas que atendam tanto às necessidades de avaliação das ações governamentais quanto à avaliação substantiva de resultados, que ao cabo são de difícil aplicação.

Desafios para a avaliação de políticas sociais

Embora as características do processo de formulação e implementação das políticas públicas sejam similares, a política social apresenta especificidades que devem ser consideradas no processo de avaliação, em especial na atualidade e no caso brasileiro. A política social tem sido, na trajetória do capitalismo, o lugar, por excelência, de conflitos inerentes a todas as formas de desigualdade e exclusão. Nesse sentido, ela se distingue de um conjunto de outras políticas públicas, por revelar esses conflitos cotidianamente. Mesmo que qualquer política pública interfira direta ou indiretamente nas condições de bem-estar da população, é para a política social que confluem os atores, as demandas e os conflitos referentes a essas condições. Mesmo uma política social que não gere nenhum bem-estar é ainda uma política social. Contudo, sob o ponto de vista da avaliação, cujo objetivo é atribuir valor, valorar, há que se adotar o critério preliminar do bem-estar para se avaliar uma política social. Uma avaliação política da política social deve necessariamente considerar essa premissa.

Por outro lado, a política social, ao gerar bem-estar, altera condições existentes de distribuição da riqueza social. Entretanto, não altera necessariamente as relações sociais que sustentam as regras dessa distribuição, daí as políticas distribuídas como privilégios, por critérios clientelistas ou assistencialistas. Elas podem gerar bem-estar, mas não são capazes de assegurá-lo, seja pela instabilidade da oferta, seja pela relação de dependência a elas associada. Assim, uma segunda premissa que deveria orientar critérios para uma avaliação política da política social seria o impacto dessa política na geração de bem-estar permanente.

A alteração das relações sociais no sentido de um bem-estar permanente não é possível sem a mudança da correlação prevalecente de forças . Isso implica que, também para avaliar a possibilidade de uma política social gerar bem-estar permanente, é necessário identificar possíveis mudanças na correlação de forças a favor de arranjos políticos e/ou mecanismos institucionais que indiquem projetos, estratégias ou mesmo inovações gerenciais que favoreçam uma nova distribuição de poder.

Um último elemento a ser considerado na avaliação política diz respeito aos impactos finais (Cohen e Franco, 1993). É tema relevante e recorrente na literatura, que enfatiza a importância de identificar, mais do que a eficácia na distribuição de produtos sociais, seus efeitos sobre a qualidade de vida, em especial sobre a cidadania da população (Rico et al., 2001). Contudo, as avaliações são ainda limitadas no que diz respeito à capacidade de apreender a complexidade dessas dimensões. Daí decorre que a aferição do impacto social das políticas se restringe a identificar a satisfação dos beneficiários dos programas e projetos. É hoje um desafio para a área de avaliação incluir elementos que dêem conta de avaliar os indivíduos como sujeitos e não somente como beneficiários de programas ou usuários de serviços. Há autores que se debruçam sobre a atualidade da noção de cidadania, buscando rever as dimensões que ela comportaria - para além da relação formal cidadãos-Estado baseada em um corpo de direitos homogêneos -, para incluir a complexidade dada pela diversidade, a subjetividade e a autonomia e sua relação com a política (Fleury, 2003b; Kymlicka e Norman, 1997; Young, 1990). Essa atualização merece ser confrontada com os conceitos mais recentes de capital social (Abu-El-Haj, 1999) e fortalecimento social ou empoderamento (empowerment) (Oakley e Clayton, 2003), já que permite a associação necessária entre a sociabilidade e a autonomia social, sem perda da dimensão central do Estado na construção e manutenção da coletividade (Evans, 1996).

A área de saúde no Brasil oferece uma boa oportunidade para os estudos de avaliação de políticas nesse sentido, pois apresenta hoje uma estrutura de distribuição de poder totalmente diversa daquela que prevalecia até a institucionalização da Reforma Sanitária com o Sistema Único de Saúde. Essa nova estrutura se manifesta em diversos mecanismos institucionais e de gestão, como as instâncias de pactuação e negociação, e aquelas de controle social, assim como incluem um novo papel e dinâmica de vocalização de demandas pelos distintos atores, em especial o setor privado e a sociedade civil organizada. A persistência de inúmeros problemas hoje no sistema pode ser explicada pela complexidade do processo no qual a política formulada não contava com os mecanismos políticos para sua implementação. Sua institucionalização permanente no aparato estatal irradiou e consolidou uma nova correlação de forças que, no sentido oposto, apoiou a consolidação de espaços não exclusivamente estatais. Essa dinâmica garantiu que hoje a política da Reforma Sanitária seja não mais uma política de governos, mas uma política de Estado (Fleury, 2003a).

Sem dúvida, é patente a universalização alcançada, que, baseada no direito, garante a atenção à saúde para a maioria da população, antes sem acesso. Contudo, não se pode ainda atestar que a política de saúde esteja garantindo as condições para um bem-estar permanente em saúde, o que requer avaliações que dêem conta de associar, dos pontos de vista teórico e metodológico, a dinâmica político-institucional com os resultados relativos a esse bem-estar.

Considerações finais

Diante da grave situação social do Brasil hoje, a área de avaliação tem uma contribuição particular. A desigualdade é reconhecidamente o principal problema nacional, atestada por uma profusão de dados, indicadores e medidas de pobreza e exclusão; e não há indícios de sua redução expressiva em curto prazo. Por outro lado, as políticas sociais têm passado por transformações importantes, como a pluralização e democratização das arenas decisórias, a descentralização, o fortalecimento do poder e das ações locais. Entretanto, pouco se sabe sobre os resultados substantivos das políticas implantadas ou em implementação. Costuma-se dizer que a avaliação é cara, já que exige pesquisas empíricas extensivas e com amostras que dêem representatividade às conclusões. De fato, apesar das muitas propostas de metodologias, pouco se avalia de concreto. Outros fatores corretamente levantados são a baixa tradição de avaliação no país, a falta de continuidade das políticas, o uso político das avaliações ou as avaliações de caráter político.

Talvez caiba aos especialistas, que pouco podem interferir nessas características, a confecção de avaliações parcimoniosas nos custos, mas efetivas na indicação dos entraves da política social e das possíveis soluções. Um caminho é simplificar as metodologias utilizadas, para se aprofundar em conteúdo e identificação efetiva dos resultados, o que demandaria explorar mais as técnicas qualitativas e reduzir os universos de investigação. As grandes avaliações recentes da política social, que não são muitas, pouco impacto tiveram na direção da política. É necessário chegar mais perto dos indivíduos que estão na ponta da linha; conhecer suas estratégias, seus modos de vida, suas expectativas e como interagem com as políticas. E isso não é privilegiar um tipo de avaliação (a avaliação de impacto). A avaliação da política social deve necessariamente associar processo e impacto. Isoladas, as avaliações de processo e impacto são ou avaliações de políticas públicas ou avaliações de programas e projetos sociais, mas não de política social.

Notas

• ABU-EL-HAJ, Jawdat. 1999. O debate em torno do capital social: uma revisão crítica. BIB, 47:65-79.
• ARRETCHE, Maria Teresa da S. 2001. Uma contribuição para fazermos avaliações menos ingênuas. In: Tendências e perspectivas na avaliação de políticas e programas sociais (Barreira, Maria Cecília Roxo Nobre. C.; Carvalho, Maria do Carmo Brandt, orgs.), pp. 43-56, São Paulo: IEE/PUC-SP.
• CHRISTENSEN, Tom; LAEGREID, Per. 2001. La nueva administración pública: el equilibrio entre la governanza política y la autonomía administrativa. Revista do Serviço Público, 52(2):69-110.
• COHEN, Ernesto; FRANCO, Rolando. 1993. Avaliação de projetos sociais. Petrópolis, RJ: Vozes.
• CONASS (Conselho Nacional de Secretários de Saúde). 1998. A saúde na opinião dos brasileiros. Cadernos Conass. Brasília: Conass.
• COUTINHO, Marcelo V. 2000. Administração pública voltada para o cidadão: quadro teórico-conceitual. Revista do Serviço Público, 51(3):41-74.
• DRAIBE, Sônia M. 2001. Avaliação da implementação: esboço de uma metodologia de trabalho em políticas públicas. In: Tendências e perspectivas na avaliação de políticas e programas sociais (Barreira, Maria Cecília Roxo Nobre e Carvalho, Maria do Carmo Brandt, orgs.), pp. 13-42, São Paulo: IEE/PUC-SP.
• EVANS, Peter. 1996. Government action, social capital and development: reviewing the evidence on sinergy. World Development, 24(6):1119-1132.
• FALCO, Salvatore E. de. 2000. Instrumentos de voice giving na relação entre os cidadãos e a administração pública: a carta dos serviços. Revista do Serviço Público, 51(3):5-25.
• FIGUEIREDO, Marcos Faria; FIGUEIREDO, Argelina. 1986. Avaliação política e avaliação de políticas: um quadro de referência teórica. Análise e Conjuntura, 1(3):107-127.
• FLEURY, Sônia. 2003a. Política de Estado, não de governo. Observatório da Imprensa. Jornal de Debates 16 set 2003. Disponível em: <www.observatorioda imprensa.com.br/artigos/jd160920033.htm. Acesso em: 15 jan. 2004.
• 2003b. La expansión de la ciudadania. In: Inclusión social e nuevas ciudadanias: condições para la convivencia y seguridad democráticas Pontifícia Universidad Javerian, pp. 176-194, Colombia: Ed. Pontifícia Universidad Javerian.
• GILBERT, G. Ronald et al. 2000. A mensuração da satisfação dos clientes do setor público. Revista do Serviço Público, 51 (3):26-40.
• HOGWOOD, Brian W; GUNN, Lewis A. 1984. Policy analysis for the real world. Oxford, New York: Oxford University Press.
• INSTITUTO GALLUP. 1996. Avaliação dos serviços públicos de atendimento à saúde Rio de Janeiro: Instituto Gallup.
• KYMLICKA, Will; NORMAN, Wayne. 1997. El retorno del ciudadano. una revisión de la producción reciente en teoría de la ciudadanía. Agora, 7:5-42.
• LINDBLON, Charles E. 1981. O processo de decisão política. Brasília: Ed. da Universidade de Brasília.
• LOBATO, Lenaura. 2000. Reforma sanitária e reorganização do sistema de serviços de saúde: efeitos sobre a cobertura e a utilização de serviços. Tese de doutorado. Rio de Janeiro: Escola Nacional de Saúde Pública, Fundação Oswaldo Cruz.
• LOBATO, Lenaura et al. 2002. Intersetorialidade, participação e sustentabilidade: desafios da gestão social para a integração - um estudo de caso do Programa Favela-Bairro. Rio de Janeiro. (Mimeo.
• MOKATE, Karen. 2000. Convertiendo el 'monstruo' en aliado: la evaluación como herramienta de la gerencia social. Washington: INDES/BID.
• OAKLEY, Peter; CLAYTON, Andrew. 2003. Monitoramento e avaliação do empoderamento. São Paulo: Instituto Pólis.
• OECD (Organization for Economic Co-operation and Development). 1987. Administration as service: the public as client. Paris: OECD.
• 1996. Putting citizens first: Portuguese experienece in public management reform. Paris: OECD.
• POLLITT, Christoffer; BOUCKAERT, Geert. 2002. Avaliando reformas na gestão pública: uma perspectiva internacional. Revista do Serviço Público, 53(3):5-29.
• PRESSMAN, Jeffrey; WILDAVSKY, Aaron. 1973. Implementation. Berkeley: University of California Press.
• RICO, Elizabeth et al. 2001. Avaliação de políticas sociais: uma questão em debate. 3a ed. São Paulo: Cortez/Instituto de Estudos Especiais.
• SILVA, Pedro Luiz B.; COSTA, Nílson do Rosário. 2002. A avaliação de programas públicos: reflexões sobre a experiência brasileira. Relatório Técnico/Cooperação técnica BID-Ipea. Brasília: Ipea/ BID.
• TOLEDO, Ricardo. 2002. Eficiência e eficácia da ação governamental: uma análise comparativa de sistemas de avaliação. Relatório Técnico. Brasília: Ipea.
• VIANA, Ana Luiza. 1995. Abordagens metodológicas em políticas públicas. Revista de Administração Pública, 30(2):5-43.
• YOUNG, Iris M. 1990. Polity and group difference: a critique of the ideal of universal citizenship. Ethics, 99:250-274.

²

Como se sabe, as reformas na gestão pública são apenas um dos componentes das chamadas reformas de Estado. Como o tema já foi exaustivamente explorado pela literatura, não cabe e nem é interesse aqui explorá-lo. Vale apenas lembrar que a expansão da avaliação faz parte desse processo, como estratégia recomendada pelas agências internacionais para favorecer a eficiência macro e microeconômica dos Estados nacionais.

Datas de Publicação

• Publicação nesta coleção
  05 Nov 2012
• Data do Fascículo
  Mar 2004