A política da avaliação de políticas públicas

Public policy evaluation politics

La politique d’évaluation des politiques publiques

A política da avaliação de políticas públicas^*

Public policy evaluation politics

La politique d’évaluation des politiques publiques

Carlos Aurélio Pimenta de Faria

RESUMO

Nos últimos anos, tem prevalecido nos estudos e nos debates acerca da avaliação de políticas públicas um viés francamente normativo e/ou uma priorização dos aspectos mais técnicos da pesquisa avaliativa, bem como uma ênfase em seu papel de instrumento gerencial. Reconhecendo o caráter incipiente da pesquisa e da prática da avaliação no Brasil, o presente trabalho pretende: (1) analisar os fatores que têm justificado e condicionado a implantação generalizada de sistemas de avaliação, sobretudo nos países da América Latina; (2) averiguar as razões da prevalência, no âmbito estatal e também no plano analítico, de uma concepção "tecnicista" da avaliação, vista hoje quase exclusivamente como instrumento da gestão governamental; e, finalmente, (3) enfatizar o caráter eminentemente político da avaliação de políticas públicas, elencando e categorizando suas distintas formas de utilização. Será ressaltada, assim, a virtual subordinação do uso gerencial da avaliação e de sua suposta capacidade de encerrar, reiniciar ou revitalizar o ciclo das políticas às injunções políticas mais abrangentes, às estratégias e aos interesses dos tomadores de decisões e demais envolvidos.

Palavras-chave: Avaliação de políticas públicas; Reforma do Estado; Novo gerencialismo público.

ABSTRACT

In the last years, both research and debates concerning public policy evaluation have clearly been marked by a specific normative bias and by an emphasis upon the technical aspects of evaluation, as well as by the valorization of its role as a management tool. Recognizing the incipient character of both the research and the practice of public policy evaluation in Brazil, this paper has the following objectives: (1) to analyze the aspects that have justified and conditioned the generalized implementation of public policy evaluation systems, particularly in Latin America; (2) to discuss the reasons behind the prevalence, both in the state and in the analytical level, of a "technicist" conception of evaluation, which is regarded today almost exclusively as an instrument to be used by the public managers; and (3) to emphasize the essentially political character of public policy evaluation, listing and categorizing the distinct forms of its utilization. The virtual subordination of the management use of evaluation to broader political projects and to specific strategies and interests of decision makers and other stakeholders will be stressed.

Keywords: Public policy evaluation; Reform of the State; New public management.

RÉSUMÉ

Au cours de ces dernières années, nous avons assisté, dans le cadre des études et des débats sur l’évaluation des politiques publiques, à une prédominance du biais normatif et/ou une primauté des aspects plus techniques de la recherche évaluative, ainsi qu’à une mise en avant de leur rôle d’instrument de gestion. Tout en reconnaissant le caractère initial de la recherche et de la pratique de son évaluation au Brésil, ce travail propose: (1) d’analyser les facteurs qui, jusqu’à présent, ont justifié et conditionné la mise en place généralisée de systèmes d’évaluation, surtout dans les pays d’Amérique latine ; (2) de rechercher les raisons de l'importance, dans le cadre de l’État et aussi sur le plan analytique, d’une conception "technisciste" d’évaluation, comprise aujourd’hui presque exclusivement comme un instrument de gestion gouvernementale; et, finalement, (3) de mettre l’accent sur le caractère éminemment politique de l’évaluation des politiques publiques, en citant et en rangeant leurs différentes formes d’utilisation. Nous prétendons, de cette façon, mettre en avant la subordination virtuelle de l’emploi de l’évaluation comme instrument de gestion et de son éventuelle capacité de mettre une fin, de recommencer ou de revitaliser le cycle des politiques aux injonctions politiques les plus englobantes, aux stratégies et aux intérêts des preneurs de décision et des autres acteurs impliqués.

Mots-clés: Évaluation des politiques publiques; Réforme de l’État; Nouvelle gestion publique.

Em um plano normativo, a década de 1990 testemunhou, nas democracias ocidentais de uma maneira geral, e na América Latina particularmente, a busca de fortalecimento da "função avaliação" na gestão governamental. Com efeito, foram implementados, em diversos países da América Latina, sistemas de avaliação das políticas públicas de escopo variável. Tal processo tem sido justificado pela necessidade de "modernização" da gestão pública, em um contexto de busca de dinamização e legitimação da reforma do Estado.

Os argumentos que justificam a necessidade de institucionalização da avaliação da atividade governamental na América Latina também fazem eco à visão mais canônica do processo de avaliação de políticas públicas, aquela muitas vezes adotada em manuais e apreciações mais introdutórias, os quais apresentam a avaliação como "última etapa" do chamado "ciclo das políticas", definindo-a como: (a) atividade destinada a aquilatar os resultados de um curso de ação cujo ciclo de vida se encerra; (b) a fornecer elementos para o desenho de novas intervenções ou para o aprimoramento de políticas e programas em curso; e (c) como parte da prestação de contas e da responsabilização dos agentes estatais, ou seja, como elemento central da accountability. Mesmo que essa concepção reconheça, ainda que implicitamente, o caráter inextricavelmente político da avaliação, podemos observar nos debates e nos estudos correlatos mais recentes a prevalência de um viés francamente normativo e/ou uma priorização dos aspectos mais técnicos da avaliação das políticas públicas, bem como uma ênfase em seu papel de instrumento gerencial.

Reconhecendo o caráter incipiente da pesquisa e da prática da avaliação no Brasil, o presente trabalho tem como objetivos: (1) analisar os fatores que têm justificado e condicionado a implantação dos sistemas de avaliação, sobretudo nos países da América Latina; (2) averiguar as razões da prevalência, no âmbito estatal e também no plano analítico, de uma concepção "tecnicista" da avaliação, vista hoje quase exclusivamente como instrumento da gestão governamental; e, finalmente, (3) enfatizar o caráter eminentemente político da avaliação de políticas públicas, elencando e categorizando as suas distintas formas de utilização. Será ressaltada, assim, a virtual subordinação do uso gerencial da avaliação e de sua suposta capacidade de encerrar, reiniciar ou revitalizar o ciclo das políticas às injunções políticas mais abrangentes e às estratégias e interesses dos tomadores de decisão e dos demais envolvidos (aqueles que a literatura especializada denomina, desvelando suas matrizes intelectuais, stakeholders).

A institucionalização da "função avaliação" na América Latina: premissas, expectativas e motivações

Diga-se, logo de início, o essencial: nas décadas de 1980 e 1990 a avaliação de políticas públicas foi posta a serviço da reforma do Estado.¹ Se parece haver consenso quanto a essa questão, há, contudo, uma diversidade de maneiras de se pensar a evolução do papel atribuído à pesquisa avaliativa desde o início do boom da avaliação de políticas e programas públicos, ocorrido nos Estados Unidos na década de 1960. Guba e Lincoln (1989), por exemplo, tendo como foco os Estados Unidos e fazendo uma caracterização desde os anos de 1930, detectaram a emergência de quatro sucessivas "gerações" de pesquisas avaliativas, quais sejam: (1) um início com um viés mais técnico, no período do New Deal; (2) uma "geração" mais "descritiva", predominante desde a Segunda Guerra Mundial até meados da década de 1960; (3) uma que enfatizava a oferta de "julgamentos" abalizados, prevalecente entre meados dos anos de 1960 e meados da década seguinte, ou seja, quando da avaliação dos polêmicos programas da "Guerra à Pobreza" (War on Poverty) e da "Grande Sociedade" (Great Society); e, finalmente, (4) uma "geração" "reativa", característica dos anos Reagan.

Albaek (1998), por seu turno, afirma que, quando do início da massificação da avaliação nos Estados Unidos, na década de 1960, a pesquisa avaliativa era encarada predominantemente como ferramenta de planejamento destinada aos formuladores de políticas e aos gerentes de mais alto escalão. Em um contexto de expansão sem precedentes do gasto público no país, de escasso conhecimento acerca do impacto da ação governamental e da busca de um maior controle sobre os burocratas/implementadores, a avaliação é institucionalizada, tendo como característica predominante o seu desenho top-down. A expectativa era, ainda, a de que a avaliação, ao superar o problema de déficit de compreensão acerca desses processos e de seu impacto, pudesse garantir a racionalidade dos processos decisórios e a legitimação das políticas e dos programas. Essa "era de ouro" da avaliação, assim denominada por Rossi e Wright (1984), que, de acordo com Oakley (1998), teria durado até o final da década de 1980, foi dominada por um paradigma metodológico experimental – "randomizado" e controlado ("randomised, controlled experimental paradigm", Oakley, 1998, p. 95) – tendo sido dinamizada por uma Ordem Executiva do presidente norte-americano, que determinava que os programas sociais fossem avaliados.

Segundo Albaek (1998), na década de 1970 avolumaram-se as evidências acerca do excesso de otimismo no que dizia respeito à plena utilização e incorporação, de forma racional/instrumental, dos resultados das avaliações. O paradigma top-down foi assim progressivamente revertido, abrindo espaço para o desenvolvimento de abordagens e metodologias bottom-up. Nas décadas de 1980 e 1990, como se verá em detalhe adiante, a avaliação das políticas públicas foi posta a serviço da reforma do setor público.

Uma terceira forma de se pensar a maneira como têm variado as motivações do Estado para a valorização da avaliação de políticas é sugerida por Derlien (2001), em artigo particularmente interessante e provocativo. Partindo da distinção das três funções básicas atribuídas à avaliação – informação, realocação e legitimação –, o autor defende a tese de que, dos anos de 1960 aos anos de 1990, os objetivos buscados com a avaliação teriam passado da função de informação para a de realocação. Tal deslocamento teria sido acarretado por fatores políticos e econômicos específicos, tendo havido também uma mudança nos atores políticos dominantes. Segundo Derlien, na década de 1990 passou a predominar em muitos países a função de realocação, associada ao movimento do New Public Management, tendo os avaliadores se convertido em auditores que privilegiavam a medição dos resultados. Vale a pena reproduzirmos aqui, em uma longa citação, a apresentação que o autor faz da função de (re)alocação, a qual, segundo sua tese, passa a pautar a ênfase na avaliação durante as duas últimas décadas:

A função predominante da avaliação nos anos de 1980, durante a segunda etapa de institucionalizações, estava claramente destinada a apoiar uma alocação racional dos recursos. Nesse momento os atores principais já não são mais os administradores dos programas (como quando prevalecia a função de informação), mas os escritórios de auditoria, os ministérios da Fazenda e as unidades centrais, a quem compete a elaboração global do orçamento e sua estrutura interna. As questões básicas que passaram a ser enfatizadas são:

– Quais programas podem ser suprimidos ou reduzidos a partir dos resultados negativos da avaliação?

– Quais são as conseqüências do retrocesso das fronteiras do Estado, ou seja, da privatização de determinadas atividades públicas?

– Como se pode obter ‘mais rendimento pelo dinheiro’ a partir da reorganização dos programas individuais e das atividades públicas em seu conjunto?

As questões induzidas dos motivos da alocação tendem a dar mais ênfase na quantidade do que na qualidade (Derlien, 2001, p.106).

É precisamente essa associação da "função avaliação" à reforma gerencialista do Estado, com ênfase nos resultados e na desresponsabilização/devolução/privatização da provisão de bens e serviços sociais, que torna compreensíveis manifestações como estas de Vieira (1997):

[...] [no] Brasil, desde o tempo da elaboração da Constituição de 1988, a febre avaliatória ganha dimensão de epidemia e os avaliadores metamorfoseiam-se em festejados demiurgos [...]" (p.70).

Esta nova fase de acumulação capitalista não se importa com direitos. Seus filhos mais queridos, os recentes avaliadores, nutrem-se do relativismo tão a gosto da meritocracia (p.71).

Diga-se, de passagem, que reações como essa, que beiram a fobia, obscurecem a necessária percepção de que a avaliação "não é, por natureza, característica de um tipo específico de Estado ou cultura administrativa" (Thoenig, 2000, p. 57).

A seguir apresentaremos, de maneira sucinta, as premissas, as expectativas e as motivações para a institucionalização da "função avaliação" na América Latina. Tal processo ocorreu tardiamente, apenas na década de 1990, tendo prevalecido a perspectiva de instrumentalização da pesquisa avaliativa para o sucesso da reforma do Estado. Tal discussão pavimentará o nosso caminho para que possamos, na seção subseqüente, analisar a postura da academia brasileira diante da hegemonia da perspectiva "gerencialista" sobre o papel da avaliação de políticas públicas.²

Como destacado por diversos autores, a medição e a avaliação do desempenho governamental e das políticas públicas tornaram-se parte integral da agenda de reformas dos anos de 1980 e 1990, as quais, como se sabe, estiveram longe de se circunscrever aos países latino-americanos. Tanto por razões pragmáticas como ideológicas – e não nos parece pertinente arrolarmos aqui os fatores de ordem econômica, política e ideológica que têm dado sustentação aos processos de reforma do Estado em grande parte das democracias ocidentais –, o desenho dessas reformas privilegiou dois propósitos básicos. Em primeiro lugar, a adoção de uma perspectiva de contenção dos gastos públicos, de busca de melhoria da eficiência e da produtividade, de ampliação da flexibilidade gerencial e da capacidade de resposta dos governos, bem como de maximização da transparência da gestão pública e de responsabilização dos gestores, em um processo no qual o "consumidor" dos bens e serviços públicos estaria, supostamente, em primeiro plano. O segundo propósito ou expectativa é de que tais reformas pudessem contribuir para uma reavaliação da pertinência das organizações governamentais preservarem todo o seu leque tradicional de atribuições, prevalecendo um contexto de valorização da provisão privada de bens e serviços (Caiden e Caiden, 2001, p. 79).

Como corretamente assinalado por Caiden e Caiden, "a medição de desempenho, o monitoramento e a avaliação não foram apenas ornamentais nem tiveram uma significação incidental nas reformas. Foram (ou deveriam ter sido) as alavancas essenciais da mudança" (Idem, p. 80). Vale lembrar que Wiesner Duran chama a avaliação de "proxy do mercado na administração pública" (apud Mokate, 2002, p. 90). A centralidade da avaliação justifica-se, assim, porque se esperava que essas "funções" garantissem a credibilidade do processo de reforma e a sustentabilidade política das diretrizes de desregulamentação e de redução do tamanho do governo, quer pela via da chamada "devolução", ou seja, do deslocamento das funções e dos serviços para as instâncias subnacionais, quer pela via da privatização. Esperava-se, também, que pudessem ser fomentadas a transparência na gestão pública e a satisfação dos usuários/clientes.

Parece por demais óbvio, pois, o caráter eminentemente político do projeto de "modernização" do Estado vinculado à "revolução" gerencialista que se deseja implantar, no qual o monitoramento e a avaliação de políticas ocupam lugar de destaque. Contudo, como se discutirá adiante, a política da avaliação das políticas públicas está longe de se restringir a questões e disputas relativas à definição dos interesses prioritários e do escopo do Estado, posto que a avaliação pode também, por exemplo, ser elemento central na disputa eleitoral, no controle das interações intergovernamentais e na busca de acomodação de forças e de interesses no âmbito intraburocrático.

A hegemonia inconteste da perspectiva "gerencialista": uma discussão exploratória acerca do papel da academia brasileira

Pode parecer contraditório o fato de a nova ênfase dada à avaliação de políticas no Brasil aparentemente não ter despertado um interesse equivalente por parte da comunidade acadêmica dos analistas de políticas públicas, notadamente nas áreas da ciência política e da sociologia, no sentido de se abrir novas frentes de investigação. O mesmo parece não se dar, contudo, na seara da administração pública, como demonstrado, por exemplo, pela freqüência com que periódicos nacionais, como a Revista do Serviço Público e a Revista de Administração Pública, têm encampado a temática.³ Note-se, ainda, que a questão tem ganhado destaque também em publicações do Ipea,⁴ da Fundação Seade (Carvalho, 2003) e da Fundação Carlos Chagas, como os Cadernos de Pesquisa e os Estudos em Avaliação Educacional. É importante destacarmos aqui o viés acentuadamente normativo da maior parte destes trabalhos, bem como o fato de a Revista do Serviço Público republicar trabalhos de consultores internacionais muitas vezes produzidos a partir de demandas dos organismos multilaterais, o que evidencia o forte caráter de indução externa a vincar o processo de institucionalização dos sistemas de avaliação na América Latina.

Se for possível justificar esse panorama a partir do fato de a avaliação de políticas públicas ser tarefa eminentemente multidisciplinar, como é amplamente reconhecido, resta-nos buscar compreender o que pode ser denominado como a omissão da ciência política brasileira.⁵ Um primeiro elemento para se pensar tal omissão é a postura assumida por Michael Scriven, um dos primeiros e principais teóricos da avaliação, para quem a "investigação avaliativa deve produzir como conclusão exatamente o tipo de afirmação que os cientistas sociais dizem ser ilegítima: um juízo de valor ou mérito" (Scriven, 1974, apud Ballart, 1996, p. 325). Esse viés normativo talvez possa nos ajudar na compreensão do seguinte paradoxo: se as investigações conduzidas na subárea da análise de políticas públicas são fortemente condicionadas pela conjuntura, como apontado por Melo (1999), tal condicionamento parece não ter sido suficiente para que a questão da avaliação ganhasse lugar de destaque na agenda de pesquisa dos profissionais da área, aqui entendida como subárea da ciência política.

Cabe recordarmos, ainda, que apesar do boom das duas últimas décadas, a estruturação do campo da análise de políticas públicas ainda é bastante incipiente no Brasil, o qual padece, como também mostrado por Melo (1999), de grande fragmentação organizacional e temática, tendo uma institucionalização ainda precária. Porém, se essas características podem tornar compreensíveis determinadas lacunas, a notória ausência de investimentos mais sistemáticos no estudo dos processos de implementação e avaliação parece evidenciar também o status privilegiado de que desfrutam os processos decisórios na ciência política do país. No entanto,

[...] a escassez dos estudos "pós-decisão" no país parece explicada não apenas pela frágil institucionalização da área no Brasil, que faz com que a análise de políticas públicas continue gravitando na órbita das questões analíticas mais tradicionalmente valorizadas pela Ciência Política, mas também pela debilidade no país do campo de estudos da Administração Pública (Faria, 2003, p. 22).

Se a administração pública, como área de trabalho acadêmico, é extremamente débil no país, tendo, porém, ganhado certo vigor na década passada com a abertura de Escolas de Governo em diversos estados da Federação, sua interação com a ciência política e com a sociologia talvez ainda seja por demais frágil.

Retratado e explicado, assim, este panorama de omissão, cabe recordarmos, como discutido na seção anterior, que a atual "gerencialização" da avaliação de políticas públicas é, antes de tudo, derivada de sua instrumentalização no processo/projeto de reforma do Estado. Contudo, a concepção hoje prevalecente da avaliação como instrumento administrativo e, portanto, como função supostamente alheia às disputas propriamente políticas talvez fique ainda mais evidenciada em função da postura da ciência política brasileira, que acaba, assim, por endossar esse viés distorcido do princípio republicano da desvinculação entre política e administração pública.

Reconhecida, portanto, a hegemonia quase inconteste da perspectiva gerencialista – e recorde-se que essa é a tônica dada à implantação dos sistemas de avaliação pelos organismos multilaterais, que têm investido sistematicamente nesse processo ao disponibilizar assistência técnica e financiamento, ao articular redes de profissionais, ao sensibilizar lideranças políticas e acadêmicas e ao atrelar o financiamento de projetos à exigência de avaliação –, parece-nos oportuno inventariarmos as distintas formas de uso esperado e potencial da avaliação de políticas públicas, para que possamos ampliar a nossa percepção do viés político da pesquisa avaliativa. Antes, contudo, cabe alertarmos para o fato de que, evidentemente, não se espera aqui que a ciência política seja capaz, por si só, de "(re)politizar" a avaliação de políticas públicas. Cabe a ela, isto sim, a análise do impacto e das implicações de tal hegemonia.

Os usos e a política da avaliação de políticas públicas

Parte significativa dos estudos sobre os processos de avaliação de políticas públicas realizados desde a década de 1960, os quais, via de regra, tiveram (e ainda têm) o seu epicentro na academia norte-americana, refere-se às questões de ordem metodológica e/ou às distintas maneiras de se classificar a avaliação. A avaliação tem sido, usualmente, classificada em função do seu timing "(antes, durante ou depois da implementação da política ou programa), da posição do avaliador em relação ao objeto avaliado (interna, externa ou semi-independente) e da natureza do objeto avaliado (contexto, insumos, processos e resultados)" (Cotta, 2001, p. 91). Como discutido na primeira seção deste ensaio, os estudos avaliativos tinham originalmente um acentuado viés top-down, sendo via de regra encarados como ferramenta de planejamento destinada aos formuladores de políticas e aos gerentes de mais alto escalão. Nesses primórdios, partia-se da premissa que os resultados da avaliação seriam automática e necessariamente encampados pelos tomadores de decisões para a melhoria da política ou do programa em questão. A discussão acerca do uso da avaliação restringia-se, assim, ao que hoje se denomina uso "instrumental".

Logo se percebeu, uma vez que se avolumavam as evidências de que o esperado efeito de feedback da avaliação era freqüentemente obstruído, a flagrante ingenuidade das expectativas de se produzir "melhores e mais sábias decisões" com base apenas na realização da avaliação. É a partir desse momento que se passa a investigar os determinantes do uso da avaliação, sendo constituída, assim, uma nova e vicejante seara de pesquisa.⁶

A ênfase nos fatores que condicionam a utilização da avaliação e a mitigação do "furor positivista" da época do primeiro boom dos estudos avaliativos (já que se pode dizer que vivemos hoje o seu segundo boom) abriu espaço para um maior questionamento, ainda hoje incipiente, diga-se, acerca do que chamo "política da avaliação de políticas públicas".

Vale lembrar que tal denominação é pensada neste ensaio como abarcando as questões e as disputas relativas à definição dos interesses prioritários e do escopo do Estado, à competição eleitoral, ao controle das interações intergovernamentais e à busca de acomodação de forças e de interesses no âmbito intraburocrático, entre muitas outras questões relacionadas às disputas de poder entre agentes e principais os mais diversos. Essa concepção mais abrangente engloba, assim, as três dimensões do uso da avaliação normalmente evocadas: instrumental (relativa ao apoio às decisões e à busca de resolução de problemas); conceitual (ou função "educativa"); e simbólica (uso "político") (Shulha e Cousins, 1997).

A percepção da vasta diversidade e da intensidade dos fatores que obstaculizam uma plena ou mesmo freqüente utilização da avaliação para o seu propósito "original" (melhorar a qualidade das decisões e garantir a maximização da consecução dos objetivos definidos pelas políticas e programas) produziu reações muito diferenciadas. Aaron Wildawsky, por exemplo, desalentado diante de tantos obstáculos, questiona, em um quase desabafo, o valor de toda a empreitada: "eu comecei pensando que era ruim não avaliar as organizações e terminei me perguntando por que elas têm que fazê-lo" (apud Caiden e Caiden, 2001, p. 94). Thoenig, por seu turno, parece propor, em algumas circunstâncias, o uso de "avaliações informais", as quais poderiam tornar possível a introdução de "ajustes e mudanças sem atrair a atenção de grupos interessados internos ou externos, que podem ser tentados a usar uma avaliação formal como uma oportunidade para resistir à reforma" (2000, p. 66). Muitas das análises mais recentes, contudo, ao reconhecer que as condições para o aproveitamento das informações disponibilizadas pela avaliação quase nunca estão dadas a priori, sugerem, a exemplo de Cotta, que a avaliação "é uma atividade que, por suas próprias características, exige que estas condições sejam intencional e meticulosamente criadas, sob pena de se comprometer todo o esforço despendido" (2001, p. 94).⁷

Mas quais seriam, mais especificamente, os fatores que podem interferir na utilização dos resultados da avaliação? Entre tantos outros possíveis, podem ser destacados os seguintes: existência de crenças e interesses conflitantes na organização que gerencia o programa; ocorrência de conflitos de interesses entre as distintas unidades do programa; mudanças no pessoal encarregado, quando, por exemplo, os novatos têm prioridades diferentes daquelas vigentes na época do início da avaliação; eventual inflexibilidade das regras e dos padrões operacionais da organização encarregada, que pode impedir a adoção das recomendações feitas quando da avaliação; e mudanças nas condições externas, tais como cortes orçamentários e alterações no ambiente político, que podem tornar impossível para a organização responder à necessidade de mudança revelada pelos avaliadores (Weiss, 1998, p. 22).

Como o objetivo deste ensaio, mais do que a análise de qualquer caso específico, é ressaltar a estreiteza da concepção gerencialista da avaliação e expandir a nossa percepção das múltiplas implicações políticas da pesquisa avaliativa, buscaremos a seguir elencar e categorizar as distintas formas de sua utilização. Seguindo de perto a proposta de Carol Weiss (1998), serão discutidas não apenas as formas de uso, mas também os elementos da avaliação que podem ser utilizados e, por fim, o papel e os interesses dos vários usuários potenciais da avaliação.⁸

É possível distinguir pelo menos quatro tipos de uso da avaliação, quais sejam: (a) instrumental; (b) conceitual; (c) como instrumento de persuasão; e (d) para o "esclarecimento". O uso instrumental para a tomada de decisão depende não apenas da qualidade da avaliação, mas também da adequada divulgação de seus resultados, de sua inteligibilidade e da factibilidade das recomendações eventualmente propostas. Segundo Weiss (1998), o uso instrumental seria comum em pelo menos quatro situações: (1) quando as implicações das descobertas da avaliação não são muito controvertidas; (2) quando as mudanças derivadas ou sugeridas não são de grande monta e/ou fazem parte do repertório do programa em questão ou de sua organização implementadora; (3) quando o ambiente do programa é relativamente estável no que diz respeito a suas lideranças, orçamento, tipos de beneficiários etc.; e (4) quando o programa está em crise e não se sabe bem o que deve ser feito.

O segundo tipo de uso é o "conceitual", usualmente circunscrito aos técnicos locais do programa, a quem não é com freqüência atribuído um maior poder de decisão. Nesse caso, as descobertas da avaliação (e o seu próprio processo de realização) podem alterar a maneira como esses técnicos compreendem a natureza, o modo de operação e o impacto do programa que implementam. Tal aprendizagem torna-se maximizada quando os técnicos participam mais ativamente do processo de avaliação.⁹ Como notado por Scriven (1996), o uso conceitual das descobertas diferencia-se do uso instrumental porque, no primeiro caso, nenhuma decisão ou ação é esperada (pelo menos não imediatamente).

O uso da avaliação como instrumento de persuasão, por seu turno, dá-se quando ela é utilizada para mobilizar o apoio para a posição que os tomadores de decisão já têm sobre as mudanças necessárias na política ou programa. Busca-se aqui legitimar uma posição e ganhar novos adeptos para as mudanças desejadas. O ponto pode ser ilustrado pela forma como o ditador Augusto Pinochet fez uso do sistema de avaliação educacional implantado por ele no Chile (Simce), em 1988, para dar maior visibilidade e legitimidade ao processo de privatização do ensino no país, posto que os primeiros resultados mostravam com clareza o desempenho superior das instituições privadas (Faria e Filgueiras, 2003).

Por fim, há o uso para o "esclarecimento", que nem sempre é propositado, mas que acarreta, pela via do acúmulo de conhecimento oriundo de diversas avaliações, impacto sobre as redes de profissionais, sobre os formadores de opinião e sobre as advocacy coalitions, bem como alterações nas crenças e na forma de ação das instituições, pautando, assim, a agenda governamental. Esse é um tipo de influência que ultrapassa a esfera mais restrita das políticas e dos programas avaliados.

Ainda que esta distinção das formas de uso da avaliação seja importante e inovadora, é necessário que se faça a seguinte ressalva:

Note-se que tal distinção das formas de uso constitui avanço significativo em relação à célebre contraposição entre avaliação "somativa", que seria judgement-oriented, e avaliação "formativa", que seria improvement-oriented. Contudo, ela parece apenas resgatar, com modificações tópicas, a proposição feita por Floden e Weiner (1978) em um trabalho pioneiro, hoje aparentemente relegado, o qual, destacando também as debilidades e a idealização do "modelo decisionista", chama a atenção para o uso da avaliação nos seguintes sentidos: da "resolução de conflitos"; como mecanismo para a "redução de complacência" (complacency reduction), dado o seu potencial de fazer com que o pessoal encarregado do programa avalie criticamente as suas concepções e comportamentos; e como "ritual", cuja função seria "acalmar as ansiedades do público e perpetuar uma imagem do governo como racional, eficiente e accountable" (Faria e Filgueiras, 2003, p. 8).

No que diz respeito aos elementos da avaliação que podem ser utilizados, cabe destacar que as suas "descobertas" (ou o relatório final da avaliação) inicialmente monopolizaram a atenção daqueles interessados em investigar a questão da utilização da pesquisa avaliativa. Contudo, essas "descobertas" constituem apenas um dos elementos que podem ser utilizados. Como se sabe, elas usualmente se concentram nos processos, nos resultados e no impacto das políticas e dos programas.

Vale ressaltarmos, ainda que de maneira breve, que são exatamente as descobertas e/ou o relatório final da avaliação as informações mais amplamente divulgadas. A questão da abrangência e da forma de divulgação, que não é objeto de maiores considerações neste trabalho, é, contudo, absolutamente central para que se possa melhor aquilatar o uso dos estudos de avaliação. Discorrendo sobre a experiência de avaliação de políticas na França, Meldolesi afirma que, naquele país,

[...] o problema não é a divulgação [dos relatórios], que é assegurada pela Documentation française, mas a pouca divulgação que eles têm nos jornais e, por conseqüência, na opinião pública: nada comparável ao canal de televisão especializado, que existe nos Estados Unidos, e à influência da avaliação do GAO (General Accounting Office) sobre o debate público naquele país" (1996, p.104).

Retornando à necessidade de se distinguir os elementos da avaliação que podem ser utilizados, reportamo-nos uma vez mais a Weiss (1998), que distingue a possibilidade de uso de outros quatro elementos: (a) idéias e generalizações derivadas da avaliação; (b) o próprio fato de a avaliação ter sido ou estar sendo feita; (c) o foco do estudo, especialmente as medidas adotadas; e, finalmente, (d) o desenho do estudo. A seguir discorreremos brevemente sobre cada um desses elementos.

(a) Uso das idéias e generalizações derivadas da avaliação

Ainda que descobertas específicas da avaliação não sejam usadas, os formuladores e o pessoal técnico do programa podem aplicar idéias e generalizações dela derivadas. É o seguinte o exemplo dado por Weiss (1998): a generalização da descoberta de que agências locais não promovem mudanças no seu padrão de provisão de serviços quando elas são as únicas a fazer tais mudanças pode levar a que se pense na necessidade de se coordenar a atuação de todas as agências.

(b) Uso possível do próprio fato de a avaliação ter sido ou estar sendo feita

São diversificadas as alternativas aqui. Primeiramente, a realização da avaliação pode ser utilizada como uma desculpa para a inação. Por que se deveria tomar qualquer atitude no sentido de se operar mudanças antes que se tenha o resultado do trabalho de avaliação? O fato de uma avaliação estar sendo ou ter sido feita pode ser utilizado também para demonstrar a racionalidade e a predisposição ao aprimoramento e à responsabilização por parte dos encarregados da política ou do programa. Por outro lado, a própria realização da avaliação pode ser pensada como assegurando uma aura de legitimidade para o programa ou sugerir que algo não vai bem em sua gestão ou que há problemas no seu desenho.

(c) Utilização do foco do estudo

É amplamente reconhecido que o público (interno e o externo) do programa avaliado passará a dar atenção prioritária a todos os focos da avaliação, com destaque para os elementos escolhidos para serem mensurados. Esse fenômeno é conhecido como "ensinar para o teste", dado o efeito quase universal que a avaliação externa tem sobre o comportamento das instituições de ensino. Como se sabe, o risco principal aqui é que sejam negligenciados outros aspectos do programa que não incidem sobre os indicadores de sucesso definidos. Tal efeito, contudo, não é necessária e forçosamente negativo.

(d) Utilização do desenho da pesquisa avaliativa

Destaca-se aqui a possibilidade de que as categorias de análise utilizadas pelos avaliadores, a metodologia de avaliação e a forma de se analisar os dados tenham influência não apenas sobre a gestão da política ou do programa em questão, ao fomentar, por exemplo, disputas entre distintos níveis de implementação, mas também sobre outras áreas e esferas de governo.

Por fim, é necessário inventariarmos também os usuários potenciais da pesquisa avaliativa. Originalmente, a comunidade de avaliadores era quase unânime na percepção de que os usuários da avaliação se restringiam aos financiadores do programa (e da própria avaliação), aos gerentes e encarregados de mais alto escalão e, por vezes, aos técnicos e profissionais que lidavam de maneira mais direta com os beneficiários. Esses são os atores que, inclusive, muitas vezes ajudam a definir o escopo, a abrangência, a metodologia e o âmbito de divulgação dos resultados da avaliação.

A crítica ao desenho hierárquico da avaliação e a percepção das limitações de seu planejamento top-down levaram, primeiramente, a que se prestasse mais atenção nos agentes encarregados da implementação ou na chamada street level bureaucracy, percebidos a partir da década de 1970 como capazes de muito mais autonomia do que aquela concebida pelos modelos tradicionais de planejamento (Pressman e Wildavsky, 1973; Lipsky, 1980).

Posteriormente, com a popularização das metodologias participativas de avaliação e com o crescente reconhecimento (e propaganda) da avaliação como instrumento de "empoderamento" dos beneficiários, a avaliação começou a levar em consideração, de maneira mais sistemática, as necessidades e as expectativas dos beneficiários dos programas. A reforma gerencialista do Estado, com sua ênfase nos resultados, em detrimento dos processos, e na satisfação daqueles que passaram a ser denominados "clientes", viria a sacramentar a ênfase nos beneficiários. Observada a questão de um ponto de vista mais abrangente, contudo, não deixam de parecer ingênuos comentários como:

Os avaliadores freqüentemente optavam por levar em consideração os valores e os interesses dos clientes [sic], valorizando as suas preocupações. Mais do que reforçar o status quo, esses avaliadores esperavam produzir mudanças no sentido de tornar os programas mais "responsivos" às necessidades dos participantes. Eles queriam [...] "desafiar o discurso privilegiado dos poderosos". A sua postura significava um esforço em transformar a avaliação, de um mecanismo capaz de sustentar e reforçar as práticas correntes por meio de ajustes tópicos, em um meio de se remediar as desigualdades e de se redistribuir o poder (Weiss, 1998, p.27).

É certo que diversos outros usuários, para além daqueles envolvidos diretamente nos programas em questão, podem se valer das descobertas ou de outros elementos da avaliação. Dentre tantos, destacam-se: gerentes de programas similares e/ou de diferentes níveis governamentais; agentes do governo central e representantes de fundações, interessados em conhecer projetos exitosos que mereçam financiamento ou preocupados em melhorar os programas dos quais são responsáveis; membros do legislativo interessados na melhoria de programas existentes ou na elaboração de novas propostas; cientistas sociais e outros avaliadores que buscam aprender com as descobertas e com as metodologias empregadas. É ainda Weiss (1998) que sugere a existência de dois outros usuários potenciais: (a) as próprias organizações que administram o programa avaliado ou similares (e aqui deve ser feito não só o contraponto à tradicional ênfase no indivíduo como usuário, mas também deve ser mencionada a importância que tem sido dada atualmente à questão da learning organization – "organização que aprende" – e aos limites, tradições e procedimentos cristalizados e/ou impostos pelas organizações); e (b) o público em geral ou a sociedade civil.

A revisão crítica da literatura sobre a utilização da avaliação feita por Shulha e Cousins (1997) aponta as principais preocupações e questões que têm sido enfatizadas mais recentemente pelos estudiosos da área, quais sejam: a centralidade do contexto para a compreensão e a explicação do uso; a necessidade de se expandir a idéia de uso da esfera individual para a organizacional; a diversificação do papel do avaliador, que muitas vezes incorpora funções como a de facilitador, planejador e educador; e os impactos e condicionantes da não utilização ou da sub-utilização. Também passou a ser mais amplamente reconhecido o fato de que, para serem efetivamente utilizadas, as descobertas da avaliação devem competir com outras propostas e outras fontes de informação pela atenção dos tomadores de decisão e demais envolvidos, tudo isso se dando em contextos e instâncias decisórias que talvez possam ser mais bem caracterizados como pluralistas e frequentemente não racionais. Ademais, não deixa de ser importante recordarmos que o legado de Herbert Simon continua a ser evocado no que diz respeito, por exemplo, ao reconhecimento dos incentivos para que o sistema governamental adote um comportamento "satisfazedor", em detrimento de uma postura estritamente racional, no sentido da maximização do impacto de sua atuação.

Breves considerações finais

Várias questões importantes podem ser inferidas a partir deste breve mapeamento das distintas formas de uso da avaliação, dos seus vários elementos que podem ser utilizados e dos usuários potenciais dos estudos de avaliação das políticas públicas. A primeira delas é que a literatura específica parece ainda essencialmente circunscrita às expectativas acerca do papel da avaliação elencadas pelo "modelo decisionista". Isso porque, mesmo tendo sido questionado o tradicional modelo hierárquico e top-down de planejamento e de desenho da avaliação, esta maior preocupação com a questão do uso da pesquisa avaliativa parece ainda fortemente restrita à utilização gerencial da avaliação e à necessidade de se gerar feedbacks que justifiquem a relevância da própria realização de tais estudos. Dito de outra forma, o que se pode verificar na literatura é uma ênfase quase exclusiva na utilização instrumental, intraburocrática, da avaliação das políticas públicas ou, quando muito, nas interações entre decisores, gestores e população beneficiária.

Ficam negligenciadas, assim, questões como: o papel da avaliação das políticas no jogo eleitoral; a reação do legislativo e do judiciário à concentração do poder de avaliação no executivo (Henry, 2001; Derlien, 2001); a eventual diferença na institucionalização da avaliação entre países parlamentaristas e presidencialistas e entre Estados federais e unitários (Derlien, 2001); o significado da distinta localização institucional dos sistemas de avaliação e o impacto de seu grau de vinculação às autoridades financeiras etc.

Dessa forma, não deixa de ser irônico, mas de maneira alguma contraditório, o fato de ser justamente a literatura que adota o enfoque gerencialista de valorização da avaliação como instrumento da reforma do Estado aquela que está aparentemente mais disposta a acentuar questões políticas mais abrangentes, como, por exemplo, o papel da avaliação na geração de accountability por parte dos agentes estatais, seu potencial de "empoderamento" das comunidades menos privilegiadas e seu impacto sobre a questão do controle social sobre o Estado. O fato não é contraditório porque, como visto, essa literatura advoga um ideal regulativo que prescreve ao Estado um papel subsidiário, sendo determinantes os estímulos, os incentivos e os constrangimentos oriundos ou espelhados no mercado.

Uma postura de omissão no tratamento analítico das questões associadas ao processo de avaliação das políticas públicas e de seu uso, como aquela detectada no caso da ciência política brasileira (a qual, diga-se de passagem, parece não se singularizar neste aspecto), significa o esvaziamento da possibilidade de se analisar de forma cabal a política da avaliação de políticas, a qual acaba, assim, negligenciada em muitos de seus aspectos e implicações.

Se há resistências, por parte da ciência política brasileira, aí incluídos os analistas de políticas públicas, em encampar uma agenda de pesquisa que contemple os processos pós-decisão, como sugerimos, não seria possível e pertinente pensarmos a questão do uso e da política da avaliação como claramente vinculada aos processos decisórios? Caso seja necessária uma nota de cautela, lembramos que estudar o uso e a política da avaliação não implica, forçosa e automaticamente, a transposição da temida, e muitas vezes tênue, fronteira entre os papéis do analista e daquele que faz advocacy ou que prescreve cursos de ação.

Contudo, a despeito do ranço positivista que ainda pode ser observado na prática avaliativa e também nas análises sobre esse processo, a avaliação não deixa de envolver também, necessariamente, advocacy, como defende Greene (1997), na contracorrente do pensamento dominante na área.¹⁰ Isso, segundo a autora, se compreendermos por advocacy não um "partidarismo programático ou um viés contaminador", mas sim "uma adesão a valores como um ideal regulatório específico (relativo à racionalidade do processo decisório ou ao ativismo comunitário) (p. 25). Se levarmos também em consideração o fato de que a avaliação e os avaliadores atuam, como quer a vertente construtivista, "interpretando o contexto e construindo esse contexto e [que], portanto, ambos são produtores do espaço público" (Escolar e Domench, 2002, p. 110), torna-se ainda mais lastimável a negligência ou a omissão de nossos analistas de políticas públicas.

Notas

BIBLIOGRAFIA

Artigo recebido em janeiro/2005

Aprovado em julho/2005

Carlos Aurélio Pimenta de Faria, doutor em ciência política pelo Instituto de Pesquisas Universitárias do Rio de Janeiro (Iuperj), é professor e pesquisador do mestrado em Ciências Sociais da Pontifícia Universidade Católica de Minas Gerais (PUC-Minas). Suas linhas de pesquisa abrangem: Estado e políticas públicas e política externa brasileira. E-mail: [e-mail]

• ALA-HARJA, M. & HELGASON, S. (2000), "Em direção às melhores práticas de avaliação". Revista do Serviço Público, 51 (4): 5-60.
• ALBAEK, Erik. (1998), "Knowledge, interests and the many meanings of evaluation: a developmental perspective". Scandinavian Journal of Social Welfare, 7: 94-98.
• BALLART, Xavier. (1996), "Modelos teóricos para la práctica de la evaluación de programas", in Quim Brugué e J. Subirats (orgs.), Lecturas de gestión pública Madrid, Instituto Nacional de Administración Pública, pp.321-351.
• BOZZI, S. O. (2001), "Evaluación de la gestión pública: conceptos y aplicaciones em el caso latinoamericano". Revista do Serviço Público, 52 (1): 25-55.
• CAIDEN, G. E. & CAIDEN, N. (2001), "Enfoques y lineamiento, la medición y la evaluación del desempeno em programas del sector público". Revista do Serviço Público, 52 (1): 78-103.
• CALMON, Kátya M. N. (1999), "A avaliação de programas e a dinâmica da aprendizagem organizacional". Planejamento e Políticas Públicas, 19: 3-70.
• CARVALHO, Sonia Nahas de. (2003), "Avaliação de programas sociais: balanço das experiências e contribuição para o debate". São Paulo em Perspectiva, 17 (3-4): 185-197.
• COSTA, F. L. & CASTANHAR, J. C. (2003), "Avaliação de programas públicos: desafios conceituais e metodológicos". Revista de Administração Pública, 5.
• COTTA, T. C. (2001). "Avaliação educacional e políticas públicas: a experiência do Sistema Nacional de Avaliação da Educação Básica (SAEB)". Revista do Serviço Público, 52 (4): 89-111.
• DERLIEN, H-U. (2001), "Una comparación internacional en la evaluación de las políticas públicas". Revista do Serviço Público, 52 (1): 105-123.
• ESCOLAR, Cora & DOMENCH, Patrícia. (2002), "Los proyectos y programas sociales y la evaluación: reflexiones en torno a una experiencia". Políticas Sociais: acompanhamento e análise, 5: 106-110, Brasilia, Ipea.
• FARIA, Carlos Aurélio Pimenta de. (2003), "Idéias, conhecimento e políticas públicas: um inventário sucinto das principais vertentes analíticas recentes". Revista Brasileira de Ciências Sociais, 18 (51): 21-30.
• FARIA, Carlos Aurélio P. & FILGUEIRAS, Cristina de A. C. (2003), "A avaliação de políticas públicas como instrumento de planejamento: os casos do Sistema de Avaliação da Educação Básica (Saeb), do Brasil, e do Sistema de Medición de la Calidad de la Educación (Simce), do Chile". Trabalho apresentado no GT "Políticas Públicas" do XXVII Encontro Anual da Anpocs. Caxambu, MG, 21 a 25 de outubro.
• FLODEN, Robert E. & WEINER, Stephen S. (1978), "Rationality to ritual: the multiple roles of evaluation in governmental processes". Policy Sciences, 9 (1): 9-18.
• GARCIA, Ronaldo Coutinho. (2001), "Subsídios para organizar avaliações da ação governamental". Planejamento e Políticas Públicas, 23.
• GHIRLANDA, Marta Penna M. (2002), "A experiência do governo federal na avaliação do Plano Plurianual 2000-2003". Trabalho apresentado no VII Congreso Internacional del CLAD. Lisboa, Portugal, 8 a 11 de outubro.
• GREENE, Jennifer C. (1997). "Evaluation as advocacy". Evaluation Practice, 18 (1): 25-36.
• GUBA, E. & LINCOLN Y. (1989), Fourth generation evaluations Nova York, Sage Publications.
• HENRY, Gary T. (2001), "How modern democracies are shaping evaluation and the emerging challenges for evaluation". American Journal of Evaluation, 22 (3): 419-429.
• HORN, Robin; WOLF, Laurence & VÉLEZ, Eduardo. (1991), "Establecimiento de sistemas de medición del rendimiento académico en América Latina: un análisis de los problemas y las experiencias más recientes". Washington, Banco Mundial.
• LIPSKY, Michael. (1980), Street-level bureaucracy: dilemmas of the individual in public services. Nova York, Russel Sage Foundation.
• MELDOLESI, Nicoletta S. (1996). "Avaliação de políticas públicas na França". Revista do Serviço Público, ano 47, 120 (1): 83-111.
• MELO, Marcus André. (1999), "Estado, governo e políticas públicas", in S. Miceli (org.), O que ler na ciência social brasileira (1970-1995) [vol. 3: Ciência política], São Paulo/Brasília, Sumaré/Anpocs/Capes, pp. 59-100.
• MOKATE, K. M. (2002), "Convertiendo el monstruo en aliado: la evaluación como herramienta de la gerencia social". Revista do Serviço Público, 53 (1): 89-133.
• OAKLEY, Ann. (1998), "Public policy experimentation: lessons from América". Policy Studies, 19 (2): 93-114.
• PRESSMAN, J. L. & WILDAVSKY, A. (1973), Implementation. Berkeley, University of California Press.
• RAVELA, Pedro (ed.). (2001), "Los próximos pasos: żcómo avanzar en la evaluación de aprendizajes en América Latina?". Textos PREAL/GRADE, 20.
• ROSSI, P. H. & WRIGHT, J. D. (1984), "Evaluation research: an assessment". Annual Review of Sociology, 10: 331-352.
• SCRIVEN, Michael. (1996), "Types of evaluation and types of evaluator". Evaluation Practice, 17 (2): 151-162.
• SHULHA, Lyn M. & COUSINS, J. Bradley. (1997), "Evaluation use: theory, research, and practice since 1986". Evaluation Practice, 18 (3): 195-209.
• SILVA, Ricardo Toledo. (2002), Eficiência e eficácia da ação governamental: uma análise comparativa de sistemas de avaliação Relatório técnico. Brasília, Ipea.
• SILVA, Pedro L. Barros & COSTA, Nilson do Rosário. (2002), A avaliação de programas públicos: reflexões sobre a experiência brasileira. Relatório técnico. Brasília, Ipea.
• THOENIG, J-C. (2000), "A avaliação como conhecimento utilizável para reformas de gestão pública". Revista do Serviço Público, 51 (2): 54-71.
• VIEIRA, Evaldo A. (1997), "As políticas sociais e os direitos sociais no Brasil: avanços e retrocessos". Revista Serviço Social & Sociedade, 18 (53): 67-73.
• WEISS, Carol H. (1998), "Have we learned anything new about the use of evaluation?". American Journal of Evaluation, 19, (1): 21-34.
• WOLFF, Laurence. (1998), Las evaluaciones educacionales en América Latina: avance actual y futuros desafios Santiago do Chile, Preal.

1

Para uma discussão sucinta a esse respeito, ver, por exemplo, Faria e Filgueiras (2003), Caiden e Caiden (2001) e Albaek (1998).

2

Para uma análise mais aprofundada a respeito da institucionalização dos sistemas de avaliação nos países latino-americanos, ver Bozzi (2001), que faz uma apreciação da experiência do Chile e da Colômbia; Silva (2002), que discute os casos de Argentina, Chile, Colômbia e Costa Rica; Silva e Costa (2002), que apresentam, ainda que muito sumariamente, as experiências de Brasil, Argentina e Chile; Ghirlanda (2002), que também trata do caso brasileiro. No que diz respeito à avaliação dos sistemas educacionais dos países latino-americanos, área em que se avançou muito na região, ver, por exemplo, Horn, Wolff e Vélez (1991); Ravela (2001); Wolff (1998) e Faria e Filgueiras (2003).

3

Ver, na

Revista do Serviço Público, Meldolesi (1996); Thoenig (2000); Ala-Harja e Helgason (2000); Caiden e Caiden (2001); Derlien (2001); Bozzi (2001); Cotta (2001); Mokate (2002). Na

Revista de Administração Pública, ver, por exemplo, Costa e Castanhar (2003).

4

Como, por exemplo, Calmon (1999); Garcia (2001); Escolar e Domench (2002); Silva (2002); e Silva e Costa (2002).

5

Comentando o presente ensaio durante os trabalhos do Seminário Temático "Processo decisório e implementação de políticas públicas no Brasil", durante o 28º Encontro Anual da Anpocs, em outubro de 2004, onde uma parte deste trabalho foi apresentada, Marta Arretche sugeriu a possibilidade de se pensar a administração pública como detendo no país a "hegemonia intelectual" na subárea dos estudos avaliativos, ao passo que economistas e econometristas teriam uma "hegemonia operacional". A pesquisadora sugeriu, ainda, que o que explicaria o subdesenvolvimento dos estudos sobre avaliação no Brasil não seria apenas a negligência, por parte da ciência política, dos processos pós-decisão (note-se que talvez esse quadro já tenha começado a ser reparado, como sugere o próprio enfoque do seminário mencionado). O problema não residiria apenas na agenda da ciência política, mas também, ou principalmente, seria decorrente da própria incipiência das avaliações no país, que não geraria polêmicas capazes de pautar a agenda investigativa.

6

Para bons panoramas dessa subárea de pesquisa, ver Shulha e Cousins (1997) e Weiss (1998). No Brasil esse é um campo ainda sobremaneira incipiente. Exceções são Cotta (2001), Faria e Filgueiras (2003) e, tendo como ênfase a questão da aprendizagem organizacional decorrente da utilização da avaliação, Calmon (1999).

7

Para além do desalento ou da simples incorporação de novas prescrições, acreditamos que pode ser dito sobre a pesquisa acerca do uso da avaliação o mesmo que Rivlin disse sobre a análise de políticas: ela pode não ter resolvido problema algum, mas pelo menos nos ajudou a determinar melhor os problemas (

apud Weiss, 1998, p. 23).

8

Antes, porém, pode ser útil reproduzirmos aqui a sintética apresentação, feita por Ala-Harja e Helgason, das várias formas de uso, para que se possa ter uma visão panorâmica da questão e para que alguns termos centrais sejam introduzidos de maneira ainda mais simples: "A definição do uso de uma avaliação deve fazer distinção entre uso pelo programa e uso organizacional. O primeiro se refere a estudos individuais de avaliação, e o segundo tem a ver com o efeito cumulativo (aprendizagem) derivado de uma série de avaliações em uma organização. O uso em programas pode ser posteriormente dividido em uso instrumental, em que a avaliação dá suporte a ação específica (confirmação, modificação ou término), e o uso conceitual, em que não se toma nenhuma ação imediata, mas no qual os resultados são considerados e a informação é acumulada para uso posterior" (2000, p. 25).

9

Aliás, diga-se de passagem, a chamada avaliação "colaborativa", na qual avaliadores e corpo técnico do programa mantêm interação constante e amigável, compartilhando parte das decisões e dos procedimentos necessários, é muitas vezes tratada, na literatura específica, como a melhor maneira de se fomentar uma mais ampla utilização dos resultados da avaliação.

10

Vale a pena citarmos a seguinte passagem do trabalho de Greene: "a própria noção de avaliação como

advocacy provoca tremores de desagrado e horror entre a maior parte da comunidade contemporânea da avaliação, tanto entre teóricos como entre praticantes. Isso porque o objetivo fundamental da avaliação era racionalizar a política social por meio da produção de informação científica desinteressada, relativa às opções de política, o que seria possível apenas por meio de uma adesão à objetividade e à neutralidade de valores.

Advocacy é a antítese da avaliação justa, de acordo com aqueles ideais e visões fundadores. Prescrever [

to advocate] é esposar e promover uma crença ou postura partidária [

partisan], abraçar e fazer avançar uma causa. Avaliar é, de acordo com a tradição, julgar de maneira justa a qualidade, o mérito e o valor de um programa, com base em informação imparcial, coletada de maneira científica" (1997, p.26).

*

O autor agradece à Fundação Vitae, Programa de Cooperação Científico-Acadêmica Argentina, Brasil e Chile, pelo financiamento da pesquisa que deu origem a este trabalho. Partes deste trabalho foram apresentadas no Seminário Temático "Processo decisório e implementação de políticas públicas no Brasil", durante o 28º Encontro Anual da Anpocs, Caxambu, outubro de 2004, e no Seminário Nacional Avaliação de Políticas Públicas em Saúde e Direitos Sexuais e Reprodutivos, São Paulo, Cebrap/Nepo-Unicamp/ISC-UFBa, maio de 2005. O autor gostaria de agradecer os comentários e sugestões feitos pelos pareceristas anônimos da RBCS e pelos seguintes colegas participantes do referido encontro da Anpocs: Eduardo César Marques, Marta Arretche, Soraya Côrtes, Telma Menicucci e Washington Bonfim.

Datas de Publicação

• Publicação nesta coleção
  17 Abr 2007
• Data do Fascículo
  Out 2005

Histórico

• Recebido
  Jan 2005
• Aceito
  Jul 2005