Acessibilidade / Reportar erro

Institucionalização da avaliação na administração pública

Institutionalization of evaluation in public administration

Resumos

Este artigo aborda o tema da avaliação sob as perspectivas do potencial em promover transformações nas organizações, das condições à sua institucionalização e das estratégias a serem utilizadas com este fim. Parte das premissas da crença em 'mudar situações', da contribuição à 'compreensão da realidade', e dos 'sentidos dos atores' sobre a tomada de decisão. Embasa a abordagem na emergência de um novo profissionalismo na gestão dos serviços e organizações; na complexidade crescente dos problemas e no papel das 'redes' e sua relação com a governança, ressaltando a legitimidade que a avaliação necessita para influenciar decisões. Destaca três tipos de avaliação no plano da prática e do conhecimento: orientada para as metas, baseada na teoria e a que privilegia a perspectiva participativa e, reflete sobre a incapacidade de resposta aos problemas ao se utilizar apenas um tipo de avaliação. Apresenta como desafios à sua institucionalização: capacidades para realizar a avaliação, estratégia sólida de difusão dos resultados e capacidades à sua utilização. Finaliza constatando que a institucionalização da avaliação supõe mudanças importantes no uso do poder para tomar decisões nas administrações públicas e recomenda o questionamento permanente das possibilidades que os trabalhos dos avaliadores têm de serem utilizados corretamente e sobre os seus benefícios para a sociedade e as instituições.

Avaliação em Saúde; Institucionalização; Avaliação


This article approaches the subject of evaluation under the perspectives of a potential to promote changing in organizations, of its institutionalization conditions and strategies to be used. It begins with the assumption of belief 'to change situation', of the contribution to 'reality understand' and of the 'actors senses' about decision making. This approach is supported by the rising of a new professionalism in services and organizations management; in the increased complexity of problems and in the role of 'networks' and its relationship with governance. It emphasizes the legitimacy needed by evaluation to influence decisions. It points out three types of evaluations by means of practice and knowledge: goaloriented evaluation, theory-driven evaluation and that with participatory perspective and discuss about the incapacity to solve problems when using only one type of evaluation. As challenges to its institutionalization, it presents: capacity to carry out evaluation, consistent strategy for results publicizing and use capacity. The article ends taking into account that the institutionalization of evaluation presumes important changing in the use of power to decision making in public administration. It recommends a permanent debate of the possibilities of correct use of evaluators work and about its benefits for society and institutions.

Health evaluation; Institutionalization; Evaluation


ARTIGOS ESPECIAIS SPECIALS ARTICLES

Jean-Louis Denis

Ecole Nationale d´Administration Publique. Montreal - Canadá. 4750 Henri Julien, 5eme étage. Montreal - Québec H2T 3E5. E-mail: jean-louis.denis@enap.ca

RESUMO

Este artigo aborda o tema da avaliação sob as perspectivas do potencial em promover transformações nas organizações, das condições à sua institucionalização e das estratégias a serem utilizadas com este fim. Parte das premissas da crença em 'mudar situações', da contribuição à 'compreensão da realidade', e dos 'sentidos dos atores' sobre a tomada de decisão. Embasa a abordagem na emergência de um novo profissionalismo na gestão dos serviços e organizações; na complexidade crescente dos problemas e no papel das 'redes' e sua relação com a governança, ressaltando a legitimidade que a avaliação necessita para influenciar decisões. Destaca três tipos de avaliação no plano da prática e do conhecimento: orientada para as metas, baseada na teoria e a que privilegia a perspectiva participativa e, reflete sobre a incapacidade de resposta aos problemas ao se utilizar apenas um tipo de avaliação. Apresenta como desafios à sua institucionalização: capacidades para realizar a avaliação, estratégia sólida de difusão dos resultados e capacidades à sua utilização. Finaliza constatando que a institucionalização da avaliação supõe mudanças importantes no uso do poder para tomar decisões nas administrações públicas e recomenda o questionamento permanente das possibilidades que os trabalhos dos avaliadores têm de serem utilizados corretamente e sobre os seus benefícios para a sociedade e as instituições.

Palavras-chave: Avaliação em Saúde, Institucionalização, Avaliação

ABSTRACT

This article approaches the subject of evaluation under the perspectives of a potential to promote changing in organizations, of its institutionalization conditions and strategies to be used. It begins with the assumption of belief 'to change situation', of the contribution to 'reality understand' and of the 'actors senses' about decision making. This approach is supported by the rising of a new professionalism in services and organizations management; in the increased complexity of problems and in the role of 'networks' and its relationship with governance. It emphasizes the legitimacy needed by evaluation to influence decisions. It points out three types of evaluations by means of practice and knowledge: goaloriented evaluation, theory-driven evaluation and that with participatory perspective and discuss about the incapacity to solve problems when using only one type of evaluation. As challenges to its institutionalization, it presents: capacity to carry out evaluation, consistent strategy for results publicizing and use capacity. The article ends taking into account that the institutionalization of evaluation presumes important changing in the use of power to decision making in public administration. It recommends a permanent debate of the possibilities of correct use of evaluators work and about its benefits for society and institutions.

Key words: Health evaluation, Institutionalization, Evaluation

Introdução

Abordaremos este tema a partir de duas questões:

1. O que queremos dizer, no âmbito da avaliação, com institucionalização; porque nos colocamos a questão da institucionalização?

2. Quais são as estratégias possíveis para institucionalizar a avaliação, supondo que estamos de acordo quanto à definição de institucionalização ?

Na perspectiva das transformações nas organizações ou das transformações nos órgãos políticos, a avaliação tem um potencial de transformação sob certas condições, mas quando estas condições não se apresentam à avaliação, seja ela institucionalizada ou não, terá poucos efeitos sobre as decisões dos políticos.

Sobre as definições de avaliação

[...] avaliação é uma sistemática ou cuidadosa apreciação do mérito, do significado e do valor da administração, das realizações e dos resultados de intervenções governamentais, que se destinam a desempenhar um papel no futuro, situações práticas da ação." (Vedung, 1997: 3).1

Trataremos da Avaliação como um "fazer sentido", ou compreensão assistida (assisted sense-making). Existem numerosas definições de avaliação, todas são mais ou menos equivalentes, elas todas dizem mais ou menos a mesma coisa. Pode-se afirmar que a avaliação é um tipo de pesquisa, que estimula a "vocação a aplicar", pois ela visa, ao longo do tempo, influenciar a prática: a prática da transformação de políticas, a prática da tomada de decisões em administração ou gestão, a prática em si mesma, a gerência e a coordenação de programas de saúde. Então, simplificando, podemos dizer que a avaliação é a aplicação de um conjunto de métodos de pesquisa. Todos os métodos de pesquisa disponíveis podem circular em torno dos diferentes tipos de avaliação.

A avaliação serve à aplicação em situações precisas. Do ponto de vista do analista das organizações e da tomada de decisões, a avaliação é um "assistente à construção dos sentidos". Esta expressão é melhor compreendida no inglês: assisted sense-making. Significa que queremos, com a avaliação, auxiliar o julgamento de atores que estão em situação de influenciar a tomada de decisão. Nós queremos informar o sentido que eles dão aos problemas e às soluções que estão buscando. A avaliação surge como um elemento alinhador de um processo de construção de problemas, de soluções e eventualmente da aplicação de decisões políticas. Os atores, os indivíduos em situação de decisão - quer sejam estas decisões clínicas, organizacionais ou políticas - sempre têm uma margem de manobra.

Assim, a primeira mensagem a registrar: a avaliação não é uma resposta, não é uma prescrição. É uma contribuição à compreensão da realidade, aos sentidos dados pelos atores, em determinadas conjunturas, para a tomada de decisão.

Algumas suposições por trás do tema institucionalização

Existem algumas premissas, explícitas ou não, quando desejamos buscar a institucionalização da avaliação. A primeira premissa é que acreditamos que podemos mudar as situações. Nós não diríamos "queremos institucionalizar a avaliação" se estivéssemos persuadidos de que isto não poderia contribuir para trazer mudanças na sociedade, nas instituições.

Falando a partir de um ponto de vista acadêmico, podemos dizer que acreditamos na plasticidade dos arranjos sociais, na capacidade de transformação das instituições. Isto é o que alguns autores chamaram de "modernidade reflexiva". Neste sentido, a avaliação é uma verdadeira fonte para refletir sobre o passado numa perspectiva de transformação. Se não pensássemos assim, não valeria muito a pena discutirmos "Institucionalização".

Existem outras razões que podem ser classificadas como de ordem estrutural nas sociedades denominadas modernas, pós-modernas, avançadas, não avançadas, em regressão, etc. Não interessa o termo utilizado, nas sociedades ditas contemporâneas existe uma pressão crescente que impulsiona à institucionalização da avaliação por três razões:

I. A primeira razão é que constatamos a emergência de um novo profissionalismo, não somente na medicina, mas também na gestão dos serviços de saúde, nas organizações e governos responsáveis pelas práticas de saúde. Existem pressões no sentido de que as decisões sejam justificadas racionalmente. Assim, é fundamental aderirmos a esta preocupação de, como diríamos em inglês "evidence informed management" (gestão orientada pelas evidências), pois a avaliação deve ser vista como um recurso que vai auxiliar os atores em situação de tomada de decisão a justificarem racionalmente suas decisões. Pode-se fazer um paralelo com a clínica, quando falamos de "evidence based medicine" (medicina baseada em evidência). Estamos submetidos à mesma responsabilidade ao nível da política e da gestão. Então o primeiro elemento é a emergência, o surgimento de um novo profissionalismo que estimula a vontade de institucionalizar os recursos pensando que a avaliação poderá fazer crescer essa capacidade de justificar racionalmente as decisões.

II. A segunda razão é a complexidade crescente dos problemas enfrentados pelas organizações. Torna-se cada vez mais difícil exercer a governança nas sociedades contemporâneas. Um exemplo disto são os problemas do meio ambiente; vejam a recente catástrofe da British Petroil (BP) em que se configurou déficit da regulação e deficiência em matéria de segurança. Não é simples instaurar sistemas confiáveis. Também no setor saúde são enfrentados problemas muito importantes de governança, em termos de segurança e de qualidade oferecidas pelos serviços. O mesmo acontece com as políticas governamentais. Assim, a avaliação é considerada um recurso que permite, em parte, melhorar o plano de segurança das organizações.

III. A terceira razão é apontada pelas pesquisas dos cientistas políticos e dos administradores públicos. Na sociedade contemporânea as políticas públicas, os programas, as decisões, são postas em funcionamento em redes, nas quais não controlamos a totalidade do funcionamento. Argumentos muito pertinentes sobre o papel das redes em nossa sociedade estão destacados nos livros de Manvel Castells2 sobre a "network society" (sociedade em rede). Os cientistas políticos que se interessam pelos problemas da governança estão nos dizendo cada vez mais que as políticas, os programas são colocados em funcionamento em redes. Temos que entender o modo de funcionamento destas redes. A institucionalização da avaliação deve também construir a sua rede e considerar a distribuição das expertises e capacidades nessa rede.

Então, a segunda mensagem é sobre as redes. As redes não são submetidas a níveis hierárquicos. Os argumentos não são assimilados pela autoridade, por decreto. A elas se diz: "vejam como a avaliação pode ajudar vocês a colocarem em prática programas e decisões, a inovar em rede". É necessário definir o que compreendemos por "instituição" e por "institucionalização" (Tabela 1).

O termo instituição, seja na sociologia, nas ciências políticas ou no campo da saúde, significa algo duradouro nos arranjos sociais. As instituições, diferentemente das organizações do ponto de vista sociológico, são arranjos sociais que se apóiam em normas e que têm um caráter duradouro. Falar de institucionalização da avaliação significa dizer sobre a criação e manutenção de capacidades que vão exercer uma certa influência ao longo do tempo.

Considerando a afirmação de Scott3 de que uma instituição dita os comportamentos sociais dos atores é importante compreender o conceito sob a seguinte ótica: ao institucionalizarmos a avaliação queremos que esta venha a orientar o comportamento dos tomadores de decisão, das pessoas que elaboram as políticas ou das pessoas colocadas em situação estratégica. Isto representa uma grande ambição, pois no mundo político as decisões são influenciadas por muitos elementos, entre eles, pelas evidências que vêm das avaliações e das pesquisas.

Existem vários termos utilizados quando falamos de institucionalização. Podemos destacar dois deles: "sustainability" (sustentabilidade) e "mainstream" (corrente dominante).

A noção de sustentabilidade, de perenidade, de desenvolvimento duradouro aproxima-se com o campo das políticas do meio ambiente quando eles se referem ao desenvolvimento sustentável, durável. Dizemos a mesma coisa das avaliações quando falamos de institucionalização das avaliações. Queremos no fundo fazer um "desenvolvimento sustentável", no sentido de duradouro, das avaliações nos organismos de decisão, nas organizações da saúde, por exemplo.

Por outro lado o termo "mainstream" remete ao conceito de algo que pertence ao fluxo de poder dominante. É importante aprofundar a reflexão sobre institucionalização e o termo mainstream. É possível que sejam estabelecidas capacidades duráveis de avaliação, mas que permanecem muito localizadas. Por exemplo, o fato de existir um escritório de avaliação num governo não significa que este grupo é "mainstream", que está conectado aos circuitos principais de decisão. Este núcleo de técnicos pode ter um caráter estável, ter uma equipe fantástica, estar bem instalado no governo, na clínica, nos hospitais universitários como capacidade de avaliação, mas continuar a ser marginal no âmbito dos circuitos de decisão. Assim, não existe institucionalização se não existem laços estreitos com aqueles ou aquelas que tomam as decisões, seja no âmbito clínico, organizacional ou público.

Ser "mainstream" não significa que os gestores vão decidir exatamente como preconizam os experts da avaliação. O que se deseja é que a avaliação seja considerada, torne-se um interlocutor legítimo.

A terceira mensagem é sobre a legitimidade que a avaliação necessita alcançar para conseguir influenciar as decisões do mainstream. Se não somos capazes de influenciar aqueles que estão na posição de decidir, então não institucionalizamos a avaliação e ainda não formamos uma instituição.

Passando à segunda parte de nossa abordagem, vamos debater sobre as perspectivas da avaliação (Tabela 2). De maneira sintética, podemos dizer que existem três tipos de abordagens da avaliação que se destacam, que marcam a evolução do campo da avaliação, no plano da prática e do conhecimento. As reflexões serão no sentido de compreender quais são as consequências relacionadas à institucionalização de determinada perspectiva da avaliação.

A perspectiva da avaliação orientada para as metas e objetivos é clássica, uma das primeiras que se desenvolveu. Foi considerada por Rossi,5 nos anos 1970, como a perspectiva "gold oriented" (a perspectiva de ouro). Frequentemente as administrações públicas e os sistemas de saúde pensam na avaliação nesta perspectiva: "conseguimos atingir nossos objetivos? Será que alcançamos nossos propósitos com os recursos que investimos?"

Esta também é a primeira questão que os ministros e os gestores políticos fazem: "vocês têm pessoas que podem nos ajudar a determinar se atingimos nossos objetivos?" O que é importante de destacar aqui é a ideia de que para a burocracia pública, no sentido neutro do termo, a avaliação pode ajudar a alimentar as relações entre as economias. Neste contexto existe o que chamamos de relação entre o "principal" e o "agente". Os aparelhos governamentais podem ser vistos como rede de relações entre um principal e um agente, uma escala de reações ou de mão de obra que circula entre o nível central e local, com todas as consequências do tipo de funcionamento que isto supõe. A avaliação voltada para o objetivo torna-se um instrumento poderoso porque permite o monitoramento do que está sendo realizado em cada nível de decisão da organização, desde a direção até ao nível clínico.

É frequente demandarem aos avaliadores se a "avaliação de ouro" será realizada ("gold oriented evaluation"). Então, é importante destacar a relevância deste tipo de avaliação e também os seus limites. Esta abordagem tem o seu papel bem definido: auxilia os tomadores de decisão a compreenderem se os recursos investidos estão sendo bem utilizados e se as metas estão sendo alcançadas. A avaliação orientada para as metas e objetivos nos permite fazer estudos excelentes, mas que não explicam o porquê do sucesso ou do fracasso de um determinado programa. Pode ser comparada a um ensaio clínico: demonstra os efeitos, mas não pode explicá-los.

O segundo tipo de avaliação é aquele baseado na teoria ("theory-based approach"). Bons exemplos desta abordagem são os trabalhos de Brousselle et al.6 Neste tipo de perspectiva da avaliação busca-se interligar os elementos ditos de processo ou meios, às metas. Busca-se compreender qual é o circuito lógico ou empírico que funcionou e que gerou determinados resultados. As análises de implantação situam-se nesta perspectiva "theory based". Um dos limites desta abordagem é convencer os gestores e tomadores de decisão de sua importância. Imaginem o seguinte discurso de tentativa de convencimento de um avaliador para um gestor: "nós vamos fazer avaliações sistematicamente para sermos capazes de refletir sobre nossas práticas, sobre nossos programas, para compreender como em certos contextos eles serão mais ou menos eficazes. Também para compreender se nossos programas têm fundamentos lógicos suficientemente fortes, como construir programas que têm muito potencial, como intervir em diferentes contextos para produzir mais ou menos efeitos". A mesma coisa acontece com os programas que visam melhorar a performance das instituições, as políticas governamentais e assim por diante.

Introduzir junto aos gestores este segundo tipo de avaliação é um grande desafio. Frequentemente eles encontram-se sob pressão e têm pouca disponibilidade. Precisam distribuir os recursos e também receber outros financiamentos, não tem muito tempo para questões teóricas. Então o desafio para institucionalizar a avaliação neste caso é de natureza pedagógica, ou seja, é necessário criar capacidade de reflexão nas administrações públicas para que incorporem esta abordagem.

A terceira abordagem, muito em voga hoje em dia, são as perspectivas ditas "participativas". Existem várias perspectivas participativas, que serão simplificadas nesta apresentação para fins didáticos. O que distingue as perspectivas participativas em avaliação é que elas se referem muito menos às metas exógenas, às teorias. É um tipo de avaliação muito endógena, muito orgânica que trabalha com a seguinte hipótese: "queremos construir juntos a avaliação: os responsáveis pela intervenção, os avaliadores e os políticos. E o conhecimento que estamos gerando juntos vai ser um conhecimento justo e útil para a ação". Esta abordagem não depende de critérios exógenos de natureza científica, ou de pertinência para uma administração pública ou de outros. Os atores convocados como participantes do processo serão os primeiros juízes da pertinência. Estas perspectivas da avaliação são muito utilizadas por duas razões: em primeiro lugar porque, entre outras coisas, elas vão permitir compensar o déficit democrático. Desse modo tem-se uma perspectiva centrada na meta, muito voltada para os aparelhos/organismos políticos. A perspectiva participativa se vê mais a serviço das partes envolvidas, das comunidades, com efeitos eventualmente na condução da ação.

Ainda sobre a complexificação da gestão nas sociedades contemporâneas, outro aspecto importante é que muito frequentemente os experts da avaliação ou de outros campos são apresentados como aqueles que conhecem, sabem o que deve ser feito para resolver os problemas da organização. Os problemas podem ser de diversas naturezas: meio-ambiente, desenvolvimento social e político, educação, justiça redistributiva, etc. É muito importante reforçar novamente: não existem somente soluções técnicas para estes problemas. Existem conhecimentos técnicos que podem oferecer soluções socialmente aceitáveis e potencialmente eficazes. Neste sentido, as avaliações são apenas recursos, entre tantos outros, a serem considerados.

Então estas são as três abordagens principais da avaliação. Pensamos que, se no campo da avaliação nós utilizarmos somente as perspectivas participativas, ou as perspectivas teóricas e empíricas, ou ainda as perspectivas centradas nas metas e objetivos; se utilizarmos somente um tipo de avaliação, não seremos capazes de responder aos problemas para os quais buscamos contribuir com a avaliação. Esta é talvez a quarta mensagem desta abordagem.

Quando falamos de institucionalização da avaliação, de uma maneira simplificada, estamos falando de duas coisas: de um lado existem os tipos de avaliação mais adequados a determinados processos existentes nas organizações e os aspectos relacionados às estratégias para a institucionalização. De outro lado existem os conteúdos das práticas avaliativas orientando também a utilização dos resultados das avaliações. As práticas e a utilização dos resultados podem ser muito diversificadas. Assim, o termo "institucionalizar a avaliação" significa mobilizar um campo muito diversificado de conhecimentos e métodos. Isto nos coloca diante dos desafios da institucionalização.

Os desafios de alcançar a institucionalização e o mainstream

O primeiro desafio é o de alcançar simultaneamente a institucionalização e uma posição no "mainstream", isto é no ambiente dominante. Equivale a criar capacidades duradouras de avaliação, permanecendo ligados ao circuito das decisões, de influência e de ação que interessam à intervenção em questão. Então, um primeiro problema, à luz das pessoas que trabalham sobre as mudanças organizacionais e sobre a transformação dos aparelhos políticos, é o problema do confinamento, do "encapsulamento". É o que podemos chamar de a "síndrome do escritório de avaliação". São aquelas situações frequentemente encontradas em que se vê um belo gabinete de avaliação, com uma equipe muito qualificada, todos com diplomas de doutorado, com conhecimento e reputação incríveis, mas que não estão integrados às decisões. Não são mainstream, quer dizer, o organismo que os gerou não se preocupa incorporá-los nesta grande família da tomada de decisões políticas ou públicas. O desafio da institucionalização é de ultrapassar a síndrome do gabinete de avaliação, para ter um gabinete efetivo, que faça parte do cotidiano das intervenções.

Um segundo problema que leva ao confinamento é uma espécie de confiança cega na capacidade de persuasão dos cientistas. Nós pesquisadores chegamos com os nossos estudos, apresentamos nossos currículos e temos a ilusão que as pessoas serão influenciadas pelo que vamos dizer. Na verdade temos esperança de conseguir influenciar as decisões, mas nada é garantido. Isto significa que se institucionalizarmos nossas unidades de avaliação, não precisaremos somente de grandes avaliadores, mas precisaremos também de pessoas hábeis em encaminhar os resultados científicos, isto que os ingleses chamam de "knowledge exchange transfer".

Esta é uma questão muito importante: a comunicação dos resultados das pesquisas e avaliações. É uma atividade que necessita de competências particulares, de paciência e de disponibilidade. Os tomadores de decisões (ministros, assessores dos ministros, responsáveis pela formulação das políticas) nos dão dez minutos para expor nosso argumento. Se vocês não sabem o que dizer em dez minutos, acabou! Eles vão fechar as portas e não vão nunca mais se interessar pelos seus projetos. Isto é algo que deve ser bem desenvolvido.

Outro aspecto da questão é que temos também uma confiança enorme nos "campeões". Eles são apresentados assim: "esta senhora X é super competente, ela fez avançar a causa da avaliação no Brasil! O Sr. Y também é fera!" E assim por diante... E é verdade, existem campeões e nós precisamos deles. Eles ajudam as pessoas a progredirem, mas os "campeões" não fazem tudo... Pode acontecer que o "campeão" parta um dia, pegue a sua aposentadoria e vá trabalhar em um outro país. Mas não podemos deixar tudo desmoronar porque o Sr. e a Sra. "campeão" partiram. É necessário institucionalizar as capacidades, é necessário "clonar" os "campeões". É aí que vemos as questões intergeracionais em jogo e elas constituem um desafio importante. Quando pensamos a institucionalização da avaliação, temos que estar obcecados por: "quem vai completar nossa experiência, quem vai nos suceder".

Um outro problema é fazer uma avaliação errada quanto ao momento da abordagem de um gestor. Quando acontecem as crises políticas ou crises nos sistemas, como o sistema de saúde, não se deve bater à porta dos gabinetes e propor ajuda. Este não é o momento de lhes falar, eles estão ocupados, eles estão envolvidos com a mídia. Em geral, existe uma regra de ouro: quando um ministro está às voltas com a mídia, com uma questão controversa, este é o pior momento para procurá-lo. Não devemos tentar fazer passar nossas mensagens nestes momentos, porque eles não vão estar disponíveis. Então o que podemos fazer? Se quisermos que a avaliação influencie a tomada de decisões e se quisermos proporcionar recursos para tornar duráveis as capacidades de avaliação, é necessário formar os mais jovens e incorporá-los nos seus papéis no mainstream, nos círculos decisórios.

Nesta busca por alcançar o mainstream, pode-se tentar convencer os gestores emoldurando a avaliação como um recurso para criar aprendizagem e inovação nas organizações. Mas este argumento é frágil e só vai atrair aqueles gestores que têm uma abertura à inovação. Se conseguirmos criar este modelo de comunicação que as pessoas chamam de comunidade de práticas, no qual as pessoas trocam não tanto decisões racionais, mas uma metodologia de aprendizagem, seria uma enorme conquista. Mas para alcançar isto é necessário certo perfil de avaliadores, que seriam também pessoas que trabalham para o desenvolvimento das organizações.

Patton7 discorreu sobre o tema da utilização da avaliação, mas ele tratou menos da questão do aprendizado. Pensamos que institucionalizar a avaliação é conseguir "vender" uma abordagem que os gestores vão achar legítima. Temos que fazer nosso marketing, e saber fazê-lo bem para alcançar o que desejamos.

Outra questão a considerar é a análise do contexto. É necessário fazer um diagnóstico claro das capacidades de gerenciamento das pessoas conhecidas dentro das organizações. Então, institucionalizar a avaliação não é somente ter um super gabinete de avaliação, é conseguir sensibilizar nossos interlocutores com a mensagem mais apropriada e construir um canal de diálogo e de troca nas organizações.

No fundo é uma questão de aprendizado sobre as capacidades organizacionais e sobre gestão da mudança. Evidentemente, se olharmos os trabalhos recentes, entre outros, sobre a institucionalização da avaliação na Espanha, vamos observar que a questão da cultura administrativa e política é muito importante. Influenciar as decisões dos gestores no Brasil é substancialmente diferente de fazê-lo no Canadá, nos Estados Unidos, na Inglaterra, na Espanha.

Outro aspecto relevante é a de criação de necessidades de informação. Se as pessoas pensam que elas não têm necessidade de informação para decidir e que isto não irá melhorar a situação, elas não se interessarão pelas avaliações. Temos que ser obcecados pela questão: a quem vou prestar serviço quando estiver promovendo a avaliação? A quem devo convencer? Quem vai precisar de mim? Com certeza esta é uma estratégia necessária.

E para terminar este tópico é preciso dizer sobre a necessidade de termos líderes que sejam também bons empreendedores sociais. Não existe institucionalização da avaliação se não criamos um grupo de líderes que vão impulsionar para institucionalizar tanto as capacidades quanto as competências na tomada de decisões. Chamamos isto de liderança coletiva na saúde. No papel de pesquisadores, nós acompanhamos algumas organizações durante uns dez anos para compreender porque algumas conseguem implantar mudanças importantes e outras não. Nós nos interessamos em saber por que este empreendedor social, que chamamos de "líder" coletivo, faz com que as coisas mudem.

Um aspecto que devemos destacar é a necessidade de formar coalizões altamente funcionais. Usaremos a expressão "alianças de ouro" para estas alianças que conseguem formar novas capacidades nas organizações. E estas coalizões de ouro possuem todo tipo de atributo em termos de poder, de legitimidade em termos das expertises. O que estamos querendo enfatizar é que a liderança com certeza possui aspectos individuais, mas o mais importante é alcançar seus aspectos coletivos. Será que conseguimos criar um grupo, numa determinada região, que manterá vivas as capacidades de avaliação, e assim fazer avançar a utilização dos resultados? Este grupo deverá ser flexível e incorporar os novos líderes ou criar condições para que se implementem decisões. E isto é extremamente importante.

Sintetizando, o desafio de alcançar o status de institucionalização e de ser mainstream requer três pontos principais: a) uma estratégia sólida de difusão dos resultados da avaliação; b) capacidades para realizar uma avaliação e; c) capacidades para utilizar os resultados de uma avaliação. E isto depende de uma estratégia politicamente adequada também. Significa poder contar com expertises fortes e também dispor de recursos suficientes para fazê-lo. Não podemos jamais esquecer nas nossas discussões sobre a institucionalização da avaliação que, se não tivermos recursos suficientes, que sejam financeiros ou humanos, não temos os ingredientes de base. E assegurar esta base é extremamente importante.

Os desafios de manter a institucionalização e o status de mainstream

O segundo desafio que devemos enfrentar é que quando estamos instalados, institucionalizados, esta situação não deve se dissolver. Ela deve continuar a se fortalecer. Isto é o que chamávamos de "diluição", "evaporação". Observamos este fenômeno em todas as organizações. Em um certo momento existe um grupo com pessoas fantásticas e depois elas se vão, nada sobra... Isto deve ser pensado desde o começo como um desafio da institucionalização da avaliação. Como podemos tentar fazer com que dure? É o que chamamos de desenvolvimento de para-raios, de barreiras protetoras e de capacidades de amplificação.

Voltamos, então, à questão das redes, que abordamos no início. Não somos obrigados a internalizar, a concentrar todos os recursos, mas a rede deve continuar seu crescimento de maneira que as nossas capacidades de avaliação sejam complementares e não frágeis.

Então é necessário monitorar bem as nossas capacidades de avaliação e os resultados. O que podemos dizer? Onde estão nossas expertises em avaliação? Somos mais competentes em avaliação dos efeitos e mais fracos em avaliação da economia? Mas quando falamos dos tomadores de decisão do Ministério, para eles a avaliação econômica é importante. Quando estamos nas comunidades, no nível da atenção primária em saúde, precisamos ter as expertises em avaliação participativa para modificar a ação local. Então, temos que gerenciar o desenvolvimento das capacidades de avaliação, um pouco como uma pasta de ações na bolsa e pensar: "em qual ponto corremos mais o risco de perder nossas capacidades?" E também: "o que produzimos?" E como sabemos, no ambiente das administrações públicas, cada vez mais é solicitado conhecer o que é produzido de fato em função dos recursos empregados.

Uma outra estratégia é garantir a visibilidade do sucesso. Os gestores e os financiadores precisam e devem saber que o trabalho deu resultado, que certo programa foi um sucesso de avaliação. E isto nós devemos tornar visíveis. Neste sentido é importante criar fóruns onde misturamos diferentes pessoas: políticos, avaliadores, universitários, profissionais, clínicos - um fórum onde se trocam ideias a respeito dos resultados da avaliação. Uma das coisas mais frequentes nos estudos atuais sobre a utilização dos conhecimentos é que precisamos deste intercâmbio entre os diferentes públicos para interpretar os resultados. A avaliação não produz prescrições, ela produz informações que devem ser interpretadas e contextualizadas. Os fóruns podem promover a utilidade destas capacidades criadas e mobilizar mais interesse em torno da avaliação.

Sobre os dilemas da institucionalização da avaliação

Existem dilemas em relação à institucionalização da avaliação. Institucionalizar significa criar uma nova função, novos papéis profissionais, novas regras de decisão, no que pode ser denominado coalizão dominante no governo, nas administrações públicas em saúde. Os avaliadores querem penetrar na maneira como são formadas as decisões. Ter avaliadores integrando uma coalizão que tem uma influência, e que habitualmente toma as decisões, quer seja no âmbito local, regional, internacional, governamental não é simples. Mas o que se está dizendo no fundo com institucionalizar a avaliação? Está se falando da ambição de tornar contestáveis as decisões públicas e políticas. Precisamos ter mais claro que queremos mudar um pouco a maneira como o poder e a margem de decisão são utilizados. O que nós queremos é que um diretor e/ou uma equipe de direção dos grandes hospitais universitários, quando decidem pela incorporação de novas tecnologias, possam colocar uma pergunta a estes profissionais avaliadores: "o que dizem as avaliações sobre isto"? Será que precisamos de uma tecnologia de oitava geração, será que aquela de sétima presta ainda bons serviços? E por quê? Não que a decisão final seja tomada unicamente em função dos estudos, mas queremos que estas pessoas aceitem que pode haver cortes ou camadas de poder nos sistemas de decisões.

Outro dilema é relacionado aos recursos. Se não tivermos recursos não conseguiremos fazer tudo isto. Se não tivermos financiamento para ter pessoas que ajudem, se não pudermos ficar liberados das responsabilidades para pesquisar, não vai funcionar. Então a questão dos recursos é muito importante.

Um último aspecto sobre dilemas é relacionada a uma mudança cultural enorme que é impulsionada pela avaliação. Quando fazemos avaliação encontramo-nos quase sempre em situação de controvérsia. E devemos aceitar que as controvérsias são sadias e positivas para os processos de decisão. Não é porque amanhã, com um relatório de avaliação, se venha a ter controvérsias fortes com os gestores, que a cooperação e o diálogo vão ficar ameaçados. Não, eles precisam se manter. E isto é uma mudança enorme da cultura decisional nas administrações públicas. Isto é uma cultura da cooperação sobre a qual temos que trabalhar.

Concluiremos com três pontos. O primeiro é de que a avaliação não pode dar nunca todas as indicações. Não é porque queremos institucionalizar a avaliação que temos que ser megalomaníacos. Por diversas razões a avaliação é um instrumento de ajuda para a tomada de decisão no sentido amplo. E estes instrumentos podem ter todo tipo de efeito perverso. Temos que estar cientes disto. A avaliação é constantemente utilizada pelos aparelhos públicos para politizar as decisões. Eles vão encomendar uma avaliação sobre os programas que eles não gostam e frequentemente eles não vão encomendar avaliações sobre os programas que lhes são caros. Então, existe constantemente uma politização, que pode ser correta, mas o avaliador tem que ter consciência disto.

O segundo ponto é sobre o controle. Uma avaliação centrada na meta, como dissemos inicialmente, pode ser um recurso de manutenção do controle burocrático e não necessariamente uma fonte de informações e de melhoria das performances. Todos os trabalhos realizados sobre as organizações que são muito competentes apontam que a informação deve ser colocada a serviço do feed-back, da aprendizagem contínua, e não somente do controle.

E, o último ponto, é que é muito positivo comparar e definir os bons, os médios e os menos bons, mas, normalmente, isto pode gerar mais conservadorismo que inovação. E as pessoas vão se tornar temerosas, não vão mais ousar fazer as coisas. Temos que equilibrar o que podemos chamar de "senso do empreendimento" e a inovação. E é por isso que devemos colocar a avaliação a serviço da aprendizagem; nós vamos ter menos estes efeitos de redução do potencial de inovação.

Uma coisa para guardar, que aprendemos na análise das transformações nas organizações, é que se focalizarmos somente as avaliações, como se não existisse liderança, esfera consultiva e condições organizacionais, não iremos nos beneficiar de seu potencial. Então temos que vê-la como uma alavanca entre outras.

Finalizando, a institucionalização da avaliação supõe uma mudança importante na maneira como usamos o poder e o poder de decisões no poder e nas administrações públicas. É necessário colocar-se sempre a questão: por que os políticos, os formuladores de política, os gestores públicos, ou os clínicos estariam interessados na avaliação? Em quais condições eles precisam de nós? Quais são os serviços que vamos prestar? Esta questão demanda da institucionalização da avaliação um esforço deliberado. Requer estratégias. Tentamos definir em torno de duas questões: a difusão da inovação e a manutenção das capacidades de forma duradoura, incluindo as capacidades de utilização dos resultados da avaliação.

A avaliação institucionalizada vai sempre ter significados diferentes para diferentes setores públicos, para os diversos clientes. Temos que ter uma estratégia em vista destas condições. Ela não quer dizer a mesma coisa para os gestores do Ministério ou para os atores ou pessoas da atenção primária. Então temos que ser bastante polivalentes nas nossas capacidades quando institucionalizamos. Não devemos nunca esquecer que institucionalização da avaliação não é uma finalidade em si mesma. É por isto que falávamos da síndrome do escritório de avaliação. Temos que nos questionar sobre os benefícios que a sociedade e as instituições extraem de nossos trabalhos e sobre as possibilidades que estes trabalhos têm de serem utilizados corretamente.

Agradecimentos

Artigo originado da conferência de abertura proferida no Seminário Nacional sobre Institucionalização da Avaliação em Saúde promovido pelo Instituto de Medicina Integral Prof. Fernando Figueira (IMIP) e pela Associação Brasileira de Pós-graduação em Saúde Coletiva (ABRASCO), realizado em Recife, Brasil, em 27 de maio de 2010. Tradução para o português e adaptação - Iracema de Almeida Benevides. Revisão final - Zulmira Maria de Araújo Hartz e Eronildo Felisberto.

Recebido em 14 de outubro de 2010

Versão final apresentada em 20 de outubro de 2010

Aprovado em 29 de outubro de 2010

  • 1
    Vedung E. Public policy and program evaluation. New Brunswick: Transaction Publishers; 1997.
  • 2
    Castells M. The rise of the network society. Vol.1: The information age: economy, society and culture. Malden: Blackwell Publishers; 1996.
  • 3
    Scott WR. Institutions and organizations. London: Sage Publications; 2004.
  • 4
    Dahler-Larsen P. Evaluation and public management. In: Ferlie E, Lynn Jr. E, Pollitt C, editors. Handbook of public management. Oxford: Oxford Handbook of Public Administration; 2005. p. 615-39.
  • 5
    Rossi PH. Testing for success and failure in social action. In: Rossi PH, Williams W, editors. Evaluating social programs. New York: Seminar; 1972.
  • 6
    Brousselle A, Champagne F, Contandriopoulos A-P, Hartz ZMA. L'évaluation: concepts et méthodes. Montréal: Les Presses de l'Université de Montréal ; 2009.
  • 7
    Patton MQ. Developmental evaluation. Eval Practice. 1994; 15: 311-9.
  • Institucionalização da avaliação na administração pública

    Institutionalization of evaluation in public administration
  • Datas de Publicação

    • Publicação nesta coleção
      31 Jan 2011
    • Data do Fascículo
      Nov 2010

    Histórico

    • Aceito
      29 Out 2010
    • Revisado
      20 Out 2010
    • Recebido
      14 Out 2010
    Instituto de Medicina Integral Prof. Fernando Figueira Rua dos Coelhos, 300. Boa Vista, 50070-550 Recife PE Brasil, Tel./Fax: +55 81 2122-4141 - Recife - PR - Brazil
    E-mail: revista@imip.org.br