Avaliando a institucionalização da avaliação

Evaluating the institutionalization of evaluation

ARTIGO ARTICLE

Avaliando a institucionalização da avaliação

Evaluating the institutionalization of evaluation

André-Pierre Contandriopoulos

Groupe de Recherche Interdisciplinaire en Santé (GRIS), Département de Administration de la Santé, Université de Montréal. C. P. 6128, succursale Centre-ville. Montréal, Québec, H3C 3J7, Canada. [e-mail]

RESUMO

O artigo aborda os desafios em torno da necessidade de conceber e implantar uma cultura de avaliação. São discutidas as relações e diferenças entre pesquisa avaliativa, avaliação normativa e tomada de decisão. A análise mostra que a capacidade de institucionalização da avaliação como instrumento para melhorar o sistema de saúde é paradoxal, pois supõe que a informação produzida contribua para uma racionalização dos processos de decisão. Postula-se que o grau em que os resultados de uma avaliação são levados em conta pelas instâncias decisórias varia de acordo com a credibilidade, fundamentação teórica e pertinência das avaliações. Observa-se que atores que ocupam diferentes posições não conseguem chegar a um consenso quanto à pertinência dos resultados produzidos pela avaliação. Para fazer com que a avaliação esteja no cerne das estratégias de transformação do sistema de saúde, sugere-se criar condições para um julgamento avaliativo verdadeiramente crítico, com a implementação de estratégias que favoreçam a formação e o aprendizado, o debate, a reflexão e a abertura de novas frentes de intervenção. Institucionalizar a avaliação implica antes de tudo se questionar a capacidade da avaliação de produzir as informações e julgamentos necessários para ajudar as instâncias decisórias a melhorar o desempenho do SUS.

Palavras-chave: Avaliação, Institucionalização da avaliação, Atenção básica

ABSTRACT

This article approaches the challenges posed by the need to conceive and implement a culture of evaluation. For this purpose it discusses the relations and differences between evaluative research, normative evaluation and decision-making. The analysis shows the capacity to institutionalize the evaluation as a tool for improving the health system to be self-contradictory, for presupposing that the information produced by an evaluation helps to rationalize the decision processes. It is affirmed that the degree to which the results of an evaluation are taken into consideration by decision-makers varies according to their credibility, theoretical foundation and pertinence. What can be observed is that the actors occupying different positions are unable to agree upon the pertinence of the results produced by the evaluation. For turning evaluation into a core-strategy for transforming the health system the author suggests to create the conditions for a truly critical judgment through implementation of strategies that favor professional qualification and instruction, debates, reflections and the opening of new horizons of intervention. Institutionalize the evaluation implies in the first place in questioning the capacity of this evaluation to produce the information and judgments the decision-makers need for improving the performance of the SUS.

Key words: Evaluation, Institutionalization of the evaluation, Primary health care

Nos dias de hoje, a necessidade da concepção e implantação de uma verdadeira cultura de avaliação nos sistemas de saúde parece ainda mais importante do que há dez anos^{1, 2}. Os sistemas de saúde estão em crise no mundo inteiro. A crescente tensão entre as expectativas de atendimento da população em função do desenvolvimento de novos conhecimentos e técnicas, de um lado, e a necessidade de controlar os gastos públicos (e conseqüentemente os gastos com a saúde), do outro, nos dão a sensação de o sistema de saúde não corresponder mais às necessidades da população, de ter sua viabilidade comprometida. Resumindo, ele necessita de reformulação e aprofundamento. Para tanto, é imperioso que as decisões, tanto dos gestores e planejadores como dos clínicos, se baseiem em conhecimentos científicos sólidos.

Existe amplo consenso quanto à idéia de que qualquer decisão deve ser acompanhada de avaliações sistemáticas, ou seja, que o ciclo de Deming³ ­ planejar, executar, avaliar, agir, no sentido de readaptar os conhecimentos em função do saber fornecido pela avaliação ­ deve passar a fazer parte da rotina. Esta idéia se traduz na necessidade de institucionalizar a avaliação em todos os níveis do sistema de saúde, de criar uma verdadeira cultura de avaliação, permitindo que qualquer decisão seja tomada com base em evidências comprovadas (Evidence Base Decision Making ­ EBDM). Esta perspectiva é coerente com a proposta de institucionalização descrita por Felisberto⁴, segundo a qual a avaliação tem o sentido de se incorporar à rotina das organizações de saúde, acompanhando todo processo de planejamento e gestão das políticas e programas.

Anteriormente nos perguntávamos se a institucionalização da avaliação seria suficiente para que, dentro da sociedade, se estabelecesse uma verdadeira "cultura de avaliação", e se esta institucionalização não poderia implicar o risco de se reforçar o domínio da lógica técnico-científica na tomada de decisões, em detrimento de outras lógicas ­profissionais, econômicas e democráticas^{2, 5}, cada uma tendo concepções diferentes sobre o que é o conhecimento e seu papel no processo decisório⁶.

Atualmente, essas questões se colocam com maior intensidade. Apesar de todos os esforços mobilizados no sentido de institucionalizar a avaliação, apesar do aumento considerável no número de avaliações feitas a cada ano, a crise do sistema de saúde está aumentando. A necessidade de melhorar os processos de tomada de decisões está maior do que nunca. A esta altura, é imprescindível avaliar a avaliação como sistema institucionalizado de apoio à tomada de decisões na área de saúde⁷.

Para situar nosso questionamento no modelo lógico da Política Nacional de Monitoramento e Avaliação da Atenção Básica⁸, é necessário colocar a aquisição de novos conhecimentos e a melhoria do desempenho do Sistema Único de Saúde (SUS) como suas principais finalidades. Não basta institucionalizar a avaliação. É preciso questionar a capacidade da avaliação de produzir as informações e julgamentos necessários para ajudar as instâncias decisórias a melhorar o desempenho do SUS.

Nosso raciocínio se baseia na idéia de que avaliar pode ser definido como uma atividade que consiste fundamentalmente em aplicar um julgamento de valor a uma intervenção, através de um dispositivo capaz de fornecer informações cientificamente válidas e socialmente legítimas sobre ela ou qualquer um dos seus componentes, permitindo aos diferentes atores envolvidos, que podem ter campos de julgamento diferentes, se posicionarem e construírem (individual ou coletivamente) um julgamento capaz de ser traduzido em ação. Este julgamento pode ser o resultado da aplicação de critérios e normas (avaliação normativa) ou, ser elaborado a partir de um procedimento científico (pesquisa avaliativa)⁹. Por um lado, esta definição permite considerar a avaliação como intervenção formal, mobilizando recursos e atores em torno de uma finalidade explícita, em outras palavras, como um sistema organizado de ação. Por outro lado, permite visualizar as ligações e diferenças entre três áreas distintas: pesquisa, avaliação e tomada de decisão. (Figura 1)

No plano conceitual, estas três áreas estão interligadas, mas não se sobrepõem. A avaliação se distingue da pesquisa por seu caráter normativo; ela visa não somente a medir os efeitos de uma intervenção e a entender como foram obtidos, mas, também, a julgá-la. É nesta área que as instâncias de decisão, de posse dos resultados da avaliação, elaboram seus julgamentos, expressam seus valores e manifestam suas intenções estratégicas. (Figura 2)

Pode-se então conceber que os resultados de uma avaliação não se traduzam automaticamente em uma decisão, mas espera-se que as informações produzidas contribuam para o julgamento de uma determinada situação com maior validade, influenciando positivamente as decisões.

É com base nesta hipótese que os países desenvolvidos têm envidado esforços consideráveis no sentido de institucionalizar a prática da avaliação, na esperança de melhorar os seus sistemas de atenção à saúde. E é esta hipótese que queremos explorar.

Para fazer um julgamento sobre o papel da avaliação na tomada de decisões, podemos aplicar o esquema geral de avaliação⁵ à intervenção particular, que constitui o processo avaliativo (Figura 3). Pode-se também postular que o grau em que os resultados de uma avaliação são levados em conta pelas instâncias decisórias será tanto maior quanto sua credibilidade, fundamentação teórica e pertinência.

Por "pertinência" entendemos a capacidade de uma avaliação fornecer respostas aos problemas com que se confrontam as instâncias decisórias. "Fundamentação teórica" significa a capacidade de explicar teoricamente que a institucionalização da avaliação tem o potencial de contribuir para melhorar a tomada de decisões. O termo "credibilidade" refere-se ao valor científico atribuído pelas instâncias de decisão à avaliação em si mesma. A pertinência, a fundamentação teórica e a credibilidade, que comentaremos a seguir, tratam, portanto, das relações dentro de um determinado contexto, entre a avaliação, os diferentes sujeitos envolvidos (suas características e motivações, sua visão de mundo e seus recursos) e os problemas a serem solucionados.

Pertinência da avaliação

A pertinência corresponde à solidez da relação lógica entre os problemas a serem resolvidos e o objetivo da intervenção. No nosso caso, trata-se de saber se todos os atores envolvidos reconhecem que a institucionalização da avaliação representa uma estratégia importante a ser promovida para melhorar a eficiência do sistema de saúde (isto é, para tornar mais eficaz o desempenho do SUS). Quanto mais um ator estiver convicto de que a melhora do desempenho do sistema passa por uma melhora do processo de decisão, quanto mais ele achar que esta melhora depende da existência de informações válidas sobre as intervenções deste sistema, mais pertinente lhe parecerá a institucionalização da avaliação.

No plano coletivo, a pertinência da avaliação é tanto maior quanto a aliança de interesses que se cria em torno dela. Em outras palavras, para que a avaliação desempenhe um papel nas decisões que estruturam o sistema de saúde não é suficiente que um ator esteja pessoalmente convencido da importância dos resultados obtidos; é necessário que um grande número de atores esteja convencido disto. Sem uma mobilização desta ordem, a avaliação não será verdadeiramente veículo de mudanças.

Não se trata aqui de concordar em termos gerais sobre a necessidade de introduzir alguma racionalidade nas decisões, mas de ter uma forte convicção, o bastante para que se traduza em uma mudança nas práticas das instâncias decisórias e em uma demanda crescente de informação oriunda das avaliações.

Avaliação com fundamentação teórica

Ainda que todos estejam de acordo quanto à necessidade de aumentar a eficiência do sistema de saúde, existem grandes divergências sobre a maneira de fazê-lo e, em particular, sobre a pertinência da avaliação. Esta falta de consenso decorre da complexidade do sistema de saúde, que envolve grandes grupos de atores (os profissionais de saúde, os gestores, os planejadores, o mercado e a política), que intervêm segundo diferentes lógicas, níveis de atuação, cronogramas e valores.

Assim, quando o governo tenta implementar o bem coletivo que é a saúde, segue uma lógica democrática, respeitando os desejos dos cidadãos e os valores da sociedade. Quando os gestores querem definir os serviços a serem oferecidos a uma determinada população, dentro de uma dotação orçamentária, agem de acordo com uma lógica tecnocrata. Quando a indústria farmacêutica ou os seguros estabelecem os preços de seus produtos, agem em função de uma lógica econômica. Finalmente, quando os clínicos se esforçam para propiciar aos seus pacientes o melhor atendimento possível dentro dos conhecimentos médicos existentes, obedecem a uma lógica profissional. Estas quatro lógicas coexistem em qualquer sistema de saúde e não são intercambiáveis. Se, em teoria, a avaliação tem a capacidade de produzir informações úteis para cada instância de decisão, acredita-se que os resultados das avaliações que satisfazem às expectativas de uns não serão compatíveis com as expectativas de outros.

Existe também uma distância importante entre os horizontes temporais nos quais as decisões dos diferentes atores são tomadas, entre o momento em que as decisões devem ser tomadas e o tempo necessário para produzir a informação da qual necessitam.

Os diferentes atores atribuem ainda sentidos diversos à noção de eficiência. O que interessa ao governo é eficiência na alocação de recursos, ou seja, uma distribuição que permita atender da melhor forma possível ao bem-estar coletivo no âmbito dos grandes valores sociais (eqüidade, solidariedade, respeito à liberdade individual e promoção da saúde da população). Para gestores e planejadores, distribuição de recursos eficiente é a que permite maximizar os benefícios para a saúde em relação a um determinado gasto. Na lógica econômica, somente é considerada eficiente uma distribuição de recursos que resulte no livre funcionamento do mercado. Finalmente, para os profissionais de saúde, atuar de maneira eficiente significa fornecer a todos os serviços considerados necessários do ponto de vista clínico, de acordo com o estado de saúde do indivíduo e do conhecimento médico disponível.

Os diferentes atores no sistema de saúde têm necessidades distintas em termos de informação e, por esta razão, não conseguem chegar a um consenso quanto ao método de avaliação a ser implantado. No caso de um novo medicamento, por exemplo, o pesquisador vai querer fazer um ensaio com amostras selecionadas aleatoriamente e em grupos-controle, para verificar a relação causal entre o novo medicamento e os marcadores biológicos do resultado. O clínico vai preferir um estudo longitudinal em um grupo de pacientes, para poder inteirar-se melhor dos efeitos colaterais do medicamento. O gestor, finalmente, vai levar em consideração a relação custo-benefício, ou seja, analisará se o custo do novo medicamento será compensado por um período de internação hospitalar menor.

Credibilidade das avaliações

A credibilidade de uma avaliação depende da qualidade do procedimento de investigação ou de análise empregada, da qualidade do processo de execução da avaliação e da qualidade das informações produzidas. (Figura 3)

Essa credibilidade não se resume ao respeito às "regras da arte" estabelecidas pelos avaliadores. Ela depende da formação dos responsáveis pelas decisões, das suas experiências, das suas concepções sobre os desafios, dos seus interesses, em resumo, das suas posições no sistema de saúde. A percepção de um fato e, por conseguinte, sua credibilidade dependem sempre da posição de quem faz o julgamento. A credibilidade da informação aumenta na medida em que é aceita por um grande número de atores em diferentes posições. The idea of transpositional objectivity incorporates ideas of coherent reasoning accessible to others and not anchored on positionally peculiar observation¹⁰. O grande desafio para a avaliação é conseguir incorporar nas suas estratégias os pontos de vista de atores em diferentes posições, a fim de fornecer às instâncias de decisão as informações de que precisam para fazer um julgamento o mais amplo possível. Quanto mais posicionamentos me são fornecidos em relação a uma determinada questão que estou analisando, tanto melhor consigo me imaginar nestas posições, tanto maior será a minha capacidade de ter um pensamento representativo e maior a validade das minhas conclusões finais, a minha opinião. É esta capacidade de "ter uma mente aberta" que torna o homem capaz de fazer julgamentos [...]¹¹.

A credibilidade de uma avaliação depende, portanto, da capacidade de produzir informação coerente para todos os sujeitos envolvidos na intervenção. No nosso caso, é necessário que as instâncias de decisão às quais a avaliação se dirige possam utilizar as informações produzidas nos seus modelos de ação. Portanto, é necessário que, por um lado, os avaliadores se acostumem com os processos de elaboração de políticas e de decisão dos gestores e, por outro lado, é preciso que as instâncias de decisão compreendam os desafios e exigências da avaliação. Acima de tudo, é imprescindível que as instâncias de decisão compreendam exatamente o que foi avaliado, em que contexto e de que forma a avaliação foi realizada. Os gestores precisam ter uma idéia correta da consistência dos resultados para ter condições de decidir como aplicá-los às situações e aos problemas que os preocupam.

Conclusão

Nossa análise mostra claramente que a capacidade de institucionalização da avaliação como instrumento para melhorar o sistema de saúde é paradoxal, embora justificada pela suposição de que a informação produzida contribua para racionalizar os processos de decisão. No entanto, observa-se que os diferentes atores que ocupam posições distintas freqüentemente não conseguem chegar a um consenso quanto à pertinência dos resultados que a avaliação produz. Retomamos a idéia de que o domínio da tomada de decisão não abrange o da avaliação. Um julgamento realizado por uma instância de decisão deveria considerar, além de critérios de eficiência, também critérios que permitissem apreciar as conseqüências das suas decisões em matéria de eqüidade de acesso aos serviços e em relação ao respeito às liberdades individuais dos diferentes atores.

Para que esse paradoxo não exerça um efeito negativo sobre a transformação do sistema de saúde, é preciso entender o papel da avaliação para além de um guia racional das escolhas nas instâncias decisórias, permitindo a todos os atores desenvolverem sua cultura democrática¹². Tendo em vista que uma das importantes funções da avaliação é favorecer o aprendizado individual e coletivo¹³, ela poderia tornar-se um excelente instrumento de transformação e inovação. A partir daí, a avaliação deixaria de ser instrumento de poder de um determinado grupo de atores e passaria a ser um verdadeiro instrumento de liberação, permitindo uma visão crítica da norma estabelecida.

Para desempenhar este papel, a avaliação deveria estar orientada para a ação, criando a oportunidade de aprendizado diversificado, participativo, não-hierárquico, portador de sentido, interdisciplinar, válido, prospectivo e democrático. Na prática, no entanto, ainda não se dispõe da liderança, das competências, dos métodos e dos meios necessários para institucionalizar este tipo de avaliação. Enquanto isto não acontecer, é muito provável que a institucionalização da avaliação continue sendo um procedimento limitado no alcance do seu objetivo final: a melhoria do desempenho do sistema de saúde.

A prioridade para que a avaliação esteja no cerne das estratégias de transformação do sistema de saúde deveria ser a de criar as condições para que o julgamento avaliativo seja verdadeiramente crítico. Neste caso, é necessário implementar estratégias para favorecer:

• A formação e o aprendizado, permitindo que todos os atores envolvidos possam adquirir novos modelos intelectuais para apreender a complexidade da avaliação e do sistema de saúde. Desta forma, estamos ajudando estes atores a serem reflexivos, em outras palavras, a terem consciência dos determinantes das suas decisões e das suas práticas;

•As discussões que admitem que uma mesma informação possa ter sentidos diferentes para pessoas em posições e campos de julgamento distintos;

• A abertura de mais frentes de trabalho, atuando com o mesmo rigor, quer seja sobre a intervenção fundamentada teoricamente, quer seja sobre a avaliação dos resultados, dos processos e das condições de implantação de uma ação;

• As reflexões, que permitem compreender que é necessário tornar a avaliação um instrumento prospectivo, mesmo que esta ainda seja fundamentalmente conservadora.

Artigo apresentado em 27/02/2006

Aprovado em 31/03/2006

Versão final apresentada em 17/04/2006

• 1. Hartz ZMA. Institutionalizing the evaluation of health programs and policies in France: cuisine internationale over fast food and sur mesure over ready-made. Cad Saúde Pública 1999; 15(2):229-59.
• 2. Contandriopoulos AP. Is the institutionalization of evaluation sufficient to guarantee its practice? Cad Saúde Pública 1999; 15(2):253-56.
• 3. Deming WE. Out of the crisis. Cambridge: MIT Press; 1989.
• 4. Felisberto E. Monitoramento e avaliação na atenção básica: novos horizontes. Rev Bra Saúde Materno-Infantil 2004; 4(3):317-21.
• 5. Contandriopoulos AP, Champagne F, Denis JL, Avargues MC. L'évaluation dans le domaine de la santé: concepts et méthodes. Revue Epidémiologie et Santé Publique 2000; 48:517-39.
• 6. Denis JL, Lehoux P, Champagne F. A knowledge utilization perspective on fine-tuning dissemination and contextualization knowledge. In: Lemieux-Charles L, Champagne F, editors. Using knowledge and evidence in health care. Toronto: University of Toronto Press; 2004. p. 18-40.
• 7. Lemieux-Charles L, Champagne F. Using knowledge and evidence in health care. Toronto: University of Toronto Press; 2004.
• 8. Brasil. Ministério da Saúde. Avaliação da atenção básica em saúde: caminhos da institucionalização. Brasília: MS; 2005.
• 9. Contandriopoulos AP, Pouvourville G, Poullier JP, Contandriopoulos D. À la recherche d'une troisième voie: les systèmes de santé au XXIe siècle. In: Pomey MP, Poullier JP, éditeurs. Santé publique. Paris: Elipses; 2000. p. 637-67.
• 10. Sen A. Objectivity and position: assessment of health and well-being. In: Chen LC, Kleinman A, Ware NC, editors. Health and social change in international perspective. Boston: Harvard University Press; 1994. p. 115-28.
• 11. Arendt A. La crise de la culture. Paris: Gallimard; 1972. (Folio Essais).
• 12. Touraine A. Qu'est-ce que la démocratie? Paris: Fayard; 1994.
• 13. Crozier M, Freidberg E. L'acteur et le système. Paris: Seuil; 1977.

Datas de Publicação

• Publicação nesta coleção
  05 Jun 2007
• Data do Fascículo
  Set 2006

Histórico

• Aceito
  17 Abr 2006
• Recebido
  27 Fev 2006
• Revisado
  31 Mar 2006