Da teoria à formulação de uma Política Nacional de Avaliação em Saúde: reabrindo o debate

From the theory to the formulation of a National Policy of Evaluation in Health: reopening the debate

DEBATE DEBATE

Da teoria à formulação de uma Política Nacional de Avaliação em Saúde: reabrindo o debate

From the theory to the formulation of a National Policy of Evaluation in Health: reopening the debate

Eronildo Felisberto

Departamento de Atenção Básica, Secretaria de Atenção à Saúde, Ministério da Saúde. Instituto Materno Infantil de Pernambuco. Rua dos Coelhos, 300, Boa Vista. 50070-550 Recife PE. [e-mail]

RESUMO

O artigo propõe uma reflexão teórica e operacional, a ser enriquecida pelos debatedores convidados, sobre o significado de institucionalizar a avaliação a partir da perspectiva do gestor federal em induzir um "aculturamento" da avaliação, na rotina da atenção básica, considerada ação norteadora de uma política de saúde. A discussão se orienta por uma revisão sumária da literatura contextualizando dois debates anteriores que focalizaram a Institucionalização da Avaliação em Saúde e a Atenção Básica. Defende-se o princípio de que o ato de avaliar só agrega valor quando o conhecimento e o uso das informações produzidas geram aprimoramento institucional e profissional. Aborda-se ainda a necessidade de uma ampla ordem de ferramentas como: decisão político-institucional, recursos financeiros, mecanismos técnicos e estratégias organizacionais de qualificação de recursos humanos, adaptados às necessidades específicas decorrentes do processo de descentralização da gestão da atenção básica, demais diretrizes e princípios do SUS.

Palavras-chave: Avaliação em saúde, Institucionalização da avaliação, Atenção básica em saúde, Avaliação na atenção básica em saúde

ABSTRACT

This article proposes a theoretical and operational reflection, to be enriched by the invited debaters, about the significance of institutionalizing evaluation from the perspective of public management, by introducing a "culture" of evaluation in the routine of primary care as guiding element for a health care policy. The discussion is oriented by a summary revision of the literature contextualizing two previous debates that focalized the Institutionalization of Evaluation in Health and Primary Care. The article defends the principle that evaluation only aggregates value when the knowledge and information it produced come to generate institutional and professional improvement. Furthermore, it approaches the need for a broad range of tools including political-institutional decision-making, financial resources, technical mechanisms and organizational strategies for the qualification of human resources, adapted to the specific needs arising from the decentralization process of the primary health care management and other directives and principles of the Unified Health System-SUS.

Key words: Evaluation in health, Institutionalization of the evaluation, Primary health care, Evaluation in primary health care

Introdução

Nas últimas décadas, diversas iniciativas voltadas para avaliação em saúde vêm sendo desenvolvidas de forma progressiva no Brasil¹. Desde a realização de pesquisas acadêmicas, com vistas à avaliação de serviços de saúde, até a incorporação, pelo Ministério da Saúde, da necessidade de pesquisas avaliativas com vistas a subsidiar a elaboração de políticas e programas setoriais e a difusão de seus resultados.

Entretanto, os avanços, na maior parte dos casos, constituíram-se em iniciativas pontuais, mediante pesquisas específicas, estudos de casos ou produção regular de dados sem a equivalente regularidade de análise dos mesmos, orientada para as necessidades da gestão. O próprio Ministério da Saúde identifica alguns dos limites dessas iniciativas: 1) a ausência ou insuficiência da explicitação das diretrizes políticas e da definição estratégica que orientam a avaliação; 2)a fragmentação e a decorrente diversidade de orientações que presidem os processos de avaliação, impedindo que possam ser úteis a uma ação coordenada; 3)a ênfase em variáveis relacionadas a processo e; 4)avaliações de resultados pontuais e/ou espacialmente restritas².

Nos últimos anos, porém, vem se delineando uma política de institucionalização da avaliação da atenção básica a partir do Departamento de Atenção Básica da Secretaria de Atenção à Saúde do Ministério da Saúde que busca superar seus limites organizacionais propondo a institucionalização da avaliação no sistema de saúde. A institucionalização é entendida como uma estratégia presente em diversas ações/atividades, projetos e políticas, com o objetivo explícito de incorporar a avaliação no cotidiano de gestores e profissionais, partindo de uma visão abrangente dos processos avaliativos. Trata-se de uma compreensão da avaliação que vai muito além da obrigação de prestar contas a organismos financiadores ou da simples medição de resultados para satisfação de agentes formuladores de programas e/ou políticas setoriais, como destaca Worthen³.

Neste artigo, propõe-se uma reflexão teórica e operacional, a ser enriquecida pelos debatedores convidados, sobre o significado de institucionalizar a avaliação a partir do processo de indução pelo gestor federal de uma estratégia chamada de "aculturamento" da avaliação. Tal estratégia consiste, em grande parte, na inclusão da avaliação na rotina da atenção básica, que, por sua vez, é considerada ação norteadora da política de saúde. A discussão se orienta por uma revisão sumária da literatura, contextualizando dois debates anteriores que focalizaram a institucionalização da Avaliação em Saúde e a Atenção Básica^{4, 5}.

Defende-se o princípio de que o ato de avaliar só agrega valor quando o conhecimento e o uso das informações produzidas geram aprimoramento institucional e profissional. Aborda-se também a necessidade de se utilizar um conjunto de ferramentas tais como a decisão político-institucional, recursos financeiros, mecanismos técnicos e estratégias organizacionais de qualificação de recursos humanos⁶, adaptado às necessidades específicas decorrentes do processo de descentralização da gestão da atenção básica vis-à-vis as demais diretrizes e princípios do SUS.

O maior desafio consiste em teorizar sobre uma estratégia e uma prática ainda em construção e o risco de não aprofundar as diversas dimensões inerentes ao debate macropolítico. Isto é, trata-se aqui de debater uma proposta que pretende extrapolar os limites da atenção básica para ser vista como uma estratégia do próprio SUS, na perspectiva suscitada por Hartz⁴. O que está em discussão, portanto, é uma proposta de compartilhar lições preliminares vindas da nossa experiência na gestão dessa iniciativa, cujo propósito maior é contribuir para a institucionalização da Avaliação em Saúde.

Contextualizando o(s) debate(s)

Em 1999, importante debate sobre Institucionalização da Avaliação foi divulgado nos Cadernos de Saúde Pública com base na experiência da avaliação de programas e políticas públicas na França. Ao estabelecer a relação dos marcos cronológicos desta implantação com outras experiências internacionais e ao trazer para a discussão a reflexão sobre caminhos que pudessem ser adaptados ou evitados para uma política de avaliação do setor saúde no Brasil, Zulmira Hartz enfatiza o questionamento de Pouvourville⁷ quando este interroga sobre a possibilidade de se aprender com as experiências dos outros: temos que fazer o mesmo caminho, para ficarmos convencidos pela própria experiência do que é certo ou errado, mesmo que alguém já tenha nos contado, ou podemos pular etapas e ir direto aos pontos que parecem corretos? ^{4, 7}

A preocupação externada por Campos⁸ no debate do artigo de Hartz⁴, referindo-se à suspeição de qualquer Sistema de Avaliação e ao lembrar que a transparência da informação é apenas um aspecto desta democratização necessária, apesar de pertinente, é menos inquietante se pensarmos na institucionalização da avaliação como uma política permanente de governo e com diretrizes claras. A descentralização no âmbito da atenção básica no Brasil reflete, sem dúvida, a fertilidade com que o processo de democratização se desenvolve no País, tanto no que diz respeito à necessária diversidade de enfoques e métodos, quanto à adequação destes aos contextos em que estão inseridos: políticos; organizacionais; locais; advindos do programa ou política específica; ou, ainda, das respostas sociais ao que está sendo proposto.

O zelo pelo bom desempenho e melhor qualidade de uma determinada prática deveria ser uma preocupação de cada um em sua atividade profissional. Nem sempre isso é verdadeiro, mas a satisfação com o que se faz parece constituir um atributo inerente ao ser humano. Com este pressuposto, queremos crer que o interesse de avaliar sua própria prática é algo que, se minimamente despertado, pode transformar o fazer, fortalecendo a dedicação e a vontade de acertar inerente àqueles que no seu cotidiano dedicam-se à função pública. Esta, por ofício, serviria ao interesse do conjunto da sociedade, seja de iniciativa das organizações de direito público ou privado.

Ao se posicionar como debatedor do artigo de Hartz⁴, Contandriopoulos⁹ levanta outros questionamentos que valem a pena ser retomados neste momento: 1) a institucionalização da avaliação é suficiente para generalizar a prática da avaliação, i.e., para que uma "cultura da avaliação" surja na sociedade? 2) a institucionalização da avaliação não cria o risco de limitar os debates e inovações, consagrando desta maneira a dominação da abordagem técnico-científica em decisões coletivas, em detrimento de outros três tipos de lógica reguladora utilizada no sistema de saúde (lógica profissional, lógica econômica e lógica democrática)? As pistas e respostas para essas perguntas, exploradas pelo autor, reforçam nossa argumentação precedente. O autor conclui seus comentários com a assertiva de que a institucionalização da avaliação favorece o aparecimento de uma cultura autenticamente democrática quando promove a subordinação de grupos de interesse revestidos de poder aos de indivíduos que constituem a sociedade coletivamente.

Apesar de concordarmos com o qualificativo de "audacioso" dado por Hartz às considerações de Contandriopoulos, gostaríamos de articulá-las aos comentários de Vieira-da-Silva^{10, 11}, quando evoca as referências de Bourdieu¹² e Bourdieu & Wacquant¹³ no sentido que dá ao conceito de "campo" em relação à avaliação. Segundo esta autora, o conceito de campo pode contribuir para uma concepção da avaliação muito mais abrangente do que aquela restrita à dimensão racional da ação, ajustando o conceito de "intervenção" ao de "práticas sociais", onde estariam de modo particular as "práticas de saúde".

Outros autores como Pouvourville⁷ e Novaes¹⁴ reforçam a convicção de que institucionalizar a avaliação corresponde a implantar políticas de avaliação de políticas e programas e, para tal, devem contemplar a necessidade da regulação, regulamentação, melhoria dos programas, garantia de qualidade dos processos e produtos, poder de comparabilidade, cobrança de compromissos e desempenho, perseguição de metas no sentido da melhoria da qualidade de vida e do bom estado de saúde da população, de desenvolvimento institucional e pessoal no sentido do bem-estar dos profissionais envolvidos. Devem também contemplar a participação de avaliadores externos, com vistas à realização de pesquisas avaliativas envolvendo enfoques e métodos diversos ou para a necessidade de avaliações formativas voltadas ao aprimoramento dos programas e projetos propostos.

É extremamente relevante a questão levantada por Chen¹⁵ em relação à natureza da teoria do programa, ao entender quea construção da teoria do programa é uma atividade carregada de valor, (idéias ou sentido do "que deve ser") que precisa incorporar tanto os saberes científicos como os saberes práticos dos grupos implicados na avaliação. Igualmente relevantes são os conceitos de macro e microteoria que relacionam o conteúdo do programa ao contexto de sua implantação¹⁶ e o "modelo político e contingente" para análise de programas, proposto por Denis & Champagne¹⁷ ao abordar os diferentes modelos e processos de implantação das intervenções. A tentativa desta articulação de conceitos com as posições anteriormente discutidas sinaliza para a idéia de entender a institucionalização da avaliação como um movimento flexível e aberto às peculiaridades do sistema de saúde brasileiro.

O outro debate nacional, publicado em 2002 neste mesmo periódico, que também tem inspirado nossa atuação, se deu a partir do artigo de Regina Bodstein⁵ ­ Atenção Básica na Agenda da Saúde ­ em que os autores/debatedores terminam por enfatizar a avaliação como fator qualificador do processo de gestão, tomando como referência a descentralização do sistema de saúde e as estratégias de organização da atenção básica⁵.

No artigo citado, a autora, ao destacar em sua argumentação a importância do fortalecimento e da reorganização da atenção básica para o aprimoramento do Sistema Único de Saúde (SUS), e procurando enfatizar os princípios que o apóiam, traz como elemento o que chama de "desafios metodológicos". Em suas conclusões, aponta para a necessidade de se investir na avaliação, tomando em consideração as mudanças provocadas pelas iniciativas de indução por parte do gestor federal do SUS e a capacidade de resposta evidenciada pelos municípios em diferentes contextos específicos, ressaltando a necessidade da análise de desempenho institucional como visto por Putnam¹⁸, apud Bodstein⁵, em que o que está em jogo são os princípios e concepções programáticas do processo de implementação, e não somente a avaliação de resultados e impacto das ações⁵.

É esse ponto que se destaca nas considerações dos seis debatedores do artigo da autora, refletindo suas vivências profissionais: o recorte trabalhado por Ribeiro¹⁹ quando sugere a inclusão na agenda setorial de um esforço analítico para o que se deseja estudar e avaliar sobre a atenção básica, diante das características peculiares ao sistema de saúde brasileiro; a identificação das pistas metodológicas à avaliação do processo de implementação feita por Canesqui²⁰, que ressalta ainda o potencial que tal caminho traz ao aperfeiçoamento da gestão desde que tal interesse esteja presente; a clara percepção que nos oferece Cordoni Júnior²¹ sobre a potencialidade da contribuição que a avaliação da atenção básica pode dar para a compreensão, análise e ajuste das estratégias escolhidas no processo de construção do SUS; os desafios que enfrenta a avaliação de programas e sistemas de saúde, apontados por Conill²², que evidencia a necessidade do que chama de análise estratégica ou pesquisa avaliativa que visa determinar a pertinência da intervenção ao seu contexto; a contribuição teórica ressaltada por Teixeira²³, que amplia a perspectiva de análise do processo de gestão do SUS; e a contribuição de Hartz²⁴ que nos permite intermediar um diálogo entre aquele e este debate, ressaltando como prioritárias a qualificação e a institucionalização da avaliação no SUS.

A constatação final de Bodstein⁵ destaca o papel que pode desempenhar a avaliação em saúde no sentido de resgatar o necessário compromisso entre a academia e os serviços, entre a pesquisa e a gestão, removendo obstáculos a essa aproximação e contribuindo para o desenvolvimento de uma cultura organizacional no sistema de saúde brasileiro que tenha a avaliação como atividade intrínseca e inseparável do planejamento e da gestão.

Travassos²⁵ lembra que institucionalizar a avaliação requer, além de melhorar a interação entre avaliar e tomar decisões, estratégias e recursos com vistas à produção de conhecimento e o treinamento de pessoal especializado. Vai além, quando traz à discussão o conceito de qualidade em saúde e encontra na abordagem de Hartz⁴ a valorização de estratégias menos coercivas (e, portanto, mais participativas), além de criar estruturas de avaliação descentralizadas e flexíveis.

Esses comentários encontram eco na referência de Putnam¹⁸ quando deixa claro outra visão sobre "o avaliar", lembrando que é de extrema importância, quando se trata de caracterizar o desempenho institucional, trabalhar com indicadores de adesão e compromisso do poder público, por um lado, e co-responsabilização da população, por outro, antes de se avaliarem resultados e impactos finais.

Isto é, a visão do autor pressupõe a superação de uma perspectiva restrita que atrela a discussão da avaliação ao conceito e à necessidade de medidas de desempenho. Nesta visão restrita, medidas de desempenho são entendidas como eficiência de um setor, de um projeto ou de determinadas atividades em atingir suas metas com o menor custo possível. O conceito de efetividade, por sua vez, é entendido como a atividade de cumprir com objetivos propostos.

Mackay²⁶, expressando uma visão institucional do Banco Interamericano para a Reconstrução e o Desenvolvimento (Bird/Banco Mundial), afirma que há vários tipos de instrumentos de avaliação e todos eles se destinam à medição do desempenho. Estejam eles a serviço do monitoramento de indicadores, sendo utilizados para a avaliação de projetos ou programas proporcionando análise de custo-benefício ou, ainda, promovendo funções de auditoria.

Em resumo, as questões e ponderações aqui levantadas e discutidas brevemente nos trazem a percepção de que para o processo de institucionalização da avaliação a diretriz da descentralização deve ser condição essencial e eixo central, de tal forma que a pluralidade metodológica precisa ser incentivada com vistas à qualificação dos processos avaliativos.

Caminhos da institucionalização

Se, por um lado, o debate sobre avaliação de programas e políticas públicas tem sido uma prioridade, por outro, existem fortes indícios e evidências sobre a necessidade de se investir na sua institucionalização, como tem sido enfatizado por vários autores nacionais e internacionais^{4, 5, 6, 10, 24, 27, 28, 29, 30, 31, 32, 33, 34, 35}.

À luz dessa discussão, cabe trazer como referência específica as diretrizes políticas e o esforço que vem sendo feito para desenvolver uma cultura avaliativa na tomada de decisão e (re)direcionamento de prioridades, na descentralização dos processos avaliativos da atenção básica em saúde.

No Brasil, a avaliação em saúde apresenta-se, ainda, por intermédio de processos incipientes, pouco incorporados às práticas, possuindo, quase sempre, um caráter mais prescritivo e burocrático. Não faz parte da cultura institucional, aparecendo de maneira pouco sistemática e sistematizada, e nem sempre contribuindo com o processo decisório e com a formação dos profissionais, necessitando, portanto, de investimentos de ordem técnica e política por parte da administração pública setorial³⁶.

A institucionalização da avaliação possui aqui um objetivo indissociado do desafio de consolidação do SUS através da qualificação das práticas, orientada pelo princípio da integralidade, possibilitando a organização de um modelo de atenção básica de saúde com maior resolutividade. O objetivo vem a ser o de qualificar a atenção básica segundo os princípios do SUS, contribuindo para a estruturação e sistematização dos processos em todos os níveis da gestão, do cuidado e do impacto sobre o perfil epidemiológico³⁵.

O fortalecimento de uma política específica para a atenção básica que vem ocorrendo no País, já explicitado por Bodstein⁵, definindo a esfera municipal como responsável pela sua execução, estabelece novos papéis para os gestores das secretarias estaduais e do Ministério da Saúde que passaram a assumir, cada vez mais, atribuições normativas e reguladoras, ressaltando-se a função de avaliação do sistema de saúde.

Movimentos direcionados à institucionalização da avaliação, como uma prática inerente às ações e às organizações de saúde, visando à qualificação dos processos de reorganização da atenção básica, são cada vez mais necessários, apesar da diversidade de concepções e do intenso debate técnico-científico que acompanha o tema³⁷. Nesse sentido, Hartz^{24, 33} enfatiza a exigência da definição de uma "política de avaliação para a avaliação de políticas" com um mínimo de diretrizes: os propósitos e recursos atribuídos à avaliação (estrutura); a localização e abordagens metodológicas da(s) instância(s) de avaliação (prática), as relações estabelecidas com a gestão e a tomada de decisão (utilização).

O Ministério da Saúde, por intermédio da Coordenação de Acompanhamento e Avaliação do Departamento de Atenção Básica, vem, a partir de 2003, desenvolvendo diversas ações com vistas à implantação de uma política de avaliação para a atenção básica, calcada em algumas diretrizes: 1) Parcerias com instituições de ensino e pesquisa nacionais e internacionais, bem como com associações profissionais de reconhecido prestigio político e acadêmico; 2) Mobilização de atores institucionais por intermédio de processos amplamente participativos, que buscaram não apenas o estabelecimento de alianças no desenvolvimento de projetos, mas que permitiram, sobretudo, a adesão e incorporação de propostas de forma mais coerente com as múltiplas necessidades do sistema de saúde; 3) Identificação de fontes de financiamento e garantia de recursos orçamentários para os projetos; 4) Definição de estratégias organizacionais para qualificação de profissionais no campo da avaliação³⁶.

A figura 1 apresenta o modelo lógico desta Política Nacional de Avaliação da Atenção Básica em Saúde, conduzida em nível federal, cujo detalhamento pode ser consultado no documento técnico "Avaliação da Atenção Básica em Saúde: caminhos da institucionalização", publicado pelo Ministério da Saúde³⁶ e disponibilizado em www.saude.gov.br/caadab. São quatro focos bem definidos de atuação (Figura 2) e direcionamento das ações: municipal ­ Secretarias Municipais de Saúde; estadual ­ Secretarias Estaduais de Saúde; federal ­ Departamento de Atenção Básica e outros setores de interface no Ministério da Saúde e; instituições de ensino e pesquisa ­ centros colaboradores das secretarias estaduais e outras envolvidas na realização de pesquisas avaliativas, em cooperação técnica e em consultorias especializadas.

Procurando estabelecer vínculos e ao mesmo tempo distinção entre as ações de monitoramento e avaliação, alguns projetos e atividades trazem definidas características de suporte à capacitação das pessoas envolvidas, ao mesmo tempo em que são fortemente indutoras de uma cultura avaliativa no exercer das práticas em saúde, estejam elas no âmbito do cuidado, da vigilância, da gerência de serviços ou da gestão em quaisquer de seus níveis.

É nesse sentido que estão sendo conduzidos os movimentos voltados à superação dos problemas relacionados ao Sistema de Informação da Atenção Básica (SIAB), conforme apontados por Conill²² e Hartz^{24, 33}, e ao Pacto de Indicadores da Atenção Básica levando em consideração as reflexões críticas dos atores envolvidos. Deve ser considerado, ainda, o processo de definição de indicadores para o acompanhamento de intervenções prioritárias, a exemplo do Componente I do Projeto de Expansão e Consolidação do Programa Saúde da Família (Proesf) ­ intervenção em curso nos municípios brasileiros acima de cem mil habitantes, que tem como objetivos o aumento da cobertura e o fortalecimento do sistema municipal de saúde por intermédio da Estratégia Saúde da Família³⁸. O acompanhamento desses indicadores é conduzido de maneira formativa, articulando as três instâncias gestoras³⁶.

Da mesma forma, esses projetos trazem em seu bojo conceitos conjugados como o de qualidade associado ao potencial que a avaliação tem a oferecer, seja ao disponibilizar instrumentos de auto-avaliação da Estratégia Saúde da Família (ESF), facilitando a focalização de intervenções para sua qualificação, ou no cuidado ao manusear os sistemas de informação com vistas a atribuir à ESF indícios de sua forte influência na evolução positiva de indicadores de saúde.

Os estudos e pesquisas desenvolvidos ou em desenvolvimento, a exemplo dos selecionados pelo edital nº 049/2005 do CNPq, foram mediados por estratégias de superação da simples ação de indução e conduzidos articulados pela ação de gestão, por intermédio da constituição de grupos de acompanhamento. Estes grupos vêm contribuindo para a aproximação dos pesquisadores e instituições às quais estão ligados e com as instâncias gestoras dos locais e regiões onde os mesmos são desenvolvidos, buscando a apreensão, por parte destes últimos, das metodologias e resultados intermediários. Da mesma forma, os estudos avaliativos realizados nos municípios com população acima de cem mil habitantes articulam-se às iniciativas de capacitação técnica dos profissionais das Secretarias Municipais e Estaduais de Saúde.

Um componente específico e apoiado financeiramente pelo Banco Mundial por intermédio do Componente III do Proesf ³⁸ é o de fortalecimento da capacidade técnica em avaliação com ações voltadas para os gestores, com ênfase para os municípios e Estados. Projeto estruturante da função da avaliação nas Secretarias Estaduais de Saúde envolvendo importante volume de recursos ­ o equivalente a 17 milhões de dólares ­, acompanhamento técnico de profissionais especializados e o apoio de instituições de ensino e pesquisa que ocupam função de destaque no assessoramento contínuo ao desenvolvimento e execução de proposições metodológicas e operacionais que dão corpo à tarefa do monitoramento e da avaliação e, ainda, ao requerido suporte que os municípios, em sua maioria, necessitam do gestor estadual.

A idéia presente é o fomento de uma mobilização permanente em torno da temática da avaliação, a partir de possibilidades concretas de realização de ações voltadas para os quatros focos definidos, que constituam atividades estruturantes de uma prática qualificada; contribuam com o "aculturamento" do uso da avaliação como parte da gestão; sirvam de suporte para o (re)direcionamento de práticas; permitam avaliar o desempenho institucional e de seus profissionais; constituam-se em instrumentos para a produção e utilização do conhecimento; contribuam com a formação e satisfação das pessoas e, assim, qualifiquem a atenção básica em saúde no Brasil.

Por outro lado, a constatação já anteriormente referida, sobre a necessidade de fomentar a produção de conhecimento na área e capacitar, também, os profissionais já especializados³⁹ deve ser vista como uma estratégia que além de superar uma importante lacuna relacionada com a incorporação do conhecimento produzido no plano da investigação pelos profissionais de saúde e pelos gestores¹¹, incentiva a pluralidade metodológica. Tal iniciativa originou a proposta formulada à Abrasco para a constituição de um GT de Avaliação com a finalidade de promover a cooperação técnico-científica permanente entre as instituições envolvidas na proposta em curso, constituindo uma rede colaborativa em avaliação. E, ainda, o desencadeamento de um programa integrado de educação a distância, envolvendo instituições nacionais e internacionais de reconhecida qualificação na área, direcionado aos gestores da atenção básica das três instâncias de gestão, assim como dos centros colaboradores das Secretarias Estaduais de Saúde. Para Barnette & Wallis⁴⁰, treinamentos em avaliação devem ser constantes e deveriam permear todos os níveis de uma organização [...] os avaliadores treinados estarão prontos a formar parcerias importantes de aprendizagem, melhorando desta maneira as perspectivas de mainstreaming evaluation.

Completam o escopo dessa política composta por ações conjugadas, articuladas e com direcionamento claro dos caminhos a serem percorridos, ainda que sempre abertos ao aprimoramento pelo debate democrático de seus atores: 1) a articulação sistemática e necessária com outros setores afins no Ministério da Saúde e a indução dessa prática nas secretarias estaduais; 2) a cooperação técnica permanente com instituições de referência na área da avaliação; 3) a viabilização de consultorias especializadas para dar suporte ao status técnico institucional; 4) a publicização dos projetos, termos de referência, experiências exitosas e a facilitação do acesso ao material técnico produzido e à literatura na área.

Os componentes e projetos que conjunturalmente são implementados podem se alterar em função de contextos e problemas específicos. Entretanto, a diversidade das ações deve estar orientada sempre por uma perspectiva de institucionalização, que associa avaliação e gestão, que confere peso e especificidade às ações de avaliação, que pressupõe incorporação como cultura, mas que prevê a definição de espaços de expertisee sistematização constitutivos do campo da avaliação³⁶.

Ainda, com o intuito de ajudar a compreender a focalização de alguns desses projetos, a figura 3 ressalta a importância que tem a gestão estadual da saúde no processo de institucionalização da avaliação da atenção básica no momento de consolidação da descentralização vivida no País.

Limitações e perspectivas em debate

Sob o aspecto de princípio de precaução é importante considerar os diversos fatores de ordem teórica e prática que podem influenciar a implantação de uma política ou programa, a reprodutibilidade operacional de uma intervenção, ou, ainda, a sustentabilidade necessária à sua permanência e manutenção^{41, 42}. Assim é que reputamos como imprescindível a devida atenção ao contexto político-institucional nas três instâncias gestoras, à mobilização necessária em busca do alcance das metas estabelecidas e à viabilização dos recursos técnicos e financeiros necessários.

Segundo Sanders⁴³, algumas razões são mais freqüentes para a não incorporação da avaliação como prática cotidiana: 1) a incerteza quanto a seus benefícios; 2) a não visualização de resultados positivos como decorrência da prática da avaliação; 3) a possibilidade do aumento nos custos e a pouca evidência sobre a relação custo-benefício; 4) a pouca disponibilidade de avaliadores ou profissionais treinados para fazer avaliações; 5) a pouca evidência de efeitos positivos no trabalho dos profissionais avaliados.

Com o conjunto de projetos e atividades relacionados à área e atualmente em curso no âmbito da atenção básica no Brasil, tentamos contornar essas dificuldades aumentando sua utilidade potencial. Uma das primeiras convicções explicitadas na condução da gestão é a de que não se deve esperar pelas condições ideais para superação de problemas estruturais que insistem em dificultar o aprimoramento e a qualificação da atenção básica e do SUS.

Tentativas de "institucionalizar" a avaliação no SUS a partir da criação de "Departamentos" em Secretarias do Ministério da Saúde ou em outras instâncias organizacionais, como referidas por Yunes⁴⁴, parecem, por si só, não lograrem êxito, haja vista a criação do Departamento de Avaliação na então Secretaria de Políticas de Saúde em 1998. Não que desconsideremos a importância e necessidade desses locus organizacionais. Acreditamos, porém, na condição essencial que é ter a avaliação como prática "introjetada" ou "vivenciada" pelos atores institucionais.

Este é o desafio que a gestão federal do SUS vem enfrentando mais recentemente com a criação de instâncias como o Núcleo Coordenador de Avaliação de Desempenho do SUS em 2004 e o Departamento de Monitoramento e Avaliação ligado à Secretaria de Gestão Participativa em 2005, além dos exitosos esforços desenvolvidos pela Secretaria de Vigilância em Saúde com a instituição do Departamento de Análise de Situação de Saúde em 2003 e com a criação da Assessoria de Monitoramento e Avaliação em 2004, pelo Programa Nacional de DST/ AIDS. Iniciativas recentes que desejamos sejam conduzidas à luz de lições aprendidas não só com as experiências de outros, mas também com as nossas.

A completa institucionalização da avaliação seria, segundo Worthen³, o resultado da total aceitação e do uso contínuo da avaliação. Ou, na lógica de Picciotto⁴⁵, de mainstreaming evaluation, da disseminação de uma nova cultura com todos os riscos inerentes às mudanças daí decorrentes. Sanders⁴³ define mainstreaming como o processo de fazer a avaliação uma parte integral das operações diárias de uma organização. Para o autor, avaliação como mainstreamingseria parte integrante da ética do trabalho, da cultura e das responsabilidades do trabalho em todos os níveis.

Institucionalizar a avaliação adquire, para nós, um sentido de incorporação à rotina das organizações de saúde, sendo entendida como uma demanda interna de acompanhamento de todo o processo de planejamento e gestão das políticas e/ou programas. O fomento da "cultura avaliativa" requer a qualificação da capacidade técnica, nos diversos níveis do sistema de saúde, viabilizando uma efetiva associação das ações de monitoramento e avaliação como subsidiárias ou intrínsecas ao planejamento e à gestão, dando suporte à formulação de políticas, ao processo decisório e de formação dos sujeitos envolvidos³⁵.

À guisa de conclusão, abrindo o espaço para a opinião dos debatedores convidados, gostaríamos de colocar em perspectiva a visão de Trochim⁴⁶, por nós compartilhada, quando apresenta seu pensamento sobre uma cultura avaliativa "ideal" a ser perseguida no século 21. Para este autor, a cultura de avaliação 1) acolherá uma perspectiva orientada para ação [...] encorajando abordagens inovadoras com a busca ativa de soluções baseadas na análise dos processos e dos resultados; 2) será acessível, orientada para ensino [...] enfatizando a unidade de avaliação formal e o pensamento oriundo do fazer cotidiano, devendo encorajar todos de uma organização a avaliar sua prática diária, assim como os experts a ensinarem sobre os aspectos teórico-metodológicos de suas reflexões e estudos; 3) será diversa, inclusiva, participativa, responsiva e fundamentalmente não hierárquica [...] enfatizando além das habilidades técnicas, as de negociação e de construção de consensos; 4) será humilde e autocrítica [...] prevendo o reconhecimento das limitações e do aprendizado permanente; 5) necessitará ser interdisciplinar [...] enxergando os limites das disciplinas específicas na busca de fomentar uma visão mais ampla do fenômeno estudado; 6) será também honesta, procurando a verdade [...] enfatizando a responsabilidade e credibilidade científica; 7) será prospectiva e com o olhar à frente [...] na perspectiva da construção de avaliações simples, de baixo custo com a consciência dos tempos possíveis e necessários, sem esperar as condições ideais para sua realização; 8) finalmente, a cultura de avaliação será aquela que enfatizará processos justos, abertos, éticos e democráticos [...] afastando as visões de uso exclusivo de dados, proporcionando acesso a todos os grupos interessados permitindo análises secundárias independentes mais extensivas e oportunidades para replicação ou refutação dos resultados originais.

Artigo apresentado em 27/02/2006

Aprovado em 31/03/2006

Versão final apresentada em 17/04/2006

• 1. Paim JS. Avaliação em saúde: uma prática em construção no Brasil. In: ZMA Hartz & LM Vieira-da-Silva, organizadores. Avaliação em saúde. Dos modelos teóricos à prática na avaliação de Programas e Sistemas de saúde. Rio de Janeiro: Editora Fiocruz; Salvador: EDUFBA; 2005. p. 9-10.
• ²
  Brasil. Ministério da Saúde. Secretaria Executiva. Departamento de Apoio à Descentralização. Nota Técnica. Considerações sobre a instituição de um processo de monitoramento e avaliação do SUS. Brasília: MS; 2005.
• 3. Worthen BR. Some observations about the institutionalization of evaluation. Eval Pract 1995; 16(1): 29-36.
• 4. Hartz ZMA. Institutionalizing the evaluation of health programs and policies in France: cuisine internationale over fast food and sur mesure over ready-made. Cad Saúde Pública 1999; 15(2):229-59.
• 5. Bodstein R. Atenção Básica na agenda da saúde. Rev C S Col 2002; 7(3):401-12.
• 6. Stevenson JF, Florin P, Mills DS & Andrade M. Building evaluation capacity in human service organizations: a case study. Eval Program Plann 2002; 25:233-43.
• 7. Pouvourville G. Evaluation: the French chefs are still searching for "la nouvelle cuisine". Cad Saúde Pública 1999; 15(2):248-50.
• 8. Campos GWS. Evaluation: from soliloquy to dialogue. Cad Saúde Pública 1999; 15(2):257-8.
• 9. Contandriopoulos AP. Is the institutionalization of evaluation sufficient to guarantee its practice? Cad Saúde Pública 1999; 15(2):253-6.
• 10. Vieira-da-Silva LM. The field of evaluation and the "sur mesure" strategy. Cad Saúde Pública 1999; 15(2):247-8.
• 11. Vieira-da-Silva LM. Conceitos, abordagens e estratégias para avaliação em saúde. In: ZMA Hartz & LM Vieira-da-Silva, organizadores. Avaliação em saúde. Dos modelos teóricos à prática na avaliação de Programas e Sistemas de saúde. Rio de Janeiro: Editora Fiocruz; Salvador: EDUFBA; 2005. p. 15-39.
• 12. Bordieu P. La distinction. Critique social du jugement. Paris: Minuit; 1979.
• 13. Bordieu P & Wacquant LJD. Repouses. Pour une anthropologie réflexive. Paris: Seuil; 1992.
• 14. Novaes HMD. Debate sobre o artigo de Zulmira M. A. Hartz. Cad Saúde Pública 1999; 15(2):250-1.
• 15. Chen HT. Theory-driven evaluations. Newbury Park: Sage Publications; 1990.
• 16. Hartz ZMA, Champagne F, Contandriopoulos AP & Leal MC. Avaliação do Programa Materno-Infantil: análise de implantação em sistemas locais de saúde no Nordeste do Brasil. In: ZMA Hartz, organizador. Avaliação em saúde: dos modelos conceituais à prática na análise da implantação de programas. Rio de Janeiro: Editora Fiocruz; 1997. p. 89-131.
• 17. Denis JL & Champagne F. Análise da implantação. In: ZMA Hartz (org.). Avaliação em saúde: dos modelos conceituais à prática na análise da implantação de programas. Rio de Janeiro: Editora Fiocruz; 1997. p. 49-88.
• 18. Putnam R. Comunidade e democracia (A experiência da Itália moderna). Rio de Janeiro: FGV; 1996.
• 19. Ribeiro JM. Atenção básica em saúde e a busca por uma conceituação. Rev C S Col 2002; 7(3):413-5.
• 20. Canesqui AM. Sobre a avaliação da atenção básica. Rev C S Col 2002; 7(3):415-7.
• 21. Cordoni Júnior L. Uma agenda para a análise do SUS. Rev C S Col 2002; 7(3):417-8.
• 22. Conill EM. Complementando a discussão sobre a atenção básica: podem o acesso, a integralidade e o controle social se constituírem em temáticas de consenso para a avaliação da reforma brasileira? Rev C S Col 2002; 7(3):421-3.
• 23. Teixeira CF. Descentralização do SUS: múltiplos efeitos, múltiplos olhares. Rev C S Col 2002; 7(3):423-6.
• 24. Hartz ZMA. Institucionalizar e qualificar a avaliação: outros desafios para a atenção básica. Rev C S Col 2002; 7(3):419-21.
• 25. Travassos C. Debate sobre o artigo de Zulmira M.A. Hartz. Cad Saúde Pública 1999; 15(2):246-7.
• 26. Mackay K. Fortalecimiento de la capacidad de evaluación Guía para el diagnóstico y marco para la acción. Washington DC: Banco Mundial; 2000.
• 27. Mayne J. Institutionalizing program evaluation in action-oriented evaluation in organizations. In: J Hudson, J Mayne & R Thomlison, editores. Action oriented evaluation in organizations. Toronto: Wall & Emerson Inc.; 1992. p. 21-7.
• 28. Perret B. Principes et objectifs généraux de l'évaluation de politiques publiques. Santé Publique et Territoires. Nancy: CNFPT/ENSP/SFSP; 1995.
• 29. Schraiber LB, Peduzzi M, Sala A, Nemes MIB, Castanhera ERL & Kon R 1999. Planejamento, gestão e avaliação em saúde: identificando problemas. Rev C S Col 1999; 4(2):221-42.
• 30. Medina MG, Aquino R & Carvalho ALB. Avaliação da Atenção Básica: construindo novas ferramentas para o SUS. Divulg Saúde Debate 2000; 21:15-28.
• ³¹
  Brasil. Ministério da Saúde. Saúde da Família no Brasil ­ Linhas Estratégicas para o Quadriênio 1999/2002. Brasília: MS; 2000.
• 32. Scriven M. Evaluation: future tense. Am J Eval 2001; 22(3):301-7.
• 33. Hartz ZMA. Pesquisa em avaliação da atenção básica: a necessária complementação do monitoramento. Divulg Saúde Debate 2000; 21: 29-35.
• 34. Souza HM. O PSF como indutor da institucionalização da avaliação na atenção básica. Rev Bra Saúde Família 2002; 6:10-5.
• 35. Felisberto E. Monitoramento e avaliação na atenção básica: novos horizontes. Rev Bra Saúde Materno-Infantil 2004; 4(3):317-21.
• 36. Brasil. Ministério da Saúde. Avaliação da Atenção Básica em Saúde: caminhos da institucionalização. Brasília: MS; 2005.
• 37. Novaes HMD. Avaliação de programas, serviços e tecnologias em saúde. Rev Saúde Pub 2000; 34(5): 547-59.
• ³⁸
  Brasil. Ministério da Saúde. Projeto de Expansão e Consolidação do Programa Saúde da Família (Proesf) [acessado em 20/02/2006]. Disponível em http://www.saude.gov.br/proesf
• 39. Figueiró AC, Frias PG, Felisberto E & Samico I. A avaliação no contexto das mudanças na organização e nas práticas de saúde. In: E Freese, organizador. Municípios: a gestão da mudança em saúde. Recife: Editora Universitária/UFPE; 2004. p. 127-42.
• 40. Barnette JJ & Wallis AB. Helping evaluators swim with the current: training evaluators to support mainstreaming. New Directions for Evaluation 2003; 99: 51-61.
• 41. Pluye P, Potvin L & Denis JL. Making public health programs last: conceptualizing sustainability. Eval Program Plann 2004; 27:121-33.
• 42. Scheirer MA. Is sustainability possible? A review and commentary on empirical studies of program sustainability. Am J Eval 2005; 26(3):320-47.
• 43. Sanders JR. Mainstreaming evaluation. New Directions for Evaluation 2003; 99:3-6.
• 44. Yunes J. Debate sobre o artigo de Zulmira MA Hartz. Cad Saúde Pública 1999; 15 (2):251-2.
• 45. Picciotto R. The logic of mainstreaming a development evaluation perspective. Evaluation 2002; 8(3): 322-39.
• 46. Trochim WMK. Evaluation culture 2002 [acessado em 9/01/2006]. Disponível em http://www.atomicdog.com/trochim

Datas de Publicação

• Publicação nesta coleção
  06 Jun 2007
• Data do Fascículo
  Set 2006

Histórico

• Aceito
  17 Abr 2006
• Revisado
  31 Mar 2006
• Recebido
  27 Fev 2006