Política de monitoramento e avaliação da atenção básica no Brasil de 2003 a 2006: contextualizando sua implantação e efeitos

The policy for monitoring and evaluation of primary health care in Brazil from 2003 to 2006: contextualizing its implementation and effects

ARTIGOS ESPECIAIS SPECIAL ARTICLES

Política de monitoramento e avaliação da atenção básica no Brasil de 2003 a 2006: contextualizando sua implantação e efeitos

The policy for monitoring and evaluation of primary health care in Brazil from 2003 to 2006: contextualizing its implementation and effects

Eronildo Felisberto^I; Eduardo Freese^II; Cinthia Kalyne de Almeida Alves^I; Luciana Caroline Albuquerque Bezerra^I; Isabella Samico^I

^IGrupo de Estudos de Gestão e Avaliação em Saúde. Diretoria de Pesquisas. Instituto de Medicina Integral Professor Fernando Figueira (GEAS/IMIP). Rua dos Coelhos, 300. Boa Vista, Recife, PE, Brasil. CEP: 50.070-550. E-mail: [e-mail]

^IICentro de Pesquisas Aggeu Magalhães. Fundação Oswaldo Cruz (CPqAM/Fiocruz). Recife, PE, Brasil

RESUMO

OBJETIVOS: este artigo apresenta um estudo da Implantação da Política de Monitoramento e Avaliação da Atenção Básica no Brasil. Estima o grau de implantação dos dispositivos institucionais e da Intervenção, além de avaliar a sua influência nos efeitos produzidos a partir da interação com o contexto político-organizacional.

MÉTODOS: pesquisa avaliativa do tipo análise de implantação. Estudo de caso com níveis de análise imbricados e triangulação de métodos. Para estimar o grau de implantação consideraram-se os dispositivos institucionais produzidos, representativos dos componentes do modelo lógico da intervenção. Foram realizadas 20 entrevistas e analisados 29 documentos relacionados.

RESULTADOS: a intervenção foi classificada como implantada em um grau Avançado, com 78% das ações realizadas. O contexto político-institucional foi caracterizado pela conjunção de decisão político-institucional, recursos financeiros, mecanismos técnicos e estratégias organizacionais de qualificação dos recursos humanos para avaliação com vistas à construção da capacidade institucional. Foi encontrado conjunto significante de efeitos não-intencionais como decorrência da pluralidade de dispositivos utilizados para a implantação da intervenção.

CONCLUSÕES: A política revela um franco esforço objetivando a integração das ações no âmbito institucional e a descentralização das ações de avaliação. Neste sentido, duas características são marcantes: o desenvolvimento de capacidade técnica, por meio de processos avaliativos formativos, e o foco no fortalecimento das Secretarias Estaduais de Saúde.

Palavras-chave: Avaliação em saúde, Atenção primária à saúde

ABSTRACT

OBJECTIVE: this article presents a study of the Implementation of the Policy for Monitoring and Evaluation of Primary Health Care in Brazil. The extent of implementation of the institutional mechanisms and of the intervention are estimated and their influence on the effects produced analyzed in its political and organizational context.

METHODS: implementation analysis-type evaluative research was carried out, involving a case study with overlapping levels of analysis and triangulation of methods. To estimate the degree of implementation, the institutional mechanism produced representing the components of the logical intervention model were taken into account. Twenty interviews were conducted and 29 related documents analyzed.

RESULTS: the intervention was classified as an advanced stage of implementation, with 78% of actions already carried out. The political and institutional context were characterized as a conjunction of political institutional decision making, financial resources, technical and strategic organizational mechanisms for staff training in evaluation with a view to institutional capacity-building. A significant set of non-intentional effects were discovered owing to the number of mechanisms used to implementation of the intervention.

CONCLUSIONS: great efforts have been made to integrate actions at institutional level and to decentralize evaluation. This has two striking features: the development of technical capacity through processes of formative evaluation and strengthening State Health Departments.

Key words: Health evaluation, Primary health care

Introdução

O fortalecimento de uma política específica para a atenção básica vem ocorrendo no Brasil há mais de uma década, definindo a esfera municipal como responsável pela sua execução e estabelecendo novos papéis para o gestor estadual e federal.¹ As Secretarias Estaduais de Saúde (SES) e o Ministério da Saúde (MS) passaram a assumir, cada vez mais, atribuições normativas e reguladoras, ressaltando-se aqui a função estratégica da avaliação do sistema de saúde.² Assim, têm surgido vários movimentos visando à institucionalização da avaliação no âmbito da atenção básica, que estimulam a mudança nas práticas de pessoas e organizações de saúde, com o objetivo de qualificar os processos de gestão, do cuidado e das ações de vigilância em saúde. Tais movimentos intensificam o debate técnico-científico que acompanha, mais recentemente, o tema da avaliação.³

A institucionalização da avaliação pode ser entendida, conforme Jacob,⁴ como o processo pelo qual os dispositivos institucionais são criados, modificados ou até suprimidos, havendo diversas modalidades de institucionalização da avaliação e de difusão cultural, que vão desde o seu reconhecimento oficial à prática informal.⁴ Um dispositivo institucional de avaliação é constituído de recursos, estimativas, procedimentos, orçamento, participação dos atores envolvidos e monitoramento,⁵ além de organizações e de regras que contribuem ao desenvolvimento e à perenidade da prática avaliativa dentro de um espaço definido. Esses são mecanismos da institucionalização da avaliação que podem se apresentar de diversos tipos; podem ser elementos reguladores, processos cognitivos ou normativos.⁴

O Ministério da Saúde do Brasil vem desenvolvendo várias iniciativas na busca da implementação de mecanismos estratégicos com esse objetivo e, a partir de 2003, procedeu à implantação de uma política de avaliação para a atenção básica.⁶ Essa tomou como imagem-objetivo a institucionalização da avaliação nas três instâncias de gestão do Sistema Único de Saúde (SUS), consubstanciando um processo de elaboração e operacionalização de projetos e atividades voltados ao apoio da avaliação de políticas e programas na atenção básica,⁶ que se caracteriza como uma Intervenção estruturada por meio de um sistema organizado de ação. Para Contandripoulos et al.⁷ e Hartz,⁸ este pode ser descrito a partir de cinco componentes: finalidades, estrutura, atores e suas práticas, processos da ação e contexto.

As finalidades de uma política decorrem das metas as quais um grupo organizado se propõe alcançar e, de acordo com os tipos de circunstâncias em que ele se encontra.⁹ Segundo Contandriopoulos,⁵ essa finalidade consiste em transformar a trajetória previsível da evolução de um ou de mais fenômenos, pela atuação durante um tempo sobre certo número de seus determinantes (objetivos específicos da intervenção), para corrigir uma situação problemática.^5,7

A política nacional de monitoramento e avaliação da atenção básica tem como finalidade, assim definida pelo MS, melhorar a qualidade da atenção básica, contribuindo com a integralidade, a resolubilidade, a equidade e a universalidade das ações ofertadas pelo SUS, uma vez que a incipiência das práticas de monitoramento e avaliação é reconhecida pelas três esferas de gestão.⁶

Nesse sentido, o MS define como estratégia institucionalizar a avaliação da atenção básica por intermédio do incentivo à disseminação de uma cultura avaliativa, que torne essa prática incorporada às rotinas nas três instâncias gestoras do SUS.^3,6 Visa, portanto, qualificar as decisões dos 'tomadores de decisão' (planejadores, gestores e profissionais de saúde), produzindo como efeitos mudanças nos processos decisórios. Essa promoção da cultura avaliativa contribui para que as práticas de gestores e profissionais baseiem-se em evidências.^5,10

Ao refletir sobre a política de monitoramento e avaliação da atenção básica do Brasil, Contandriopoulos⁵ refere que a implantação de políticas com vistas à institucionalização da avaliação vem ao encontro da necessidade de ampliar a eficiência dos sistemas de saúde. Nesse sentido, no Brasil, a ampliação da eficiência do SUS, de acordo com seus princípios e diretrizes, torna-se a finalidade maior da institucionalização da avaliação. Para o autor, o grande problema, que gera a necessidade da política, é a ineficiência dos sistemas de saúde devido ao processo de tomada de decisões pelos gestores ocorrer de forma não estruturada, sem seguir critérios de evidências.⁵

É importante ressaltar que o termo eficiência, na área de saúde, assume vários significados, a depender dos atores do sistema. O significado aqui mencionado traz a perspectiva dos gestores maiores que primam pelas diretrizes políticas do SUS. Assim, para entender melhor todos os objetivos da política é importante conhecer os efeitos esperados pela mesma.

Para o MS, o efeito mais esperado deste processo é o desenvolvimento de uma cultura avaliativa nas instâncias gestoras do SUS, incluindo as instituições de ensino e pesquisa, seus órgãos colegiados e o olhar do profissional que presta serviço à população nas unidades básicas de saúde.⁶ Assim, a implementação de dispositivos bem fundamentados gera processos de avaliação com vistas à qualificação da atenção básica.

Partindo do pressuposto de que a política de monitoramento e avaliação da atenção básica no Brasil pode ser entendida como uma intervenção direcionada à qualificação da gestão da atenção básica em saúde, e da necessidade de estudos que possam contribuir para a melhoria das políticas públicas em execução, a análise de implantação de programas constitui-se em uma metodologia de avaliação capaz de oferecer subsídios com esse fim.

Este artigo apresenta os resultados da análise de implantação da política de monitoramento e avaliação da atenção básica no Brasil, considerando os dispositivos institucionais produzidos pela gestão federal do SUS, representativos dos componentes que integram o seu modelo lógico.⁶ Estima o grau de implantação desses dispositivos e avalia a sua influência nos efeitos produzidos pela Intervenção a partir da interação com o contexto político-organizacional.

Métodos

Trata-se de uma pesquisa avaliativa do tipo Análise de Implantação, conforme proposto por Denis e Champagne.¹¹ Essa pesquisa permite, por meio de uma abordagem relacional, determinar a medida descritiva do grau de implantação da intervenção e analisar a contribuição da interação entre os componentes e os efeitos produzidos no contexto de sua implantação.¹¹

Utilizou-se como estratégia de pesquisa o estudo de caso com níveis de análise imbricados e foram adotados os princípios da triangulação de métodos, para a articulação interpretativa dos dados. Estes foram coletados em fontes primárias por meio de entrevistas semiestruturadas com informantes-chave, e em fontes de dados secundários, por meio de análise documental.

Foram realizadas 20 entrevistas com gestores do Ministério da Saúde: gerentes de projetos, coordenadores, assessores e diretores do Departamento de Atenção Básica, que exerceram essas funções durante o período de 2003 a 2006; gestores e gerentes de duas Secretarias Estaduais de Saúde selecionadas em estudo anterior encomendado pelo Ministério da Saúde;¹² dirigentes do Conselho Nacional dos Secretários Estaduais de Saúde (Conass) e do Conselho Nacional de Secretarias Municipais de Saúde (Conasems); e dirigentes do Banco Mundial, órgão financiador do Projeto de Expansão e Consolidação do Saúde da Família (Proesf).

Os documentos analisados, em número de 29, foram os Relatórios de Gestão e Documentos Técnicos Institucionais da Coordenação de Avaliação da Atenção Básica do Ministério da Saúde, Portarias, Ata do Conselho Nacional de Saúde, Atas de Reuniões da Comissão Intergestora Tripartite, Relatórios de Oficinas e Seminários, Artigos Institucionais e Editais de Pesquisa (Tabela 1).

Por questão ética, os informantes-chave entrevistados não foram identificados individualmente. Ainda, deve-se deixar claro que alguns dos autores deste trabalho podem ser caracterizados como pesquisadoresatores do processo de implantação da política. Portanto, não obstante trabalhar sempre apoiados na documentação pertinente, tomou-se o cuidado de ter entre os autores um supervisor externo sênior que assegurasse a vigilância epistemológica da investigação.

O conceito de dispositivo institucional, conforme enfatizado por Jacob,⁴ não deve ser reduzido unicamente aos mecanismos formais de uma organização. O autor lembra que quando os atores inserem regras ou práticas informais de avaliação, também contribuem com a prática avaliativa.⁴ Dessa forma, foram identificados os dispositivos institucionais produzidos em cada um dos componentes do Modelo Lógico Oficial,^6,13,14 por meio dos projetos estratégicos previstos e inovações verificadas (avaliação formativa e formação a distância), reforçando-se a Teoria do Programa a partir dos mecanismos ou meios utilizados que contribuíram para o desenvolvimento da intervenção.^7,15 Esses dispositivos foram atualizados a partir da leitura prévia dos documentos oficiais, o que, também, subsidiou a elaboração do roteiro de entrevista semiestruturada.

Foram utilizados como critérios de avaliação (Tabela 2) os produtos e/ou resultados imediatos previstos no modelo lógico e outros, resultantes da ação dos dispositivos encontrados na análise documental, ou identificados na análise de conteúdo das entrevistas. Este recurso permite interpretar as descrições, analisar o contexto ou o significado de conceitos nos discursos, bem como caracterizar a sua influência 'social' e, ainda, identificar as mudanças que são o objeto de estudo.^16-19

Para a estimação do grau de implantação foram atribuídos aos critérios uma pontuação em razão das seguintes situações: 1 (um) para convergência positiva dos discursos em direção ao critério - demonstrando uma situação favorável à implantação do Programa; 0,5 (meio) quando foram identificadas divergências dos discursos - situações de mudanças ainda não consolidadas; e 0 (zero) quando da convergência negativa dos discursos - expressando situações nas quais as mudanças não haviam sido iniciadas. Em seguida, o grau de implantação por dispositivo foi estimado a partir da soma das pontuações dos critérios de cada dispositivo e da relação percentual entre a pontuação encontrada e a pontuação máxima possível para cada dispositivo. O grau de implantação da intervenção resultou da relação percentual entre a soma das pontuações obtidas e a soma da pontuação máxima do conjunto de todos os dispositivos. Para as duas situações foram consideradas quatro faixas de implantação: Avançado: 75-100%; Intermediário: 50-75%; Insuficiente: 25-50%; e Incipiente: 0-25%, como se pode observar na Tabela 2.

Para a análise da contribuição da intervenção e o contexto de sua implantação sobre os efeitos produzidos utilizou-se o modelo político e contingente proposto por Denis e Champagne.¹¹ Esses autores propõem uma abordagem em torno da qual os atores perseguem estratégias diferentes e podem apoiar a implantação da intervenção a partir de uma expectativa positiva na direção de seus interesses. Alertam, porém, que as características estruturais de uma organização podem atuar em sinergia ou em antagonismo na atualização das estratégias desses atores. Trata-se, portanto, de uma perspectiva política que sofre influência de caráter estrutural e envolve atores, conflitos, poder, estratégias, atributos dos gestores e da organização e características do ambiente.¹¹

De acordo com essa perspectiva, o modelo adotado procura, então, verificar a contribuição dos dispositivos e a influência dos atores na contextualização da produção dos efeitos encontrados, promovendo a análise imbricada em três níveis da intervenção, que se expressa nos dispositivos institucionais traduzidos pelos atores nela implicados, os efeitos produzidos e as interações contextuais.^{4,11,15,17,20}

As entrevistas foram gravadas pela equipe de pesquisa, com o consentimento livre e esclarecido dos entrevistados. A investigação foi aprovada pelo Comitê de Ética do Instituto de Medicina Integral Professor Fernando Figueira (IMIP), sob o protocolo n° 1.168/2008.

Resultados e Discussão

Grau de Implantação e Efeitos Observados

A Tabela 3 apresenta o grau de implantação dos 16 dispositivos institucionais desenvolvidos, constatando-se que a Intervenção foi classificada como implantada em grau avançado no período estudado, uma vez que 78% das ações planejadas necessárias ao desenvolvimento de seus programas e projetos foram realizadas. Mostra, também, a relação que se consegue estabelecer entre o grau de implantação dos dispositivos desenvolvidos e os efeitos observados esperados e não intencionais. Estes últimos referem-se aos que, embora não tenham sido explicitados na construção inicial da intervenção, devem ter sido alcançados como contribuição do trabalho desenvolvido em suas interações contextuais, as quais serão analisadas a seguir.

É importante perceber a similaridade entre as características dos efeitos produzidos na Política Nacional de Monitoramento e Avaliação da Atenção Básica e o que refere Trochim,²¹ quando apresenta sua visão sobre a cultura avaliativa para o século XXI, procurando antever "o que seria uma cultura de avaliação" e "qual seria o seu valor". O autor vê o desenvolvimento dessa cultura como motivado por importantes princípios a serem seguidos nas organizações de saúde que pretendem implementar essa prática. Esses princípios se referem à orientação para a ação e às características de diversidade, inclusão, participação, responsabilidade, não hierarquização, interdisciplinaridade, humildade e autocrítica. Ainda, é necessário um olhar à frente orientado para o ensino e para o desenvolvimento de atitudes éticas e democráticas.^21,22

Contextualização analítica

O contexto de implantação da intervenção contido na narrativa abaixo foi apreendido da análise dos documentos oficiais e das entrevistas com informantes-chave, atores que contribuíram, favoreceram, dificultaram ou reconheceram os efeitos ocorridos (Tabela 3).

A Política Nacional de Monitoramento e Avaliação da Atenção Básica foi elaborada e implementada em um contexto históricosocial determinado, contido num tempo e espaço definido que influenciou os contornos da mesma.^3,22 Teve sua elaboração iniciada em 2003, a partir da criação da Comissão de Avaliação da Atenção Básica, instituída pela Portaria GM/MS nº 676, de 03/06/2003, composta de forma tripartite com representação do Conass e Conasems. Foi publicizada pela primeira vez no encontro de coordenadores estaduais de atenção básica no final de 2003 e de forma massiva em 2005 com a publicação intitulada "Avaliação na Atenção Básica em Saúde: caminhos da institucionalização.⁶ Em 2004 teve sua implementação iniciada, influenciando e tendo influência em um cenário no qual diversos departamentos otimizaram ou iniciaram programas de monitoramento e avaliação no Ministério da Saúde.³

Do ponto de vista legal, a política não se consubstanciou numa portaria específica, mas seus componentes foram sendo normatizados, por intermédio de portarias ministeriais. A criação, na estrutura organizacional do Departamento de Atenção Básica da Secretaria de Atenção à Saúde do Ministério da Saúde (DAB/SAS/MS), de uma Coordenação de Acompanhamento e Avaliação (CAA), além de marcar a influência da definição do Programa Saúde da Família (PSF) como estratégia estruturante da atenção básica no Brasil favorece, ao longo do tempo, a indução do processo de institucionalização da avaliação na atenção básica.²³ Principalmente, quando se atribui a essa coordenação a responsabilidade da condução gerencial de iniciativas processuais de grande envergadura, tais como: a) o Sistema de Informação da Atenção Básica (SIAB), principal instrumento de monitoramento com características muito peculiares de apoio à gestão, ao fazer uso dos conceitos de territorialização, adscrição de clientela e potencialidade de uso por profissionais integrantes das equipes de saúde para discussão com a comunidade usuária e programação local;^23-25 b) o Pacto de Indicadores da Atenção Básica, estabelecido mediante negociação entre as três esferas de gestão, que se constituiu em esforço coletivo de incorporação da avaliação à prática da gestão e de articulação com os processos de programação e c) a Investigação Avaliativa representada pela realização de estudos e pesquisas de abrangência nacional.

Procurando estabelecer vínculos, e ao mesmo tempo distinção entre as ações de monitoramento e avaliação, esses projetos trazem definidas características de suporte à capacitação das pessoas envolvidas, e são fortemente indutores de uma cultura avaliativa no exercer das práticas em saúde, estejam elas no âmbito do cuidado, da vigilância, da gerência de serviços ou da gestão em quaisquer de seus níveis.³

Os movimentos com vistas à superação dos problemas relacionados ao SIAB são conduzidos dessa forma. Único dispositivo com grau de implantação insuficiente, para sua reformulação houve uma mobilização interna, por um período de oito meses, abrangendo todas as áreas técnicas de interface com o sistema, liderada pela coordenação de avaliação da atenção básica, o que resultou na seleção, definição e fontes dos indicadores. Entretanto, a identificação unívoca do usuário, a mudança da base tecnológica e a integração com outros sistemas não foram realizadas, a não ser uma integração ao Cadastro Nacional de Estabelecimentos de Saúde.²⁶ No período, os dados foram disponibilizados na internet, tendo sido vinculado ao TAB WIN, aplicativo que facilita a consulta por qualquer cidadão do país.

Os principais entraves encontravam-se na relação do Departamento da Atenção Básica com o Departamento de Informática dos SUS (Datasus); uma vez que o SIAB possui dupla gerência institucional, uma técnica, a cargo da coordenação de avaliação e outra operacional, sob responsabilidade do Datasus. A implantação foi, então, contingenciada por sucessivas mudanças nesta última estrutura que acarretaram, concomitantemente, sucessivas mudanças nas diretrizes da política de informação e informática institucional. Havia também uma diretriz no Ministério que nenhum novo sistema deveria ser desenvolvido sem a coordenação do Datasus. De fato, as mudanças tecnológicas não estavam no âmbito de governo do Departamento e, ainda, a mudança de sua diretoria no final do período analisado, acarretou a perda de prioridade para construção de governabilidade em relação a esse e outros projetos.

O Pacto de Indicadores passou por um processo de reformulação da metodologia de análise e discussão com os interessados no âmbito institucional. Procedeu-se, ainda, uma ampla mobilização de estados e municípios visando à qualificação do processo de pactuação. Esse processo foi acompanhado, também, da definição de indicadores para o acompanhamento de intervenções prioritárias, a exemplo do Projeto de Expansão e Consolidação do Programa Saúde da Família (Proesf), ambos conduzidos de maneira formativa e articulados pelas três instâncias gestoras do SUS.^6,23,24

Por outro lado, tem relevância a renegociação do acordo de empréstimo assinado entre o Governo Brasileiro e o Banco Internacional para Reconstrução e Desenvolvimento (BIRD - Banco Mundial) que originou o Proesf, no que concerne ao Componente de Monitoramento e Avaliação, tanto no que diz respeito aos seus subcomponentes e/ou ações programadas, quanto no que se refere ao volume de recursos destinados à sua execução. A inclusão da proposta de Fortalecimento da Capacidade Técnica das Secretarias Estaduais de Saúde em Monitoramento e Avaliação, regulamentada pela Portaria Nº 865/GM/MS, de 11 de maio de 2004²⁷ e o aumento dos recursos financeiros de U$ 7 milhões para U$ 25 milhões previstos para a primeira fase do Proesf nesse componente, caracterizam-se como elementos estruturadores da sustentabilidade das ações propostas.²²

A complexidade do SUS, representada pelo processo de descentralização da gestão, prevê o envolvimento de atores e contextos locais diversificados, gerando a redefinição de papéis, responsabilidades e necessidades de investimento.²⁵ Nesse sentido, o MS definiu como eixo estruturante do delineamento da política de avaliação para a atenção básica no país a construção pelas SES dos Planos Estaduais para Fortalecimento das Ações de Monitoramento e Avaliação da Atenção Básica.^12,27 Esses planos trouxeram como referência os pressupostos conceituais e as diretrizes propostos pelo MS e pactuados na Comissão Intergestora Tripartite, que também definiu os indicadores para a elaboração dos mesmos, assim como os critérios técnicos para o financiamento das ações propostas. Tendo como forma de financiamento a transferência direta de recursos financeiros do Fundo Nacional para o Fundo Estadual de Saúde, sua aprovação esteve vinculada à avaliação do cumprimento de metas previamente estabelecidas e aprovadas pelas instâncias colegiadas de gestão. Foram U$ 17 milhões destinados às SES para a primeira fase do projeto e alguns indicadores foram negociados de forma permanente, objetivando garantir recursos financeiros durante todo o período de vigência do Proesf.²⁵

O fomento de uma cultura avaliativa requer a qualificação da capacidade técnica, nos diversos níveis do sistema de saúde, viabilizando uma efetiva associação das ações de monitoramento e avaliação como subsidiárias ou intrínsecas ao planejamento e à gestão, dando suporte à formulação de políticas, ao processo decisório e de formação dos sujeitos envolvidos.^3,25 Esse projeto estratégico propôs ações voltadas para os gestores municipais e estaduais. Além de envolver importante volume de recursos financeiros, possibilitou o acompanhamento técnico de profissionais especializados e o apoio de instituições de ensino e pesquisa na qualidade de centros colaboradores. Essas ocupam função de destaque no assessoramento contínuo ao desenvolvimento e execução de proposições metodológicas que dão corpo ao fazer monitoramento e avaliação e ao suporte que os municípios, em sua maioria, necessitam do gestor estadual.^3,25

A conjunção de decisão político-institucional, recursos financeiros, mecanismos técnicos e estratégias organizacionais de qualificação dos recursos humanos para avaliação constitui o eixo para a construção da capacidade institucional, o que vem superar a prática de se estabelecer processos avaliativos unicamente atrelados à intervenção.²⁸ Assim, a coordenação da política para manter uma estrutura de pessoas durante a implantação investiu no envolvimento com o ideal e com outros ganhos que não apenas o financeiro, especialmente no que se refere à ampliação de conhecimento, uma diretriz da política. Foram capacitados em avaliação 53 profissionais do Departamento. Ou seja, os efeitos da política colaboravam com a sua própria implantação.

Também, o fomento ao debate interno sobre a necessidade da integração das práticas de monitoramento e avaliação e sua articulação com o planejamento e a formulação das políticas setoriais, com vistas a uma repercussão uníssona nas programações e pactuações, resultou em ocupação de importante espaço da avaliação no planejamento macroestratégico das ações de saúde. Esse exemplo pode ser observado no Anexo à Portaria N° 648/GM/MS, de 28 de março de 2006, Incisos XI, IX e XI dos Itens 2.1, 2.2 e 2.3.^3,12,25

Alguns projetos e atividades trouxeram em seu bojo conceitos conjugados, como o de qualidade associado ao potencial que a avaliação tem de oferecer. Ou seja, ao disponibilizar instrumentos de autoavaliação da Estratégia Saúde da Família (ESF), facilita-se a focalização de intervenções visando à qualificação da ESF. Entretanto, o projeto de Avaliação para Melhoria da Qualidade teve sua implantação classificada no nível Intermediário pelo fato de que muitos municípios embora tenham aderido ao processo, não realizaram as avaliações previstas. Ainda, poucos Estados haviam aderido e incluído a cooperação junto ao município em suas propostas metodológicas.

No sentido de estimular o manuseio dos sistemas de informação buscando atribuir à ESF indícios de sua influência na evolução positiva de indicadores de saúde,^3,25 foi realizado um estudo avaliativo de grande repercussão institucional, nacional e internacional, para aqueles que tratam da atenção primária, realizado por pesquisadores contratados pela coordenação de avaliação. Porém, a Indução e Gestão de Pesquisas foi também um dispositivo considerado parcialmente implantado, por não ter mantido o envolvimento da coordenação de avaliação no acompanhamento dos mesmos e no fomento ao seu uso para tomada de decisão. O entendimento da gestão a partir de meados de 2005 era que esta ação não fazia parte de suas atribuições e sua continuidade, mesmo que articulada com outras áreas do Ministério, poderia gerar conflitos políticos internos.

Já os estudos e pesquisas selecionados pelo Edital Nº 049/2005 do Conselho Nacional de Pesquisas (CNPq), foram mediados por estratégias de superação da simples ação de indução e conduzidos articulados pela ação de gestão dos mesmos. Entretanto, não se constituíram grupos de acompanhamento que viessem a contribuir para a aproximação dos pesquisadores e instituições às instâncias gestoras dos locais e regiões onde são desenvolvidos. Essa seria uma ação fundamental para a apreensão, por parte destes últimos, das metodologias e resultados intermediários das pesquisas. Por outro lado, os estudos avaliativos realizados nos municípios com população acima de cem mil habitantes, embora tenham sido articulados com iniciativas de capacitação técnica dos profissionais das secretarias municipais e estaduais de saúde, isso só ocorreu em alguns casos.^3,22

Várias atividades foram desenvolvidas buscando a Articulação Sistemática e Integração das Ações, a exemplo da necessária articulação da coordenação de avaliação com outros setores afins no MS e a indução dessa prática nas secretarias estaduais. A promoção e realização de cursos de capacitação em parceria com a Secretaria de Vigilância em Saúde viabilizaram a capacitação de 136 profissionais da área da vigilância em avaliação. Outras ações referidas nesse campo foram o trabalho conjunto com diversas outras áreas técnicas para análise de indicadores e integração dos sistemas de informação; a cooperação técnica permanente com instituições de referência na área da avaliação; a viabilização de consultorias especializadas para dar suporte ao status técnico institucional; a publicização dos projetos, termos de referência, experiências bem sucedidas e a facilitação do acesso ao material técnico produzido e à literatura na área.^3,22

No componente de Cooperação Técnica e Articulação Interinstitucional, parecem exitosas as ações visando o estabelecimento de parcerias com instituições de ensino e pesquisa nacionais e internacionais, bem como com associações profissionais de reconhecido prestígio político e acadêmico; a mobilização de atores institucionais por intermédio de processos participativos, que buscaram não apenas o estabelecimento de alianças no desenvolvimento de projetos, mas permitiram, sobretudo, a adesão e incorporação de propostas de forma mais coerente com as múltiplas necessidades do sistema de saúde; e a definição de estratégias organizacionais para qualificação de profissionais no campo da avaliação.⁶

A constituição da rede colaboradora avançou por meio do envolvimento das instituições de ensino e pesquisa, que se tornaram centros colaboradores dos Estados e do próprio Ministério, incluindo aquelas que se envolveram na realização dos estudos de linha de base. Porém, apesar de ter havido encontros, nos quais foi discutida a concepção da comunidade de práticas em avaliação e da rede colaboradora, essa ação passou a ser objeto de fomento com o auxílio da Abrasco e, até 2006, não foi possível viabilizar convênio específico para tal atividade.¹²

O Monitorab, que previa a disponibilização de todos os estudos e banco de dados para acompanhamento de indicadores do Pacto chegou a ser totalmente construído, mas não foi divulgado no Departamento nem disponibilizado na internet. Da mesma forma, o programa de formação de avaliadores foi elaborado pelas instituições convidadas, inclusive em articulação com outra Secretaria do Ministério - Gestão do Trabalho e Educação na Saúde. No entanto, no período estudado, os cursos programados não haviam sido realizados.

A análise dos resultados permitiu reconhecer que o período analisado (2003-2006) teve como eixo central o processo de descentralização da avaliação. Isto ocorreu pelo fato da ampliação do foco dos seus programas e projetos em direção ao fomento de processos de institucionalização da avaliação nos Estados, municípios e instituições de ensino e pesquisa; tendo sido antecedido e sucedido por períodos que priorizaram a investigação sobre a implantação de programas, e a legitimação da política de atenção básica em torno de ações centralizadas no âmbito federal.^23,29,30

Foi no contexto de mudança de Governo em 2003 que surgiu propriamente a Política de Institucionalização da Avaliação da Atenção Básica, que encontrou no Proesf a principal fonte de recursos para a descentralização destas ações para Estados e municípios. Essa mudança implicou no resgate de todos os projetos em andamento no período anterior, que foram aperfeiçoados com a inclusão da diretriz de desenvolvimento de capacidade técnica, colaboração com as instituições de ensino e integração das ações no âmbito institucional. Além dessa mudança de finalidade dos dispositivos, outra grande inovação no âmbito do Proesf foi a criação do Projeto de Fortalecimento das Secretarias Estaduais de Saúde em Monitoramento e Avaliação.^12,22

Entretanto, todo o contexto político-institucional favorável durou apenas até meados de 2005, quando mudanças de ministro, secretários e diretores no Ministério da Saúde influenciam o desenvolvimento da política. Essa modificação no cenário político alterou a missão da coordenação de avaliação e dificultou a continuidade da proposta de Institucionalização da Avaliação da Atenção Básica. Um dos fatos importantes que revelam essa mudança é o contingenciamento de recursos e a descontinuidade de ações. As Secretarias Estaduais também perceberam a mudança política e isso influenciou negativamente no sentido da sustentabilidade da intervenção.

Conclusões

A Intervenção, objeto deste estudo, embora tenha sido considerada implantada no período avaliado, teve um momento de clara expansão desde 2003 até meados de 2005, quando mudanças no cenário político institucional passam a limitá-la, configurando um período de retração do processo de implantação. A partir de então passa a haver um direcionamento voltado para a finalidade do controle gerencial, visando à legitimação da política da atenção básica com base na Estratégia Saúde da Família.

A política implantada foi caracterizada por um franco esforço objetivando a integração das ações no âmbito institucional e a descentralização das ações de avaliação. Nesse sentido, duas características tornam-se marcantes: o desenvolvimento de capacidade técnica, por meio de processos avaliativos formativos, e o foco no fortalecimento das Secretarias Estaduais de Saúde. Não obstante, deve-se destacar como importante decorrência da política a inclusão, no planejamento do ministério da Saúde, de itens financiáveis para o Fortalecimento da Capacidade Técnica em Monitoramento e Avaliação da Atenção Básica nos municípios, como se pode constatar no Manual de Implementação da fase 2 do Proesf.

É importante, ainda, registrar a intensidade de efeitos não intencionais encontrados em decorrência da pluralidade e da interação de dispositivos utilizados para a sua implantação. Por outro lado, torna-se indispensável refletir sobre a sustentabilidade desse processo, tanto na instância federal quanto nos Estados. Estudo neste sentido vem sendo desenvolvido pelos autores desse artigo.

A avaliação de intervenções ligadas à gestão pública e ao funcionamento do sistema político tem como finalidade fazer um julgamento de valor para melhorar a sua operacionalização e efetividade. Isto parece ter fundamental importância para o objeto desse estudo no sentido de que, por um lado, a intervenção foi submetida às tensões do cotidiano de sua implantação e por outro, fez uso de uma aliança da ciência e da técnica com a política definida e apropriada pelos pesquisadores e pesquisados; além de proporcionar uma articulação entre conhecimento e práticas.

Esse estudo partiu do pressuposto de que processos de avaliação podem ser definidos de diferentes maneiras, mas sempre tendo como referência o objetivo de fazer um julgamento de valor. Assim, lançou-se mão de técnicas interpretativas para descrever e entender a complexidade que envolve o objeto avaliado, compreendendo a percepção e representação dos envolvidos sobre o processo vivido, associando-as a um método específico de Análise de Implantação de Programas. Entretanto, é relevante alertar para limites nesse estudo que possam prejudicar a sua validade externa. Tais limites podem ser decorrentes da metodologia, que trabalhou com caso único e com elevada concentração daqueles atores no âmbito nacional.

A fundamentação teórica dessa avaliação poderá influenciar seu uso conforme a perspectiva dos interessados, seja na agenda da política nacional de saúde, na formulação de novas diretrizes ou na implantação de programas e ações que tenham como objetivos a institucionalização da avaliação no campo da saúde e a consequente qualificação da gestão do SUS. Isso ocorre pois a discussão aqui proposta reforça a convicção e tende a considerar o esforço por uma cultura avaliativa e o uso da avaliação como fortes aliados na busca pela promoção do cuidado integral à saúde das pessoas.

Alguns entraves, entretanto, se apresentam e constituem desafios a serem resolvidos. Em primeiro lugar, poderíamos situar o aspecto dos recursos que deveriam ser alocados para a avaliação em todos os níveis das práticas em saúde - esses, quando existem, ainda são bastante restritos. Uma segunda questão a ser colocada é a formação dos gestores - só mais recentemente vem se investindo no preparo dos mesmos em avaliação, seja em cursos de especialização e/ou mestrado profissional, seja a partir de iniciativas de capacitação internas ao próprio SUS. Outro ponto relevante diz respeito à organização do trabalho em aspectos relacionados à distribuição do tempo disponível em relação às demandas corriqueiras.

A prática avaliativa, ao se revelar nas relações cotidianas dos diversos atores, poderá contribuir com o espaço técnico, político e ético, oportunizando reflexões e aprendizado diante das diferentes interpretações - controvérsias - que cada um constrói , tendo em vista o conhecimento e a experiência em cada lugar do sistema de saúde. Conclui-se, portanto, que a construção da capacidade avaliativa se torna premente para que se instaure uma cultura em avaliação. Para isso é importante levar em consideração que tal construção acontece no contexto dos espaços de trabalho dos indivíduos, em um movimento de aprendizado constante 'a partir de' e 'sobre' avaliação.

Agradecimentos

Este estudo teve o apoio financeiro do Ministério da Saúde (MS) e do Instituto de Medicina Integral Professor Fernando Figueira (IMIP), por intermédio do convênio de cooperação técnica nº 087/2005.

Recebido em 18 de maio de 2009

Versão final apresentada em 26 de junho de 2009

Aprovado em 29 de julho de 2009

• ¹
  Brasil. Ministério da Saúde. Saúde da Família: uma estratégia para a reorientação do modelo assistencial. Brasília, DF; 1997.
• ²
  Brasil. Ministério da Saúde. Portaria n° 373, de 27 de fevereiro de 2202. Aprova Norma Operacional da Assistência à Saúde - NOAS/SUS 01/02. Diário Oficial da União. Brasília, DF; 2002.
• 3. Felisberto E. Da teoria à formulação de uma Política Nacional de Avaliação em Saúde: reabrindo o debate. Ciênc Saúde Coletiva. 2006; 11: 553-63.
• 4. Jacob S. Réflexions autour d'une typologie des dispositifs institutionnels d'évaluation. Can J Program Eval. 2005; 20: 49-68.
• 5. Contandriopoulos AP. Avaliando a institucionalização da avaliação. Ciênc Saúde Coletiva. 2006; 11: 705-11.
• ⁶
  Brasil. Ministério da Saúde. Avaliação da Atenção Básica em Saúde: caminhos da institucionalização. Brasília, DF; 2005.
• 7. Contandriopoulos AP, Champagne F, Denis JL, Pineault R. A avaliação na área de saúde: conceitos e métodos. In: Hartz ZMA, organizador. Avaliação em Saúde: dos modelos conceituais à prática na análise da implantação de programas. Rio de Janeiro: Fiocruz; 1997. p. 29-47.
• 8. Hartz ZMA. Princípios e padrões em meta-avaliação: diretrizes para os programas de saúde. Ciênc Saúde Coletiva. 2006; 11: 733-8.
• 9. Bobbio N, Mateucci N, Pasquino G. Dicionário de política. Brasília: Ed UNB; 1992.
• 10. Pluye P, Potvin L, Denis JL. Making public health programs last: conceptualizing sustainability. Eval Program Plann. 2004; 27: 121-33.
• 11. Denis JL, Champagne F. Análise de implantação. In: Hartz ZMA, organizador. Avaliação em Saúde: dos modelos conceituais à prática na análise da implantação de programas. Rio de Janeiro: Fiocruz; 1997. p.49-88.
• 12. Alves CKA. Institucionalização da avaliação na atenção básica: análise do programa em uma gestão estadual [Dissertação]. Recife: Centro de Pesquisas Aggeu Magalhães. Fundação Oswaldo Cruz; 2008.
• 13. Pawson R, Tilley N. Realist Evaluation. London: Sage; 1997. p. 85.
• 14. Mclaughlin JA, Jordan GB. Logic models: a tool for telling your program's performance story. Eval Program Plann. 1999; 22: 65-72.
• 15. Hartz ZMA. Avaliação dos programas de saúde: perspectivas teórico metodológicas e políticas institucionais. Ciênc Saúde Coletiva. 1999; 4: 341-53.
• 16. Knaap PVD. Theory-based Evaluation and Learning: Possibilities and Challenges. Evaluation. Thousand Oaks: Sage. 2004; 10: 16-34.
• 17. Cinq-mars M, Fortin D. Perspectives épistémologiques et Cadre conceptuel pour l'évaluation De l'implantation d'une action Concertée. Revue canadienne d'évaluation de programme. 1999; 2: 57-83.
• 18. Yin RK. Estudo de Caso: planejamento e métodos. Porto Alegre: Bookman; 2005.
• 19. Bardin L. Análise de conteúdo. Lisboa: Edições 70; 1977. p. 31.
• 20. McClintock C. Process sampling: a method for case study research on administrative behavior. Educational Administration Quaterly. 1985; 21: 205-22.
• 21. Trochim WMK. Evaluation Culture. 2002. [Acessado em 09 jan 2006]. Disponível em: http://www.atomicdog.com/trochim
• 22. Felisberto E, Freese E, Natal S, Alves CKA. Contribuindo com a institucionalização da avaliação em saúde: uma proposta de auto-avaliação. Cad Saúde Pública. 2008; 24: 2091-102.
• 23. Souza HM. O PSF como indutor da institucionalização da avaliação na atenção básica. Rev Bras Saúde Fam. 2002; 6: 10-5.
• 24. Hartz ZMA. Pesquisa em avaliação da atenção básica: a necessária complementação do monitoramento. Divulgação em Saúde para Debate. 2000; 21: 29-35.
• 25. Felisberto E. Monitoramento e Avaliação na Atenção Básica: Novos Horizontes. Rev Bras Saúde Matern Infant. 2004; 4: 317-21.
• 26. Hartz ZMA. Institucionalizar e qualificar a avaliação: outros desafios para a atenção básica. Ciênc Saúde Coletiva. 2002; 7: 419-21.
• ²⁷
  Brasil. Ministério da Saúde. Projeto de fortalecimento da capacidade técnica das secretarias estaduais de saúde em monitoramento e avaliação. Termo de Referência. Brasília, DF, 2004. [Acesso em: 25 jun 2009]. Disponível em: www.saude.gov.br/caadab
• 28. Stevenson JF. Florin P, Mills DS, Andrade M. Building evaluation capacity in human service organizations: a case study. Eval Program Plann. 2002; 25: 233-43.
• 29. Brasil. Ministério da Saúde. Política Nacional de Atenção Básica. Série Pactos pela Saúde 4. Brasília, DF; 2006.
• ³⁰
  Brasil. Conselho Nacional de Secretários de Saúde. Atenção Primária e Promoção da Saúde. Brasília, DF; 2007.

Datas de Publicação

• Publicação nesta coleção
  24 Set 2009
• Data do Fascículo
  Set 2009

Histórico

• Aceito
  29 Jul 2009
• Recebido
  18 Maio 2009