Análise da implantação de um programa com vistas à institucionalização da avaliação em uma Secretaria Estadual de Saúde

Implementation analysis of an evaluation institutionalization program in a State health department

ARTIGOS ORIGINAIS ORIGINAL ARTICLES

Cinthia Kalyne de Almeida Alves^I; Eduardo Freese de Carvalho^II; Eduarda Ângela Pessoa Cesse^II; Sônia Natal^I; Luciana Caroline Albuquerque Bezerra^I; Eronildo Felisberto^I

^IGrupo de Estudos de Gestão e Avaliação em Saúde. Instituto de Medicina Integral Prof. Fernando Figueira. Rua dos Coelhos, 300. Boa Vista. Recife, PE, Brasil. CEP: 50.070-550. E-mail: [e-mail] ^IICentro de Pesquisas Aggeu Magalhães. Fundação Oswaldo Cruz. Recife, PE, Brasil

RESUMO

OBJETIVOS: avaliar a implantação do Projeto de Fortalecimento da Capacidade Técnica em Monitoramento e Avaliação da Atenção Básica em uma Secretaria Estadual de Saúde e para tanto estima o grau de implantação do Programa e analisa a influência do contexto político-institucional.

MÉTODOS: trata-se de uma pesquisa avaliativa do tipo análise de implantação que articula as concepções teóricas propostas por Denis e Champagne (1997) e Matus (1987; 1996). Estas concepções sustentam a análise e proporcionam um diálogo entre teorias do campo da avaliação e do planejamento.

RESULTADOS: apontam 80% de implantação do projeto destacando-se as dimensões gestão técnico-financeira (91%) e informação e comunicação (95%), todavia a dimensão integração alcançou apenas 56%.

CONCLUSÕES: houve implantação satisfatória do Programa, corroborando para isto o Projeto de Governo e a Capacidade de Governo. Embora alcance certa Governabilidade, restrições foram identificadas pela insuficiente integração dos setores, dificuldades na relação com a secretaria da capital e mudanças eleitorais, que explicam a implantação parcial da Dimensão Integração das Práticas de Monitoramento e Avaliação.

Palavras-chave: Avaliação em saúde, Avaliação de programas, Institucionalização, Atenção primária à saúde

ABSTRACT

OBJECTIVES: to evaluate the implementation of the Strengthening of Technical Capacity in Monitoring and Evaluation Project at a State Department of Health and thereby assessing the degree to which the program has been introduced and the influence of the political and institutional context.

METHODS: an evaluative implementation analysis study was carried out using the theoretical concepts proposed by Denis & Champagne (1997) and Matus (1987; 1996). These concepts form the basis of the analysis and allow for dialogue between theories of evaluation and planning.

RESULTS: 80% of the project was found to have been implemented, 91% in the field of technical financial management, 95% in information and communications, and only 56% in the field of integration.

CONCLUSIONS: implementation of the program was found to be satisfactory, thereby corroborating the Government Project and the Government Capacity. Although a certain degree of governability had been achieved, limitations were identified regarding insufficient integration of sectors, difficulties in relation to the department in the capital city and electoral changes, which explain the partial implementation of the Integration component of Monitoring and Evaluation.

Key words: Health evaluation, Program evaluation, Institutionalization, Primary health care

Introdução

Os desafios enfrentados pela gestão dos sistemas e serviços de saúde refletem a acelerada expansão ocorrida no Brasil nas últimas décadas, especialmente no âmbito da atenção básica, mas também, a baixa capacidade de investimentos financeiros no setor para qualificação das ações existentes e para criação de intervenções de retaguarda aos serviços que tiveram suas ações ampliadas.¹ Essa conjuntura tem levado tanto à busca por inovações nos métodos de gestão e da atenção, quanto aos processos e instrumentos que subsidiem novas práticas na operacionalização dos princípios e diretrizes do sistema, cuja condução se dá de forma colegiada e interfederativa.

Entre as inovações produzidas, encontra-se a modificação nas práticas avaliativas e sua articulação a outras atividades de gestão como é o caso da programação. Assim, tomar a institucionalização da avaliação como objeto de análise se torna agenda prioritária daqueles que se envolvem com o aperfeiçoamento do sistema e, consequentemente, com a melhoria da qualidade da atenção prestada à população.

A literatura internacional tem apresentado evidências de que a institucionalização da avaliação vem, há anos, sendo objeto de investimento em vários países.² A Suécia, a Alemanha e o Reino Unido são considerados os primeiros países europeus a estabelecerem uma cultura de avaliação que também se encontra consolidada na Suíça, França, Noruega e Bélgica.^2,3 A Suíça e a Austrália são países considerados de grande maturidade neste campo em virtude da prática avaliativa encontrar-se institucionalizada no âmbito do executivo, do parlamento, do sistema nacional de auditoria, além de possuírem um elenco de padrões definidos de qualidade para as avaliações, revistas científicas específicas e sociedades nacionais de profissionais no âmbito acadêmico. Isto também ocorre de maneira consolidada nos países desenvolvidos da América do Norte, mais especificamente, Estados Unidos e Canadá.⁴

No Brasil, o Pacto de Gestão lançado em 2006 explicita a opção dos gestores do Sistema Único de Saúde (SUS) em fortalecer os compromissos e as responsabilidades dos entes federados, o que ocorre mediante processos de pactuação. Em assim sendo, se induz ao monitoramento e avaliação dos pactos estabelecidos; ou seja, a prática avaliativa se torna inerente ao processo. Ela ainda está contida nos eixos do pacto, onde é possível identificar um elenco de compromissos relacionados a esta prática, a serem aperfeiçoadas e institucionalizadas.⁵

Partindo da premissa de Hartz,⁶ que para institucionalizar a avaliação é necessária uma política para avaliação de políticas, foi possível identificar o Projeto de Fortalecimento da Capacidade Técnica das Secretarias Estaduais de Saúde em Monitoramento e Avaliação da Atenção Básica (PFCT-SES), no âmbito do Programa de Expansão e Consolidação da Estratégia Saúde da Família (Proesf), como intervenção do governo federal para incentivar tal institucionalização. Este foi proposto pelo Ministério da Saúde no ano de 2004, quando foram investidos recursos na ordem de 17 milhões de dólares para desenvolvimento da cultura avaliativa em nível estadual.^7-9 Em 2010, com o lançamento da segunda fase do projeto, reitera-se a preocupação com o fortalecimento da gestão estadual ao se criar um componente específico para a ação de institucionalização da avaliação nas Secretarias Estaduais de Saúde (SES).¹⁰

Prioritariamente alocado na atenção básica, o projeto deve envolver todos os setores das SES mediante ações de mobilização e integração. Na primeira fase, além de estrutura física e de equipamentos, ainda se financiou a contratação de centros colaboradores: instituições de pesquisa para auxiliar no desenvolvimento de capacidade avaliativa dos envolvidos.⁸

O início da nova fase traz a necessidade de divulgação de experiências exitosas que aconteceram na primeira etapa do projeto para se aprender com acertos, modelos e caminhos vivenciados. Conhecer a implantação do PFCT-SES em uma Secretaria Estadual, as dificuldades na implementação e as formas de superação, possibilita ajustes nesta nova fase, o que contribui para otimização do uso de recursos públicos e para prestação de contas à sociedade.

Além da implantação do PFCT-SES, numa perspectiva normativa, este estudo toma como objeto a análise da influência de elementos contextuais. Procura-se aprofundar a estimativa do grau de implantação das dimensões do programa revisadas a partir da avaliação formativa realizada anteriormente por Natal et al.,^11,12 tomando-a como referência, e articulando as concepções teóricas propostas por Denis e Champagne,¹³ de análise de implantação de programas, e por Matus,^14,15 de triângulo de governo.

Métodos

Foi realizada uma pesquisa avaliativa do tipo análise de implantação¹³ em seu componente 1, tendo sido utilizada como estratégia metodológica o estudo de caso único. Este se limita à análise em profundidade de um fenômeno em um só meio, sendo útil primeiramente à avaliação de uma teoria bem estruturada, onde o pesquisador confronta um modelo teórico com uma realidade empírica.¹⁶ A definição do caso exemplar ocorreu em função do sucesso na implantação do programa, (PFCT-SES) sendo escolhido o caso mais relevante do Nordeste, quando da análise documental da avaliação formativa¹¹ (maior classificação e homogeneidade nos resultados por dimensão de análise).^11,12

Cada critério definido para estimar a implantação das quatro dimensões do programa (Gestão Técnico-Financeira, Integração; Desenvolvimento da Capacidade Técnica e Informação e Comunicação) manteve correspondência com as atividades do modelo lógico proposto na avaliação formativa.¹¹ Ainda, para melhorar a validade de constructo, o modelo lógico foi revisado por informantes-chave e várias fontes de evidências foram utilizadas na coleta dos dados. Partiu-se da compreensão de que o uso de modelos lógicos é uma forma de adequação ao padrão, muito utilizada na avaliação de programas para aumentar também a validade interna do mesmo.¹³

A seleção dos critérios constantes das Tabelas 1 e 2 para análise do contexto foi baseada numa revisão de literatura sobre pesquisas em saúde que utilizaram o triângulo de governo de Matus,^14,15 permitindo o estabelecimento das categorias operacionais: desenho organizativo, Perícia Pessoal do Dirigente, Tecnologias de Gestão e Sistema de Microprocessos das Relações entre Dirigentes e Operadores dos Programas; base para a construção dos roteiros de entrevistas semiestruturadas com informantes-chave, grupo focal, análise documental e observação direta.

Os instrumentos foram testados em um estudo piloto. O trabalho de campo posterior possibilitou o acesso aos documentos, a observação da estrutura in loco e a realização de dez entrevistas e um grupo focal com dirigentes e técnicos da Secretaria Estadual. As entrevistas foram gravadas pela equipe de pesquisa, com o consentimento dos entrevistados e em salas cedidas pela SES que asseguraram o sigilo das informações.

Para se estimar o grau de implantação, os critérios analisados receberam uma pontuação por dimensão, cujo somatório é a pontuação máxima de cada uma delas. O cálculo do grau de implantação foi obtido pela relação entre o somatório da pontuação observada e da pontuação máxima de cada dimensão, multiplicada por 100. A partir do escore alcançado, classificou-se o grau de implantação das dimensões em quatro categorias: Implantado - 76 a 100%; Parcialmente Implantado - 51 a 75 %; Baixo - 26 a 50% e Incipiente < 26%.

Quanto ao contexto, foi feita uma leitura minuciosa e repetida das entrevistas, procurando inicialmente partes do texto para classificá-lo segundo as categorias analíticas. Mas, também, buscou-se compreender as idéias nucleares em relação ao contexto e uma atenção especial ao surgimento de novos critérios que não haviam sido elencados a priori pela revisão.

Procuraram-se convergências e divergências entre as falas e as informações contidas nos documentos, observação e o grupo focal. Os conteúdos das fontes de evidência foram classificados em três situações: convergência positiva dos textos (C+) em direção ao critério, demonstrando uma situação favorável à implantação do programa; textos divergentes (D), caracterizando situações de mudanças ainda não consolidadas que potencialmente também são favoráveis à implantação; convergência negativa dos textos (C-), expressando situações que se opunham aos critérios e/ou situações nas quais ações de mudanças não haviam sido iniciadas. As convergências negativas foram identificadas como elementos restritores do contexto para implantação do programa. Ainda, a triangulação das evidências foi efetivada mediante um cuidadoso trabalho de comparação entre os textos registrados nos documentos oficiais com os achados das entrevistas e da observação, aumentando a confiabilidade do estudo.

O projeto de pesquisa foi aprovado pelo Comitê de Ética em Pesquisas do Instituto de Medicina Integral Prof. Fernando Figueira, sob o protocolo n. 823/2006.

Resultados e Discussão

Grau de Implantação e Contextualização Analítica

A Tabela 3 apresenta o grau de implantação geral do programa e por dimensão avaliada. Embora o programa tenha alcançado 80% de implantação, a dimensão integração encontrava-se parcialmente implantada (56%). As dimensões com melhores níveis de implantação foram a dimensão informação e comunicação (95%) e a gestão técnico-financeira (91%).

A dimensão mais bem avaliada (produção de Informação e comunicação) deve-se à existência de uma proposta de divulgação dos resultados dos processos avaliativos. Como a SES não havia conseguido chegar à aplicação de sua proposta metodológica de avaliação, a produção de informes sobre a situação da atenção básica no estado ficou prejudicada. Todavia eram enviadas cartas aos municípios sobre situação no pacto de indicadores da atenção básica. Diferentemente deste caso, a avaliação formativa encontrou esta dimensão extremamente fragilizada nos demais Estados.^11,12

Embora com êxito, a SES reconhece as dificuldades de comunicação da atenção básica com os demais setores, referindo sobre o pouco conhecimento do programa. Esses elementos se imbricam ainda à implantação parcial à dimensão integração, refletindo o funcionamento isolado dos departamentos e as falhas que persistem nos sistemas de comunicação. Por isso, a SES se preocupou em desenvolver propostas tais como: a criação da homepage; edição impressa da 'Proposta Metodológica' (produto inicial exigido pelo Ministério contendo as atividades e estratégias propostas pela SES para a execução do programa); realização de eventos de divulgação e retroalimentação, como no caso da Mostra Estadual de Experiências. Tais ações, todavia, não resolvem os problemas uma vez que o distanciamento dos setores tem forte vinculação com o modelo de gestão adotado pela instituição, que embora se pretenda participativo, não consegue a democratização plena no modo de operar a condução dos processos. Estes temas são inerentes ao contexto político-institucional.

A dimensão gestão técnico-financeira envolveu todo o planejamento da implantação, desde o dimensionamento da equipe ampliada até as atividades de prestação de contas aos órgãos financiadores. Compreendeu ainda a definição e contratação do centro colaborador. A Secretaria de Saúde indicou um responsável pelo programa, a gerência da atenção básica, como interlocutora junto ao Ministério da Saúde. Definiu também um núcleo coordenador, e setores para compor o núcleo ampliado de monitoramento e avaliação (meta normatizada pelo Ministério da Saúde, prevista também como um dos produtos iniciais do programa, deveria ser integrado por diversos setores da SES) ambos publicados em portaria. Contratou o centro colaborador e executou os recursos programados. O maior investimento dessa fase inicial foi em reestruturação física e aquisição de equipamentos e veículos.

Houve dificuldades na alimentação do sistema de gerenciamento de projetos do Ministério da Saúde (MS) que ocorreram tanto por problemas internos, quanto externos como foi o caso do software disponibilizado pelo MS cujo tempo era curto para alimentar, com frequentes problemas técnicos. As dificuldades internas deveram-se à falta de um fluxo claro de execução financeira e centralização dos processos licitatórios na secretaria de administração. Devido à pequena participação do setor de planejamento, procedimentos administrativos necessários à execução financeira como a inclusão do projeto no orçamento da SES foram retardados. Por outro lado, a boa relação estabelecida entre a coordenação do projeto e o setor financeiro, favoreceu o acesso a informações de forma oportuna a contornar os problemas.

Uma segunda questão, observada também por Natal et al.,¹¹ foi a falta de agenda e periodicidade de encontro entre os membros que compunham o núcleo coordenador, uma vez que este atendeu apenas a uma regra do projeto, sem funcionamento intersetorial efetivo (atenção básica, vigilância e informações em saúde). De fato, a coordenação do projeto era realizada pela gerência da atenção básica e pelo gabinete da secretária adjunta, que gozava de muito poder na SES, situação referida por todos os entrevistados.

A falta de um cronograma de atividades na constituição do núcleo ampliado, com reuniões sistemáticas, foi justificada pela sobrecarga de trabalho. Essa situação vem sendo referida por outros autores.^12,17,18 A sobrecarga está relacionada às deficiências na política de recursos humanos (RH) da SES. Ainda, há o agravante de, ao longo da descentralização, haver uma diminuição do quadro do pessoal qualificado no âmbito estadual que migrou para os municípios.¹⁸

A aprovação da proposta metodológica no Conselho Estadual de Saúde (CES) apenas "ad referendum" pode ser identificada como uma falha de participação desta instância no programa. Todavia, os documentos revelam a existência de propósitos do governo e de estratégias para fortalecer a participação do controle social, ainda não implantados. O envolvimento do CES de forma participativa caracterizaria a proposta metodológica como um dispositivo que contribuiria com a tendência atual de tornar a avaliação uma estratégia para fortalecer a participação na gestão numa perspectiva emancipatória.^19,20

Processos avaliativos sobre a implantação do programa (meta-avaliação) ocorreram e foram documentados nos relatórios entregues pelo centro colaborador, embora as sínteses destes momentos não tenham sido realizadas, situação esperada pois o programa ainda estava em fase de conclusão. A avaliação processual sobre a implantação de um programa revelaria a representação social que os atores possuem sobre o projeto e alimentaria os modelos e as teorias utilizadas por eles na implantação do mesmo, o que contribui bastante para a formação permanente dos atores implicados, a melhoria do projeto e a inclusão.²¹

A análise da dimensão desenvolvimento de capacidade técnica evidencia que a SES realizou as principais atividades previstas: um curso de formação e a elaboração de uma proposta metodológica de monitoramento e avaliação para a atenção básica. O primeiro foi considerado um sucesso pela mobilização dos atores externos ao setor da atenção básica. Essa situação pode ser explicada pelo fato de alguns atores virem no programa a possibilidade de atualizar as estratégias de acúmulo de recursos técnicos e políticos para o alcance de seus interesses.¹⁵ Como a atenção básica é prioridade do Projeto de Governo torna-se muito forte e repleta de oportunidades, diferentemente dos demais setores.

Os problemas desta dimensão relacionaram-se também às pesquisas avaliativas: faltou a participação da SES na realização dos Estudos de Linha de Base do Proesf (ELB); além de pouca solicitação e insuficiente acompanhamento de pesquisas avaliativas junto ao centro colaborador. O plano de avaliação de impacto não foi apropriado pela SES, embora tenha sido possível encontrar uma pesquisa deste tipo sendo feita; mas estas informações são melhores apresentadas pelo centro colaborador e pouco incorporadas ao discurso dos atores. A qualidade do processo de trabalho das equipes da estratégia saúde da família foi definida como outra prioridade para pesquisa avaliativa. Por isso, a SES recebeu uma pontuação mais elevada neste critério, ao contrário da participação nos ELB, onde ela demonstra insatisfação por não ter recebido, sequer, o relatório da pesquisa.

Ainda nesta dimensão foi identificado pouco envolvimento do centro colaborador junto aos municípios na operacionalização da avaliação com a SES, fato influenciado pela implantação parcial da segunda dimensão. A expectativa é que esta operação ocorra na nova fase do Proesf, o que pode sofrer descontinuidade decorrente das mudanças de governo, em virtude dos resultados das eleições, além do grande intervalo de tempo entre a fase 1 e 2 do projeto (quase quatro anos). A falta de definição de recursos específicos para recontratação da instituição nesta segunda fase também pode não incentivar a cooperação interinstitucional ensino-serviço para avaliação, e favorecer mais uma relação individual de colaboração com consultores específicos da área.¹⁰

A dimensão integração das ações de monitoramento e avaliação da atenção básica, transversal a todas as outras, foi a única considerada parcialmente implantada. Foi aquela com maior número de atividades com problemas, especialmente quando se tratava da relação da SES com os municípios nas atividades de cooperação e execução de avaliações. O contexto histórico relativo à descentralização ajuda a explicar tais dificuldades. Ao tomar o rumo inicial da municipalização com a publicação das normas operacionais básicas (NOBs 93 e 96), a relação dos Estados com os municípios ficou enfraquecida pelo estabelecimento da relação direta entre o MS e as secretarias municipais, especialmente com a implantação dos repasses fundo-a-fundo.¹⁹ Houve êxito nas atividades que envolviam a realização do Pacto de Indicadores da Atenção Básica e a melhoria do Sistema de Informação da Atenção Básica (SIAB) (funcionamento e uso).

Como já apresentado na dimensão comunicação, a análise do material revelou problemas na integração entre os setores, resultado consonante com os achados da primeira e segunda etapa da avaliação formativa, quando esta dimensão obteve o menor grau de implantação em todos os estados.^11,12 O contexto político-institucional explica este resultado, tanto do ponto de vista da capacidade de governo quanto da governabilidade.

O projeto de governo possui elementos favoráveis à implantação do programa (Tabela 1). Quase todos os critérios obtiveram convergências positivas das fontes de evidência, havendo pequena divergência quanto à direcionalidade SUS das ações de governo. Todavia, a saúde foi assumida como prioridade de governo e a política estadual mantinha ênfase na Integralidade. A SES estudada vivia uma efervescência de processos de mudança ancorando seu projeto de governo na reorganização da atenção básica, nas discussões sobre as funções essenciais da saúde pública e sobre o papel do estado na gestão descentralizada do SUS. O fato observado foi que o programa veio a fortalecer e traduzir os propósitos do governo estadual com a institucionalização da avaliação, tendo sido rapidamente incorporado ao projeto de governo e registrado nos documentos oficiais da secretaria.

A capacidade de governo (Tabela 1) se apresentou favorável à implantação do programa. Entre as quatro categorias analisadas, a perícia pessoal da direção revelou-se a mais fortemente favorável à implantação. Esta afirmação se justifica pela: capacidade de liderança, conhecimento da saúde pública, atenção básica e avaliação, e, ainda, a forte liderança e experiência da secretaria adjunta e da gerência da atenção básica, ambas responsáveis pela coordenação do projeto. Tal capacidade foi responsável pela viabilização de estratégias que permitiram superar restrições na governabilidade, a exemplo da incompatibilidade entre as regras de execução do órgão financiador estrangeiro e as regras brasileiras na contratação do centro colaborador.

A existência de um ator da alta direção da SES com elevado capital cognitivo em torno do tema à frente do programa foi um dos fatores determinantes para a configuração do projeto de governo e para uma boa governabilidade. Este acontecimento é reconhecido por Matus,¹⁵ ao afirmar que um determinado ator que possuir alta capacidade de governo, controlará mais variáveis e, portanto, aumentará a sua governabilidade. Ela ainda depende do capital político - peso político dos setores envolvidos no programa - quanto maior, maior a governabilidade. Esta situação foi encontrada na SES.

A estabilidade de atores responsáveis pela gestão do programa supera as mudanças de secretário ocorridas por reformas administrativas de governo, mesmo quando estes novos dirigentes possuem pouco conhecimento e experiências na área da saúde, elementos que poderiam ter sido restritivos ao processo. Em estudo avaliativo conduzido por Vieira-da-Silva et al.,²² a falta de estabilidade da direção foi determinante para a dificuldade de implantação de um Programa. Machado et al.¹⁸ ratificam que a estabilidade é um elemento que na maior parte das vezes favorece o bom desempenho de uma gestão.

Neste lado do triângulo, o desenho organizativo e o uso de tecnologias de gestão também se apresentaram favoráveis. O desenho organizativo foi considerado favorável pelos processos de reforma administrativa em andamento para atender ao projeto de governo. Para isso foi criada a gerência da atenção básica e a coordenação de acompanhamento e avaliação de resultados da atenção básica.

Havia um movimento para o aprimoramento das tecnologias de gestão: no planejamento, no sistema de petição e prestação de contas (avaliação por resultados), na gerência por operações, no monitoramento e nos mecanismos de comunicação, ainda não consolidados. Isso explica, por um lado, o avanço da dimensão comunicação, mas também as restrições encontradas na dimensão integração.

Como refere Feliciano,²³ formação e estruturas para conduzir processos de institucionalização podem ser necessárias no início, mas instituir práticas no cotidiano implica que os atores assumam a reflexão crítica sobre o fazer, um compromisso de todos os envolvidos. O que implica ainda sobre o uso na programação de ações quando os conhecimentos produzidos pelas avaliações se tornem significativas e valorizadas por esta rede.

A tendência ao funcionamento isolado dos setores encontra explicação nas disputas das áreas pelos recursos da organização, ou seja, pelo poder de alguns grupos no interior da SES. Ao que tudo indica, fortalecer um modelo de gestão consensual primando pela participação dos técnicos na SES na elaboração dos planos, da agenda, dos relatórios contribui também com a governabilidade. As secretarias estaduais de saúde são organizações profissionais que devem ter uma estrutura flexível, serem criativas e adotarem um modelo de gerência consensual, comunicativo e de negociação de compromissos.²⁴ Para Matus¹⁵ a complexidade das organizações que compõem o sistema de saúde impõe um modelo de gestão fundamentado nos princípios da responsabilidade, criatividade, descentralização, normatização, modulação do planejamento e no princípio de subordinação da organização às práticas. Por isso, os modelos mecanicistas não são adequados. São considerados mecanismos flexíveis de gestão: grupos de trabalho, definição de agendas fixas de reuniões.²⁴

O grande sucesso no âmbito da capacidade de governo foi o sistema de agenda do dirigente que prezava por manter projetos prioritários em pauta. A SES trouxe reforço para sua capacidade de governo com profissionais reconhecidos no campo da gestão e produção científica para auxiliar nesta tarefa, que orientaram propostas de reformas administrativas. O entrave ocorreu na execução dos recursos financeiros, pela falta de um fluxo compartilhado por todos na SES.

Já o sistema das relações entre dirigentes e operadores apresentava-se favorável quanto ao conhecimento e experiência dos que formaram o núcleo ampliado de monitoramento e avaliação, ao perfil dos técnicos da atenção básica e restritivo no funcionamento dos demais setores, especialmente pela desarticulação entre eles. A alta rotatividade de profissionais, a deficiente política de recursos humanos e o insuficiente conhecimento do programa na SES foram elementos mais restritivos à implantação do programa. Isso tem implicação mais adiante na sustentabilidade do projeto.

O programa gozava de relativa governabilidade (Tabela 2). Os elementos que mais contribuíram para este fato foram a autonomia da SES pela gestão do Fundo Estadual de Saúde e da coordenação do programa para execução dos recursos. Além disso, a excelente relação entre a coordenação da atenção básica e a secretaria adjunta facilitou bastante a condução da implantação. Isso favoreceu alcance da legitimidade do núcleo coordenador do programa, estabelecido através da Portaria n° 366/2004. Uma boa relação com a coordenação nacional do programa e muitas afinidades com o centro colaborador, além da boa relação entre as instâncias de gestão são fatores favoráveis à implantação da intervenção.

O centro colaborador ainda estava satisfeito tanto pelo trabalho desenvolvido na SES quanto pelo seu fortalecimento na instituição de origem. A média governabilidade encontrava-se na relação do programa com os demais setores, devido à dificuldade de integração e à insatisfação de alguns deles com o centro colaborador.

Os resultados demonstram que a atenção básica é o setor que oferece mais oportunidades de aperfeiçoamento na SES, atraindo os interessados. Isto encontra explicação na prioridade que ela possui no projeto de governo e na falta de uma política de educação permanente de seu quadro de pessoal. Por outro lado, gera um sentimento de exclusão por parte daqueles que não participaram. Há questionamentos sobre o quanto a institucionalização da avaliação da atenção básica enfraqueceria setores importantes na SES ao expor suas deficiências, ao passo que impulsionaria um setor já fortalecido no contexto da SES pelo projeto de governo. Alia-se um entendimento de que a atenção básica atuaria expondo as fragilidades dos mesmos, o que contribui para o afastamento dos setores de planejamento, financeiro, de recursos humanos, de políticas de saúde e alguns atores da vigilância.

Nestes casos, os atores ficam "passivos ante a uma operação que os prejudiquem".¹⁴ Por isso, surgem aqueles que se tornam indiferentes ou outros programas acabam competindo por se tornarem mais relevantes para os demais atores que não estão envolvidos diretamente com a coordenação da atenção básica. Nestas situações, as estratégias de cooperação devem ser pensadas por não se tratarem de situações tão conflituosas.¹⁴ Um projeto voltado para a institucionalização da avaliação, tem em sua implantação um processo político que traz à tona medos e inseguranças que afetam a mobilização dos atores em torno dele.^25,26 Nos processos políticos estão envolvidas estratégias de convencimento, mas também de negociação e outras necessárias à inclusão dos interessados para o êxito do programa.¹⁴

O entendimento de que o programa foi uma conquista da SES junto ao MS favoreceu o entusiasmo da coordenação do programa pelas ações desenvolvidas. O fato de uma intervenção ter surgido da necessidade de quem vai implementá-la e não apenas a disponibilidade de financiamento é um elemento importante para a institucionalização e sustentabilidade do programa.^27,28

A visão de muitos dos entrevistados sobre a avaliação e a supervisão ainda é de ação punitiva e/ou policialesca. Investir mais nos processos avaliativos, como previsto nos momentos processuais finalísticos do programa, aumentaria a capacidade do mesmo em promover a institucionalização da avaliação. A finalidade da avaliação do projeto seria a de reconciliar as diversas representações construídas pelo conjunto de atores implicados a fim de melhorar a própria intervenção.²¹ Superada a lógica punitiva, a avaliação pode se tornar um recurso importante para a formação de todos os profissionais, e ser bastante utilizada nos processos de educação permanente.²⁸

Fugia da governabilidade da SES a execução dos processos de licitação, que havia sido centralizada pelo governo tendo em vista a justificativa da busca da eficiência e da racionalização dos processos administrativos. A iminente mudança de governo pela eleição do candidato da oposição (conjuntura política) logo no primeiro turno das eleições, somada à dificuldade de articulação interna dos setores na SES são outros fatores que influenciam a implantação da dimensão integração. Vale destacar, também, a dificuldade de relação com a capital do Estado. Ainda, a alta rotatividade de membros das equipes técnicas provocava o enfraquecimento dos setores em torno do programa. O presente estudo também pode ser conclusivo neste sentido. A influência negativa das questões de baixos investimentos em recursos humanos para implantação de mudanças na gestão do SUS é bastante discutida na literatura atual.^22,29

Considerações finais

A avaliação da atenção básica aparece como uma função específica das Secretarias Estaduais de Saúde contida, também, na política nacional da atenção básica. Esta ratifica que cabe às SES, além da qualificação, educação permanente das equipes, a discussão da organização do modelo a partir da reorganização da atenção básica, e o compromisso com a qualidade dos sistemas de informação sob sua responsabilidade. Neste sentido, o reconhecimento da necessidade de investir na função de monitoramento e avaliação da atenção básica pelo Ministério da Saúde, através do pacto de gestão e da política nacional da atenção básica coincide com as inquietações dos secretários estaduais de saúde. O Conselho Nacional de Secretários de Saúde (Conass) já havia colocado em pauta desde 2004 a necessidade de investimento na institucionalização da avaliação, passando a ser questão central para os dois entes.³⁰ Também foi o que aconteceu na secretaria objeto deste estudo, inclusive pela participação efetiva dos seus dirigentes no referido conselho.

De uma maneira geral no Brasil, a perda de autonomia dos Estados, em razão dos seus níveis crescentes de endividamento,¹⁸ contribuiu para que a experiência da descentralização ocorresse com períodos de recentralização de recursos no governo federal, especialmente na década de 1990 do século passado.²⁹ Pode-se dizer que houve secundarização do papel do Estado e, nesta fase, uma verdadeira crise de identidade das SES, tanto do ponto de vista organizacional (pela verticalização, fragmentação, concentração de ações e serviços e fraco exercício da função de regulação), quanto dos aspectos de financiamento (pouco investimento de recursos próprios na saúde, pouca participação no financiamento dos sistemas estaduais, pouca participação na divisão dos tributos nacionais).

As mudanças introduzidas pela Constituição Federal elevando os Estados a entes autônomos, a história de enfraquecimento das SES ao longo da descentralização¹⁹ e a escassez de recursos para investimento na capacidade técnica, em que pese o endividamento crescente dos Estados, explicam a fragilidade das estruturas das SES, especialmente no seu papel na atenção básica, fatores explicativos da alta adesão ao programa e do forte investimento inicial na estruturação da atenção básica.

O projeto e a capacidade de governo colaboram com a implantação satisfatória do programa. Embora alcance certa governabilidade, restrições foram identificadas pela insuficiente integração dos setores, dificuldades na relação com a secretaria da capital, mudanças eleitorais e indagações sobre a finalidade do sistema de avaliação pouco explicitada nas falas, mas reveladas nas atitudes dos atores efetivamente implicados no programa; o que explica a implantação parcial da dimensão integração das ações de monitoramento e avaliação.

O que se pode observar é que um programa de avaliação no âmbito estadual se transforma em uma matriz de inter-relação constituída por uma diversidade de atores cujos valores, interesses, ações e consequências constituem também o projeto propriamente dito.²¹ O reconhecimento desta teia e o desencadeamento de um movimento pró-ativo pela participação e inclusão destes atores, bem como pela superação das concepções cristalizadas sobre avaliação em prol de uma sistemática participativa, formativa, reflexiva e de empoderamento dos envolvidos, há que ser pautado nos processos de institucionalização da avaliação mesmo num contexto político-institucional, e até mesmo sócio-histórico, favorável à implantação desta intervenção.

Agradecimentos

Ao Programa de Pós-graduação em Saúde Pública do Centro de Pesquisas Aggeu Magalhães/Fiocruz. Ao Ministério da Saúde e ao Ministério da Ciência e Tecnologia, pelo financiamento do estudo no âmbito do Edital CNPq n° 049/2005 e ao Instituto de Medicina Integral Prof. Fernando Figueira, por intermédio do Grupo de Estudos e Gestão e Avaliação em Saúde do pelo apoio logístico.

Recebido em 25 de maio de 2010

Versão final apresentada em 10 de junho de 2010

Aprovado em 7 de julho de 2010

• 1. Bodstein R. Atenção básica na agenda da saúde. Ciênc Saúde Coletiva. 2002; 7: 401-12.
• 2. Varone F, Jacob S, Winter L. Polity, politics and policy evaluation in Belgium. Evaluation. 2005; 11: 253-73.
• 3. Widmer T, Neuenschwander P. Embedding evaluation in the Swiss Federal Administration. Evaluation. 2004; 10: 388-409.
• 4. Stenzel ACB. A temática da avaliação no campo da saúde coletiva: uma bibliografia comentada [dissertação]. Campinas: Faculdade de Ciências Médicas da Universidade Estadual de Campinas; 1996.
• 5. Brasil. Ministério da Saúde. Diretrizes operacionais dos pactos pela vida, em defesa do SUS e de Gestão. Brasília, DF. Série Pactos pela Saúde. 1: 2006.
• 6. Hartz ZMA. Institucionalizar e qualificar a avaliação: outros desafios para a atenção básica. Ciênc Saúde Coletiva. 2002; 7: 413-21.
• 7. Felisberto E. Monitoramento e avaliação na atenção básica: novos horizontes. Rev Bras de Saúde Materno Infant. 2004; 4: 317-21.
• 8. Felisberto E. Da teoria à formulação de uma política nacional de avaliação em saúde: reabrindo o debate. Ciênc Saúde Coletiva. 2006; 11: 553-63.
• 9. Felisberto E, Carvalho EMF, Natal S, Alves CKA. Contribuindo com a institucionalização da avaliação em saúde: uma proposta de autoavaliação. Cad Saúde Pública. 2008; 24: 2091-102.
• ¹⁰
  Brasil. Ministério da Saúde. Manual de operacionalização do programa de expansão e consolidação de saúde da família Fase 2 Brasília, DF; 2010. Disponível em:<www.saude.gov.br/caadab [2010 fev 20]
• 11. Natal S, Santos E M, Felisberto E, Alves CKA, Santos SE, Sousa ANA, Hartz ZMA. Avaliação formativa do componente fortalecimento técnico das Secretarias de Estado de Saúde em monitoramento e avaliação. Relatório Executivo ENSP/FIOCRUZ - IMIP - MS/DAB. Rio de Janeiro; 2007.
• 12. Natal S, Santos EM, Alves CKA, Felisberto E, Santos ES, Souza A. A implementação do projeto estratégico de fortalecimento da capacidade técnica em monitoramento e avaliação das Secretarias Estaduais de Saúde: avaliação formativa e autoavaliação. In: Hartz Z. (org). Meta-avaliação da atenção básica à saúde - teoria e prática. Rio de Janeiro: Editora Fiocruz; 2008. p. 341-367.
• 13. Denis JL, Champagne F. Análise de implantação. In: Hartz ZMA (org). Avaliação em saúde: dos modelos conceituais à prática na análise da implantação de programas. Rio de Janeiro: Fiocruz; 1997. p. 49-88.
• 14. Matus C. Política, planificacion y gobierno. Washington, DC; 1987. Tomo I.
• 15. Matus CO. Política, planejamento e governo. Brasília: IPEA; 1996. Tomo 2.
• 16. Yin RK. Estudo de caso: planejamento e métodos. 3 ed. Porto Alegre: Bookman; 2005. 212 p. Tradução Daniel Grassi. Reimpressão; 2006.
• 17. Facchini LA, Piccini RX, Tomasi E, Thumé E, Silveira DS, Siqueira FV, Rodrigues MA. Desempenho do PSF no Sul e no Nordeste do Brasil: avaliação institucional e epidemiológica da atenção básica à saúde. Ciênc Saúde Coletiva 2006; 11: 669-81. [2007 jul 10]. Disponível em: http://www.scielosp.org/scielo.php?script=sci_arttext&pid=S1413 -81232006000300015&lng=pt&nrm=iso
• 18. Machado HOP, Freese E, Cesse E. Analisando situações de governo em municípios pernambucanos: quem busca e quem produz mudanças na gestão do SUS. In: Freese E. (org) Municípios: a gestão da mudança em saúde. Recife: Ed Universitária; 2004. p. 261-96.
• ¹⁹
  Conselho nacional de secretários de saúde. Exercício do papel dos diversos entes federados e comando único. In: Convergências e divergências sobre gestão e regionalização. Brasília: CONASS; 2004b. Conass Documenta, n. 6. p. 67-70.
• 20. Jacob S. Réflexions autour d'une typologie des dispositifs institutionnels d'évaluation. Can J Program Eval. 2005; 20: 49-68.
• 21. Potvin L, Gendron S, Blodeau A. Três posturas ontológicas concernentes à natureza dos programas de saúde: implicação para a avaliação. In: BOSI, M. L. M. Avaliação Qualitativa de programas de saúde: enfoques emergentes. Petrópolis, RJ: Vozes, 2006. p. 65-86.
• 22. Vieira-da-Silva LM; Hartz ZMA, Chaves SCL, Silva GAP. Metodologia para análise da implantação de processos relacionados à descentralização da atenção à saúde no Brasil. In: Hartz ZMA, Vieira-da-silva LM (orgs). Dos modelos teóricos à prática na avaliação de programas e sistemas de saúde. Salvador-Rio de Janeiro: EDUFBA, FIOCRUZ; 2005. p. 207-53.
• 23. Feliciano KVO. A relação entre o avaliador e o objeto avaliado. Rev Bras. Saúde Materno Infant.2005; 5 (Supl 1): 583-92.
• 24. Lotufo M.Gestão pública em saúde: análise da capacidade de governo da alta direção da SES - Mato Grosso em 2001 [tese]. Salvador: Instituto de Saúde Coletiva da Universidade Federal da Bahia; 2003.
• 25. Vilasbôas ALQ. Prática de planejamento e implementação de políticas de saúde no âmbito municipal [tese]. Salvador: Instituto de Saúde Coletiva da Universidade Federal da Bahia; 2006.
• 26. Worthen RB, Sanders JR, Fitzpatrick JL. Avanços e tendências recentes na avaliação In: Worthen RB, Sanders JR, Fitzpatrick JL. Avaliação de programas: concepções e práticas. São Paulo: Editora Gente; 2004. p. 73-96.
• 27. Scheirer MA. Is sustainability possible? A review and commentary on empirical studies fo program sustainability. Am J Eval. 2005; 26: 320-47.
• 28. Felisberto E, Alves CKA, Bezerra LCA, Samico I, Dubeux LS, Carvalho EMF. Uso da avaliação e formação profissional: impulsionando a prática da integralidade em Saúde. In: Pinheiro R, Silva Jr. AG, Mattos RA. (orgs). Atenção básica e integralidade: contribuições para estudos de práticas avaliativas em saúde. Rio de Janeiro: CEPESC: IMS/UERJ: ABRASCO; 2008. p. 59-72.
• 29. Viana ALD'Ávila, Lima LD, Oliveira RGO. Descentralização e federalismo: a política de saúde em novo contexto: lições do caso brasileiro. Ciênc Saúde Coletiva. 2002; 7: 493-507.
• ³⁰
  Conselho Nacional de Secretários de Saúde. Atenção Primária - Seminário do Conass para construção de consensos / Conselho Nacional de Secretários de Saúde. Brasília, DF: CONASS; 2004a. (Conass Documenta, n. 2).

Análise da implantação de um programa com vistas à institucionalização da avaliação em uma Secretaria Estadual de Saúde

Implementation analysis of an evaluation institutionalization program in a State health department

Datas de Publicação

• Publicação nesta coleção
  31 Jan 2011
• Data do Fascículo
  Nov 2010

Histórico

• Recebido
  25 Maio 2010
• Aceito
  07 Jul 2010
• Revisado
  10 Jul 2010