Identificação e caracterização dos elementos constituintes de uma intervenção: pré-avaliação da política ParticipaSUS

Identification and characterization of constituent elements of an intervention: pre-evaluation of the "ParticipaSUS" policy

ARTIGO ARTICLE

Identificação e caracterização dos elementos constituintes de uma intervenção: pré-avaliação da política ParticipaSUS

Identification and characterization of constituent elements of an intervention: pre-evaluation of the "ParticipaSUS" policy

Luciana Caroline de Albuquerque Bezerra^I; Cinthia Kalyne de Almeida Alves^I; Yluska Almeida Coelho dos Reis^I; Isabella Samico^I; Eronildo Felisberto^I; André Luis Bonifácio de Carvalho^II; Greciane Soares da Silva^I

^IGrupo de Estudos de Gestão e Avaliação em Saúde, Diretoria de Pesquisa, Superintendência de Ensino, Pesquisa e Extensão, Instituto de Medicina Integral Prof. Fernando Figueira - IMIP. Rua dos Coelhos 300, Boa Vista. 50070-550 Recife PE. [e-mail]

^IIDepartamento de Monitoramento e Avaliação da Gestão do SUS, Secretaria de Gestão Estratégica e Participativa, Ministério da Saúde

RESUMO

O artigo apresenta os resultados de uma pré-avaliação da Política Nacional de Gestão Estratégica e Participativa do Sistema Único de Saúde (ParticipaSUS). Trata-se de estudo de avaliabilidade tendo como unidade de análise a Gestão Federal - Secretaria de Gestão Estratégica e Participativa/Ministério da Saúde - SGEP/MS de outubro de 2010 a março de 2011. Foram realizadas reuniões de consenso com os profissionais da SGEP/MS e os da área acadêmica e análise documental. Elaborado modelo lógico e matriz de análise e julgamento com critérios, indicadores e padrões, as fontes de verificação, pontos de corte e julgamento. A descrição da intervenção possibilitou discussão sobre conceito, princípios, diretrizes e ações. Os princípios e as diretrizes priorizam o componente 'Apoio à Gestão Participativa'. Na construção do modelo lógico, o foco da discussão foram as ações que devem ser realizadas pelo nível federal em cada componente, pois o documento oficial não faz este detalhamento. A Política ParticipaSUS é uma intervenção passível de avaliação, pois foi possível explicitar sua plausibilidade. O estudo de avaliabilidade ou pré-avaliação mostrou-se apropriado com maior entendimento dos envolvidos, melhor definição dos objetivos e metas e indicando áreas prioritárias para futuras avaliações.

Palavras-chave: Avaliação em saúde, Políticas públicas, Sistema de saúde, Gestão em saúde

ABSTRACT

This article presents the results of a pre-evaluation of the National Policy of Strategic and Participative Management of the Unified Health System (ParticipaSUS). It involved a feasibility study conducted between October 2010 and March 2011 with Federal Management and the Strategic and Participative Management Department/Ministry of Health as the unit of analysis. Document analysis was performed and consensus meetings were held with professionals of the SSPM/MH and academic area. A logical model and analysis and judgment matrix with criteria, indicators, standards, data sources and cut-off points was prepared. A description of the intervention elicited discussion on concepts, principles, guidelines and actions. The consensus was that the principles and guidelines prioritized the 'Support to Participative Management' component. The focal point for elaboration of the logical model was action at federal level on each component, as official documents failed to list them. The ParticipaSUS policy is an intervention open to evaluation, albeit its plausibility has been established. The pre-evaluation proved to be appropriate and better understood by professionals, with clearer definition of objectives and goals, while duly highlighting priority areas for future evaluation.

Key words: Health evaluation, Public policies, Health system, Health management

Introdução

A estruturação de um novo ciclo democrático do SUS afirma a gestão participativa como componente estratégico a influir e interagir com outros fundamentos do processo de democratização, como a descentralização, a regionalização e a mudança de cultura de gestão. No entanto, um dos atuais desafios para a sua consolidação é o aperfeiçoamento e o fortalecimento do processo de controle social - entendido como uma das principais estratégias para a promoção da gestão participativa nas distintas esferas de governo¹.

Por gestão participativa, entende-se a estratégia transversal que objetiva agregar legitimidade às ações de governo, de forma a assegurar a inclusão de novos atores políticos e possibilitar a escuta das necessidades por meio da interlocução com usuários e entidades da sociedade. Requer a adoção de práticas e dispositivos de controle social, mecanismos de escuta permanente das opiniões e demandas da população, processos participativos de gestão, intersetorialidade e mecanismos de mobilização social¹.

O Ministério da Saúde do Brasil, por intermédio da Secretaria de Gestão Estratégica e Participativa, tem desenvolvido várias iniciativas na busca da implementação e da integração de processos com esse objetivo, que convergiram em 2007 para a implantação da Política Nacional de Gestão Estratégica e Participativa do SUS, conhecida como ParticipaSUS, divulgada por meio da Portaria nº 3.027/2007².

A ParticipaSUS constitui-se em um conjunto de atividades voltadas ao aprimoramento da gestão do SUS, visando maior eficácia, eficiência e efetividade, por meio de ações que incluem o Apoio ao Controle Social (a educação popular, a mobilização social, a busca da equidade), o Monitoramento e a Avaliação da Gestão, a Ouvidoria, a Auditoria e a Gestão da Ética nos serviços públicos de saúde. Entre as suas diretrizes, destacam-se: a valorização dos diferentes mecanismos de participação popular e de controle social nos processos de gestão do SUS; a integração e a interação das ações de auditoria, ouvidoria, monitoramento e avaliação com o controle social; a ampliação dos espaços de ausculta da sociedade em relação ao SUS; a articulação com as demais áreas do Ministério da Saúde na implantação de mecanismos de avaliação continuada da eficácia e efetividade da gestão do SUS; a articulação das ações referentes à gestão estratégica e participativa desenvolvidas pelo Ministério da Saúde, com os diversos setores, governamentais e não governamentais; e o fortalecimento das formas coletivas de participação e de solução de demandas³.

Para tanto, as atribuições e responsabilidades dos gestores federal, estaduais, do Distrito Federal e municipais, no âmbito da ParticipaSUS, são definidas tendo como base o Pacto pela Saúde, sendo o efeito mais esperado desse processo, a agilidade e o aperfeiçoamento na implementação das práticas de gestão estratégica e participativa nas três esferas de gestão do SUS.

Considerando a relevância da implantação de processos participativos de gestão para a consolidação do SUS, a necessidade de qualificação dos processos e dos instrumentos da gestão em saúde, o tempo de implantação da política, a necessidade de compreensão acerca das fortalezas e fragilidades da ParticipaSUS, a prioridade do tema na agenda pública da gestão em saúde e a possibilidade que os estudos de avaliação de políticas e programas governamentais apresentam de ampliar a capacidade de formuladores e implementadores em tomar decisões com maior qualidade e eficiência, torna-se oportuno realizar um estudo de avaliabilidade na perspectiva de uma melhor compreensão, organização e reorientação dessa intervenção entre gestores e profissionais envolvidos, e subsídio ao planejamento e implementação de ações para a gestão da política.

Os estudos de avaliabilidade ou pré-avaliação ou avaliação exploratória surgem como uma possibilidade de se verificar em que medida uma intervenção pode ser avaliada. Idealizado nos anos de 1970 por Joseph Wholey, como um método de análise de programas que se encontravam em estágio insuficiente para se submeterem a avaliações, esse tipo de estudo precede a etapa de avaliação propriamente dita e tem como finalidades proporcionar um ambiente favorável para a avaliação, construir entendimentos entre os envolvidos sobre as características, os objetivos, as expectativas e as necessidades de informação sobre uma intervenção, além de buscar o consenso quanto ao interesse na realização da avaliação, maximizando a potencialidade, a oportunidade e a utilidade desta^4-7.

Portanto, o presente artigo tem como objetivo apresentar os resultados de uma pré-avaliação da Política Nacional de Gestão Estratégica e Participativa do SUS (ParticipaSUS) no âmbito da gestão federal, considerando a descrição da política com a elaboração do modelo lógico, da matriz de medidas e julgamento e recomendações necessárias com vistas a posteriores estudos avaliativos.

Método

Estratégia do estudo

Realizou-se um estudo de avaliabilidade ou pré-avaliação, no período de outubro de 2010 a março de 2011, cuja unidade de análise foi a gestão federal da política ParticipaSUS, tendo como nível de análise selecionado as práticas gestoras em nível central. Foi desenvolvido à luz das etapas para avaliação de programas, sugeridas pelo Center for Disease Control⁸ e revistas por Leviton et al.⁴, quando refletem acerca dos estudos sobre melhoria das práticas, programas e políticas em saúde pública. Para este estudo considerou-se, entretanto, os seguintes passos: entender a política enquanto uma 'intervenção', engajar as partes interessadas, descrever a intervenção ou programa, focalizar o projeto de avaliação, reunir e avaliar evidências, justificar as conclusões e garantir o uso e o compartilhamento das lições aprendidas.

Considerando, portanto, a ParticipaSUS enquanto uma 'intervenção' que visa potencializar a transformação das práticas de gestão democrática e participativa, à luz dos princípios do SUS, realizou-se um exame sistemático e preliminar com a finalidade de delimitar, com maior precisão, os seus objetivos, determinar se há justificativa para a realização de um estudo avaliativo profundo e identificar o que deve ser priorizado caso haja essa necessidade, a partir da reflexão e do debate conjunto por parte dos gestores e dos profissionais responsáveis pela implementação da intervenção^9,10.

Técnicas de coleta e fontes de informação

A coleta dos dados foi realizada a partir de análise documental das seguintes publicações oficiais relativas à política ParticipaSUS: (i) Portaria nº 3.027, de 26/11/2007², (ii) Política Nacional de Gestão Estratégica e Participativa no SUS - ParticipaSUS - Textos Básicos de Saúde (2009)³, (iii) Processos e Práticas do Monitoramento e Avaliação da Gestão do SUS: contribuições e reflexões dos encontros temáticos (2010)¹¹; de reuniões coletivas (pequenos debates) com informantes-chave integrantes do quadro gestor da SGEP/Ministério da Saúde (Secretário, Diretores e Coordenadores) e, por meio de três oficinas de trabalho sistematizadas com os profissionais técnicos e, também, com os gestores acima elencados, envolvidos com a formulação e implementação da política. Participaram os profissionais de cada um dos quatro departamentos que compõem a Secretaria: Departamento de Auditoria do SUS, Departamento de Apoio à Gestão Participativa do SUS, Departamento de Ouvidoria do SUS e Departamento de Monitoramento e Avaliação da Gestão do SUS. Os encontros foram realizados nas dependências da SGEP/MS em Brasília/DF e os participantes foram distribuídos em grupos de discussão de forma que cada grupo contemplasse profissionais de cada um dos setores citados. As discussões do primeiro encontro se pautaram no conceito e nos princípios e diretrizes da política, enquanto os outros dois foram concentrados na construção do modelo lógico e da matriz de análise e julgamento.

Modelo Lógico e Matriz de Análise e Julgamento

Como etapa inicial do processo avaliativo, o referencial teórico e a metodologia foram apresentados e consensuados com a equipe de avaliadores, gestores e profissionais técnicos que implementam a política na gestão federal. Posteriormente, foi apresentada uma proposta de modelo lógico da política ParticipaSUS na gestão federal, baseado nos documentos citados no item anterior, com a finalidade de explicitar a intervenção. Na medida em que o modelo era apresentado, os participantes validavam o seu conteúdo e a plausibilidade das relações causais estabelecidas no mesmo. Os elementos constituintes do modelo lógico foram preenchidos a partir das orientações sistematizadas no Quadro 1.

Foram analisados os quatro componentes do 'programa': (i) Auditoria do SUS: entendida como instrumento de qualificação da gestão; (ii) Apoio à Gestão Participativa: que visa o fomento do protagonismo popular na busca pela construção de consensos, apropriação de saberes e de grupos populacionais por meio de tecnologias e práticas inovadoras; (iii) Ouvidoria do SUS: que atua no sentido de promover o aprimoramento e o uso de canais diretos de comunicação dos usuários do sistema para subsidiar a política de saúde do país; e, (iv) Monitoramento e Avaliação da Gestão do SUS: entendido enquanto um processo sistemático e contínuo de acompanhamento de indicadores de saúde e da execução das políticas, das ações e dos serviços³.

Como etapa seguinte, e a partir do modelo lógico construído e consensuado, realizou-se as oficinas de trabalho e as reuniões para a elaboração da matriz de análise e julgamento, definindo-se conjuntamente (pesquisadores e gestores/profissionais) os critérios e os indicadores. Estes encontros foram coordenados pela equipe de pesquisadores utilizando-se roteiros previamente elaborados, em consonância com cada componente debatido, para a condução dos mesmos.

A matriz foi, posteriormente, submetida à apreciação de um comitê de especialistas formado por quatro profissionais da área acadêmica, que também são vinculados aos serviços de saúde e que desenvolvem suas funções em atividades de gestão no âmbito do SUS. Solicitou-se a cada membro do comitê que atribuísse um valor entre 0 (zero) e 10 (dez) para cada critério/indicador, esclarecendo-se que o valor zero corresponderia à não importância do critério/indicador para a avaliação, ao passo que o valor 10 (dez) significaria que o indicador teria a máxima importância. Os membros do comitê poderiam sugerir novos critérios e modificações àqueles apresentados e, ainda, sugerir mudanças nos pontos de corte e de julgamento propostos na matriz. Encaminhou-se a matriz a cada um dos membros do comitê via correio eletrônico, esclarecendo sobre a pesquisa, seus objetivos, a garantia do anonimato e o retorno dos resultados. A consolidação dos dados foi feita em reunião presencial com os especialistas para a finalização por consenso a partir dos critérios selecionados e analisados manualmente. O Quadro 2 apresenta os elementos constituintes da matriz de análise e julgamento.

Foi, ainda, realizada a triangulação das informações obtidas por meio de uma comparação, critério a critério, entre os resultados das reuniões, oficinas de trabalho e entre estes e os achados da análise documental. O último passo foi a realização de uma oficina de trabalho dos pesquisadores com os gestores/profissionais envolvidos para validação e aprovação da matriz final.

Considerações Éticas

O projeto de pesquisa obteve a anuência, por meio de carta, da Secretaria de Gestão Participativa do Ministério da Saúde e foi aprovado pelo Comitê de Ética em Pesquisa do Instituto de Medicina Integral Prof. Fernando Figueira.

Resultados

O documento normativo da Política Nacional de Gestão Estratégica e Participativa no SUS - ParticipaSUS, que norteou a construção do modelo lógico da política e da matriz de análise e julgamento, é dividido essencialmente em três seções: a primeira que trata dos princípios e diretrizes; a segunda que detalha os quatro componentes que compreendem a política: Auditoria do SUS, Apoio à Gestão Participativa, Ouvidoria Geral do SUS e Monitoramento e Avaliação da Gestão do SUS; e a terceira que delineia as atribuições de cada nível de gestão do SUS - federal, estadual e municipal. Nesta perspectiva, a análise realizada pelo grupo envolvido na construção do modelo lógico possibilitou a discussão acerca do conceito, dos princípios/diretrizes e das ações próprias da política, abordados tanto no documento oficial, quanto em portarias relacionadas à política.

A política é, então, entendida pelos envolvidos como um conjunto de ações que visam o aperfeiçoamento da gestão do SUS, com maior eficácia, eficiência e efetividade, incluindo o apoio ao controle social, à educação popular, à mobilização social, à busca da equidade, ao monitoramento e avaliação, à ouvidoria, à auditoria e à gestão da ética nos serviços públicos de saúde.

Com relação aos princípios e diretrizes descritos no documento, foi consenso no grupo que eles têm um foco bem mais voltado para o componente Apoio à Gestão Participativa; todavia, foram poucas as mudanças sugeridas para a reformulação dos mesmos, conforme relacionado a seguir.

. Reafirmação dos pressupostos da Reforma Sanitária quanto ao direito universal à saúde como responsabilidade do Estado, como Universalidade, Equidade, Integralidade e Participação Social.

. Valorização dos diferentes mecanismos de participação popular e de controle social nos processos de gestão do SUS, especialmente os Conselhos e as Conferências de Saúde, garantindo sua consolidação como política de inclusão social e de conquista popular.

. Promoção da inclusão social de populações vulnerabilizadas, visando à equidade no exercício do direito à saúde.

. Afirmação do protagonismo da população na luta por saúde a partir da ampliação de espaços públicos de debates e construção de saberes.

. Integração e interação das ações de auditoria, ouvidoria, monitoramento e avaliação com o controle social, entendidos como medidas para o aprimoramento da gestão do SUS nas três esferas de governo.

. Ampliação dos espaços de ausculta da sociedade em relação ao SUS, articulando-os com a gestão do sistema e a formulação de políticas públicas de saúde.

. Articulação com as demais áreas do Ministério da Saúde na implantação de mecanismos de avaliação continuada da eficácia e da efetividade da gestão do SUS.

. Articulação das ações referentes à gestão estratégica e participativa desenvolvidas pelo Ministério da Saúde, com os diversos setores, governamentais e não governamentais, relacionados com os condicionantes e os determinantes da saúde.

. Fortalecimento das formas coletivas de participação e de solução de demandas, promovendo o empoderamento e a cidadania.

O Modelo Lógico, apresentado na Figura 1, foi construído a partir de uma metodologia participativa envolvendo os próprios formuladores e executores da política em âmbito federal, viabilizou a identificação, por meio de um processo de reflexão e debate, das ações que devem ser realizadas pelo nível federal para cada componente da política, uma vez que o documento não faz este detalhamento quando aborda as atribuições de cada nível. Desta forma, a construção do grupo considerou as atribuições do nível federal, propostas no documento, relacionando-as às ações compatíveis com cada um dos quatro componentes consoante a essa esfera de gestão.

Para cada componente foram consensuados subcomponentes com vistas a melhor caracterizar a estrutura disponível e as atividades previstas de serem executadas para se atingir os objetivos e os resultados esperados. Desta forma, pactuou-se a seguinte derivação de cada componente: Auditoria do SUS (cooperação técnica e financeira, monitoramento e avaliação, educação permanente e produção de material instrucional); Apoio à Gestão Participativa (fortalecimento do controle social, fortalecimento da participação popular em defesa do SUS, enfrentamento das iniquidades em saúde, educação permanente e produção de material instrucional, cooperação técnica); Ouvidoria do SUS (coordenação da política nacional de Ouvidoria, articulação/apoio aos estados, educação permanente/estudos e pesquisas); Monitoramento e Avaliação da Gestão do SUS (apoio aos gestores do SUS, desenvolvimento de estratégias de monitoramento e avaliação, participação em eventos). Essa derivação em subcomponentes teve como objetivo auxiliar e subsidiar os debates realizados, entre os pesquisadores e a equipe gestora, sobre o modelo lógico, com vistas à identificação dos critérios e indicadores a serem relacionados a cada componente da intervenção. Enquanto os elementos do modelo lógico iam sendo alocados no quadro, o grupo fazia a checagem quanto à completitude, à plausibilidade e à clareza das relações estabelecidas no modelo. O fluxo ia sendo verificado, desde os recursos até os resultados (da esquerda para direita ou de cima para baixo), balizadas por questões guias do tipo: (i) com estes recursos realizo estas atividades?; (ii) estas atividades são suficientes para atender ao componente?; (iii) com estas atividades alcanço estes resultados intermediários?; (iv) alcançando estes resultados intermediários a política consegue impactar?.

De posse do modelo validado, a matriz de análise e de julgamento, apresentada no Quadro 3, foi construída considerando o que da política deve ser avaliado e com base em que parâmetros isto deve ser feito, elencando-se para cada componente do modelo os critérios, os indicadores e os padrões relacionados à estrutura e ao processo. Além disto, ainda foram sugeridas as fontes de verificação onde as informações acerca de cada indicador devem ser buscadas e os pontos de corte para efeito do julgamento.

Discussão

O estudo de avaliabilidade desenvolvido deixa clara a necessidade de atualização da norma que orienta a implantação da política ParticipaSUS, com a finalidade de incorporar as novas diretrizes e atividades que estão sendo desenvolvidas ou aquelas que foram identificadas como essenciais no contexto da política e ainda não incorporadas à normativa em questão.

Em geral, a maioria dos projetos/programas/políticas de saúde apresenta seus objetivos e suas diretrizes com pouca clareza, e a falta de consenso entre os atores envolvidos sobre as atividades e os resultados esperados de uma intervenção constituem entraves à sua implantação¹².

De acordo com Urquieta¹³, as intervenções apresentam explícita ou implicitamente seus pressupostos, demonstrando sua necessidade e seu potencial de produção de efeitos positivos, seus objetivos, sua população-alvo, os mecanismos de implementação da proposta, os resultados que dela se espera, um modelo teórico de desenvolvimento que a justifica e um modelo lógico de funcionamento relativo à sua operacionalização.

Além desses aspectos, Potvin e Gendron¹⁴ destacam a existência de relações dinâmicas e evolutivas no tempo entre a intervenção, seus componentes e contexto e os diferentes atores em interação, sendo estes, portanto, elementos constitutivos da intervenção.

É nesse cenário que o estudo de avaliabilidade ou de pré-avaliação se insere. Ao considerar um exame detalhado da descrição de uma intervenção, muitas vezes contribui para desenhos mais robustos e para estudos avaliativos mais custo-efetivos, mas principalmente para um melhor desenvolvimento da intervenção ou programa^4,15,16. Trabalho de revisão sobre estudos de avaliabilidade desenvolvidos no período de 1986 a 2006 apresenta dentre os resultados a elaboração de modelo lógico do programa, desenvolvimento de metas e objetivos e de mudanças nos componentes do programa¹⁷.

No caso da política ParticipaSUS, a descrição desenvolvida em conjunto com os profissionais envolvidos buscou proporcionar aos gestores uma visão mais nítida acerca da racionalidade da construção dessa intervenção, ou seja, as relações causais empregadas na sua elaboração. Além disso, contribuiu na construção de um entendimento comum entre todos os envolvidos na intervenção a respeito do problema que se quer resolver, das diretrizes, dos objetivos e dos resultados esperados da intervenção, além dos processos necessários para alcançá-los. Esse é um aspecto fundamental, que trata da análise da plausibilidade de uma intervenção no alcance dos objetivos sendo considerada como um ponto chave para uma pré-avaliação, pois sem esta tanto o modelo lógico como o desenvolvimento das atividades perdem o significado⁴.

A construção do modelo lógico da política ParticipaSUS no nível federal não se constituiu numa tarefa fácil, uma vez que os envolvidos tinham que fazer um esforço constante para delinear as atividades dos componentes, para além das atribuições da Secretaria de Gestão Estratégica e Participativa - SGEP no Ministério da Saúde. Todo o tempo faziam a ponderação de que as atividades a serem realizadas para dar conta de cada componente e alcançar os resultados esperados podiam não ser apenas aquelas ou as mesmas que são realizadas pelos técnicos que compõem os departamentos da Secretaria. Isto permitiu que o grupo entendesse que, embora estivessem realizando as atividades normatizadas, podiam não estar conseguindo alcançar os resultados desejados ao se propor esta política, pela insuficiência ou por inadequação das mesmas.

O modelo lógico elaborado constitui-se, portanto, em instrumento bastante útil para a realização de investigações e discussão sobre a ParticipaSUS. Permite aos formuladores e gestores da política contarem com um instrumento que possibilita, concretamente, identificar os aspectos onde as ações devem se concentrar, ampliando o grau de conhecimento sobre os processos de reorganização setorial¹⁸.

Contudo, em que pese os benefícios dessa construção, observa-se que o componente Apoio à Gestão Participativa, por exemplo, carece de uma maior clareza quanto à sua forma de operacionalização. Percebe-se que o que está claro para o grupo são os objetivos e o público que se deseja alcançar, mas os conceitos que envolvem a temática da vulnerabilidade social (uma das ações centrais desse componente) parecem não estar suficientemente claros para todos, observando-se discordâncias em relação a estes. Isso reflete uma menor precisão das atividades que constituem a implementação do componente em questão quando comparado aos demais. Tal questão pode ser alvo de novas discussões que visem alcançar maior nitidez desse conjunto de ações.

Ainda assim, pode-se dizer que a descrição da ParticipaSUS, na busca pela qualificação da gestão do SUS (objetivo geral da intervenção), aborda todas as dimensões do objeto, desde as ações de cunho político e financeiro que a deflagram até as ações técnicas que orientam o aperfeiçoamento do sistema de saúde. Os componentes que integram o modelo permitem visualizar, pelas atividades identificadas, os vários aspectos operacionais da política, instrumentalizando gestores, técnicos e profissionais da saúde na sua execução e condução.

Observa-se, ainda, que os elementos (objetivos, recursos, atividades, produtos e resultados) abordados em cada componente guardam estreita relação entre si, explicitando a cadeia de causalidade que leva à obtenção dos resultados esperados, isto é, a sua plausibilidade. Verifica-se também que esses elementos se mostram suficientes frente aos conhecimentos técnicos e científicos vigentes para a gestão do sistema de saúde, que se apóia sobre os pilares da integralidade, da equidade, da participação social, da eficiência da gestão, da responsabilização, do financiamento e de gestão solidários e cooperativos. Embora com objetos distintos de intervenção, achados semelhantes são observados em outros estudos de avaliabilidade ou pré-avaliação^6,7,19,20.

É importante destacar que o modelo lógico pode e deve ser revisitado e, a depender da necessidade, poderá ser readequado para contemplar novos aspectos ou outros não previstos anteriormente que surgem com o desenvolvimento ou aperfeiçoamento da política no decorrer da sua implantação.

Por sua vez, a matriz de análise e julgamento da ParticipaSUS, aqui apresentada sugere os critérios, os indicadores, os parâmetros e os pontos de corte para a emissão de um juízo de valor acerca da política. Esses quesitos permitirão aferir se as mudanças na situação problemática, esperadas como resultado da intervenção ou de cada componente, estão caminhando no sentido, na intensidade e para o público desejado. Ademais, este tipo de matriz tem por finalidade auxiliar na análise e na interpretação das informações bem como no planejamento da coleta de dados, das técnicas de análises, e na organização e na apresentação dos resultados. A partir de um padrão pré-estabelecido permite o julgamento do programa para os critérios definidos^7,20,21.

Outra necessidade, além da revisita ao modelo lógico, é a revisão e a validação dos critérios, dos indicadores, dos padrões e dos pontos de corte propostos na matriz de análise e julgamento. Embora tenham sido sugeridos a partir do modelo lógico construído pelos mesmos, é possível que alguns destes elementos sejam inapropriados, super ou subestimados, de modo que esta validação possa garantir que a matriz tenha a utilização desejada.

Entretanto, é importante lembrar que a utilização da matriz de análise e julgamento é apenas uma das possibilidades metodológicas em um processo avaliativo. Sendo um dos produtos recomendados para um estudo de avaliabilidade, esta pode ser considerada parte de um plano de avaliação¹⁵. A escolha do método avaliativo é tão diversificada quanto forem as necessidades e os interesses de informação dos envolvidos na avaliação²². E, obviamente, deve levar em conta as condições existentes para sua realização (recursos, tempo, oportunidade). Contudo, entende-se que essa forma de fazer se mostra de grande utilidade para as práticas de monitoramento e avaliação das intervenções em saúde.

Considerações Finais e Recomendações

A Política Nacional de Gestão Estratégica e Participativa do SUS - ParticipaSUS, conforme apresentada e discutida, é uma intervenção passível de avaliação, na medida em que foi possível caracterizar seus elementos constituintes, oferecendo subsídios para a elaboração de indicadores de avaliação da estrutura e do processo da política, o que permitirá ampliar o conhecimento dos mecanismos e dos processos implicados na sua operacionalização e contribuir com o seu aperfeiçoamento.

O processo de descrição da política com o envolvimento dos representantes de cada departamento propiciou uma rica discussão a respeito da lógica que norteia o seu desenvolvimento, obtendo o consenso do grupo e conseguindo fazer um interessante confronto do que traz a norma com a prática cotidiana. Nessa direção, o estudo de avaliabilidade ou pré-avaliação mostrou-se apropriado propiciando maior entendimento dos profissionais envolvidos com a política, contribuindo para uma melhor definição dos objetivos e das metas e indicando áreas prioritárias para futuras avaliações. Em última instância, sinalizando para a possibilidade de melhor implementação da ParticipaSUS.

A partir dos resultados apresentados, cabe considerar algumas áreas para avaliação da intervenção aqui analisada. Do ponto de vista de estratégia ou lógica da intervenção, se a teoria que apoia a política ParticipaSUS é adequada, estará demonstrando coerência. No que se refere aos processos de implantação, será na medida em que os componentes estruturais e as ações são implementadas, considerando a diversidade de contextos nos quais a política ParticipaSUS se insere, sejam eles organizacionais, institucionais ou políticos. E por fim, o enfoque da efetividade e da eficiência que pode ser desenvolvido, mensurando os efeitos produzidos pela política, no sentido do aprimoramento da gestão do SUS.

Colaboradores

LCA Bezerra, CKA Alves, YAC Reis, I Samico, E Felisberto, ALB Carvalho e GS Silva participaram igualmente de todas as etapas de elaboração do artigo.

Agradecimento

Pelo financiamento através do Convênio de Cooperação Técnica firmado entre o Ministério da Saúde/Secretaria de Gestão Estratégica e Participativa - MS/SGEP, por intermédio do Departamento de Monitoramento e Avaliação da Gestão do SUS - DEMAGS e o Instituto de Medicina Integral Prof. Fernando Figueira - IMIP/ Diretoria de Pesquisa, por intermédio do Grupo de Estudos de Gestão e Avaliação em Saúde.

Artigo apresentado em 03/10/2011

Aprovado em 20/10/2011

Versão final apresentada em 15/12/2011

• 1. Brasil. Ministério da Saúde (MS). Política Nacional de Gestão Participativa para o SUS Brasília: Ministério da Saúde (MS); 2005.
• ²
  Brasil. Ministério da Saúde (MS). Portaria Nº 3.027 de 26 de Novembro de 2007. Aprova a Política Nacional de Gestão Estratégica e Participativa no SUS - PARTICIPASUS. Diário Oficial da União 2007; 26 Nov.
• 3. Brasil. Ministério da Saúde (MS). Caderno Brasil SGEP Brasília: Ministério da Saúde (MS); 2009.
• 4. Leviton LC, Khan LK, Rog D, Dawkins N, Cotton D. Evaluability Assessment to Improve Public Health Policies, Programs, and Practices. Ann. rev. public health 2010;31:213-233.
• 5. Mendes MFM, Cazarin G, Bezerra LCA, Dubeux LS. Avaliabilidade ou Pré-avaliação de um Programa. In: Samico I, Felisberto E, Figueiró AC, Frias PG, organizadores. Avaliação em Saúde - Bases Conceituais e Operacionais. Rio de Janeiro: MedBook; 2010. p.57-64.
• 6. Natal S, Samico I, Oliveira LGD, Assis AMJ. Estudo de avaliabilidade da rede de formação de Recursos Humanos da Secretaria de Vigilância em Saúde do Ministério da Saúde. Cad Saude Colet 2010;18(4):560-571.
• 7. Lima LRF, Vieira-da-Silva LM. Ampliação do acesso à atenção oftalmológica: um estudo sobre a avaliabilidade da campanha "De Olho na Visão", Goiás, 2004. Cien Saude Colet 2008;13(Supl. 2):2059-2064.
• 8. Centers for Disease Control and Prevention (CDC). Framework for Program Evaluation in Public Health. MMWR Recomm Rep 1999;48(RR-11):1-40.
• 9. Rossi PH, Freeman HE. Evaluation: a system approach. Newbury Park, CA: Sage Publications; 1989.
• 10. Contandriopoulos AP. Avaliando a institucionalização da avaliação. Cien Saude Colet 2006;11(3):705-711.
• 11. Brasil. Ministério da Saúde (MS). Secretaria de Gestão Estratégica e Participativa. Departamento de Monitoramento e Avaliação da Gestão do SUS. Processos e Práticas do Monitoramento e Avaliação da Gestão do SUS: contribuições e reflexões dos encontros temáticos. Relatório técnico (impresso). Brasília: Ministério da Saúde (MS); 2010.
• 12. Medina MG, Silva GAP, Aquino R, Hartz ZMA. Uso de modelos teóricos na avaliação em saúde: aspectos conceituais e operacionais. In: Hartz ZMA, Vieira-da-Silva LM, organizadoras. Avaliação em Saúde: dos Modelos Teóricos à Prática na Avaliação de Programas e Sistemas de Saúde. Salvador, Rio de Janeiro: EDUFBA, Fiocruz; 2005. p.41-63.
• 13. Urquieta J. Conceptos fundamentales de evaluación de programas (Apostila Measure Evaluation). In: Taller Evaluación de Impacto de Programas em Población, Salud y Nutrición; 2005; Cuernavaca, México. Cuernavaca: Instituto Nacional de Salud Pública; 2005.
• 14. Potvin L, Gendron S. Programação e avaliação em saúde (apostila). In: Seminário Avançado: Programação e Avaliação em Promoção da Saúde; 2006; Recife. Recife: Instituto Materno Infantil Prof. Fernando Figueira; 2006.
• 15. Thurston WE, Graham J, Hatfield J. Evaluability assessment: A catalyst for program change and improvement. Eval. health prof. 2003;26(2):206-221.
• 16. Basile KC, Lang KS, Bartenfeld TA, Clinton-Sherrod M. Evaluability Assessment of the Rape Prevention and Education Program: Summary of Findings and Recommendations. J Womens Health 2005;14(3):201-207.
• 17. Trevisan MS. Evaluability Assessment from 1986 to 2006. Am. J. Eval 2007;28(3):290-303.
• 18. Souza LEPF, Vieira-da-Silva LM, Hartz ZMA. Conferência de consenso sobre a imagem-objetivo da descentralização da atenção à saúde no Brasil. In: Hartz ZMA, Vieira-da-Silva LM, organizadoras. Avaliação em Saúde: Dos Modelos Teóricos à Prática na Avaliação de Programas e Sistemas de Saúde. Salvador, Rio de Janeiro: EDUFBA, Fiocruz; 2005. p.65-102.
• 19. Thurston W, Ramaliu A. Evaluability assessment of a survivors of torture program: lessons learned. Canadian Journal of Program Evaluation 2005;20(2):1-25.
• 20. Medeiros PFP, Bezerra LCA, Santos NTV, Melo EO. Um Estudo sobre a Avaliabilidade do programa + Vida: Política de redução de danos em álcool, fumo e outras drogas do município de Recife, Brasil. Rev Bras Saúde Matern Infant 2010;10(Supl. 1):S209-S217.
• 21. Alves CKA, Natal S, Felisberto E, Samico I. Interpretação e Análise das informações: O Uso de Matrizes, Critérios, Indicadores e Padrões. In: Samico I, Felisberto E, Figueiró AC, Frias PG, organizadores. Avaliação em Saúde - Bases Conceituais e Operacionais. Rio de Janeiro: MedBook; 2010. p.89-107.
• ²²
  Associação Brasileira de Pós-graduação em Saúde Coletiva (ABRASCO). Grupo Técnico de Monitoramento e Avaliação de Programas e Políticas de Saúde - GT de Avaliação da ABRASCO. Painel de Monitoramento e Avaliação da Gestão em Saúde: Metodologia de construção de uma matriz de indicadores para o monitoramento e avaliação da gestão do SUS. Relatório técnico (impresso). Rio de Janeiro: Associação Brasileira de Pós-graduação em Saúde Coletiva (ABRASCO); 2010.

Datas de Publicação

• Publicação nesta coleção
  23 Abr 2012
• Data do Fascículo
  Abr 2012

Histórico

• Recebido
  03 Out 2011
• Aceito
  15 Dez 2011
• Revisado
  20 Out 2011