Análise do desempenho do sistema de monitoramento do programa de controle de DST/Aids e hepatites virais (MONITORaids) como ferramenta de gestão: desafios e possibilidades

Analysis of the performance of the system for monitoring the STD/Aids and viral hepatitis control program (MONITORaids) as a management tool: challenges and possibilities

ARTIGOS ORIGINAIS ORIGINAL ARTICLES

Elizabeth Moreira dos Santos; Ana Cristina Reis; Marly Marques da Cruz

Departamento de Endemias Samuel Pessoa. Escola Nacional de Saúde Publica Sérgio Arouca. Fundação Oswaldo Cruz. Rua Leopoldo Bulhões, 1480, sala 611. Manguinhos. Rio de Janeiro, RJ, Brasil. CEP: 21.041-210. E-mail: [e-mail]

RESUMO

OBJETIVOS: analisar o MONITORaids à luz das necessidade atuais de acompanhamento do desempenho do programa tomando como referência o Plano de Ação e Metas (PAM) para o ano de 2009.

MÉTODOS: a análise compreendeu três etapas: pactuação do significado de desempenho e das dimensões pelas qual o desempenho do programa será julgado; classificação das metas prioritárias disponíveis no PAM, segundo tipo de efeito esperado e o critério de qualidade das metas; e revisão dos indicadores do sistema tomando como referência as metas do PAM e as dimensões do desempenho.

RESULTADOS: identificou-se que a atual configuração do MONITORaids não corresponde à estrutura matricial ou estratégica do programa e permite muito mais o acompanhamento da epidemia, respondendo a questões ligadas à vigilância da epidemia e pesquisas específicas do que propriamente o acompanhamento do desempenho do programa. A maioria das metas do Plano de Ações e Metas de 2009 foi classificada como de produto (87%), com poucas de resultado (13%) e nenhuma de impacto.

CONCLUSÕES: o sistema precisa considerar o modelo lógico do programa para responder as questões prioritárias para gestão e tomada de decisão visando à melhoria do desempenho do programa. É recomendado que o MONITORaids inclua indicadores para o acompanhamento das prioridades da resposta incluindo as questões referentes a sua efetividade e eficiência.

Palavras-chave: Doenças sexualmente transmissíveis, Aids, Monitoramento, Avaliação

ABSTRACT

OBJECTIVES: to analyze MONITORaids in the light of the current need to monitor the performance of the program, using the 2009 Action and Targets Plan (PAM).

METHODS: the analysis was carried out in three stages: agreement on the meaning of performance and the features to be used to assess program performance; classification of high-priority goals in the PAM according to expected effect and quality criterion; and a review of the indicators used by the system, taking as the PAM goals as a point of reference, and of performance features.

RESULTS: it was identified that the current version of the MONITORaids does not reflect the framework or the strategy of the program and is much more geared towards monitoring of the epidemic, since it deals with issues related to surveillance of the epidemic and specific research, rather than the monitoring of the performance of the program itself. Most of the goals contained in the 2009 PAM were classified as products (87%), and showed little in the way of results (13%) and no impact.

CONCLUSIONS: the system needs to take into account the logical framework of the program if it is to deal with the issues that are priority for managers and decision-makers aiming to improve program performance. It is recommended that MONITORaids include indicators to monitor the priorities, including issues relating to effectiveness and efficiency.

Key words: Sexually transmitted disease, Aids, Monitoring, Evaluation

Introdução

O monitoramento e a avaliação (M&A) são ferramentas cruciais para a melhoria da gestão em saúde pública. O monitoramento é fundamental para o acompanhamento sistemático das informações operativas, assim como os efeitos esperados de uma intervenção.¹ Ou seja, o monitoramento verifica se o programa está funcionado conforme o planejado ou ainda se os efeitos observados estão de acordo com o esperado, permitindo ainda a identificação de questões prioritárias para os estudos avaliativos, isto é a partir das informações coletadas durante o monitoramento é possível direcionar de forma mais precisa o foco da avaliação. Por sua vez, as avaliações além de descrever os processos operacionais de uma intervenção, ou verificar em que medida os efeitos observados podem ser atribuídos à intervenção, devem julgar o mérito ou valor da intervenção e estabelecer uma relação explicativa entre a intervenção e o contexto onde ela está inserida (político, econômico, cultural, sociodemográfico, organizacional).²

As organizações governamentais, assim como as não governamentais, de um modo geral têm investido no desenvolvimento e utilização de sistemas de monitoramento de desempenho por visar o gerenciamento dos resultados de seus programas e a melhoria de seu desempenho.³ O que se espera com sistemas dessa natureza é assegurar que os recursos direcionados aos programas sejam utilizados, que as atividades sejam realizadas de maneira oportuna, que a população tenha acesso aos serviços oferecidos utilizando-os e que o controle de riscos e danos seja efetivo.¹

O Departamento de Doenças Sexualmente Transmissíveis, Aids e Hepatites Virais (Depto. DST/Aids e HV) da Secretaria de Vigilância em Saúde (SVS), do Ministério da Saúde (MS) implantou, em 2003, um sistema de monitoramento, o MONITORaids,⁴ cuja finalidade principal era disponibilizar informações úteis para subsidiar a tomada de decisões gerenciais em tempo oportuno, apontar evidências para o redirecionamento e melhoria do programa e viabilizar a construção de questões avaliativas apropriadas e pertinentes.⁵

O sistema, que é parte do Plano Nacional de M&A do Departamento de DST/Aids e HV, integra um conjunto de indicadores (contextuais, programáticos e de impacto) que sintetizam a situação de saúde bem como o desempenho do sistema de saúde relacionado às DST e Aids. Inclui, ainda indicadores de compromissos, de âmbito nacional, como o pacto pela vida, e internacional, como a Declaração de Compromisso sobre o HIV/Aids das Nações Unidas (UNGASS) e os objetivos do milênio, dos quais o Brasil é signatário. A seleção dos indicadores que compõem o sistema de monitoramento do programa levou em consideração os seguintes itens: os indicadores devem ser de relevância para monitorar a epidemia do HIV/Aids e outras DST; ser útil na avaliação das ações programáticas visando à melhoria do programa; e prover informações que possam ser utilizadas em futuras avaliações do programa.⁵

Este trabalho teve como objetivo analisar os indicadores do MONITORaids à luz das necessidades atuais de acompanhamento do desempenho do programa tomando como referência o Plano de Ação e Metas para o ano de 2009. Nesse sentido, este estudo dedicou-se a responder a seguinte questão: O sistema de monitoramento (MONITORaids), atende as necessidades atuais de acompanhamento do desempenho do programa?

Assim, o presente artigo pretende contribuir para a revisão do MONITORaids buscando integrar ferramentas de monitoramento a uma concepção de desempenho com o propósito de propiciar o desenvolvimento de modelos úteis em avaliação de desempenho para as ações de controle do HIV e da Aids para a gestão federal e possível adequação para as outras esferas de gestão do Sistema Único de Saúde (SUS).

Métodos

A análise do MONITORaids foi desenvolvida em três etapas e teve como fonte as metas referentes às dez prioridades do programa contidas no Plano de Ações e Metas (PAM) de 2009 do Depto. DST/Aids e HV, as metas do pacto pela vida, UNGASS e objetivos do milênio. As etapas desenvolvidas compreenderam: a) pactuação do significado de desempenho e das dimensões pelas quais o desempenho do programa será analisado; b) classificação das metas prioritárias disponíveis no PAM, segundo tipo de efeito esperado e critério SMART (específica, mensurável, apropriada, realista, temporalidade)⁶ de qualidade de meta; e c) revisão dos indicadores do MONITORaids tomando como referência as metas do PAM e as dimensões do desempenho.

A primeira etapa correspondeu à revisão bibliográfica para escolha e adoção de uma concepção de desempenho e dimensões avaliativas. Como parte dessa etapa foi realizada uma reunião com a equipe da assessoria de M&A do Depto. de DST/Aids e HV para discussão sobre as concepções vigentes, sendo adotada a concepção de desempenho conforme apresentado por Contradiopoulos et al.⁷

Na concepção de Contandriopoulos et al.⁷ o monitoramento e avaliações de desempenho devem levar em consideração a existência de equilíbrio entre as funções de um determinado sistema social num contexto historicamente dado. De tal forma que, para avaliar o grau de desempenho de uma intervenção, os autores propõem a análise de quatro dimensões a saber: a) alcance de objetivos: relaciona-se à capacidade de uma organização cumprir sua missão, ou seja reduzir riscos, danos e o sofrimento através do acesso livre, igualitário aos serviços de saúde de qualidade. b) adaptação: relaciona-se à capacidade de uma organização adquirir e controlar os recursos necessários, inclusive inovações e mobilização social para garantir a oferta dos serviços; c) produção e coordenação: relaciona-se à capacidade da oferta de serviço (produção). Refere-se ao volume do cuidado, intensidade, qualidade e produtividade. A coordenação refere-se à cooperação entre assistência e a organização do serviço e o uso hierárquico dos níveis de cuidado; d) manutenção e criação de valores: é o que facilita ou dificulta a execução dessas três funções anteriores. Os valores servem para guiar e justificar escolhas e prover suporte ao desenvolvimento de projetos e várias ações que fazem referência aos serviços de saúde.

Na segunda etapa, as metas do PAM foram classificadas por tipo de efeito esperado para o programa (produto, resultado ou impacto) e se eram SMART,6 considerando os cinco atributos: a) específica (identifica eventos ou ações concretas que ocorrerão); b) mensurável (quantifica os recursos, as atividades ou a mudança permitindo sua mensuração); c) apropriada (relaciona logicamente o problema identificado com os efeitos desejáveis); d) realista (dimensiona, realisticamente, a adequação entre os recursos disponíveis, o plano de implementação e os efeitos esperados) e e) temporalidade (descreve um prazo no qual a meta será alcançada). O processo de classificação foi realizado independentemente por dois dos autores desse artigo e revisados por um terceiro, como forma de resolver classificações divergentes.

A terceira etapa envolveu a construção de uma matriz para análise dos indicadores disponíveis no MONITORaids de modo que fosse possível verificar sua correspondência com as metas do PAM, segundo as dimensões do desempenho. O PAM tem suas metas divididas por três áreas de atuação: promoção, prevenção e proteção; diagnóstico, tratamento e assistência; e gestão e desenvolvimento humano e institucional. Para composição da matriz de análise foram selecionadas todas as metas consideradas SMART. Todos os passos foram realizados para as metas do pacto pela vida, da UNGASS e dos objtivos do milênio.

Resultados

Com base no levantamento realizado foi possível verificar que o Plano de Ações e Metas apresenta uma estrutura matricial que organizou suas dez prioridades, para o ano de 2009, por três áreas de atuação, totalizando 167 metas das quais 23 de Promoção, Prevenção e Proteção (PPP); 64 de Diagnóstico, Tratamento e Assistência (DTA); e 80 de Gestão e Desenvolvimento Humano e Institucional (GDHI). As metas de GDHI incluem aquelas relacionadas às ações de vigilância e sistema de informação o que pode justificar a sua predominância. Apresenta ainda uma meta do pacto pela vida, três da UNGASS e uma dos objetivos do milênio.

Das 167 metas do PAM, 146 (87%) são de produto e 21 (13%) de resultados. Como esperado, uma vez que anual, o PAM não contém metas de impacto. Ele também não inclui possíveis marcadores periódicos para metas de longo prazo dificultando a perspectiva de acompanhamento do alcance de metas ou de mudanças gradativas. Ao analisar a distribuição por área de atuação, observa-se que 80 (47,9%) são de Gestão e Desenvolvimento Humano e Institucional, 64 (38,4%) de Diagnóstico, Tratamento e Assistência e 23 (13,7%) de Promoção, Prevenção e Proteção (Tabela 1).

Ainda, na Tabela 1, observa-se que do total de metas examinadas, 60,4% foi classificada como meta SMART. Este fato implica dizer que as demais apresentaram problemas relacionados à sua capacidade de ser especifica, apropriada, mensurável ou realista. Essas limitações, de certa forma, comprometem a identificação de indicadores apropriados para acompanhar o alcance das metas planejadas e consequentemente, o monitoramento do desempenho do programa.

A Tabela 2 apresenta as metas de compromisso e sua classificação por tipo de efeito e critério SMART. As três metas UNGASS foram classificadas como de resultado e as do pacto pela vida e Objetivos do milênio como de impacto. A primeira meta da UNGASS não foi considerada SMART, porque não especifica o ano tomado como referência para comparação, violando assim o critério de temporalidade. A meta dos objetivos do milênio viola o critério da especificidade, portanto também não foi considerada SMART.

Atualmente, o MONITORaids possui 99 indicadores, sendo 22 contextuais, 51 programáticos e 16 de impacto, incluindo os do pacto pela vida, da UNGASS e dos objetivos o milênio. Os indicadores contextuais não foram considerados nessa análise. Quanto ao tipo de efeito esperado, tem-se no sistema que 44,8% dos indicadores são de produto, 29,8% de resultado e 25,4% de impacto. Ao analisar a distribuição por área de atuação, observa-se que 43,3% dos indicadores são de GHDI, 34,4% de DTA e 22,3% de PPP (Tabela 3).

Na Tabela 4, apresentamos a análise das 14 metas SMART da área de atuação promoção, prevenção e proteção, segundo as dimensões e sub-dimensões do desempenho. Não foi observada convergência entre as metas prioritárias e os indicadores do MONITORaids. As metas analisadas estão relacionadas, principalmente à dimensão de produção.

No que se refere à Tabela 5 temos um total de 40 metas SMART de diagnóstico, tratamento e assistência. Embora, entre as metas de DTA predominem aquelas relacionadas à sub-dimensão de produção, apenas dois indicadores do MONITORaids foram correlacionados às metas dessa área de atuação.

Na Tabela 6 constam as 42 metas SMART relativas à área de gestão e desenvolvimento humano e institucional. Neste componente também predominaram metas relacionadas à sub-dimensão de produção e somente três indicadores do MONITORaids foram correlacionados às metas dessa área de atuação.

Embora não se esperasse uma sobreposição perfeita entre as metas de prioridade do plano (PAM) e os indicadores do MONITORaids, é clara a divergência entre as metas prioritárias do plano (PAM) e os indicadores do sistema.

Discussão

O monitoramento e avaliação de uma intervenção é antes de tudo um desafio teórico e operacional, pois geralmente os sistemas de M&A abordam de maneira parcial as interações, não considerando a complexidade inerente às redes sócio-técnicas, isto é, as múltiplas conexões envolvidas nessas redes. Cada vez mais o problema de se avaliar o desempenho de programas ou instituições com missões complexas e algumas vezes contraditórias entre seus diversos componentes é real.

Contandriopoulos et al.,⁷ baseados em Parsons, enfatizam que modelos integrados para avaliar intervenções em saúde devem tomá-las como processos sociais e, portanto, considerar a relação entre suas quatro funções básicas: a) se adaptar, ou seja, obter os recursos necessários, inclusive inovações, para garantir a oferta dos serviços; b) alcançar os seus objetivos e metas; c) garantir a coordenação das partes e gerar produção e produtividade com qualidade; e d) manter (reproduzir) e criar (produzir) valores considerando o contexto onde eles ocorrem. Para esses autores o desempenho de um programa deve ser compreendido como a sua capacidade funcionante de se reproduzir e responder as demandas prioritárias.

Uma das principais questões no âmbito dessas dificuldades é a da construção compartilhada da concepção de desempenho8,9 que deve estruturar o sistema de monitoramento. Nesse sentido, o momento de criação do MONITORaids em 2005, quando o valor e mérito conferido ao campo do M&A eram baixos, justificou-se a iniciativa do programa de desencadear o processo e implementar o sistema.¹⁰ Hoje, essa concepção necessita vir à tona de forma sistematizada, não só internamente ao Depto. DST/Aids, mas em suas interfaces.

Apesar de em 2006 a UNAIDS recomendar a separação entre os sistemas de monitoramento realizados pelas esferas governamentais e a sociedade civil, as dificuldades conceituais e de concepção atravessam ambas as "redes" e incluem desde suas finalidades até a acomodação dos diferentes interesses de vários atores envolvidos.¹¹ A concepção de desempenho do programa necessita ser discutida, incorporando o diálogo com a sociedade civil brasileira, tradição dessa interface, mesmo que com suas tensões.

A divergência entre os indicadores da área de atuação de promoção, prevenção e promoção do PAM e os indicadores do MONITORaids, que se repete em maior ou menor grau nas outras áreas de atuação, é sugestiva de alguns problemas. O sistema é composto por indicadores que atendem a demanda de seguimento da epidemia oriundos de diversas bases de dados e de pesquisas específicas. Ele delimita os seus objetivos, fontes de dados, procedimentos de coleta, datas de atualização e interpretação, mas focaliza nos eventos relacionados à epidemia sem associá-los às ações de controle. Para Waldman¹² vigilância e monitoramento são instrumentos distintos de saúde pública. Para o autor a vigilância é o acompanhamento de eventos adversos à saúde enquanto o monitoramento acompanha indicadores em diferentes áreas de atividades.

Uma questão de grande importância é a hierarquização de metas e indicadores por etapa do ciclo de desenvolvimento dos programas e de sua estrutura de descentralização. Usualmente há uma tendência a recomendar a concentração de indicadores de produção nos níveis de menor complexidade do sistema e da gestão, como por exemplo, na atenção básica, e os de resultado nos níveis de maior complexidade, ambos de cuidado e de gestão. Essa percepção usualmente associada ao esquema de linha de produção do M&A6 não tem correspondência na realidade do Programa Nacional, uma vez que ele tem atribuições específicas que devem ser monitoradas por produtos como, por exemplo, a produção do consenso terapêutico. Da mesma forma a atenção básica pode e deve monitorar indicadores de resultado.

Conclusões

Pode-se afirmar que apesar de quase cinco anos de investimento, da existência do MONITORaids, e de avanços concretos na institucionalização do M&A, o programa não tem um sistema abrangente de monitoramento de desempenho sequer para as suas dez prioridades como definidas no PAM. Para uma revisão consistente do sistema, seria necessário estabelecer a correspondência entre a sua estrutura e o modelo lógico do programa, ressaltando os pontos fundamentais da participação dos usuários potenciais e das mudanças constantes na definição dos domínios e dos parâmetros de sucesso do desempenho.

Importante destacar que pelo seu pioneirismo e concepção, o MONITORaids se constitui em esforço indispensável para a produção sistematizada e consistente sobre a epidemia e a resposta brasileira. Suas revisões e adequação fazem parte do processo de seu desenvolvimento e expressam a continuidade desse processo. No momento de sua construção e lançamento, como ainda hoje, as concepções de monitoramento do desempenho vigentes no programa nacional eram e são incipientes e pouco formalizadas. Pode-se dizer que o significado corrente da palavra desempenho é muito mais ligada ao significado de senso comum ou a concepções de avaliação individual ou organizacional referida à prática empresarial.

Um último ponto que transcende a especificidade do MONITORaids e que se constitui em desafio para todos os sistemas de monitoramento é a criação de mecanismos e indicadores que permitam o acompanhamento das cadeias de tradução. Os sistemas documentam com razoável fidedignidade os processos técnicos do programa (tecnograma), mas raramente permitem o registro sistemático de novas conexões permitindo o rastreamento da dinâmica de reconfiguração das redes (sociograma).

Recebido em 31 de março de 2010

Versão final apresentada em 19 de outubro de 2010

Aprovado em 25 de outubro de 2010

• 1. Poister TH. Performance monitoring. In: Wholey JS, Harry PH, Kathirryn EM, editors. Handbook of practical program evaluation. 2 ed. San Francisco: Jossey-Bass. 2004. p. 99-125.
• 2. Figueiró AC, Frias PG, Navarro LM. Avaliação em saúde: conceitos básicos para a prática nas instituições. In: Samico I, Felisberto E, Figueiró AC, Frias PG, orgs. Avaliação em saúde: bases conceituais e operacionais. Rio de Janeiro: MedBook; 2010.
• 3. Poister TH. Mensuring performance in public and Nonprofit Organizations. San Francisco: Jossey-Bass; 2003.
• ⁴
  Brasil. Ministério da Saúde. Secretaria de Vigilância de Saúde. Programa Nacional de DST/Aids. Centers of Disease Control and Prevention. MONITORaids: sistema de monitoramento de indicadores do programa nacional de DST/Aids. Brasília, DF; 2004.
• 5. Barbosa Junior A, Pascom ARP, Szwarcwald CL, Dhalia CBC, Monteiro L, Simão MBG. Indicadores propostos pela UNGASS e o monitoramento da epidemia de Aids no Brasil. Rev Saúde Pública. 2006; 40 (Supl): 94-100.
• ⁶
  Brasil. Ministério da Saúde. Secretaria de Vigilância de Saúde. Programa Nacional de DST/AIDS. Oficina de monitoramento e avaliação com foco na melhoria do programa. Brasília, DF; 2007.
• 7. Contradiopoulos AP, Trottier LH, Champagne F. Improving performance: a key for Quebec´s health and social services centres. Infoletter (Thema). 2008; 5 (2): 2-6. Disponível em: http://www.medsp.umontreal.ca/getos/pdf/Infoen 052008.pdf
• 8. Champagne F, Contandriopoulos AP, Picot-Touché J, Béland F, Nguyen H. Un cadre d'évaluation de la performance des systèmes de services de santé: le modèle EGIPSS. Résumé du rappot technique, Groupe de recherche interdisciplinaire en santé (GRIS). Université de Montréal; 2005.
• 9. Adair CE, Simpson E, Casebeer AL, Birdsell JM, Hayden KA, Lewis S. Performance measurement in health care: Part II-State of the science findings by stage of the performance measurement process. Health Care Policy. 2006. 2: 56-78.
• 10. Hartz MA, Santos EM; Matida AH. From knowledge to: action: challenges and opportunities for increasing the use of evaluation in health promotion policies and practices. In: Potvin L, McQueen D. Health promotion evaluation practices in the Americas: values and research, spring science business media. 2008. p.108-20.
• 11. Villela W, Veloso JC. Participação da sociedade civil no seguimento das ações frente a Aids no Brasil. Rev Saúde Pública. 2006; 40 (Supl): 88-93.
• 12. Waldman EA. Usos da vigilância e da monitorização em saúde pública. Inf Epidemiol do SUS. 1998; VII (3):7-26.

Análise do desempenho do sistema de monitoramento do programa de controle de DST/Aids e hepatites virais (MONITORaids) como ferramenta de gestão: desafios e possibilidades

Analysis of the performance of the system for monitoring the STD/Aids and viral hepatitis control program (MONITORaids) as a management tool: challenges and possibilities

Datas de Publicação

• Publicação nesta coleção
  31 Jan 2011
• Data do Fascículo
  Nov 2010

Histórico

• Aceito
  25 Out 2010
• Revisado
  19 Out 2010
• Recebido
  31 Mar 2010