Modelagem avaliativa para a construção de indicadores de efetividade das ações de vigilância sanitária no Brasil

Resumo

Objetivos:

apresenta-se a modelagem avaliativa para a construção de indicadores de efetividade das ações de vigilância sanitária (VISA) no Brasil.

Métodos:

estudo avaliativo exploratório, com dados de fontes primárias - formulário eletrônico com informantes-chave e relatórios de visitas de benchmarking nacional e internacional e secundárias - análises documentais.

Resultados:

a diversidade das práticas nas instâncias gestoras da VISA possibilitou a definição do objeto de avaliação: Ações de Vigilância Sanitária -, enquanto um sistema organizado de ação. Os componentes: gestão; regulação; controle sanitário; monitoramento do risco sanitário e informação, comunicação e educação para a saúde originam-se dos objetivos da intervenção e compõem a estrutura central do Modelo Teórico e do Modelo Lógico das Ações de VISA no âmbito do Sistema Nacional de Vigilância Sanitária.

Conclusões:

a VISA acumula experiência com indicadores de processos para monitoramento das ações, sendo incipientes aqueles capazes de avaliar o seu impacto. Os recursos teóricos da área da avaliação apoiam a gestão da informação no campo da VISA, para além da contribuição de estudos sobre os determinantes sociais e a incorporação de análises de séries históricas.

Palavras-chave:
Avaliação em saúde; Vigilância sanitária; Indicadores de saúde

Abstract

Objective:

to present an evaluation model for developing effective indicators for the Vigilância Sanitária (VISA) (Sanitary and Health Surveillance) actions in Brazil.

Methods:

an exploratory, evaluative study from primary sources data - electronic form by key informants and reports on national, international and secondary benchmarking visits - documental analysis.

Results:

the diversity of VISA management practices made it possible to define the evaluation object: Health Surveillance Actions - as an organized action system. The components: management; regulation; sanitary and health control; sanitary and health risk monitoring and information, communication and health education were derived from the aims of the intervention and composes a central structure of the Theoretical Model and the Logical Model Actions of VISA in the Sistema Nacional de Vigilância Sanitária (SNVS) (National Sanitary and Health Surveillance System) .

Conclusions:

The Vigilância Sanitária (VISA) (Sanitary and Health Surveillance) accumulates experience with the process indicators for monitoring actions, being incipient are capable of evaluating its impact. The theoretical resources in the evaluation area support the information management in the VISA field and besides contributing for studies on social determinants and the incorporation of analyses in historic series.

Key-words:
Health evaluation; Health surveillance; Health indicators

Introdução

As definições conceituais e operacionais sobre a 'avaliação baseada na teoria' têm sido objeto de debate internacional mais intenso a partir da primeira década do século atual, retomando o impulso originário dos anos 1970, sobre sua potencialidade de suporte à formulação e testagem da teoria das intervenções para fins avaliativos.^1-3 Embora, alguns autores sejam pouco categóricos ou precisos quanto a essas definições, conforme discutem Coryn et al.³ em artigo publicado em 2011 no American Journal of Evaluation, as práticas avaliativas orientadas pela teoria têm sido cada vez mais utilizadas por estudiosos, teóricos e praticantes da avaliação.^1-3

A avaliação baseada na teoria permite aumentar a capacidade de estimar o impacto de programas que não favorecem o delineamento de desenhos experimentais fortes com base em padrões pré-definidos.⁴ A modelagem teórica para avaliação objetiva compreender fatores que podem interferir nos efeitos esperados e extrapolar o próprio objeto estudado. Pode ser desenhada para responder a uma variedade de perguntas sobre a forma como a intervenção foi executada, sobre as mudanças dela decorrentes, sobre a possibilidade de melhoria, e sobre a relação custo-benefício, permitindo compreender por que a intervenção operou de determinada maneira.² Consiste na definição das premissas que buscam relacionar os resultados de uma intervenção com os dispositivos por ela produzidos, um sistema de valores, normas e diretrizes que se relaciona com vínculos causais entre as ações desenvolvidas e os resultados delas decorrentes. Considera, também, o contexto em que ocorrem, formando uma estrutura que propicia o julgamento de valor; a discussão entre formuladores, executores e avaliadores sobre a pertinência da intervenção; e mesmo, sobre a avaliação e sua utilização.^2,4-8 Pode ainda contribuir com uma maior utilização das pesquisas, para a tomada de decisões pelos gestores, pois, toma como ponto de partida, as diretrizes e objetivos das intervenções, facilitando a compreensão dos mesmos e, com um aumento do conhecimento sobre o objeto em estudo, na medida em que toma como referência diferentes abordagens teóricas e metodológicas.²

A busca pela mensuração da efetividade, no setor público, objetiva medir os resultados das ações que oferecem benefícios à população. Para o sistema de saúde pública, assim como, para qualquer outro sistema organizado de ação, os resultados desejados são consequência de processos bem planejados e bem executados.⁹ No campo da avaliação em saúde, tem sido comum a aproximação dos conceitos de impacto e de efetividade, ou seja, o efeito de uma intervenção em situações reais, não experimentais, particularmente voltada para grupos populacionais, devendo ser medida em grandes intervalos de tempo.^10-12 Entretanto, esse desafio deve ser enfrentado a partir do reconhecimento das limitações inerentes aos desenhos avaliativos e de que sua superação não se dará a partir de inovações nas abordagens estatísticas.¹³

O campo da Vigilância Sanitária (VISA) no Brasil acumula experiência na construção de indicadores de processos para monitoramento das ações planejadas - gerenciais, administrativas e técnicas - o que tem contribuído para a organização do trabalho no Sistema Nacional de Vigilância Sanitária (SNVS).¹⁴ Entretanto, a estruturação de indicadores que possam avaliar o impacto das suas ações ainda é incipiente. Nesse sentido, os recursos teóricos do campo da avaliação em saúde podem apoiar a gestão da informação no campo da VISA, contribuindo com o sistema decisório no SNVS, cujas práticas estão fundamentadas nos princípios da promoção e proteção da saúde da população.¹⁴ Por outro lado, é importante considerar a inexistência da descrição de uma política específica de VISA no país, situação que limita o uso do modelo clássico de avaliação do ciclo de políticas, o qual considera as fases de formulação, implantação e avaliação.^14-16 Portanto, ao se considerar indicadores que apontem para a mensuração da efetividade das ações de VISA, devese levar em conta a relevância do debate sobre a institucionalização de práticas avaliativas e de estratégias de aprimoramento organizacional.^12,14

Este artigo apresenta a modelagem avaliativa para a construção de indicadores de efetividade das ações de vigilância sanitária no Brasil, propondo a sistematização de um conjunto de elementos que constitui e embasa as ações prioritárias de VISA, desenvolvidas nas diversas instâncias do SNVS.

Métodos

Estudo avaliativo de natureza exploratória, realizado entre junho de 2016 e setembro de 2017, que adota os princípios da triangulação de métodos, para a articulação interpretativa dos dados. Estes foram coletados em fontes primárias, por meio de um formulário eletrônico com informantes-chave e análise de relatórios de visitas de benchmarking nacional e internacional e, em fontes de dados secundários, por meio de análise documental. A coleta contemplou a proposição, por parte de gestores do campo da regulação e vigilância sanitária, de temas a serem abordados na avaliação, além da identificação de iniciativas, práticas institucionais, projetos consolidados e disponibilização de fontes de informação e bases de dados existentes.

Os formulários eletrônicos foram preenchidos por gestores das áreas técnicas da Agência Nacional de Vigilância Sanitária (Anvisa), da Secretaria de Vigilância em Saúde do Ministério da Saúde (SVS/MS) e por integrantes do Grupo de Trabalho Tripartite da Vigilância Sanitária (GTVisa) e, objetivaram a identificação de objetos e processos de trabalho da vigilância sanitária prioritários a serem considerados na estruturação do modelo. Os relatórios das visitas de benchmarking nacional referem-se às iniciativas de monitoramento das ações de vigilância sanitária, fazendo uso de bases de dados e sistemas de informação em saúde locais e nacionais, trabalhadas nos estados de Goiás, Minas Gerais, Santa Catarina, São Paulo e Paraná, e em duas capitais: Belo Horizonte e Curitiba. As visitas internacionais foram realizadas em instituições de dois países intencionalmente escolhidos, dentre aqueles com os quais o Brasil mantém relações de cooperação técnica no âmbito da regulação e vigilância sanitária. Em Portugal - Autoridade Nacional do Medicamento e Produtos de Saúde (Infarmed) e Direção Geral de Saúde (DGS) e no Reino Unido - Medicines & Healthcare Products Regulatory Agency (MHRA) e Public Health England (PHE). Estas visitas aportaram subsídios para o aprofundamento da discussão sobre o monitoramento e a avaliação da efetividade da ação de vigilância sanitária. A análise documental foi realizada tendo como fontes: (i) o Plano Diretor de Vigilância Sanitária (PDVISA), de 2007;¹⁷ (ii) os Textos de Referência dos Ciclos de Debates em Vigilância Sanitária, realizado em 2015;¹⁸ e (iii) o Planejamento Estratégico da Anvisa - ciclo 20162019.¹⁹

Para a definição do objeto e a delimitação do foco de abrangência da modelagem teórica, com vistas a possibilitar sua descrição e a identificação da teoria subjacente, foram realizadas oito oficinas de trabalho no período entre fevereiro e setembro de 2017, com a participação de técnicos e gestores da Assessoria de Planejamento, de várias Gerências da Anvisa e consultores especialistas em regulação e vigilância sanitária, planejamento governamental, gestão pública, epidemiologia e avaliação em saúde. Os encontros foram realizados nas dependências da Anvisa em Brasília - DF. As discussões das oficinas se pautaram na escolha do referencial teórico a ser utilizado e nos princípios e diretrizes que regem as ações de VISA. O modelo foi desenvolvido tendo como parâmetro o nível de análise nacional, representado pela formulação de políticas, cooperação técnica, planejamento, coordenação do SNVS, co-financiamento, desenvolvimento de competências e pela execução das ações nas instâncias estadual e municipal, além das executadas pela agência reguladora nacional de forma direta e/ou complementar. Ainda, foi realizada a triangulação das informações obtidas por meio da comparação entre as respostas dos formulários eletrônicos, dos relatórios das visitas de benchmarking nacional e internacional, das oficinas de trabalho e, entre estes e os achados da análise documental.

Este artigo encontra-se em acordo com o disposto no Artigo 1º, parágrafo único, inciso VII, da Resolução nº 510, de 07 de abril de 2016, do Conselho Nacional de Saúde, que dispõe sobre as especificidades éticas aplicáveis a pesquisas em Ciências Humanas e Sociais.

Resultados

Modelo Teórico para Avaliação das Ações de Vigilância Sanitária no âmbito do SNVS

A análise sobre a diversidade das práticas desenvolvidas nas instâncias gestoras subnacionais e na agência reguladora nacional, somado ao conhecimento dos seus diferentes perfis, possibilitou a definição do objeto de avaliação, que passou a ser o eixo norteador da construção da modelagem. Este, denominado de 'Ações de Vigilância Sanitária' e entendido enquanto uma intervenção, ou seja, um sistema organizado de ação, é constituído a partir da priorização daquelas ações mais representativas em execução pelo Sistema e, para esta modelagem, foram agrupadas em componentes, respeitando-se o princípio da coerência com os diversos documentos institucionais da Anvisa, bem como com os que foram produzidos e institucionalizados pela gestão tripartite do SNVS no âmbito do Sistema Único de Saúde (SUS). Os componentes: gestão, regulação, controle sanitário, monitoramento do risco sanitário e informação, comunicação e educação para a saúde originam-se, portanto, dos objetivos da intervenção e buscam assegurar uma sistematização que ofereça a necessária clareza para a posterior construção do modelo lógico.¹⁴

A articulação que se prevê entre a intervenção e os resultados esperados pode sugerir avaliações de processos e/ou de resultados mais imediatos, intermediários e finais ou de impacto, em função de sua contribuição para os objetivos previstos. Estes, podem ser afetados por fatores externos e/ou internos transversais a diferentes dimensões da intervenção, que são os elementos do contexto, traduzidos pela situação existente no meio em que as ações ocorrem. Os fatores contextuais influenciam na implantação e nos efeitos da intervenção e podem ser de ordem política, organizacional e socioe-conômico. Também, as condições de saúde e o risco sanitário, são elementos do contexto podendo sofrer influência e serem influenciados pela intervenção.

Os efeitos das atividades de um componente são os resultados diretos mais afetados pelas diversas interações que ocorrem no âmbito do SNVS, constituindo as consequências mais imediatas e intermediárias do modelo. Já os resultados finais, ou impactos, estão relacionados com o efeito da intervenção na população geral. Para o modelo proposto, os impactos previstos foram definidos como sendo: a redução da morbidade e da mortalidade, a proteção e a promoção da saúde, e o reconhecimento social da VISA. Estes apresentam-se sob influência permanente dos fatores contextuais. Ainda, o modelo sugere que a prática avaliativa seja um dispositivo indutor de mudanças na atuação dos profissionais no SNVS, contribuindo para a sua incorporação cultural e organizacional na direção da institucionalização da avaliação no âmbito do SNVS e do SUS.

A Figura 1 apresenta o conjunto de elementos teóricos que facilitam a compreensão dessas relações.

Figura 1
Modelo Teórico para Avaliação das Ações de VISA.

O Modelo Lógico das Ações de Vigilância Sanitária

A modelagem lógica apresenta os elementos mais objetivos que permitem uma correlação mais forte entre os componentes definidos anteriormente no modelo teórico. Esses foram, então, subdivididos em subcomponentes, com exceção do componente Controle do risco sanitário. A subdivisão proposta (Tabela 1), permitiu uma melhor sistematização das atividades definidas como prioritárias para o alcance dos objetivos.

Tabela 1
Componentes e subcomponentes do modelo lógico das Ações de VISA.

Componentes	Subcomponentes
Gestão	Planejamento Formação de competências Gestão do conhecimento
Regulação	Legislação e Marco Regulatório Licenciamento sanitário Regularização de produtos e serviços Regulação de mercado
Controle do risco sanitário	Controle do risco sanitário Produtos Serviços
Monitoramento do risco sanitário	Resistência aos antimicrobianos Segurança do paciente Emergênciasem VISA
Informação, comunicação e educação para a saúde	Relacionamento com a sociedade Parcerias intersetoriais

Fonte: Brasil, 2018.

Os subcomponentes Planejamento, Formação de competências e Gestão do conhecimento, que integram o componente Gestão, permitem agrupar atividades relacionadas às atribuições do gestor do sistema, que deve assegurar os princípios e diretrizes do SUS, onde se destaca o da descentralização enquanto estratégia de fortalecimento do SNVS. Os subcomponentes - Legislação e Marco Regulatório, Licenciamento sanitário, Regularização de produtos e serviços e Regulação de mercado, que integram o componente Regulação, sistematizam as atividades que induzem a comportamentos desejáveis e suscitam a prevenção daqueles indesejáveis para a saúde da população, no âmbito da produção e circulação de produtos. As atividades mais relacionadas com a função fiscalizatória das organizações integrantes do SNVS, principalmente no que remete ao controle da produção de bens e serviços depois que estes estejam disponíveis para o consumo, encontram-se agrupadas no componente Controle do risco sanitário.

As atividades de vigilância pós-mercado procuram responder aos desafios do SNVS voltados a minimizar os riscos à saúde e promover uma melhor qualidade de vida. Em razão da amplitude e intersetorialidade decorrentes, foram sistematizadas em cinco subcomponentes: Produtos, Serviços, Resistência aos antimicrobianos, Segurança do paciente e Emergências em VISA, constituindo, assim, o componente Monitoramento do risco sanitário, que aparece como o mais complexo entre os cenários de atuação institucional do SNVS, por requerer atualização tecnológica permanente, no que se refere à organização dos processos de trabalho necessários. O último componente, composto pelos subcomponentes: Relacionamento com a sociedade e Parcerias intersetoriais, agrupam as atividades relacionadas à gestão da informação representadas por ações participativas de comunicação, mobilização, controle social e educação.

As Tabelas 2 e 3 apresentam, esquematicamente, as relações acima descritas e sua relação de plausibilidade causal com os resultados esperados, representados na forma de: (i) efeitos imediatos - que se encontram relacionados a cada componente e são gerados diretamente pelas atividades desenvolvidas; (ii) efeitos intermediários - relacionados ao conjunto de componentes e; (iii) impactos - para os quais as Ações de Vigilância Sanitária contribuem em sinergia com outras ações desenvolvidas no SUS, e com os vários contextos representados no modelo teórico. Os dois últimos são passíveis de verificação, possibilitada pela identificação e seleção de indicadores, afetas a cada um dos componentes estabelecidos na modelagem avaliativa. É importante destacar que um efeito intermediário pode ser consequência de um ou mais efeitos imediatos, da mesma forma que um efeito imediato pode contribuir para mais de um intermediário. Para uma melhor visualização e organização didática, nesta publicação, a Tabela 3 apresenta um desmembramento do modelo lógico, uma vez que os efeitos intermediários e impactos previstos, podem estar relacionados e serem decorrentes de diferentes efeitos imediatos e atividades.

Tabela 2
Componentes, Subcomponentes, Atividadese e Efeitos Imediatos do Modelo Lógico das Ações de VISA.

Componentes	Sub Componentes	Atividades	Efeitos imediatos
Gestão	Planejamento	• Mapeamento da situação sanitária dos estabelecimentos sujeitos à VISA	• Aumento da capacidade de execução da ação local
		• Estabelecimento de metas de cobertura e de desempenho	• Melhoria do atendimento aos padrões sanitários estabelecidos
		• Articulação de ações de VISA com as prioridades dos Planos de Saúde nas três instâncias de gestão	• Maior racionalidade do processo de trabalho em VISA
	Formação de Competências	• Qualificação profissional (formação e aperfeiçoamento)	• Aumento das pesquisas científicas em VISA
		• Fomento à produção de estudos e pesquisas em VISA Cooperação técnico-científica nacional e internacional
	Gestão do Conhecimento	• Intercâmbio de conhecimento (eventos, seminários, redes colaborativas, etc.)
		• Produção e disponibilização de informações para tomada de decisão
Regulação	Legislação e Marco regulatório	• Elaboração e atualização do marco normativo das boas práticas regulatórias	• Maior previsibilidade no impacto da implantação das normas sanitárias
		• Análise de impacto regulatório	• Aumento de pesquisas clínicas realizadas pelo setor regulado
	Licenciamento sanitário	• Autorização de funcionamento	• Redução dos casos de desabastecimento de medicamentos prioritários
		• Emissão de licença sanitária	• Aprimoramento dos requisitos de qualidade segurança de insumos farmacêuticos, medicamentos e produtos
		• Certificação de boas práticas
		• Habilitação de centros de equivalência farmacêutica
		• Habilitação e credenciamento de laboratórios
	Regularização de produtos e serviços	• Registro de produtos
		• Alterações pós-registro
		• Cadastro e notificação de produtos de baixo risco
		• Anuência da importação e exportação de bens e produtos
		• Atualização da Farmacopeia
		• Anuência de pesquisa clínica
	Regulação de Mercado	• Acompanhamento de preços de medicamentos
		• Apreciação de preços de produtos novos e novas apresentações de medicamentos
		• Monitoramento do desabastecimento de medicamentos
Controle do risco sanitário	Controle do risco sanitário	• Análises fiscais para avaliação da qualidade de produtos	• Melhoria do grau de conformidade dos produtos e serviços dispostos ao consumo
		• Fiscalização sanitaria	• Redução do nº de infrações
		• Controle da venda de antimicrobianos	• Aumento do controle sanitário de produtos e serviços nos pontos de entrada no país
		• Processo administrativo sanitário	• Redução dos surtos epidemiológicos durante os eventos de massa
			• Redução do % de amostras de alimentos com potencial de risco agudo à saúde
Monitoramento do risco sanitário	Produtos	• Monitoramento de alimentos	• Redução dos níveis de açúcar, sódio, gorduras e agrotóxicos nos alimentos industrializados
		• Monitoramento dos níveis de agrotóxico em alimentos	• Redução das notificações relativas à falta de eficácia de medicamentos
		• Monitoramento de queixas técnicas e eventos adversos de produtos	• Redução das denúncias relativas a medicamentos falsificados
		• Monitoramento da qualidade da água para consumo humano	• Redução da subnotificação de eventos adversos
		• Monitoramento da qualidade dos medicamentos disponíveis no mercado
		• Monitoramento da propaganda de produtos
	Serviços	• Monitoramento dos serviços de saúde	• Redução da subnotificação de queixas técnicas
		• Monitoramento dos serviços de interesse à saúde	• Aumento do nº de resultados satisfatórios na avaliação de medicamentos
	Resistência aos antimicrobianos	• Monitoramento de resíduos de antimicrobianos em alimentos	• Redução do nº de serviços de saúde classificados como médio-alto e alto risco
		• Monitoramento da resistência a antimicrobianos
	Segurança do paciente	• Monitoramento dos níveis de infecção relacionados à assistência à saúde	• Aumento do nº de amostras de água coletadas para consumo humano
		• Monitoramento dos eventos adversos da assistência à saúde	• Aumento do nº de laudos satisfatórios quanto aos limites máximos para resíduos na água para consumo humano
	Emergências em VISA	• Investigação de emergências em VISA	• Redução dos casos de infecções por microorganismos resistentes a antimicrobianos
		• Gestão da informação de emergências em VISA	• Redução de surtos de infecção bacteriana em UTI causados pelos microrganismos multirresistentes
			• Redução de úlceras por pressão em pacientes com internação de longo prazo
			• Redução de quedas de idosos internados
			• Redução de erros na administração de medicamentos
			• Redução de infecção pelo reuso de cateter
I n f o r m a ç ã o , comunicação e educação para a saúde	Relacionamento com a sociedade	• Comunicação do risco sanitário	• Maior acesso à informação de VISA pela população
		• Atendimento às demandas espontâneas da população e gestão das informações delas decorrentes	• Maior visibilidade das ações de VISA
		• Articulação com órgãos/instâncias de controle social
	Parcerias intersetoriais	• Articulação com as instituições de ensino para inclusão de conteúdos relacionados às ações de VISA nos vários níveis do ensino formal
		• Realização de campanhas e eventos sobre vigilância sanitária

Fonte: Brasil, 2018.

Tabela 3
Efeitos Intermediários e Impactos do Modelo Lógico das Ações de VISA.

Efeitos intermediários	Impactos
• Melhoria da qualidade do processo de tomada de decisão em VISA	• Redução da morbidade e mortalidade
• Ampliação do acesso seguro da população a produtos e serviços sujeitos à VISA	• Proteção e promoção da saúde
• Aumento do nível de conhecimento em VISA	• Reconhecimento social das ações de VISA
• Redução do risco sanitário na introdução de produtos e serviços
• Redução do nº de casos de diarreias, gripes, doenças transmitidas por alimentos em ambientes confinados (navios, plataformas)
• Redução de casos de intoxicação aguda advindos de resíduos de agrotóxicos em alimentos
• Redução do nº de casos de câncer em trabalhadores rurais relacionados à exposição aos agrotóxicos
• Melhoria da qualidade, segurança e eficácia dos produtos e serviços
• Melhoria nutricional dos alimentos processados
• Redução dos eventos adversos graves associados ao uso de medicamentos e produtos para saúde
• Melhoria da qualidade da água para consumo humano
• Redução dos níveis de resistência aos antimicrobianos
• Redução de infecções hospitalares
• Redução do consumo indiscriminado de antimicrobianos
• Ampliação da participação da sociedade na formulação das normas
• Melhoria do consumo consciente de produtos e serviços
• Melhoria da satisfação da população com as ações de VISA
• Melhoria da comunicação no âmbito do SNVS

Fonte: Brasil, 2018.

Discussão

O debate sobre a profissionalização da gestão pública baseada em resultados, no âmbito da vigilância sanitária no Brasil, tomou corpo a partir de 1999 com a criação da Anvisa e as competências estabelecidas na base legal instituída pelas Leis nº. 9.782/1999 e nº 13.411/2016.20-21

Por outro lado, importantes espaços de discussão possibilitaram a formulação de diretrizes políticas para a VISA com centralidade no planejamento, no monitoramento das ações e na avaliação.^17-18,22 Assim, destacam-se a recomendação da I Conferência Nacional de Vigilância Sanitária, realizada em 2001 - definir indicadores, de forma integrada, criar metodologia de auto-avaliação das ações de vigilância sanitária e, também, propor a realização de um projeto nacional de avaliação do impacto dessas ações na melhoria da qualidade de vida da população²² e, a diretriz do PDVISA-2007 -Desenvolvimento de processos de planejamento, monitoramento, avaliação e auditoria compartilhados e contínuos, nas três esferas de governo, para melhor apoiá-las no processo de assunção de suas responsabilidades.¹⁷

Alguns movimentos e acordos institucionais ocorridos nos últimos anos têm mobilizado os gestores quanto à valorização do monitoramento e da avaliação das ações de saúde e de gestão.^23-24 Porém, os indicadores relacionados à VISA têm focado nos processos de trabalho e se revelado pouco indutores de melhoria da capacidade de execução das ações, como por exemplo: "Percentual de municipios com pactuação de ações estratégicas de vigilância sanitária" e "Percentual de indústrias de medicamentos inspecionadas pela vigilância sanitária, no ano", incluídos no Pacto pela Saúde.¹⁴

O relatório do Ciclo de Debates em Vigilância Sanitária realizado em 2015, com cinco fóruns regionais, um nacional e um internacional, ressalta que um dos importantes desafios a serem enfrentados refere-se à dificuldade no compartilhamento das ações de VISA, decorrente da defasagem tecnológica que envolve a gestão da informação, incluindo a qualidade dos bancos de dados e a limitada interoperabilidade entre os sistemas de informação existentes, gerando dificuldades para viabilizar ações de monitoramento, avaliação, planejamento e comunicação entre os entes do SNVS, outros órgãos afins e a população.²⁵ Isto é corroborado, neste trabalho, quando estados e municípios relatam, nas visitas de benchmarking, que a manutenção de um sistema enfrenta, como obstáculos determinantes, a fragmentação setorial dos sistemas de informação em saúde de bases nacionais e a lenta atualização tecnológica das ferramentas informacionais no cotidiano da gestão pública. Esses fatores, além de dificultarem a identificação das informações relevantes para a gestão do SNVS, prejudicam o monitoramento mais efetivo das obrigações contratualizadas com o Ministério da Saúde.

As visitas internacionais de benchmarking (Portugal e Reino Unido) apontaram para um processo de amadurecimento da estruturação da gestão da informação, como suporte para o desenvolvimento das ações de regulação sanitária. A estratégia de harmonização internacional dos processos regulatórios sanitários na Europa, indutora de boas práticas e da definição de parâmetros para mensuração da efetividade da ação regulatória, fortalece a integração institucional, por meio do alinhamento e da assimilação entre regulador e demais operadores do sistema de saúde, como favorece também a estruturação de redes de informação entre as diversas instituições reguladoras dos países do continente. Ressalta-se, ainda, o avanço na estruturação e disponibilização de banco de dados da assistência à saúde, que suporta a realização de pesquisas em busca de evidências científicas para basear a decisão regulatória. Esses avanços ocorreram a partir da existência de incentivos financeiros visando ao impacto na qualidade, cobertura e completude da informação, por meio de investimento na formação de notificadores, criação de plataformas web e existência de auditorias internas e externas nos processos de trabalho. A avaliação pela sociedade, do desempenho institucional dos órgãos de regulação estatal, realizadas por meio de inquéritos populacionais, também se apresenta como estratégia importante paraa qualificação da ação regulatória.¹⁴

Como se observa, o avanço internacional na regulação amparou-se no fortalecimento da gestão da informação voltada à implantação de processos avaliativos e, no Brasil, este tema tem sido recorrente nas duas últimas décadas e priorizado nos espaços de construção coletiva dos profissionais do SNVS, motivo da atualidade e premência de um modelo avaliativo para as ações de VISA, que favoreça o desenvolvimento de estratégias para superar as dificuldades presentes na gestão da informação no âmbito do SNVS e, consequentemente, na identificação e medição de indicadores de resultado dessas ações. Os Modelos Teórico da Avaliação e Lógico da Intervenção, aqui descritos, apresentam um método avaliativo que, para sua implementação, necessita de um consistente aporte institucional para a estruturação da gestão da informação calcada, essencialmente, na existência de fontes confiáveis, sensíveis e abrangentes.¹⁴

A incipiência de práticas avaliativas estruturadas no âmbito do SNVS, que ultrapassem o estágio da medição do grau de cobertura das ações, demonstra a necessidade de processos embasados em consistentes níveis de evidência. Esses, podem ser resultantes da institucionalização de práticas avaliativas, que tenham como objetivo fortalecer a aprendizagem organizacional, privilegiando a avaliação focada em resultados, mas preservando a busca por entender os mecanismos dos processos que resultam na efetividade das ações desenvolvidas.²⁵ A modelagem avaliativa com base na teoria configura-se em ferramenta estratégica para a transformação das práticas e para a tomada de decisão, podendo contribuir para o aumento da segurança e do controle da qualidade de produtos e serviços, razões maiores da execução da ação de vigilância sanitária no SUS.

Em síntese, na medida em que as comunidades ampliam sua capacidade de produção, proporcionando desequilíbrios do mercado e trazendo novos riscos tecnológicos, há a necessidade de se interferir diretamente nas diversas áreas de interesses coletivo e individual e na relação saúde-doença-qualidade de vida. Para que se estabeleça um equilíbrio, é necessário o planejamento como estratégia de priorização das ações, imprescindível para o adequado gerenciamento do risco sanitário no território.²⁶ E, portanto, a ação da vigilância sanitaria torna-se mais potente à medida que incorpora os conceitos de planejamento, desenvolvimento, controle e avaliação, saindo de uma perspectiva meramente fiscal e punitiva, para uma atuação mais integrada e com resultados mais factíveis de entregas à sociedade.²⁷

A crescente exigência para que se agregue valor às atividades executadas nos processos de produção e prestação de serviços das organizações públicas, tem requerido, da área da saúde, uma compreensão mais sistematizada sobre o processo de aplicação do conhecimento.⁹ É certo, entretanto, que a complexidade dos ambientes organizacional e ambiental que abrangem a VISA, requer o desenvolvimento de condições e dispositivos que auxiliem os gestores a tomar as melhores decisões apoiadas na produção, disseminação e apropriação de saberes. Esse entendimento ajuda a fortalecer a interação e a articulação entre formuladores de políticas, gestores, técnicos e profissionais das instituições de assistência, ensino e pesquisa, além de outras que contribuam com a ampliação do conhecimento e a qualificação das ações de forma sustentável.²⁵

Entretanto, da mesma forma que as ações de VISA não estão isoladas no SUS, as práticas avaliativas devem estar articuladas com o uso dos saberes produzidos por outras áreas do conhecimento, e se retroalimentar com informações ou evidências provenientes das práticas da vigilância e da atenção à saúde, além de incorporar as informações decorrentes destas articulações e práticas intersetoriais nas quais a VISA se insere. A institucionalização da avaliação pressupõe ainda a essencial adesão ao projeto pelas lideranças institucionais, o desenvolvimento de capacidades para realização das avaliações, a criação de estratégias para divulgação dos resultados e, em especial, a viabilidade para a revisão das políticas e práticas, frutos da avaliação.²¹

A efetividade e o impacto das intervenções são afetados, na área da saúde, pela complexidade dos determinantes do processo saúde-doença das populações e pela interdependência dos fatores que os envolvem.¹⁷ Estão vinculados ao grau de satisfação, ou ainda, ao valor agregado à transformação produzida.²⁸ As diversas instituições que formam o sistema de saúde desenvolvem ações que se complementam e se entrelaçam na busca pela obtenção de resultados favoráveis, de tal forma, que a mensuração de indicadores populacionais mostra o efeito do desenvolvimento do conjunto dessas ações, sendo difícil, ou até mesmo impossível, distinguir a parcela de contribuição de cada uma das instituições envolvidas na melhoria dos indicadores de saúde. É de se esperar que a contribuição de estudos sobre os determinantes sociais e a incorporação de análises de séries históricas, aliadas ao uso de diferentes abordagens, iluminem o caminho e contribuam para a ampliação da base de evidências, com maior validação das inferências sobre os efeitos das intervenções.^10,11

Por outro lado, deve-se compreender o papel primordial de uma teoria avaliativa, qual seja, conhecer as relações entre o objeto a ser avaliado e os elementos que o integram sem, no entanto, pretender ser exaustivo. O modelo aqui descrito é o primeiro passo para se constituir em um dos percursos de um caminho a ser consolidado com a incorporação de práticas avaliativas no cotidiano do SNVS, na busca pela institucionalização da avaliação como estratégia para o fortalecimento da vigilância sanitária no Brasil.

References

• ¹
  Christie CA. Advancing empirical scholarship to further develop evaluation theory and practice. Can J Progr Eval. 2011; 26(1): 1-18.
• ²
  Van der Knaap P. Theory-based evaluation and learning: possibilities and challenges. Evaluation. 2004; 10(1): 1634.
• ³
  Coryn CLS, Noakes LA, Westine CD, Schröter, DC. A systematic review of theory-driven evaluation practice from 1990 to 2009. Am J Eval. 2011; 32: 199-226.
• ⁴
  Lam TCM. Theory-based evaluation and objective-based evaluation: an integration of the two approaches. European Evaluation Society Conference; 2002 oct 12; Seville (Spain).
• ⁵
  Rossi PH, Freeman HE, Lipsey MW. Evaluation. A systemic approach. 7 ed. Sage Publications; 2004.
• ⁶
  Stufflebeam DL., Shinkfield AJ. Evaluation theory, models & applications. San Francisco: Jossey-Bass; 2007.
• ⁷
  Rogers PJ. Using programme theory to evaluate complicated and complex aspects of interventions. Evaluation. 2008; 14(1): 29-48.
• ⁸
  Brousselle A, Champagne F, Contandriopoulos AP, Hartz Z. Avaliação: Conceitos e Métodos. Rio de Janeiro: Editora Fiocruz; 2011.
• ⁹
  Goldsteen RL, Goldsteen K, Graham DG. Introduction to public health. New York: Springer Pub.; 2011.
• ¹⁰
  Vieira-da-Silva LM. Avaliação de Políticas e Programas de Saúde. Coleção Temas em Saúde. Rio de Janeiro: Editora Fiocruz; 2014.
• ¹¹
  Champagne F, Brousselle A, Contandriopoulos A-P, Hartz Z. A Análise dos Efeitos. In: Brousselle A, Champagne F, Contandriopoulos A-P, Hartz Z, organizadores. Avaliação: conceitos e métodos. Rio de Janeiro: Editora Fiocruz; 2011. p. 159-82.
• ¹²
  Samico I, Felisberto E, Figueiró AC, Frias PG. Avaliação em Saúde: bases conceituais e operacionais. 1 ed. Rio de Janeiro: Medbook; 2010.
• ¹³
  Hyder AA, Puvanachandra P, Morrow RH. Measuring the health of populations: explaining composite indicators. J Public Health Res. 2012; 1(3):222-8.
• ¹⁴
  Brasil. Ministério da Saúde. Avaliação das Ações de Vigilância Sanitária: uma proposta teórico-metodológica / Ministério da Saúde, Agência Nacional de Vigilância Sanitária, Hospital Alemão Oswaldo Cruz. - Brasília, DF; 2018. 96p. ISBN 978-85-334-2608-5
• ¹⁵
  Haney SR, Gonzales-Block M, Buxton MJ, Kogan M. The Utilization of Health Research in Policy-making: concepts, examples and methods of assessment. Health Research Policy and Systems [periódico on line]. 2003. [acesso em jan 2018]. Disponível em: http://www.health-policy-systems.com/content/l/1/2
  » http://www.health-policy-systems.com/content/l/1/2
• ¹⁶
  Secchi L. Políticas Públicas: conceitos, esquemas de análise, casos práticos. São Paulo: Cengage Learning; 2011.
• ¹⁷
  Brasil. Agência Nacional de Vigilância Sanitária. Plano Diretor de Vigilância Sanitária - PDVISA. Brasília, DF; 2007.
• ¹⁸
  Brasil. Agência Nacional de Vigilância Sanitária. Ciclo de Debates em Vigilância Sanitária: Desafios e Tendências. Brasília, DF; 2016.
• ¹⁹
  Brasil. Agência Nacional de Vigilância Sanitária. Planejamento Estratégico - 2016-2019 - Gestão Estratégica. Brasília, DF; 2016.
• ²⁰
  Brasil. Presidência da República. Lei nº. 9.782, de 26 de janeiro de 1999. Define o Sistema Nacional de Vigilância Sanitária e cria a Agência Nacional de Vigilância Sanitária. Brasília: Diário Oficial da União 27 jan 1999.
• ²¹
  Brasil. Presidência da República. Lei nº 13.411, de 28 de dezembro de 2016. Altera a Lei nº 6.360, de 23 de setembro de 1976, que dispõe sobre a vigilância sanitária a que ficam sujeitos os medicamentos, as drogas, os insumos farmacêuticos e correlatos, cosméticos, saneantes e outros produtos, e dá outras providências, e a Lei nº 9.782, de 26 de janeiro de 1999, que define o Sistema Nacional de Vigilância Sanitária, cria a Agência Nacional de Vigilância Sanitária, e dá outras providências, para dar transparência e previsibilidade ao processo de concessão e renovação de registro de medicamento e de alteração pós-registro. Brasília, DF: Diário Oficial da União 29 dez 2016.
• ²²
  Brasil. Agência Nacional de Vigilância Sanitária. I Conferência Nacional de Vigilância Sanitária: Relatório Final. Brasília, DF; 2001.
• ²³
  Brasil. Ministério da Saúde. Portaria GM nº 399, de 22 de fevereiro de 2006. Divulga o Pacto pela Saúde 2006 - Consolidação do SUS e aprova as Diretrizes Operacionais do Referido Pacto. Brasília, DF: Diário Oficial da União 22fev 2006.
• ²⁴
  Brasil. Ministério da Saúde. Portaria GM nº 1.580, de 19 de julho de 2012. Afasta a exigência de adesão ao Pacto pela Saúde ou assinatura do Termo de Compromisso de Gestão, de que trata a Portaria nº 399/GM/MS, de 22 de fevereiro de 2006, para fins de repasse de recursos financeiros pelo Ministério da Saúde a Estados, Distrito Federal e Municípios e revoga Portarias. Brasília, DF: Diário Oficial da União 19 jul 2012.
• ²⁵
  Felisberto E, Samico I, Bezerra LCA, Hartz Z. Institucionalizando a avaliação nas organizações e agências de pesquisas: um estudo de caso exemplar. Saúde em Debate. [periódico on line] . 2017. [acesso em 7 Maio 2018] 41: p.387-99. Disponível em: <http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0103-11042017000 500387&lng=en&nrm=iso>.
  » http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0103-11042017000 500387&lng=en&nrm=iso
• ²⁶
  Alves SMC. Processo de participação da sociedade civil nas consultas públicas realizadas pela Agência Nacional de Vigilância Sanitária - Anvisa (2000-2006). [dissertação]. Brasília, DF: Instituto de Ciências Humanas da Universidade de Brasília; 2008.
• ²⁷
  Flexa RGC, Silva Júnior JB, Brito RL, Sousa AIA, Araújo FF, Martins MAF. Planejamento estratégico em vigilância sanitária: aplicação do Balanced Scorecard (BSC). Vigil Sanit Debate. 2017; 5(2): 13-23.
• ²⁸
  Brasil. Ministério do Planejamento, Desenvolvimento e Gestão. Indicadores de programas: Guia Metodológico. Brasília, DF; 2010. p. 128.

Datas de Publicação

• Publicação nesta coleção
  Jul-Sep 2018

Histórico

• Recebido
  11 Jul 2018
• Aceito
  10 Ago 2018