Modelagem avaliativa para a construção de indicadores de efetividade das ações de vigilância sanitária no Brasil

Eronildo Felisberto Rodrigo Lino de Brito Danila Augusta Accioly Varella Barca Mary Anne Fontenele Martins Adriana Karla N. B. Marinho de Oliveira Nidia Cristina de Souza Ana Paula Neves Marques de Pinho Jarbas Barbosa da Silva Júnior Isabella Samico Sobre os autores

Abstract

Objective:

to present an evaluation model for developing effective indicators for the Vigilância Sanitária (VISA) (Sanitary and Health Surveillance) actions in Brazil.

Methods:

an exploratory, evaluative study from primary sources data - electronic form by key informants and reports on national, international and secondary benchmarking visits - documental analysis.

Results:

the diversity of VISA management practices made it possible to define the evaluation object: Health Surveillance Actions - as an organized action system. The components: management; regulation; sanitary and health control; sanitary and health risk monitoring and information, communication and health education were derived from the aims of the intervention and composes a central structure of the Theoretical Model and the Logical Model Actions of VISA in the Sistema Nacional de Vigilância Sanitária (SNVS) (National Sanitary and Health Surveillance System) .

Conclusions:

The Vigilância Sanitária (VISA) (Sanitary and Health Surveillance) accumulates experience with the process indicators for monitoring actions, being incipient are capable of evaluating its impact. The theoretical resources in the evaluation area support the information management in the VISA field and besides contributing for studies on social determinants and the incorporation of analyses in historic series.

Key-words:
Health evaluation; Health surveillance; Health indicators

Resumo

Objetivos:

apresenta-se a modelagem avaliativa para a construção de indicadores de efetividade das ações de vigilância sanitária (VISA) no Brasil.

Métodos:

estudo avaliativo exploratório, com dados de fontes primárias - formulário eletrônico com informantes-chave e relatórios de visitas de benchmarking nacional e internacional e secundárias - análises documentais.

Resultados:

a diversidade das práticas nas instâncias gestoras da VISA possibilitou a definição do objeto de avaliação: Ações de Vigilância Sanitária -, enquanto um sistema organizado de ação. Os componentes: gestão; regulação; controle sanitário; monitoramento do risco sanitário e informação, comunicação e educação para a saúde originam-se dos objetivos da intervenção e compõem a estrutura central do Modelo Teórico e do Modelo Lógico das Ações de VISA no âmbito do Sistema Nacional de Vigilância Sanitária.

Conclusões:

a VISA acumula experiência com indicadores de processos para monitoramento das ações, sendo incipientes aqueles capazes de avaliar o seu impacto. Os recursos teóricos da área da avaliação apoiam a gestão da informação no campo da VISA, para além da contribuição de estudos sobre os determinantes sociais e a incorporação de análises de séries históricas.

Palavras-chave:
Avaliação em saúde; Vigilância sanitária; Indicadores de saúde

Introdução

As definições conceituais e operacionais sobre a 'avaliação baseada na teoria' têm sido objeto de debate internacional mais intenso a partir da primeira década do século atual, retomando o impulso originário dos anos 1970, sobre sua potencialidade de suporte à formulação e testagem da teoria das intervenções para fins avaliativos.11 Christie CA. Advancing empirical scholarship to further develop evaluation theory and practice. Can J Progr Eval. 2011; 26(1): 1-18.

2 Van der Knaap P. Theory-based evaluation and learning: possibilities and challenges. Evaluation. 2004; 10(1): 1634.
-33 Coryn CLS, Noakes LA, Westine CD, Schröter, DC. A systematic review of theory-driven evaluation practice from 1990 to 2009. Am J Eval. 2011; 32: 199-226. Embora, alguns autores sejam pouco categóricos ou precisos quanto a essas definições, conforme discutem Coryn et al.33 Coryn CLS, Noakes LA, Westine CD, Schröter, DC. A systematic review of theory-driven evaluation practice from 1990 to 2009. Am J Eval. 2011; 32: 199-226. em artigo publicado em 2011 no American Journal of Evaluation, as práticas avaliativas orientadas pela teoria têm sido cada vez mais utilizadas por estudiosos, teóricos e praticantes da avaliação.11 Christie CA. Advancing empirical scholarship to further develop evaluation theory and practice. Can J Progr Eval. 2011; 26(1): 1-18.

2 Van der Knaap P. Theory-based evaluation and learning: possibilities and challenges. Evaluation. 2004; 10(1): 1634.
-33 Coryn CLS, Noakes LA, Westine CD, Schröter, DC. A systematic review of theory-driven evaluation practice from 1990 to 2009. Am J Eval. 2011; 32: 199-226.

A avaliação baseada na teoria permite aumentar a capacidade de estimar o impacto de programas que não favorecem o delineamento de desenhos experimentais fortes com base em padrões pré-definidos.44 Lam TCM. Theory-based evaluation and objective-based evaluation: an integration of the two approaches. European Evaluation Society Conference; 2002 oct 12; Seville (Spain). A modelagem teórica para avaliação objetiva compreender fatores que podem interferir nos efeitos esperados e extrapolar o próprio objeto estudado. Pode ser desenhada para responder a uma variedade de perguntas sobre a forma como a intervenção foi executada, sobre as mudanças dela decorrentes, sobre a possibilidade de melhoria, e sobre a relação custo-benefício, permitindo compreender por que a intervenção operou de determinada maneira.22 Van der Knaap P. Theory-based evaluation and learning: possibilities and challenges. Evaluation. 2004; 10(1): 1634. Consiste na definição das premissas que buscam relacionar os resultados de uma intervenção com os dispositivos por ela produzidos, um sistema de valores, normas e diretrizes que se relaciona com vínculos causais entre as ações desenvolvidas e os resultados delas decorrentes. Considera, também, o contexto em que ocorrem, formando uma estrutura que propicia o julgamento de valor; a discussão entre formuladores, executores e avaliadores sobre a pertinência da intervenção; e mesmo, sobre a avaliação e sua utilização.22 Van der Knaap P. Theory-based evaluation and learning: possibilities and challenges. Evaluation. 2004; 10(1): 1634.,44 Lam TCM. Theory-based evaluation and objective-based evaluation: an integration of the two approaches. European Evaluation Society Conference; 2002 oct 12; Seville (Spain).

5 Rossi PH, Freeman HE, Lipsey MW. Evaluation. A systemic approach. 7 ed. Sage Publications; 2004.

6 Stufflebeam DL., Shinkfield AJ. Evaluation theory, models & applications. San Francisco: Jossey-Bass; 2007.

7 Rogers PJ. Using programme theory to evaluate complicated and complex aspects of interventions. Evaluation. 2008; 14(1): 29-48.
-88 Brousselle A, Champagne F, Contandriopoulos AP, Hartz Z. Avaliação: Conceitos e Métodos. Rio de Janeiro: Editora Fiocruz; 2011. Pode ainda contribuir com uma maior utilização das pesquisas, para a tomada de decisões pelos gestores, pois, toma como ponto de partida, as diretrizes e objetivos das intervenções, facilitando a compreensão dos mesmos e, com um aumento do conhecimento sobre o objeto em estudo, na medida em que toma como referência diferentes abordagens teóricas e metodológicas.22 Van der Knaap P. Theory-based evaluation and learning: possibilities and challenges. Evaluation. 2004; 10(1): 1634.

A busca pela mensuração da efetividade, no setor público, objetiva medir os resultados das ações que oferecem benefícios à população. Para o sistema de saúde pública, assim como, para qualquer outro sistema organizado de ação, os resultados desejados são consequência de processos bem planejados e bem executados.99 Goldsteen RL, Goldsteen K, Graham DG. Introduction to public health. New York: Springer Pub.; 2011. No campo da avaliação em saúde, tem sido comum a aproximação dos conceitos de impacto e de efetividade, ou seja, o efeito de uma intervenção em situações reais, não experimentais, particularmente voltada para grupos populacionais, devendo ser medida em grandes intervalos de tempo.1010 Vieira-da-Silva LM. Avaliação de Políticas e Programas de Saúde. Coleção Temas em Saúde. Rio de Janeiro: Editora Fiocruz; 2014.

11 Champagne F, Brousselle A, Contandriopoulos A-P, Hartz Z. A Análise dos Efeitos. In: Brousselle A, Champagne F, Contandriopoulos A-P, Hartz Z, organizadores. Avaliação: conceitos e métodos. Rio de Janeiro: Editora Fiocruz; 2011. p. 159-82.
-1212 Samico I, Felisberto E, Figueiró AC, Frias PG. Avaliação em Saúde: bases conceituais e operacionais. 1 ed. Rio de Janeiro: Medbook; 2010. Entretanto, esse desafio deve ser enfrentado a partir do reconhecimento das limitações inerentes aos desenhos avaliativos e de que sua superação não se dará a partir de inovações nas abordagens estatísticas.1313 Hyder AA, Puvanachandra P, Morrow RH. Measuring the health of populations: explaining composite indicators. J Public Health Res. 2012; 1(3):222-8.

O campo da Vigilância Sanitária (VISA) no Brasil acumula experiência na construção de indicadores de processos para monitoramento das ações planejadas - gerenciais, administrativas e técnicas - o que tem contribuído para a organização do trabalho no Sistema Nacional de Vigilância Sanitária (SNVS).1414 Brasil. Ministério da Saúde. Avaliação das Ações de Vigilância Sanitária: uma proposta teórico-metodológica / Ministério da Saúde, Agência Nacional de Vigilância Sanitária, Hospital Alemão Oswaldo Cruz. - Brasília, DF; 2018. 96p. ISBN 978-85-334-2608-5 Entretanto, a estruturação de indicadores que possam avaliar o impacto das suas ações ainda é incipiente. Nesse sentido, os recursos teóricos do campo da avaliação em saúde podem apoiar a gestão da informação no campo da VISA, contribuindo com o sistema decisório no SNVS, cujas práticas estão fundamentadas nos princípios da promoção e proteção da saúde da população.1414 Brasil. Ministério da Saúde. Avaliação das Ações de Vigilância Sanitária: uma proposta teórico-metodológica / Ministério da Saúde, Agência Nacional de Vigilância Sanitária, Hospital Alemão Oswaldo Cruz. - Brasília, DF; 2018. 96p. ISBN 978-85-334-2608-5 Por outro lado, é importante considerar a inexistência da descrição de uma política específica de VISA no país, situação que limita o uso do modelo clássico de avaliação do ciclo de políticas, o qual considera as fases de formulação, implantação e avaliação.1414 Brasil. Ministério da Saúde. Avaliação das Ações de Vigilância Sanitária: uma proposta teórico-metodológica / Ministério da Saúde, Agência Nacional de Vigilância Sanitária, Hospital Alemão Oswaldo Cruz. - Brasília, DF; 2018. 96p. ISBN 978-85-334-2608-5

15 Haney SR, Gonzales-Block M, Buxton MJ, Kogan M. The Utilization of Health Research in Policy-making: concepts, examples and methods of assessment. Health Research Policy and Systems [periódico on line]. 2003. [acesso em jan 2018]. Disponível em: http://www.health-policy-systems.com/content/l/1/2
http://www.health-policy-systems.com/con...
-1616 Secchi L. Políticas Públicas: conceitos, esquemas de análise, casos práticos. São Paulo: Cengage Learning; 2011. Portanto, ao se considerar indicadores que apontem para a mensuração da efetividade das ações de VISA, devese levar em conta a relevância do debate sobre a institucionalização de práticas avaliativas e de estratégias de aprimoramento organizacional.1212 Samico I, Felisberto E, Figueiró AC, Frias PG. Avaliação em Saúde: bases conceituais e operacionais. 1 ed. Rio de Janeiro: Medbook; 2010.,1414 Brasil. Ministério da Saúde. Avaliação das Ações de Vigilância Sanitária: uma proposta teórico-metodológica / Ministério da Saúde, Agência Nacional de Vigilância Sanitária, Hospital Alemão Oswaldo Cruz. - Brasília, DF; 2018. 96p. ISBN 978-85-334-2608-5

Este artigo apresenta a modelagem avaliativa para a construção de indicadores de efetividade das ações de vigilância sanitária no Brasil, propondo a sistematização de um conjunto de elementos que constitui e embasa as ações prioritárias de VISA, desenvolvidas nas diversas instâncias do SNVS.

Métodos

Estudo avaliativo de natureza exploratória, realizado entre junho de 2016 e setembro de 2017, que adota os princípios da triangulação de métodos, para a articulação interpretativa dos dados. Estes foram coletados em fontes primárias, por meio de um formulário eletrônico com informantes-chave e análise de relatórios de visitas de benchmarking nacional e internacional e, em fontes de dados secundários, por meio de análise documental. A coleta contemplou a proposição, por parte de gestores do campo da regulação e vigilância sanitária, de temas a serem abordados na avaliação, além da identificação de iniciativas, práticas institucionais, projetos consolidados e disponibilização de fontes de informação e bases de dados existentes.

Os formulários eletrônicos foram preenchidos por gestores das áreas técnicas da Agência Nacional de Vigilância Sanitária (Anvisa), da Secretaria de Vigilância em Saúde do Ministério da Saúde (SVS/MS) e por integrantes do Grupo de Trabalho Tripartite da Vigilância Sanitária (GTVisa) e, objetivaram a identificação de objetos e processos de trabalho da vigilância sanitária prioritários a serem considerados na estruturação do modelo. Os relatórios das visitas de benchmarking nacional referem-se às iniciativas de monitoramento das ações de vigilância sanitária, fazendo uso de bases de dados e sistemas de informação em saúde locais e nacionais, trabalhadas nos estados de Goiás, Minas Gerais, Santa Catarina, São Paulo e Paraná, e em duas capitais: Belo Horizonte e Curitiba. As visitas internacionais foram realizadas em instituições de dois países intencionalmente escolhidos, dentre aqueles com os quais o Brasil mantém relações de cooperação técnica no âmbito da regulação e vigilância sanitária. Em Portugal - Autoridade Nacional do Medicamento e Produtos de Saúde (Infarmed) e Direção Geral de Saúde (DGS) e no Reino Unido - Medicines & Healthcare Products Regulatory Agency (MHRA) e Public Health England (PHE). Estas visitas aportaram subsídios para o aprofundamento da discussão sobre o monitoramento e a avaliação da efetividade da ação de vigilância sanitária. A análise documental foi realizada tendo como fontes: (i) o Plano Diretor de Vigilância Sanitária (PDVISA), de 2007;1717 Brasil. Agência Nacional de Vigilância Sanitária. Plano Diretor de Vigilância Sanitária - PDVISA. Brasília, DF; 2007. (ii) os Textos de Referência dos Ciclos de Debates em Vigilância Sanitária, realizado em 2015;1818 Brasil. Agência Nacional de Vigilância Sanitária. Ciclo de Debates em Vigilância Sanitária: Desafios e Tendências. Brasília, DF; 2016. e (iii) o Planejamento Estratégico da Anvisa - ciclo 20162019.19

Para a definição do objeto e a delimitação do foco de abrangência da modelagem teórica, com vistas a possibilitar sua descrição e a identificação da teoria subjacente, foram realizadas oito oficinas de trabalho no período entre fevereiro e setembro de 2017, com a participação de técnicos e gestores da Assessoria de Planejamento, de várias Gerências da Anvisa e consultores especialistas em regulação e vigilância sanitária, planejamento governamental, gestão pública, epidemiologia e avaliação em saúde. Os encontros foram realizados nas dependências da Anvisa em Brasília - DF. As discussões das oficinas se pautaram na escolha do referencial teórico a ser utilizado e nos princípios e diretrizes que regem as ações de VISA. O modelo foi desenvolvido tendo como parâmetro o nível de análise nacional, representado pela formulação de políticas, cooperação técnica, planejamento, coordenação do SNVS, co-financiamento, desenvolvimento de competências e pela execução das ações nas instâncias estadual e municipal, além das executadas pela agência reguladora nacional de forma direta e/ou complementar. Ainda, foi realizada a triangulação das informações obtidas por meio da comparação entre as respostas dos formulários eletrônicos, dos relatórios das visitas de benchmarking nacional e internacional, das oficinas de trabalho e, entre estes e os achados da análise documental.

Este artigo encontra-se em acordo com o disposto no Artigo 1º, parágrafo único, inciso VII, da Resolução nº 510, de 07 de abril de 2016, do Conselho Nacional de Saúde, que dispõe sobre as especificidades éticas aplicáveis a pesquisas em Ciências Humanas e Sociais.

Resultados

Modelo Teórico para Avaliação das Ações de Vigilância Sanitária no âmbito do SNVS

A análise sobre a diversidade das práticas desenvolvidas nas instâncias gestoras subnacionais e na agência reguladora nacional, somado ao conhecimento dos seus diferentes perfis, possibilitou a definição do objeto de avaliação, que passou a ser o eixo norteador da construção da modelagem. Este, denominado de 'Ações de Vigilância Sanitária' e entendido enquanto uma intervenção, ou seja, um sistema organizado de ação, é constituído a partir da priorização daquelas ações mais representativas em execução pelo Sistema e, para esta modelagem, foram agrupadas em componentes, respeitando-se o princípio da coerência com os diversos documentos institucionais da Anvisa, bem como com os que foram produzidos e institucionalizados pela gestão tripartite do SNVS no âmbito do Sistema Único de Saúde (SUS). Os componentes: gestão, regulação, controle sanitário, monitoramento do risco sanitário e informação, comunicação e educação para a saúde originam-se, portanto, dos objetivos da intervenção e buscam assegurar uma sistematização que ofereça a necessária clareza para a posterior construção do modelo lógico.1414 Brasil. Ministério da Saúde. Avaliação das Ações de Vigilância Sanitária: uma proposta teórico-metodológica / Ministério da Saúde, Agência Nacional de Vigilância Sanitária, Hospital Alemão Oswaldo Cruz. - Brasília, DF; 2018. 96p. ISBN 978-85-334-2608-5

A articulação que se prevê entre a intervenção e os resultados esperados pode sugerir avaliações de processos e/ou de resultados mais imediatos, intermediários e finais ou de impacto, em função de sua contribuição para os objetivos previstos. Estes, podem ser afetados por fatores externos e/ou internos transversais a diferentes dimensões da intervenção, que são os elementos do contexto, traduzidos pela situação existente no meio em que as ações ocorrem. Os fatores contextuais influenciam na implantação e nos efeitos da intervenção e podem ser de ordem política, organizacional e socioe-conômico. Também, as condições de saúde e o risco sanitário, são elementos do contexto podendo sofrer influência e serem influenciados pela intervenção.

Os efeitos das atividades de um componente são os resultados diretos mais afetados pelas diversas interações que ocorrem no âmbito do SNVS, constituindo as consequências mais imediatas e intermediárias do modelo. Já os resultados finais, ou impactos, estão relacionados com o efeito da intervenção na população geral. Para o modelo proposto, os impactos previstos foram definidos como sendo: a redução da morbidade e da mortalidade, a proteção e a promoção da saúde, e o reconhecimento social da VISA. Estes apresentam-se sob influência permanente dos fatores contextuais. Ainda, o modelo sugere que a prática avaliativa seja um dispositivo indutor de mudanças na atuação dos profissionais no SNVS, contribuindo para a sua incorporação cultural e organizacional na direção da institucionalização da avaliação no âmbito do SNVS e do SUS.

A Figura 1 apresenta o conjunto de elementos teóricos que facilitam a compreensão dessas relações.

Figura 1
Modelo Teórico para Avaliação das Ações de VISA.

O Modelo Lógico das Ações de Vigilância Sanitária

A modelagem lógica apresenta os elementos mais objetivos que permitem uma correlação mais forte entre os componentes definidos anteriormente no modelo teórico. Esses foram, então, subdivididos em subcomponentes, com exceção do componente Controle do risco sanitário. A subdivisão proposta (Tabela 1), permitiu uma melhor sistematização das atividades definidas como prioritárias para o alcance dos objetivos.

Tabela 1
Componentes e subcomponentes do modelo lógico das Ações de VISA.

Os subcomponentes Planejamento, Formação de competências e Gestão do conhecimento, que integram o componente Gestão, permitem agrupar atividades relacionadas às atribuições do gestor do sistema, que deve assegurar os princípios e diretrizes do SUS, onde se destaca o da descentralização enquanto estratégia de fortalecimento do SNVS. Os subcomponentes - Legislação e Marco Regulatório, Licenciamento sanitário, Regularização de produtos e serviços e Regulação de mercado, que integram o componente Regulação, sistematizam as atividades que induzem a comportamentos desejáveis e suscitam a prevenção daqueles indesejáveis para a saúde da população, no âmbito da produção e circulação de produtos. As atividades mais relacionadas com a função fiscalizatória das organizações integrantes do SNVS, principalmente no que remete ao controle da produção de bens e serviços depois que estes estejam disponíveis para o consumo, encontram-se agrupadas no componente Controle do risco sanitário.

As atividades de vigilância pós-mercado procuram responder aos desafios do SNVS voltados a minimizar os riscos à saúde e promover uma melhor qualidade de vida. Em razão da amplitude e intersetorialidade decorrentes, foram sistematizadas em cinco subcomponentes: Produtos, Serviços, Resistência aos antimicrobianos, Segurança do paciente e Emergências em VISA, constituindo, assim, o componente Monitoramento do risco sanitário, que aparece como o mais complexo entre os cenários de atuação institucional do SNVS, por requerer atualização tecnológica permanente, no que se refere à organização dos processos de trabalho necessários. O último componente, composto pelos subcomponentes: Relacionamento com a sociedade e Parcerias intersetoriais, agrupam as atividades relacionadas à gestão da informação representadas por ações participativas de comunicação, mobilização, controle social e educação.

As Tabelas 2 e 3 apresentam, esquematicamente, as relações acima descritas e sua relação de plausibilidade causal com os resultados esperados, representados na forma de: (i) efeitos imediatos - que se encontram relacionados a cada componente e são gerados diretamente pelas atividades desenvolvidas; (ii) efeitos intermediários - relacionados ao conjunto de componentes e; (iii) impactos - para os quais as Ações de Vigilância Sanitária contribuem em sinergia com outras ações desenvolvidas no SUS, e com os vários contextos representados no modelo teórico. Os dois últimos são passíveis de verificação, possibilitada pela identificação e seleção de indicadores, afetas a cada um dos componentes estabelecidos na modelagem avaliativa. É importante destacar que um efeito intermediário pode ser consequência de um ou mais efeitos imediatos, da mesma forma que um efeito imediato pode contribuir para mais de um intermediário. Para uma melhor visualização e organização didática, nesta publicação, a Tabela 3 apresenta um desmembramento do modelo lógico, uma vez que os efeitos intermediários e impactos previstos, podem estar relacionados e serem decorrentes de diferentes efeitos imediatos e atividades.

Tabela 2
Componentes, Subcomponentes, Atividadese e Efeitos Imediatos do Modelo Lógico das Ações de VISA.
Tabela 3
Efeitos Intermediários e Impactos do Modelo Lógico das Ações de VISA.

Discussão

O debate sobre a profissionalização da gestão pública baseada em resultados, no âmbito da vigilância sanitária no Brasil, tomou corpo a partir de 1999 com a criação da Anvisa e as competências estabelecidas na base legal instituída pelas Leis nº. 9.782/1999 e nº 13.411/2016.20-21

Por outro lado, importantes espaços de discussão possibilitaram a formulação de diretrizes políticas para a VISA com centralidade no planejamento, no monitoramento das ações e na avaliação.1717 Brasil. Agência Nacional de Vigilância Sanitária. Plano Diretor de Vigilância Sanitária - PDVISA. Brasília, DF; 2007.-1818 Brasil. Agência Nacional de Vigilância Sanitária. Ciclo de Debates em Vigilância Sanitária: Desafios e Tendências. Brasília, DF; 2016.,2222 Brasil. Agência Nacional de Vigilância Sanitária. I Conferência Nacional de Vigilância Sanitária: Relatório Final. Brasília, DF; 2001. Assim, destacam-se a recomendação da I Conferência Nacional de Vigilância Sanitária, realizada em 2001 - definir indicadores, de forma integrada, criar metodologia de auto-avaliação das ações de vigilância sanitária e, também, propor a realização de um projeto nacional de avaliação do impacto dessas ações na melhoria da qualidade de vida da população2222 Brasil. Agência Nacional de Vigilância Sanitária. I Conferência Nacional de Vigilância Sanitária: Relatório Final. Brasília, DF; 2001. e, a diretriz do PDVISA-2007 -Desenvolvimento de processos de planejamento, monitoramento, avaliação e auditoria compartilhados e contínuos, nas três esferas de governo, para melhor apoiá-las no processo de assunção de suas responsabilidades.1717 Brasil. Agência Nacional de Vigilância Sanitária. Plano Diretor de Vigilância Sanitária - PDVISA. Brasília, DF; 2007.

Alguns movimentos e acordos institucionais ocorridos nos últimos anos têm mobilizado os gestores quanto à valorização do monitoramento e da avaliação das ações de saúde e de gestão.2323 Brasil. Ministério da Saúde. Portaria GM nº 399, de 22 de fevereiro de 2006. Divulga o Pacto pela Saúde 2006 - Consolidação do SUS e aprova as Diretrizes Operacionais do Referido Pacto. Brasília, DF: Diário Oficial da União 22fev 2006.-2424 Brasil. Ministério da Saúde. Portaria GM nº 1.580, de 19 de julho de 2012. Afasta a exigência de adesão ao Pacto pela Saúde ou assinatura do Termo de Compromisso de Gestão, de que trata a Portaria nº 399/GM/MS, de 22 de fevereiro de 2006, para fins de repasse de recursos financeiros pelo Ministério da Saúde a Estados, Distrito Federal e Municípios e revoga Portarias. Brasília, DF: Diário Oficial da União 19 jul 2012. Porém, os indicadores relacionados à VISA têm focado nos processos de trabalho e se revelado pouco indutores de melhoria da capacidade de execução das ações, como por exemplo: "Percentual de municipios com pactuação de ações estratégicas de vigilância sanitária" e "Percentual de indústrias de medicamentos inspecionadas pela vigilância sanitária, no ano", incluídos no Pacto pela Saúde.1414 Brasil. Ministério da Saúde. Avaliação das Ações de Vigilância Sanitária: uma proposta teórico-metodológica / Ministério da Saúde, Agência Nacional de Vigilância Sanitária, Hospital Alemão Oswaldo Cruz. - Brasília, DF; 2018. 96p. ISBN 978-85-334-2608-5

O relatório do Ciclo de Debates em Vigilância Sanitária realizado em 2015, com cinco fóruns regionais, um nacional e um internacional, ressalta que um dos importantes desafios a serem enfrentados refere-se à dificuldade no compartilhamento das ações de VISA, decorrente da defasagem tecnológica que envolve a gestão da informação, incluindo a qualidade dos bancos de dados e a limitada interoperabilidade entre os sistemas de informação existentes, gerando dificuldades para viabilizar ações de monitoramento, avaliação, planejamento e comunicação entre os entes do SNVS, outros órgãos afins e a população.2525 Felisberto E, Samico I, Bezerra LCA, Hartz Z. Institucionalizando a avaliação nas organizações e agências de pesquisas: um estudo de caso exemplar. Saúde em Debate. [periódico on line] . 2017. [acesso em 7 Maio 2018] 41: p.387-99. Disponível em: <http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0103-11042017000 500387&lng=en&nrm=iso>.
http://www.scielo.br/scielo.php?script=s...
Isto é corroborado, neste trabalho, quando estados e municípios relatam, nas visitas de benchmarking, que a manutenção de um sistema enfrenta, como obstáculos determinantes, a fragmentação setorial dos sistemas de informação em saúde de bases nacionais e a lenta atualização tecnológica das ferramentas informacionais no cotidiano da gestão pública. Esses fatores, além de dificultarem a identificação das informações relevantes para a gestão do SNVS, prejudicam o monitoramento mais efetivo das obrigações contratualizadas com o Ministério da Saúde.

As visitas internacionais de benchmarking (Portugal e Reino Unido) apontaram para um processo de amadurecimento da estruturação da gestão da informação, como suporte para o desenvolvimento das ações de regulação sanitária. A estratégia de harmonização internacional dos processos regulatórios sanitários na Europa, indutora de boas práticas e da definição de parâmetros para mensuração da efetividade da ação regulatória, fortalece a integração institucional, por meio do alinhamento e da assimilação entre regulador e demais operadores do sistema de saúde, como favorece também a estruturação de redes de informação entre as diversas instituições reguladoras dos países do continente. Ressalta-se, ainda, o avanço na estruturação e disponibilização de banco de dados da assistência à saúde, que suporta a realização de pesquisas em busca de evidências científicas para basear a decisão regulatória. Esses avanços ocorreram a partir da existência de incentivos financeiros visando ao impacto na qualidade, cobertura e completude da informação, por meio de investimento na formação de notificadores, criação de plataformas web e existência de auditorias internas e externas nos processos de trabalho. A avaliação pela sociedade, do desempenho institucional dos órgãos de regulação estatal, realizadas por meio de inquéritos populacionais, também se apresenta como estratégia importante paraa qualificação da ação regulatória.1414 Brasil. Ministério da Saúde. Avaliação das Ações de Vigilância Sanitária: uma proposta teórico-metodológica / Ministério da Saúde, Agência Nacional de Vigilância Sanitária, Hospital Alemão Oswaldo Cruz. - Brasília, DF; 2018. 96p. ISBN 978-85-334-2608-5

Como se observa, o avanço internacional na regulação amparou-se no fortalecimento da gestão da informação voltada à implantação de processos avaliativos e, no Brasil, este tema tem sido recorrente nas duas últimas décadas e priorizado nos espaços de construção coletiva dos profissionais do SNVS, motivo da atualidade e premência de um modelo avaliativo para as ações de VISA, que favoreça o desenvolvimento de estratégias para superar as dificuldades presentes na gestão da informação no âmbito do SNVS e, consequentemente, na identificação e medição de indicadores de resultado dessas ações. Os Modelos Teórico da Avaliação e Lógico da Intervenção, aqui descritos, apresentam um método avaliativo que, para sua implementação, necessita de um consistente aporte institucional para a estruturação da gestão da informação calcada, essencialmente, na existência de fontes confiáveis, sensíveis e abrangentes.1414 Brasil. Ministério da Saúde. Avaliação das Ações de Vigilância Sanitária: uma proposta teórico-metodológica / Ministério da Saúde, Agência Nacional de Vigilância Sanitária, Hospital Alemão Oswaldo Cruz. - Brasília, DF; 2018. 96p. ISBN 978-85-334-2608-5

A incipiência de práticas avaliativas estruturadas no âmbito do SNVS, que ultrapassem o estágio da medição do grau de cobertura das ações, demonstra a necessidade de processos embasados em consistentes níveis de evidência. Esses, podem ser resultantes da institucionalização de práticas avaliativas, que tenham como objetivo fortalecer a aprendizagem organizacional, privilegiando a avaliação focada em resultados, mas preservando a busca por entender os mecanismos dos processos que resultam na efetividade das ações desenvolvidas.2525 Felisberto E, Samico I, Bezerra LCA, Hartz Z. Institucionalizando a avaliação nas organizações e agências de pesquisas: um estudo de caso exemplar. Saúde em Debate. [periódico on line] . 2017. [acesso em 7 Maio 2018] 41: p.387-99. Disponível em: <http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0103-11042017000 500387&lng=en&nrm=iso>.
http://www.scielo.br/scielo.php?script=s...
A modelagem avaliativa com base na teoria configura-se em ferramenta estratégica para a transformação das práticas e para a tomada de decisão, podendo contribuir para o aumento da segurança e do controle da qualidade de produtos e serviços, razões maiores da execução da ação de vigilância sanitária no SUS.

Em síntese, na medida em que as comunidades ampliam sua capacidade de produção, proporcionando desequilíbrios do mercado e trazendo novos riscos tecnológicos, há a necessidade de se interferir diretamente nas diversas áreas de interesses coletivo e individual e na relação saúde-doença-qualidade de vida. Para que se estabeleça um equilíbrio, é necessário o planejamento como estratégia de priorização das ações, imprescindível para o adequado gerenciamento do risco sanitário no território.2626 Alves SMC. Processo de participação da sociedade civil nas consultas públicas realizadas pela Agência Nacional de Vigilância Sanitária - Anvisa (2000-2006). [dissertação]. Brasília, DF: Instituto de Ciências Humanas da Universidade de Brasília; 2008. E, portanto, a ação da vigilância sanitaria torna-se mais potente à medida que incorpora os conceitos de planejamento, desenvolvimento, controle e avaliação, saindo de uma perspectiva meramente fiscal e punitiva, para uma atuação mais integrada e com resultados mais factíveis de entregas à sociedade.2727 Flexa RGC, Silva Júnior JB, Brito RL, Sousa AIA, Araújo FF, Martins MAF. Planejamento estratégico em vigilância sanitária: aplicação do Balanced Scorecard (BSC). Vigil Sanit Debate. 2017; 5(2): 13-23.

A crescente exigência para que se agregue valor às atividades executadas nos processos de produção e prestação de serviços das organizações públicas, tem requerido, da área da saúde, uma compreensão mais sistematizada sobre o processo de aplicação do conhecimento.99 Goldsteen RL, Goldsteen K, Graham DG. Introduction to public health. New York: Springer Pub.; 2011. É certo, entretanto, que a complexidade dos ambientes organizacional e ambiental que abrangem a VISA, requer o desenvolvimento de condições e dispositivos que auxiliem os gestores a tomar as melhores decisões apoiadas na produção, disseminação e apropriação de saberes. Esse entendimento ajuda a fortalecer a interação e a articulação entre formuladores de políticas, gestores, técnicos e profissionais das instituições de assistência, ensino e pesquisa, além de outras que contribuam com a ampliação do conhecimento e a qualificação das ações de forma sustentável.2525 Felisberto E, Samico I, Bezerra LCA, Hartz Z. Institucionalizando a avaliação nas organizações e agências de pesquisas: um estudo de caso exemplar. Saúde em Debate. [periódico on line] . 2017. [acesso em 7 Maio 2018] 41: p.387-99. Disponível em: <http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0103-11042017000 500387&lng=en&nrm=iso>.
http://www.scielo.br/scielo.php?script=s...

Entretanto, da mesma forma que as ações de VISA não estão isoladas no SUS, as práticas avaliativas devem estar articuladas com o uso dos saberes produzidos por outras áreas do conhecimento, e se retroalimentar com informações ou evidências provenientes das práticas da vigilância e da atenção à saúde, além de incorporar as informações decorrentes destas articulações e práticas intersetoriais nas quais a VISA se insere. A institucionalização da avaliação pressupõe ainda a essencial adesão ao projeto pelas lideranças institucionais, o desenvolvimento de capacidades para realização das avaliações, a criação de estratégias para divulgação dos resultados e, em especial, a viabilidade para a revisão das políticas e práticas, frutos da avaliação.2121 Brasil. Presidência da República. Lei nº 13.411, de 28 de dezembro de 2016. Altera a Lei nº 6.360, de 23 de setembro de 1976, que dispõe sobre a vigilância sanitária a que ficam sujeitos os medicamentos, as drogas, os insumos farmacêuticos e correlatos, cosméticos, saneantes e outros produtos, e dá outras providências, e a Lei nº 9.782, de 26 de janeiro de 1999, que define o Sistema Nacional de Vigilância Sanitária, cria a Agência Nacional de Vigilância Sanitária, e dá outras providências, para dar transparência e previsibilidade ao processo de concessão e renovação de registro de medicamento e de alteração pós-registro. Brasília, DF: Diário Oficial da União 29 dez 2016.

A efetividade e o impacto das intervenções são afetados, na área da saúde, pela complexidade dos determinantes do processo saúde-doença das populações e pela interdependência dos fatores que os envolvem.1717 Brasil. Agência Nacional de Vigilância Sanitária. Plano Diretor de Vigilância Sanitária - PDVISA. Brasília, DF; 2007. Estão vinculados ao grau de satisfação, ou ainda, ao valor agregado à transformação produzida.2828 Brasil. Ministério do Planejamento, Desenvolvimento e Gestão. Indicadores de programas: Guia Metodológico. Brasília, DF; 2010. p. 128. As diversas instituições que formam o sistema de saúde desenvolvem ações que se complementam e se entrelaçam na busca pela obtenção de resultados favoráveis, de tal forma, que a mensuração de indicadores populacionais mostra o efeito do desenvolvimento do conjunto dessas ações, sendo difícil, ou até mesmo impossível, distinguir a parcela de contribuição de cada uma das instituições envolvidas na melhoria dos indicadores de saúde. É de se esperar que a contribuição de estudos sobre os determinantes sociais e a incorporação de análises de séries históricas, aliadas ao uso de diferentes abordagens, iluminem o caminho e contribuam para a ampliação da base de evidências, com maior validação das inferências sobre os efeitos das intervenções.1010 Vieira-da-Silva LM. Avaliação de Políticas e Programas de Saúde. Coleção Temas em Saúde. Rio de Janeiro: Editora Fiocruz; 2014.,111 Christie CA. Advancing empirical scholarship to further develop evaluation theory and practice. Can J Progr Eval. 2011; 26(1): 1-18.

Por outro lado, deve-se compreender o papel primordial de uma teoria avaliativa, qual seja, conhecer as relações entre o objeto a ser avaliado e os elementos que o integram sem, no entanto, pretender ser exaustivo. O modelo aqui descrito é o primeiro passo para se constituir em um dos percursos de um caminho a ser consolidado com a incorporação de práticas avaliativas no cotidiano do SNVS, na busca pela institucionalização da avaliação como estratégia para o fortalecimento da vigilância sanitária no Brasil.

Referências bibliográficas

  • 1
    Christie CA. Advancing empirical scholarship to further develop evaluation theory and practice. Can J Progr Eval. 2011; 26(1): 1-18.
  • 2
    Van der Knaap P. Theory-based evaluation and learning: possibilities and challenges. Evaluation. 2004; 10(1): 1634.
  • 3
    Coryn CLS, Noakes LA, Westine CD, Schröter, DC. A systematic review of theory-driven evaluation practice from 1990 to 2009. Am J Eval. 2011; 32: 199-226.
  • 4
    Lam TCM. Theory-based evaluation and objective-based evaluation: an integration of the two approaches. European Evaluation Society Conference; 2002 oct 12; Seville (Spain).
  • 5
    Rossi PH, Freeman HE, Lipsey MW. Evaluation. A systemic approach. 7 ed. Sage Publications; 2004.
  • 6
    Stufflebeam DL., Shinkfield AJ. Evaluation theory, models & applications. San Francisco: Jossey-Bass; 2007.
  • 7
    Rogers PJ. Using programme theory to evaluate complicated and complex aspects of interventions. Evaluation. 2008; 14(1): 29-48.
  • 8
    Brousselle A, Champagne F, Contandriopoulos AP, Hartz Z. Avaliação: Conceitos e Métodos. Rio de Janeiro: Editora Fiocruz; 2011.
  • 9
    Goldsteen RL, Goldsteen K, Graham DG. Introduction to public health. New York: Springer Pub.; 2011.
  • 10
    Vieira-da-Silva LM. Avaliação de Políticas e Programas de Saúde. Coleção Temas em Saúde. Rio de Janeiro: Editora Fiocruz; 2014.
  • 11
    Champagne F, Brousselle A, Contandriopoulos A-P, Hartz Z. A Análise dos Efeitos. In: Brousselle A, Champagne F, Contandriopoulos A-P, Hartz Z, organizadores. Avaliação: conceitos e métodos. Rio de Janeiro: Editora Fiocruz; 2011. p. 159-82.
  • 12
    Samico I, Felisberto E, Figueiró AC, Frias PG. Avaliação em Saúde: bases conceituais e operacionais. 1 ed. Rio de Janeiro: Medbook; 2010.
  • 13
    Hyder AA, Puvanachandra P, Morrow RH. Measuring the health of populations: explaining composite indicators. J Public Health Res. 2012; 1(3):222-8.
  • 14
    Brasil. Ministério da Saúde. Avaliação das Ações de Vigilância Sanitária: uma proposta teórico-metodológica / Ministério da Saúde, Agência Nacional de Vigilância Sanitária, Hospital Alemão Oswaldo Cruz. - Brasília, DF; 2018. 96p. ISBN 978-85-334-2608-5
  • 15
    Haney SR, Gonzales-Block M, Buxton MJ, Kogan M. The Utilization of Health Research in Policy-making: concepts, examples and methods of assessment. Health Research Policy and Systems [periódico on line]. 2003. [acesso em jan 2018]. Disponível em: http://www.health-policy-systems.com/content/l/1/2
    » http://www.health-policy-systems.com/content/l/1/2
  • 16
    Secchi L. Políticas Públicas: conceitos, esquemas de análise, casos práticos. São Paulo: Cengage Learning; 2011.
  • 17
    Brasil. Agência Nacional de Vigilância Sanitária. Plano Diretor de Vigilância Sanitária - PDVISA. Brasília, DF; 2007.
  • 18
    Brasil. Agência Nacional de Vigilância Sanitária. Ciclo de Debates em Vigilância Sanitária: Desafios e Tendências. Brasília, DF; 2016.
  • 19
    Brasil. Agência Nacional de Vigilância Sanitária. Planejamento Estratégico - 2016-2019 - Gestão Estratégica. Brasília, DF; 2016.
  • 20
    Brasil. Presidência da República. Lei nº. 9.782, de 26 de janeiro de 1999. Define o Sistema Nacional de Vigilância Sanitária e cria a Agência Nacional de Vigilância Sanitária. Brasília: Diário Oficial da União 27 jan 1999.
  • 21
    Brasil. Presidência da República. Lei nº 13.411, de 28 de dezembro de 2016. Altera a Lei nº 6.360, de 23 de setembro de 1976, que dispõe sobre a vigilância sanitária a que ficam sujeitos os medicamentos, as drogas, os insumos farmacêuticos e correlatos, cosméticos, saneantes e outros produtos, e dá outras providências, e a Lei nº 9.782, de 26 de janeiro de 1999, que define o Sistema Nacional de Vigilância Sanitária, cria a Agência Nacional de Vigilância Sanitária, e dá outras providências, para dar transparência e previsibilidade ao processo de concessão e renovação de registro de medicamento e de alteração pós-registro. Brasília, DF: Diário Oficial da União 29 dez 2016.
  • 22
    Brasil. Agência Nacional de Vigilância Sanitária. I Conferência Nacional de Vigilância Sanitária: Relatório Final. Brasília, DF; 2001.
  • 23
    Brasil. Ministério da Saúde. Portaria GM nº 399, de 22 de fevereiro de 2006. Divulga o Pacto pela Saúde 2006 - Consolidação do SUS e aprova as Diretrizes Operacionais do Referido Pacto. Brasília, DF: Diário Oficial da União 22fev 2006.
  • 24
    Brasil. Ministério da Saúde. Portaria GM nº 1.580, de 19 de julho de 2012. Afasta a exigência de adesão ao Pacto pela Saúde ou assinatura do Termo de Compromisso de Gestão, de que trata a Portaria nº 399/GM/MS, de 22 de fevereiro de 2006, para fins de repasse de recursos financeiros pelo Ministério da Saúde a Estados, Distrito Federal e Municípios e revoga Portarias. Brasília, DF: Diário Oficial da União 19 jul 2012.
  • 25
    Felisberto E, Samico I, Bezerra LCA, Hartz Z. Institucionalizando a avaliação nas organizações e agências de pesquisas: um estudo de caso exemplar. Saúde em Debate. [periódico on line] . 2017. [acesso em 7 Maio 2018] 41: p.387-99. Disponível em: <http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0103-11042017000 500387&lng=en&nrm=iso>.
    » http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0103-11042017000 500387&lng=en&nrm=iso
  • 26
    Alves SMC. Processo de participação da sociedade civil nas consultas públicas realizadas pela Agência Nacional de Vigilância Sanitária - Anvisa (2000-2006). [dissertação]. Brasília, DF: Instituto de Ciências Humanas da Universidade de Brasília; 2008.
  • 27
    Flexa RGC, Silva Júnior JB, Brito RL, Sousa AIA, Araújo FF, Martins MAF. Planejamento estratégico em vigilância sanitária: aplicação do Balanced Scorecard (BSC). Vigil Sanit Debate. 2017; 5(2): 13-23.
  • 28
    Brasil. Ministério do Planejamento, Desenvolvimento e Gestão. Indicadores de programas: Guia Metodológico. Brasília, DF; 2010. p. 128.

Datas de Publicação

  • Publicação nesta coleção
    Jul-Sep 2018

Histórico

  • Recebido
    11 Jul 2018
  • Aceito
    10 Ago 2018
Instituto de Medicina Integral Prof. Fernando Figueira Rua dos Coelhos, 300. Boa Vista, 50070-550 Recife PE Brasil, Tel./Fax: +55 81 2122-4141 - Recife - PR - Brazil
E-mail: revista@imip.org.br