Estudo de avaliabilidade do Sistema de Informação do Programa Nacional de Imunização

RESUMO

Objetivo:

Realizar Estudo de Avaliabilidade (EA) do Sistema de Informação do Programa Nacional de Imunização (SIPNI), considerando a descrição da intervenção, a elaboração do modelo teórico-lógico e a identificação das perguntas avaliativas.

Método:

Estudo de caso único, com abordagem qualitativa, baseado no sistema dos sete elementos propostos por Thurston e Ramaliu (2005). Definiu-se como caso o SIPNI e o contexto de análise, as salas de vacinação.

Resultados:

A descrição do SIPNI, fundamentada em documentos e evidências científicas, possibilitou compreender sua operacionalização, os principais acontecimentos que o caracterizam. O modelo teórico-lógico configurou de forma visual e sistemática a organização do SIPNI com detalhamento dos insumos, atividades, produtos e efeitos esperados. Foram estabelecidas e validadas as perguntas avaliativas para avaliar o SIPNI.

Considerações finais:

O SIPNI é avaliável e apresentou cenário favorável para o seu desenvolvimento. O EA é uma estratégia importante para o planejamento de avaliações subsequentes, maximizando seus potenciais.

Descritores:
Imunização; Programas de Imunização; Sistema de Informação em Saúde; Estudos de Avaliação; Enfermagem

ABSTRACT

Objective:

To carry out the National Immunization Program Information System (SIPNI) accessability assessment (EA), considering the description of the intervention, the elaboration of the theoretical-logical model and the identification of the evaluative questions.

Method:

A single case study with a qualitative approach, based on the system of seven elements proposed by Thurston and Ramaliu (2005). The SIPNI and the context of analysis, the vaccination rooms, were defined as the case.

Results:

The SIPNI description, based on documents and scientific evidence, made it possible to understand its operationalization, the main events that characterize it. The theoretical-logical model visually and systematically configured the SIPNI organization with details of the inputs, activities, products and expected effects. The evaluative questions were evaluated and validated to evaluate the SIPNI.

Final considerations:

The SIPNI is evaluable and presented a favorable scenario for its development. EA is an important strategy for planning subsequent evaluations, maximizing their potentials.

Descriptors:
Immunization; Immunization Programs; Health Information System; Evaluation Studies; Nursing

RESUMEN

Objetivo:

Realizar Estudio de Evaluación (EA) del Sistema de Información del Programa Nacional de Inmunización (SIPNI), considerando la descripción de la intervención, la elaboración del modelo teórico-lógico y la identificación de las preguntas evaluativas.

Método:

Estudio de caso único, con enfoque cualitativo, basado en el sistema de los siete elementos propuestos por Thurston y Ramaliu (2005). Se definió como caso el SIPNI y el contexto de análisis, las salas de vacunación.

Resultados:

La descripción del SIPNI, fundamentada en documentos y evidencias científicas, posibilitó comprender su operacionalización, los principales acontecimientos que lo caracterizan. El modelo teórico-lógico configuró de forma visual y sistemática la organización del SIPNI con detalle de los insumos, actividades, productos y efectos esperados. Se establecieron y validaron las preguntas de evaluación para evaluar el SIPNI.

Consideraciones finales:

El SIPNI es evaluable y presenta un escenario favorable para su desarrollo. El EA es una estrategia importante para la planificación de evaluaciones posteriores, maximizando sus potenciales.

Descriptores:
Inmunización; Programas de Inmunización; Sistema de Información en Salud; Estudios de Evaluación; Enfermería

INTRODUÇÃO

Os Sistemas de Informação em Saúde (SIS) consistem na junção de componentes inter-relacionados que coletam, processam, armazenam, disseminam a informação e garantem a produção de conhecimentos que se processam em função de interesses em termos da sua utilização e seus efeitos nas práticas do cotidiano em saúde⁽¹⁾. Os SIS se conformam como ferramentas de gestão com grande potencial para o planejamento e a tomada de decisões na organização dos serviços de saúde⁽²⁾.

No Brasil, tem se fomentado o desenvolvimento e a implantação de diversos SIS, entre eles o Sistema de Informação do Programa Nacional de Imunização (SIPNI), implantado com o propósito de coletar dados referentes às atividades de vacinação de forma a gerar informação individualizada a partir da instância local para auxiliar as decisões e ações no âmbito da sua gestão^(3-4). Espera-se com a implantação de tais tecnologias o aprimoramento da qualidade da informação para o planejamento e avaliação das ações de imunização em um contexto municipal⁽⁵⁾.

A implantação do SIPNI municipal visa gerenciar a qualidade das informações do vacinado no percorrer da sua vida, a notificação das vacinas agendadas e em atraso, a vigilância ativa dos eventos adversos pós-vacinação (EAPV), o controle da validade dos imunobiológicos e o lote das vacinas em uso e no estoque⁽⁶⁾. A sua utilização propiciará a identificação de bolsões de baixa cobertura vacinal, a vigilância epidemiológica de doenças imunopreveníveis, a vigilância ativa de EAPV e, se relacionado com outras bases de dados, pode alavancar estudos de avaliação de impacto de vacinas^(4-5,7).

Contudo, pressupõe-se que existam diferenças no processo de implantação do SIPNI entre os municípios. Diferenças essas, influenciadas pela não implementação de uma política de informação e informática em saúde voltada para a organização dos processos de produção, uso e disseminação de informação e pela insuficiência de capacitação de recursos humanos para a gestão da informação⁽²⁾. Ademais, a descentralização de uma inovação tecnológica implica em mudanças estruturais e de processo no cotidiano dos profissionais de saúde e usuários dos serviços, e por isso configura-se como um processo complexo, que determinará por um lado, na adoção efetiva da nova tecnologia ou, na sua rejeição⁽⁸⁾.

O SIPNI encontra-se em fase avançada de implantação no Brasil, mas ainda enfrenta desafios e obstáculos relacionados à capacitação dos profissionais, ao domínio da tecnologia, à manutenção do sistema e à garantia da confidencialidade das informações⁽⁵⁾. Considerando-se a importância do SIPNI para a prática de imunização e a institucionalização da avaliação de programas, serviços e práticas de saúde, há em curso, a proposta de desenvolver modelos para avaliar o processo de implantação do SIPNI. A primeira etapa dessa avaliação é tratada como evaluability assessment (estudo da avaliabilidade - EA), objeto deste artigo.

O EA é desenvolvido antes da avaliação propriamente dita e descreve, de forma coerente, um plano para a avaliação, incluindo as relações entre as partes interessadas e a lógica de funcionamento, a análise de plausibilidade e da viabilidade dos seus objetivos, tornando-a mais consistente e com maior credibilidade. Espera-se com isso, a descrição completa da intervenção dos modelos lógico e teórico das questões fundamentais a serem abordadas pela avaliação, do plano de avaliação e do acordo entre as partes interessadas^(9-10).

Recentemente, este tipo de abordagem avaliativa vem despertando o interesse de muitos estudiosos e é cada vez mais frequente no Brasil, pois permite um entendimento aprofundado sobre os aspectos mais importantes do objeto da pesquisa e uma apreciação prévia das possibilidades de avaliação posteriores, maximizando seus potenciais^(11-13). Um programa, neste caso, o SIPNI, merece uma avaliação extensa quando considerado que este opera como previsto, é relativamente estável ao longo do tempo e há indícios de estar alcançando algum resultado positivo.

O PNI tem como atores principais no nível local da assistência, a equipe de enfermagem. Assim, o enfermeiro que se apodera dessa metodologia consegue avaliar as ações de serviços em sala de vacinação, identificando fragilidades, melhorias e possíveis ações, subsidiando o planejamento e a tomada de decisões frente às atividades de vacinação no cotidiano dos serviços.

OBJETIVO

Realizar o EA do SIPNI, considerando a descrição da intervenção (implantação do SIPNI), a elaboração do modelo teórico-lógico e a identificação das perguntas avaliativas.

MÉTODO

Aspectos éticos

Este estudo foi aprovado no Comitê de Ética em Pesquisa com Seres Humanos da Universidade Federal de São João Del Rei (CEP/UFSJ).

Tipo de estudo e referencial teórico-metodológico

Realizou-se um EA, com abordagem qualitativa, baseado no sistema dos sete elementos proposto por Thurston e Ramaliu⁽⁹⁾, são estes: (a) a descrição do programa identificando as metas, os objetivos e as atividades que o constituem; (b) a identificação e revisão dos documentos disponíveis no programa; (c) a modelagem dos recursos disponíveis, das atividades pretendidas, impactos esperados e conexões causais presumidas (Modelo Lógico do Programa); (d) a supervisão do programa, ou obtenção de um entendimento preliminar de como opera; (e) o desenvolvimento de um Modelo Teórico da Avaliação; (f) a identificação de usuários da avaliação e outros principais envolvidos; e (g) a obtenção de um acordo quanto ao procedimento de uma avaliação.

Com o propósito de assegurar a qualidade da pesquisa foram utilizados os parâmetros avaliativos do Joint Committee on Standards for Educational Evaluation⁽¹⁴⁾ (JCSEE): utilidade, factibilidade/exequibilidade, propriedade e precisão/acurácia.

Procedimentos metodológicos

Para o estudo, foram analisados no período entre outubro de 2016 e janeiro de 2017, documentos incluindo manuais, portarias, normas técnicas, relatórios e materiais de divulgação sobre o SIPNI, além de artigos disponíveis nas bases de dados PubMed, SciELO, Lilacs e Medline. Concomitantemente, foram realizadas visitas à Secretaria de Estado de Saúde (SES) de Minas Gerais (MG) à Superintendência Regional de Saúde (SRS) da Região Oeste e às Secretarias Municipais de Saúde (SMS) de dois municípios de MG que implantaram o SIPNI e suas respectivas salas de vacinação, para apreensão da realidade de sua operacionalização e identificação de interessados (Stakeholders) que poderiam contribuir e apoiar a avaliação. Quatro reuniões foram realizadas com a participação de dois pesquisadores com expertise em imunização e sistemas de informação e 10 interessados (referências técnicas em imunização e SIPNI em MG). A escolha intencional do Estado MG e dos municípios para visita in loco justifica-se pela proposta de realização de uma pesquisa avaliativa do tipo análise de implantação⁽¹⁵⁾, a ser desenvolvida pelos autores deste artigo posteriormente.

O conjunto de informações possibilitou a elaboração dos modelos teórico e lógico na perspectiva dos autores Champagne et al⁽¹⁵⁾ e a obtenção de um acordo quanto ao procedimento do EA. A partir do modelo lógico do SIPNI foram identificadas as perguntas avaliativas e, posteriormente, estas foram validadas de acordo com os critérios de relevância, objetividade e clareza. Utilizou-se a técnica de Delfos (Delphi)⁽¹⁶⁾ para a validação de conteúdo das questões.

Foram convidados a participar do painel 29 juízes, dentre eles: 13 doutores e mestres da área acadêmica e 16 especialistas atuantes no MS, SES, SRS e SMS. Utilizando-se o software LimeSurvey, foi solicitado a cada um dos juízes que avaliassem cada questão, classificando-as em uma escala de opinião: (1) Não Representativo, (2) Representativo, mas precisa de revisão e (3) Item representativo⁽¹⁷⁾. O grau de concordância das respostas foi encontrado a partir do percentual de questões classificadas no item 3 (representativo). Foi considerado como ponto de corte para obtenção do consenso, valores acima de 70%⁽¹⁸⁾.

RESULTADOS

Compreendendo a intervenção: identificação e revisão dos documentos disponíveis, descrição do Sistema de Informação do Programa Nacional de Imunização e a obtenção de um entendimento preliminar de como opera (Elementos a, b, d)

No Brasil a implantação do Sistema Informatizado de Imunização (SII) iniciou-se no ano de 1994. O Sistema de Informação de Avaliação do Programa de Imunização (SI-API) foi o primeiro a ser implementado para organizar as ações de imunizações no território nacional, chegando a uma cobertura de 100% em 1997⁽¹⁹⁾.

Ao longo de 12 anos, o SI-API foi um meio para a disseminação de dados de vacinação, mas tornou-se uma tecnologia insuficiente frente às novas demandas do PNI. Esse fato impulsionou o desenvolvimento de um novo SII, em 2010, que congregou, em uma base de dados única, os subsistemas existentes de ações de imunização^(5,20).

O SIPNI foi desenvolvido pelo PNI em parceria com o Departamento de Informática do SUS (DATASUS), com a finalidade de agregar os sistemas existentes em um único software e de modo interligado. Ele substituiu os sete módulos ou subsistemas: Sistema de Informação de Estoque e Distribuição de Imunobiológicos (SI-EDI); Sistema de Informação de Apuração dos Imunobiológicos Utilizados (SI-AIU); Sistema de Informação de Eventos Adversos Pós Vacinais (SI-EAPV); Sistema de Informação do Programa de Avaliação de Instrumento de Supervisão (SI-PAIS); Sistema de Informação do Programa de Avaliação do Instrumento de Supervisão em Sala de Vacinação (SI-PAISSV); Sistema de Informação do Centro de Referência de Imunobiológicos Especiais (SI-CRIE); e o Sistema de Informação de Avaliação do Programa de Imunização (SI-API)⁽⁶⁾.

Existem duas versões do SIPNI, a desktop (modo off-line) e a web (modo online). Em 2010, iniciou-se a implantação da versão desktop nos municípios brasileiros. Atualmente, a versão web ainda se encontra em fase de implantação em algumas cidades brasileiras. As duas versões têm suas vantagens e desvantagens. O SIPNI web tem como principal dificuldade a necessidade do acesso à internet de boa qualidade e o registro adequado e oportuno de vacinação quando o sistema está off-line. Já na versão desktop, a principal dificuldade é em evitar os registros duplicados, uma vez que as salas de vacinas de um mesmo município não se comunicam entre si, de forma que um indivíduo cadastrado em uma unidade de saúde poderá vir a ser novamente cadastrado em outra unidade do mesmo município^(4-5).

O SIPNI encontra-se sobre a Coordenação Geral do PNI (CGPNI) que reconhece essa inovação tecnológica para além da sua potencialidade, um meio eficaz para a disseminação de dados de vacinação. Trata-se de um SIS desenvolvido, de forma a gerar informação individualizada de qualidade na instância local para subsidiar as decisões e ações no âmbito da sua gestão. Tem como objetivos: a identificação dos vacinados e de suas procedências, o fornecimento de dados de coberturas vacinais e proporção de abandono e EAPV, além da apuração de imunobiológicos utilizados na rede e nos Centros de Referência de Imunobiológicos Especiais (CRIE) (BRASIL, 2014). As informações produzidas pelo SIPNI também podem ser utilizadas para fins acadêmicos⁽⁵⁾.

As metas esperadas, com a descentralização do SIPNI, incluem: a identificação de bolsões de baixa cobertura vacinal, o aprimoramento da vigilância epidemiológica de doenças imunopreviníveis e da vigilância ativa de EAPV, além de favorecer estudos de avaliação de impacto de vacinas em conjunto com outras bases de dados⁽⁵⁾.

Apesar dos benefícios do SIPNI, houve pouca adesão dos municípios nos primeiros anos de implantação. Para estimular a implantação desse Sistema, em 2012, foi repassado um incentivo financeiro para os estados, distrito federal e municípios, mediante a assinatura do termo de adesão firmado entre estados e municípios^(21-22). Agregam-se a isso, recomendações de capacitações para as referências técnicas do SIPNI e profissionais da atenção primária em saúde (APS). Na ocasião, foram disponibilizados vídeos-aulas por meio do canal do Ministério da Saúde (MS) e do Youtube com intuito de auxiliar e treinar os profissionais para utilização do SIPNI. Essa conduta ia de encontro à determinação que todos os municípios implantassem o SIPNI até o prazo final de 31 de dezembro de 2013^(20,23).

A linha do tempo apresentada na Figura 1 apresenta os principais acontecimentos e os processos que a caracterizam, expressos nos documentos analisados. Nesses elementos de orientação propostos por Thurston e Ramaliu⁽⁹⁾, cumpre-se o padrão de qualidade de precisão, pois garantiu descobertas consideradas corretas sobre o SIPNI.

Figura 1
Linha do tempo dos principais eventos ocorridos no processo de implantação do Sistema de informação do Programa Nacional de Imunização, 2017

Identificação dos interessados na avaliação e à obtenção de um acordo quanto ao procedimento de uma avaliação (Elementos f, g)

Este estudo foi proposto e conduzido por pesquisadores da Universidade Federal de São João Del Rei (UFSJ) e teve adesão de 10 interessados engajados em diferentes níveis de atuação no SIPNI, sendo estes referências técnicas, enfermeiros e pesquisadores. Os interessados aprovaram e estimularam a avaliação, forneceram informações, documentos e arquivos eletrônicos, além de terem participado das reuniões de trabalho. Esse envolvimento possibilitou uma maior aproximação dos pesquisadores com a situação e os diversos aspectos relacionados ao SIPNI. Essas etapas garantiram o cumprimento dos padrões de qualidade: utilidade (avaliação se torna útil e relevante), propriedade (ética, respeito ao direito e interesse dos interessados na avaliação).

Ademais, os avaliadores reconheceram o engajamento de outros interessados na avaliação do SIPNI, e mesmo sem a participação deles nesse estudo, foi apresentado o envolvimento, interesse e participação de cada um no processo avaliativo (Quadro 1).

Quadro 1
Interessados na avaliação do Sistema de informação do Programa de Imunização, 2017

Interessados na avaliação do Sistema de Informação do Programa Nacional de Imunização
Interessado	Envolvimento/Interesse na avaliação
Referências técnicas nacionais e estaduais.	Envolvido na implantação do SIPNI: execução, coordenação.Interesse: Implementar o projeto considerando uma ferramenta de gestão (utilizar os resultados da avaliação com fins de refletir sobre o progresso da implantação do Sistema; de alocar ou justificar investimentos financeiros).
Referência técnica regional.	Envolvido na implantação do SIPNI: execução, coordenação.Interesse: Implementar o projeto considerando uma ferramenta de gestão para apoiar e dar suporte aos municípios. Forneceram informações, documentos e arquivos eletrônicos, além de participar dos encontros de trabalho.
Referência técnica municipal.	Envolvido na implantação do SIPNI: execução, coordenação.Interesse: Implantar o Sistema para monitorar e avaliar atividades de imunização no município.Forneceram informações, além de participar dos encontros de trabalho.
Profissionais atuantes em salas de vacinas.	Envolvido com a operacionalização do SIPNI.Interesse: Aprimorar as atividades de imunização em nível local de saúde.Participaram dos encontros de trabalho.
Discentes e docentes.	Envolvido com pesquisas científicas.Interesse: utilizar as informações do SIPNI para o desenvolvimento das pesquisas.
Usuários dos serviços.	Beneficiados pelo SIPNI. Interesse: melhoria do cuidado em saúde.
Pesquisadores envolvidos com a pesquisa.	Envolvido com o aprimoramento da qualidade da informação e melhorias no cotidiano dos serviços. Interesse: Produção e aplicação do conhecimento. Operacionalização do processo avaliativo.

• Nota: SIPNI: Sistema de Informação do Programa Nacional de Imunização.

Desenvolvimento de modelos para a avaliação do Sistema de Informação do Programa Nacional de Imunização (Elementos c, e)

Após a descrição do SIPNI, e a obtenção de um entendimento da sua operacionalização, foram desenvolvidos os modelos teórico e lógico do SIPNI com foco no objetivo da avaliação. No modelo teórico destacam-se, no contexto externo, a coordenação geral do PNI enquanto coordenadora do SIPNI que prima pelo aprimoramento das ações de imunização nas localidades; o DATASUS que desenvolveu o SII como uma tecnologia inovadora para a transmissão de dados de vacinação; as redes públicas e privadas, gestores e usuários do SIPNI; e as Instituições de Ensino e Pesquisa, usuários das informações produzidas e transmissores de conhecimento para o seu aprimoramento. O contexto interno é a organização do SIPNI propriamente dito, que tem como propósito gerar informação individualizada oportuna e adequada dos vacinados (Figura 2).

Figura 2
Modelo teórico do Sistema de Informação do Programa de Imunização, 2017

Com a finalidade de compreender a organização do SIPNI, foi desenvolvido o modelo lógico, que consiste em uma imagem-objetivo de como o sistema deve supostamente funcionar. Sintetiza os principais componentes da intervenção, desde o seu planejamento até os resultados esperados⁽²⁴⁾.

O modelo lógico do SIPNI define três componentes a serem avaliados, são eles: Gestão do SIPNI que está subdividido em dois subcomponentes (Análise e divulgação das informações e Operacionalização); Registro do Vacinado e Movimento dos Imunobiológicos. Para cada um dos componentes e subcomponentes descritos no modelo lógico, foram definidos os insumos necessários (recursos empregados e sua organização), as atividades (serviços ou bens produzidos) e os resultados esperados em curto, médio e longo prazo (impacto)⁽¹⁵⁾ conforme mostrado na Figura 3.

Figura 3
Modelo lógico do Sistema de Informação do Programa de Imunização, 2017

Esta etapa garantiu a identificação dos componentes e as relações causais presumidas, além da formulação das perguntas avaliativas. A validação de conteúdo das perguntas identificadas (59) apontou concordância de 80,6% na relevância, 72,3% na objetividade e 71,5% na clareza das questões. Das 59 questões analisadas, duas foram descartadas (grau de concordância inferior a 70%). De forma geral, os juízes relataram que as questões estavam claras, de fácil compreensão e abordavam as atividades, os recursos e os resultados previstos na organização do SIPNI.

As perguntas classificadas (57) foram dispostas em um questionário, agrupadas segundo os componentes do SIPNI e as dimensões de estrutura, processo e resultados⁽¹⁵⁾. Foram cumpridos nessas etapas do EA, quatro padrões de qualidade: a precisão; a propriedade; a utilidade; e a exequibilidade, pois a avaliação leva em consideração interesses de diversos grupos e o bom custo-benefício.

DISCUSSÃO

O EA, mostrou-se útil para melhor compreensão do SIPNI, permitiu esclarecer os seus propósitos e objetivos, o desenvolvimento da teoria do Sistema, a elaboração de um modelo capaz de verificar a plausibilidade das relações entre os componentes, insumos, atividades e resultados. O embasamento teórico dos propósitos, meios e fatores condicionantes da intervenção são relevantes para a identificação de nós críticos pertinentes às avaliações subsequentes⁽²⁵⁾.

As pesquisas avaliativas têm sido utilizadas para auxiliar o julgamento daqueles que tomam as decisões, pois contribuem para a compreensão da realidade no cotidiano do trabalho, transformando as ideias, práticas e os valores. Esse processo de gestão orientada “evidence informed management” transforma e inova o aprendizado individual e coletivo⁽²⁶⁾.

Dentre as várias estratégias avaliativas⁽¹⁵⁾, o EA fundamenta o desenvolvimento do plano da avaliação. Esta abordagem metodológica permite que as avaliações subsequentes sejam desenvolvidas com maior facilidade e fidedignidade, o que maximiza seus potenciais e favorece a utilização de recursos em avaliação e o conhecimento dos envolvidos sobre a intervenção⁽⁹⁾.

Destaca-se que, as etapas avaliativas realizadas neste estudo, favoreceram o cumprimento dos padrões de qualidade da avaliação⁽¹⁴⁾ e dos objetivos do EA, que incluem: identificar concordâncias quanto aos objetivos, metas e população-alvo; verificar a existência de dados disponíveis a um custo razoável e averiguar se o conhecimento gerado será utilizado pelos avaliadores e demais interessados na intervenção⁽⁹⁾. As etapas avaliativas do EA são ferramentas que possibilitam ao pesquisador verificar a utilidade, a exequibilidade e o uso dos recursos da avaliação para analisar programas ou políticas de saúde^(11-12).

No decorrer da pesquisa, os avaliadores externos valorizaram a identificação das partes interessadas na avaliação do SIPNI, tendo em vista a possibilidade de compreensão das práticas e de identificação de problemas no cotidiano. O envolvimento de pessoas interessadas na avaliação quase sempre elucida problemas ligados com a gestão, e são geralmente, tomadores de decisão ou executores, que poderão incorporar os resultados da avaliação para aperfeiçoar, ampliar ou modificar a intervenção⁽²⁷⁾. Essa articulação entre perspectivas interna e externa numa avaliação constitui-se na abordagem mais desejável para identificar problemas e explicações do objeto avaliado⁽²⁶⁾.

Agrega-se ainda à estruturação desse estudo, a análise de documentos que apresentaram informações coerentes e consistentes com o propósito do SIPNI. Contudo, foram identificados apenas os manuais do PNI⁽¹⁹⁾ e do SIPNI⁽²⁰⁾, os demais analisados incluem as portarias. Evidenciou-se apenas um artigo de revisão sobre o SIPNI⁽⁵⁾. Para complementar as informações, foram realizadas visitas in loco e reuniões para ampliar a descrição do SIPNI. Atualmente, a combinação de diferentes técnicas de pesquisa na avaliação não é excludente ou antagónico, antes pelo contrário, traduzem, cada qual à sua maneira, as articulações entre o singular, o individual e o coletivo^(26-27).

O conjunto dos elementos já mencionados foi essencial para a elaboração do modelo lógico do SIPNI. O modelo foi essencial para compreender as premissas teóricas em que o Sistema se fundamenta para definir exatamente o que deve ser medido e qual a parcela de sua contribuição nos resultados observados⁽²⁴⁾. Ademais, o modelo elaborado nesse estudo proporcionou um aumento da validade interna⁽²⁸⁾ e subsidiou a identificação das perguntas avaliativas, fundamentais na condução da avaliação.

É fundamental, num processo avaliativo, a clareza das perguntas avaliativas⁽²⁷⁾. A ausência dessa clareza acarretará no acúmulo de dados e de informações que poderão não ser úteis para os interessados na avaliação. Neste sentido, a validação das questões identificadas por meio da técnica Delphi nesse estudo apresentou-se uma importante estratégia para guiar ajustes pertinentes quanto ao conteúdo e à forma de apresentação de algumas questões, o que certamente aumentará o poder analítico da ferramenta.

Com o desenvolvimento do EA, foram levantados alguns apontamentos sobre os eventos críticos e em potencial do SIPNI, considerando o período de observação das experiências da sua implantação até 2017. O SIPNI possui potencial que pode melhorar a assistência prestada a pessoa vacinada, o planejamento das ações de imunização oferecida pela equipe que atua em sala de vacinas e contribuir para a redução da taxa de adoecimento por doenças imunopreviníveis^(5,29).

Um desses potenciais é a possibilidade do monitoramento do estado vacinal das pessoas, o que permite decidir sobre a administração de vacinas e busca ativa dos indivíduos com situação vacinal em atraso. Outro ponto destacado é a gestão qualificada dos recursos públicos e privados ao utilizar o Sistema, uma vez que, essa tecnologia proporciona diminuição de gastos administrativos através do controle do estoque e das perdas de imunobiológicos. Ademais, oferece suporte ao vacinador para decidir sobre administração de vacinas, o que evita desperdícios de doses de imunobiológicos administradas desnecessariamente. Com isso, é capaz de auxiliar na operacionalização das ações de imunização^(5,29-30).

As informações produzidas possibilitam a identificação de bolsões de baixa cobertura, o que propicia o acesso equânime da população aos imunobiológicos e, consequentemente, redução da taxa de adoecimento por doenças imunopreviníveis. Apoiam o planejamento das ações de imunização, subsidiando o cálculo e o monitoramento das coberturas vacinais, taxas de abandono, além de fornecer subsídios para a realização da vigilância dos EAPV. Além disso, a sistematização dos registros de vacinação e a completude dos dados favorecem positivamente a utilização dessas informações em pesquisas científicas, o que potencializará uma descrição e avaliação mais próxima a realidade^(4-5,29,31).

Entretanto, essas informações são subutilizadas no planejamento das ações e da gestão desses serviços. Na maioria das vezes, o planejamento se dá em função da demanda espontânea dos usuários. Outro fato importante observado é que os gestores possuem pouco conhecimento acerca dos SII e suas finalidades. A visão destes gestores se baseia na ideia de que os sistemas informatizados são apenas instrumentos obrigatórios, burocráticos, cuja função é captar dados das unidades de saúde e suas áreas de abrangência e encaminhá-los aos níveis municipal, estadual e federal^(32-33).

A incompletude e consistência dos dados, a fragmentação nos cuidados de saúde, o custeio da tecnologia (software) e o financiamento são os principais entraves destacados para a utilização desses sistemas^(34-35). O treinamento dos profissionais dos serviços de saúde e de vigilância em saúde é discutido como uma das dificuldades para a implantação do SIPNI no Brasil. É necessário integrar ações dos níveis municipal, estadual e nacional de saúde para a realização de capacitações, treinamentos, cursos e/ou oficinas para operacionalização e utilização desse SIS como ferramenta de gestão na efetivação das ações do PNI⁽⁵⁾.

No EA realizado foi possível identificar a situação problemática: os novos desafios do SIPNI diante das atividades e responsabilidades dos serviços locais decorrentes da sua implantação, incorporando a operacionalização do Sistema, que inclui: o registro do vacinado, o movimento dos imunobiológicos, a análise, uso e divulgação das informações produzidas. Permitirá, ainda, identificar se os resultados do SIPNI serão utilizados e se existe indicativo de sua sustentabilidade⁽⁹⁾. Neste aspecto, para o SIPNI ser eficaz e sustentável é preciso compromisso institucional e individual, previamente estabelecidos, ajustar o escopo do trabalho, redefinir metas, considerar os aspectos financeiro, administrativo, técnico, além da dimensão de tempo da implantação.

Limitações do estudo

A escassez de manuais, normativas e artigos sobre o SIPNI dificultou a construção da modelagem dessa inovação tecnológica, o que pode impactar na elaboração das questões e, consequentemente, no ponto de corte do consenso dos valores do grau de concordância. Na revisão teórica, observou-se no Brasil e em outros países, uma carência de instrumentos que avaliem SIS em todas as suas dimensões (estrutura, processo e resultados). Essa prática ainda não é institucionalizada nos serviços, permanecendo ainda, apenas avaliações de resultados, como coberturas, completudes e confiabilidade dos dados^(29-31).

Contribuições para a enfermagem e política pública

Os EA são vistos com grande relevância pela comunidade científica internacional e, por isso, o presente estudo pode agregar à comunidade científica brasileira novos referenciais teóricos e metodológicos na avaliação de serviços, programas e sistemas de saúde. E para a enfermagem, responsável exclusivamente pelas atividades realizadas em salas de vacinas no serviço público de saúde brasileiro, a efetiva implantação do SIPNI favorecerá a otimização do processo de trabalho em imunização, com a redução do tempo despendido com registros de vacinação e a administração de doses desnecessárias; e a garantia da segurança em sala de vacina com o monitoramento de evento adverso pós-vacinação e o registro atualizado do vacinado.

CONSIDERAÇÕES FINAIS

O EA favoreceu o planejamento da avaliação do SIPNI, ajudando a determinar os propósitos e o foco avaliativo do sistema. Desta forma, considera-se o EA uma estratégia avaliativa apropriada para o planejamento de avaliações posteriores do SIPNI. Através dessa fase preparatória, foi possível justificar, cientificamente, a decisão de avaliar a sua implantação e ainda conhecer a sua organização e o seu funcionamento. O modelo lógico e as matrizes de medidas serão fundamentais para o desenvolvimento de pesquisas avaliativas para saber em que medida os objetivos do SIPNI estão sendo alcançados e quais os avanços e os desafios observados no processo de implantação.

• FOMENTO
  Agências de fomento: Fundação de Amparo à Pesquisa de Minas Gerais e Ministério da Saúde (CBB - APQ-03509-13; APQ-01505-17; APQ-03787-17); Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Bolsa CAPES 09315725689).

REFERENCES

• ¹
  Pinheiro ALS, Andrade KTS, Silva DO, Zacharias FCM, Gomide MFS, Pinto IC. Health Management: the use of information systems and knowledge sharing for the decision making process. Texto Contexto Enferm [Internet]. 2016 [cited 2017 May 26];25(3):e3440015. Available from: http://www.scielo.br/pdf/tce/v25n3/0104-0707-tce-25-03-3440015.pdf
  » http://www.scielo.br/pdf/tce/v25n3/0104-0707-tce-25-03-3440015.pdf
• ²
  Cavalcante RB, Kerr Pinheiro MM, Guimarães EAA, Miranda RM. Panorama de definição e implementação da Política Nacional de Informação e Informática em Saúde. Cad Saúde Pública [Internet]. 2015 [cited 2017 May 27]; 31(5):960-70. Available from: http://www.scielosp.org/pdf/csp/v31n5/0102-311X-csp-31-5-0960.pdf
  » http://www.scielosp.org/pdf/csp/v31n5/0102-311X-csp-31-5-0960.pdf
• ³
  Brasil. Ministério da Saúde. Secretaria de Vigilância em Saúde. Departamento de Vigilância das Doenças Transmissíveis. Manual de vigilância epidemiológica de eventos adversos pós-vacinação. 3. ed. Brasília: Ministério da Saúde; 2014. 250 p.
• ⁴
  Luhm KR, Waldman EA. Sistemas informatizados de registro de imunização: uma revisão com enfoque na saúde infantil. Epidemiol Serv Saúde [Internet]. 2009 [cited 2017 Jan 14]; 18(1):65-78. Available from: http://scielo.iec.pa.gov.br/pdf/ess/v18n1/v18n1a07.pdf
  » http://scielo.iec.pa.gov.br/pdf/ess/v18n1/v18n1a07.pdf
• ⁵
  Sato APS. National immunization program: computerized system as a tool for new challenges. Rev Saúde Pública [Internet]. 2015 [cited 2016 Dec 10];49:39. Available from: http://www.scielo.br/pdf/rsp/v49/0034-8910-rsp-S0034-89102015049005925.pdf
  » http://www.scielo.br/pdf/rsp/v49/0034-8910-rsp-S0034-89102015049005925.pdf
• ⁶
  Brasil. Ministério da Saúde. Datasus. SI - PNI - Sistema de Informações do Programa Nacional de Imunizações [Internet]. 2017 [cited 2017 Jan 28]. Available from: http://datasus.saude.gov.br/sistemas-e-aplicativos/epidemiologicos/si-pni
  » http://datasus.saude.gov.br/sistemas-e-aplicativos/epidemiologicos/si-pni
• ⁷
  Community Preventive Services Task Force. CPSTF. Recommendation for use of immunization information systems to increase vaccination rates. J Public Health Manag Pract [Internet]. 2014 [cited 2017 Jul 20];21(3):249-52. Available from: http://journals.lww.com/jphmp/Fulltext/2015/05000/Recommendation_for_Use_of_Immunization_Information.3.aspx
  » http://journals.lww.com/jphmp/Fulltext/2015/05000/Recommendation_for_Use_of_Immunization_Information.3.aspx
• ⁸
  Holmes ES, Santos SR, Almeida AF, Oliveira JHD, Carvalho GDA, Fonsêca LCT, et al. Health information systems in the decision-making process in primary care. Int Arch Med [Internet]. 2016 [cited 2017 Feb 10];9. Available from: http://imed.pub/ojs/index.php/iam/article/view/1380/1116
  » http://imed.pub/ojs/index.php/iam/article/view/1380/1116
• ⁹
  Thurston W, Ramaliu A. Evaluability assessment of a survivor of torture program: lessons learned. Can J Program Eval [Internet]. 2005 [cited 2017 Mar 15]; 20(2):1-25. Available from: http://www.evaluationcanada.ca/secure/20-2-001.pdf
  » http://www.evaluationcanada.ca/secure/20-2-001.pdf
• ¹⁰
  Trevisan MS, Walser TM. Evaluability assessment: improving evaluation quality and use. CA: Sag. Thousand Oaks; 2014.
• ¹¹
  Padilha MA, Oliveira CM, Figueiró AC. Estudo de avaliabilidade do programa academia carioca da saúde: desafios para a promoção da saúde. Saúde Debate [Internet]. 2015 [cited 2017 Feb 26]; 39(105):375-86. Available from: http://www.scielo.br/pdf/sdeb/v39n105/0103-1104-sdeb-39-105-00375.pdf
  » http://www.scielo.br/pdf/sdeb/v39n105/0103-1104-sdeb-39-105-00375.pdf
• ¹²
  Pereira CN, Luiza VL, Cruz MM. Serviços farmacêuticos na atenção primária no município do Rio de Janeiro: um estudo de avaliabilidade. Saúde Debate [Internet]. 2015 [cited 2017 May 26]; 39(105):451-68. Available from: http://www.redalyc.org/pdf/4063/406341748014.pdf
  » http://www.redalyc.org/pdf/4063/406341748014.pdf
• ¹³
  Coelho AA, Martiniano CS, Brito EWG, Negrão OGC, Arcêncio RA, Uchôa SAC. Tuberculosis care: an evaluability study. Rev Latino-Am Enferm [Internet]. 2014 [cited 2017 Jun 27]; 22(5):792-800. Available from: http://www.scielo.br/pdf/rlae/v22n5/0104-1169-rlae-22-05-00792.pdf
  » http://www.scielo.br/pdf/rlae/v22n5/0104-1169-rlae-22-05-00792.pdf
• ¹⁴
  Joint Committee on Standards for Educational Evaluation. JCSEE. Program Evaluation Standards Statements [Internet]. 2017 [cited 2017 Jul 4]. Available from: http://www.jcsee.org/program-evaluation-standards-statements
  » http://www.jcsee.org/program-evaluation-standards-statements
• ¹⁵
  Champagne F, Contandriopoulos AP, Brousselle A, Hartz Z, Denis JL. A avaliação no campo da saúde: conceitos e métodos. In: Brousselle A, Champagne F, Contandriopoulos AP, Hartz Z (Orgs.). Avaliação em saúde: conceitos e métodos. Rio de Janeiro: Fiocruz; 2011.
• ¹⁶
  Coluci MZO, Alexandre NMC, Milani D. Construção de instrumentos de medida na área da saúde. Ciênc Saúde Colet [Internet]. 2015 [cited 2017 May 26]; 20(3):925-36. Available from: http://www.scielo.br/pdf/csc/v20n3/1413-8123-csc-20-03-00925.pdf
  » http://www.scielo.br/pdf/csc/v20n3/1413-8123-csc-20-03-00925.pdf
• ¹⁷
  Lucian R, Dornellas JS. Mensuração de Atitude: proposição de um protocolo de elaboração de escalas. RAC [Internet]. 2015 [cited 2017 Jun 3]; 19(2):157-77. Available from: http://www.scielo.br/pdf/rac/v19nspe2/1982-7849-rac-19-spe2-0157.pdf
  » http://www.scielo.br/pdf/rac/v19nspe2/1982-7849-rac-19-spe2-0157.pdf
• ¹⁸
  Pereira RDM, Alvim NAT. Técnica Delphi no diálogo com enfermeiros sobre a acupuntura como proposta de intervenção de enfermagem. Esc Anna Nery Rev Enferm [Internet]. 2015 [cited 2017 Jun 5]; 19(1):174-80. Available from: http://www.scielo.br/pdf/ean/v19n1/1414-8145-ean-19-01-0174.pdf
  » http://www.scielo.br/pdf/ean/v19n1/1414-8145-ean-19-01-0174.pdf
• ¹⁹
  Brasil. Ministério da Saúde . Fundação Nacional de Saúde e Centro Nacional de Publicação . Manual PNI - Programa Nacional de Imunizações. Brasília: Brasília: Ministério da Saúde; 1998.
• ²⁰
  Brasil. Ministério da Saúde. Secretaria de Vigilância a Saúde. Departamento de Informática do SUS. Coordenação Geral do Programa Nacional de Imunizações. Manual do Sistema de Informação do Programa Nacional de Imunizações - SIIPNI. Brasília: Ministério da Saúde; 2014.
• ²¹
  Brasil. Ministério da Saúde. Repasse financeiro do Ministério da Saúde aos Fundos de Saúde dos Estados. Portaria Nº 2.363, de 18 de outubro de 2012 [Internet]. 2012 [cited 2017 Jun 10]. Available from: http://cosemsrs.org.br/imagens/portarias/por_o2i7.pdf
  » http://cosemsrs.org.br/imagens/portarias/por_o2i7.pdf
• ²²
  Brasil. Ministério da Saúde. Repasse financeiro do ministério da saúde aos fundos de saúde dos estados. Portaria Nº 1.779, de 26 de agosto de 2013 [Internet]. 2013 [cited 2017 Jun 10]. Available from: http://bvsms.saude.gov.br/bvs/saudelegis/gm/2013/prt1779_26_08_2013.html
  » http://bvsms.saude.gov.br/bvs/saudelegis/gm/2013/prt1779_26_08_2013.html
• ²³
  Brasil. Ministério da Saúde. Secretaria de Vigilância em Saúde. Dispõe sobre o prazo final de implantação do SIPNI aos municípios e estados. Ofício Circular 123/2013 [Internet]. 2013 [cited 2017 Jun 10]. Available from: http://www.saude.campinas.sp.gov.br/vigilancia/vacinacao/2016/manual_SIPNI_fev_2014.pdf
  » http://www.saude.campinas.sp.gov.br/vigilancia/vacinacao/2016/manual_SIPNI_fev_2014.pdf
• ²⁴
  Champagne F, Brousselle A, Hartz Z, Contandriopoulos AP. Modelizar as Intervenções. In: Brousselle A, Champagne F, Contandriopoulos AP, Hartz ZMA (Orgs.). Avaliação em saúde: conceitos e métodos. Rio de Janeiro: Fiocruz; 2011.
• ²⁵
  Vieira-da-Silva LM. Avaliação de políticas e programas de saúde. Rio de Janeiro: Editora Fiocruz; 2014. 110p.
• ²⁶
  Denis JL. Institucionalização da avaliação na administração pública. Rev Bras Saúde Mater Infant [Internet]. 2010 [cited 2017 Jun 25];10(Suppl-1):s229-s333. Available from: http://www.scielo.br/pdf/rbsmi/v10s1/20.pdf
  » http://www.scielo.br/pdf/rbsmi/v10s1/20.pdf
• ²⁷
  Tanaka OY, Tamaki EM. O papel da avaliação para a tomada de decisão na gestão de serviços de saúde. Ciênc Saúde Colet [Internet]. 2012 [cited 2017 Jun 20]; 17(4):821-8. Available from: http://www.scielo.br/pdf/csc/v17n4/v17n4a02.pdf
  » http://www.scielo.br/pdf/csc/v17n4/v17n4a02.pdf
• ²⁸
  Alves CKA, Freese E, Cesse EAP, Natal S, Bezerra LCA, Felisberto E. Análise da implantação de um programa com vistas à institucionalização da avaliação em uma Secretaria Estadual de Saúde. Rev Bras Saúde Mater Infant [Internet]. 2010 [cited 2017 Jun 20];10(Suppl-1):s145-s156. Available from: http://www.scielo.br/pdf/rbsmi/v10s1/13.pdf
  » http://www.scielo.br/pdf/rbsmi/v10s1/13.pdf
• ²⁹
  Novick LF. Immunization information systems. J Public Health Manag Pract [Internet]. 2014 [cited 2017 Jun 20];00(00):1-2. Available from: https://www.thecommunityguide.org/vaccines/vpd-jphpm-ed-IIS.pdf
  » https://www.thecommunityguide.org/vaccines/vpd-jphpm-ed-IIS.pdf
• ³⁰
  Stockwell MS, Fiks AG. Utilizing health information technology to improve vaccine communication and coverage. Hum Vaccin Immunother [Internet]. 2013 [cited 2017 Jun 21]; 9(8):1802-11. Available from: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3906285/
  » https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3906285/
• ³¹
  Domingues CMAS, Teixeira AMS. Coberturas vacinais e doenças imunopreveníveis no Brasil no período 1982- 2012: avanços e desafios do Programa Nacional de Imunizações. Epidemiol Serv Saúde [Internet]. 2013 [cited 2017 Jul 21]; 22(1):9-27. Available from: http://scielo.iec.pa.gov.br/pdf/ess/v22n1/v22n1a02.pdf
  » http://scielo.iec.pa.gov.br/pdf/ess/v22n1/v22n1a02.pdf
• ³²
  Lima KWS, Antunes JLF, Silva ZP. Percepção dos gestores sobre o uso de indicadores nos serviços de saúde. Saúde Soc [Internet]. 2015 [cited 2017 Feb 18]; 24(1):61-71 Available from: http://www.scielosp.org/pdf/sausoc/v24n1/0104-1290-sausoc-24-1-0061.pdf
• ³³
  Cavalcante RB, Bernardes MFVG, Gontijo TL, Guimarães EAA, Oliveira VC. Sistema de informação da atenção básica: potencialidades e subutilização no processo decisório. Cogitare Enferm [Internet]. 2013 [cited 2017 May 26]; 18(3):460-7. Available from: http://revistas.ufpr.br/cogitare/article/view/33555/21054
  » http://revistas.ufpr.br/cogitare/article/view/33555/21054
• ³⁴
  Montague E. The promises and challenges of health information technology in primary health care. Prim Health Care Res Dev [Internet]. 2014 [cited 2017 Jul 21]; 15(3):227-30. Available from: https://www.cambridge.org/core/services/aop-cambridge-core/content/view/A041F6E9A40597F5FFBA9DAB717225AA/S1463423614000231a.pdf/promises_and_challenges_of_health_information_technology_in_primary_health_care.pdf
  » https://www.cambridge.org/core/services/aop-cambridge-core/content/view/A041F6E9A40597F5FFBA9DAB717225AA/S1463423614000231a.pdf/promises_and_challenges_of_health_information_technology_in_primary_health_care.pdf
• ³⁵
  Sheikh A, Jha A, Cresswell K, Greaves F, Bates DW. Adoption of electronic health records in UK hospitals: lessons from the USA. Lancet [Internet]. 2014 [cited 2017 Jul 21]; 384(9937):8-9. Available from: http://www.thelancet.com/journals/lancet/article/PIIS0140-6736(14)61099-0/fulltext
  » http://www.thelancet.com/journals/lancet/article/PIIS0140-6736(14)61099-0/fulltext

Datas de Publicação

• Publicação nesta coleção
  2018

Histórico

• Recebido
  30 Ago 2017
• Aceito
  01 Nov 2017