Construção e validação de matriz para avaliação normativa do sistema integrado de saúde das fronteiras^*

Resumos

Objetivo:

construir e validar uma matriz para avaliação normativa do Sistema Integrado de Saúde das Fronteiras.

Método:

estudo metodológico, composto pela construção de uma matriz avaliativa elaborado em três etapas: elaboração do modelo lógico, contendo a tríade estrutura, processo e resultado; definição de questões avaliativas e validação aparente e de conteúdo da matriz. A validação aparente e de conteúdo foi realizada simultaneamente por sete juízes. Para a coleta de dados utilizou-se questionário on-line e a técnica Delphi, e para análise, o Índice de Validade de Conteúdo e Razão de Validade de Conteúdo.

Resultados:

a matriz de avaliação contendo 24 questões foi submetida a duas avaliações para a sua validação aparente e de conteúdo. Na primeira, o Índice de Validade de Conteúdo médio geral foi de 99,40% e a Razão de Validade de Conteúdo de 0,90. Na segunda, o Índice de Validade de Conteúdo foi de 100% e a Razão de Validade de Conteúdo de 1.0, não houve novas proposições e a matriz foi constituída de 24 questões. A matriz foi considerada inteligível quanto à validação de aparência.

Conclusão:

a matriz avaliativa do Sistema Integrado de Saúde das Fronteiras encontra-se validada quanto à aparência e conteúdo para análise do desempenho de ações e políticas públicas em regiões de fronteira.

Descritores:
Estudos de Validação; Avaliação de Programas e Projetos de Saúde; Políticas Públicas de Saúde; Sistemas de Saúde; Áreas de Fronteira; Saúde na Fronteira

Objective:

to build and validate a matrix for normative evaluation of the Integrated Health System of Borders.

Method:

a methodological study, composed by the construction of an evaluation matrix elaborated in three stages: elaboration of the logical model, containing the triad of structure, process and result; definition of evaluative questions and appearance and content validation of the matrix. Appearance and content validation were performed simultaneously by seven judges. For data collection, an online questionnaire and the Delphi technique were used and, for analysis, the Content Validity Index and Content Validity Ratio.

Results:

the evaluation matrix containing 24 questions was submitted to two evaluations for its appearance and content validation. In the first, the overall mean Content Validity Index was 99.40% and the Content Validity Ratio was 0.90. In the second, the Content Validity Index was 100% and the Content Validity Ratio, 1.0; there were no new proposals and the matrix was made up of 24 questions. The matrix was considered intelligible in terms of appearance validation.

Conclusion:

the evaluation matrix of the Integrated Health System of the Borders is validated in terms of appearance and content for analyzing the performance of public actions and policies in border regions.

Descriptors:
Validation Studies; Program Evaluation; Public Health Policy; Health Systems; Border Areas; Border Health

Objetivo:

construir y validar una matriz para evaluar la normativa del Sistema Integrado de Salud de las Fronteras.

Método:

estudio metodológico, compuesto por la construcción de una matriz de evaluación elaborado en tres etapas: elaboración del modelo lógico, que contiene tres componentes: estructura, proceso y resultado, definición de cuestiones evaluativas y validación de aspecto y de contenido de la matriz. Siete jueces realizaron la validación de aspecto y de contenido en forma simultánea. Para la recolección de datos se utilizó un cuestionario online y la técnica Delphi y, para el análisis, el Índice de Validez de Contenido y la Relación de Validez de Contenido.

Resultados:

se sometió la matriz de evaluación con 24 preguntas a dos evaluaciones para su validación de aspecto y de contenido. En la primera, el Índice de Validez de Contenido medio general fue del 99,40% y la Relación de Validez de Contenido fue de 0,90. En la segunda, el Índice de Validez de Contenido fue del 100% y la Relación de Validez de Contenido fue de 1,0; no hubo nuevas propuestas y la matriz quedó constituida por 24 preguntas. Se consideró la matriz inteligible respecto a la validación de aspecto.

Conclusión:

la matriz de evaluación del Sistema Integrado de Salud de las Fronteras se encuentra validada en cuanto a aspecto y contenido para el análisis del desempeño de acciones y políticas públicas en regiones de frontera.

Descriptores:
Estudios de Validación; Evaluación de Programas y Proyectos de Salud; Políticas Públicas de Salud; Sistemas de Salud; Áreas Fronterizas; Salud Fronteriza

Introdução

O conceito de fronteiras tem sido aprimorado ao longo dos anos, deixando ser apenas visto como barreiras, passando a ser zonas de contato e local de integração regional⁽¹⁾.

Nas fronteiras internacionais, entre o espaço local e o internacional, estão situados os povos fronteiriços, que são as pessoas que residem, convivem, se articulam e estabelecem vínculos. Neste contexto acontece a migração pendular, que consiste no deslocamento das pessoas de seu país de origem para o país vizinho, para trabalho, estudo, ou outros motivos⁽²⁾.

A mobilidade de pessoas entre fronteiras internacionais é um fenômeno mundial e pode ocasionar divergências, quando os países apresentam discrepâncias econômicas, como é o caso dos Estados Unidos da América (EUA), que adotam padrões rígidos na divisa com o México, devido à busca de mexicanos por melhores condições de vida nos EUA, além do fluxo por drogas ilegais e em virtude do comércio; em contrapartida este problema não ocorre na fronteira do EUA com o Canadá, pois os países apresentam equivalência econômica⁽³⁾.

No caso do Brasil, o fato de existir sistema nacional de saúde de forma gratuita tem incentivado a migração de pessoas de outros países latinoamericanos para atendimento médico e este fenômeno tem ocasionado a dificuldade do controle e eliminação de doenças como, por exemplo, a hanseníase⁽⁴⁾. A população estrangeira excedente não é contabilizada para fins de repasse financeiro nos municípios fronteiriços⁽⁵⁾.

As políticas públicas para fronteiras e integração transnacional são recentes, anteriormente estavam restritas a segurança e ocupação do território.Somente em 2005 o Ministério da Saúde (MS) lançou o Sistema Integrado de Fronteiras (SIS Fronteiras) com objetivo de realizar um diagnóstico da saúde local, promover a qualificação dos profissionais e aprimoramento da rede de serviços de saúde nos municípios fronteiriços, com vigência de 2005 até 2014⁽⁶⁾. Entretanto, a execução do SIS Fronteiras não encerrou em 2014, as atividades se estenderam pelos anos seguintes, conforme planejamento de cada município para cumprimento das metas estabelecidas.

Considera-se que a avaliação de ações e políticas públicas em regiões de fronteiras é importante para o enfrentamento dos problemas locais, bem como para o desenvolvimento regional⁽⁶⁾. Este estudo objetivou construir e validar uma matriz para avaliação normativa do SIS Fronteiras.

Método

Estudo metodológico, em região de fronteiras, elaborado em três etapas: elaboração do modelo lógico, contendo a tríade estrutura, processo e resultado; definição de questões avaliativas e validação aparente e de conteúdo da matriz.

Para identificação das lacunas do conhecimento e levantamento das pesquisas científicas e legislações pertinentes ao SIS Fronteiras realizou-se uma revisão da literatura do tipo Scoping Review, em cinco etapas: identificação da questão de pesquisa; identificação de estudos relevantes; seleção de estudo; mapeamento dos dados e agrupamento; resumo e apresentação dos resultados⁽⁷⁾. Foram incluídas pesquisas e documentos disponíveis até 2017 no Medical Literature Analysis and Retrieval System on-line (MEDLINE/PubMed), Literatura Latino-Americana em Ciências de Saúde (LILACS), SciELO (Scientific Eletronic Library Online), EMBASE, Web of Science, Cummulative Index to Nursing and Allied Health Literature (CINAHL); Portal de Periódicos da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES); Elsevier's Scopus Database; Sistema de Legislação da Saúde do Ministério da Saúde do Brasil; Biblioteca Virtual em Saúde do Ministério da Saúde do Brasil; Ministério das Relações Exteriores do Brasil e Google acadêmico (Google Scholar).

Utilizaram-se as seguintes estratégias de busca: ("Sistema Integrado de Saúde das Fronteiras" OR "Sistema Integrado de Saúde da Fronteira" OR "Sistema Integrado de Saúde nas Fronteiras" OR "Sistema Integrado de Saúde na Fronteira" OR "SIS-Fronteiras" OR "SIS-Fronteira") OR ("SIS Border" OR "SIS Frontiers" OR "SIS-Borders Project"). Os resultados encontrados no Scoping Review mostraram a inexistência de uma matriz validada para avaliação do SIS Fronteiras e possibilitaram a identificação dos elementos como recursos humanos, financiamento, termo de cooperação, diagnóstico local de saúde, entre outros. Os dados foram organizados em estrutura, processo e resultados e subsidiaram a elaboração do modelo lógico, que norteou a construção da matriz avaliativa do SIS Fronteiras⁽⁸⁾.

A partir do modelo lógico foram identificadas as questões avaliativas, que posteriormente foram validadas por juízes de acordo com os critérios de clareza, objetividade e relevância⁽⁹⁾. A validação de conteúdo e de aparência das questões aconteceu no período de novembro de 2017 a fevereiro de 2018, utilizando-se a Técnica Delphi, descrita a seguir^(10-11).

A população do estudo foi composta por sete juízes com expertise no assunto, que participaram da validação de conteúdo e aparência de forma simultânea e foram selecionados por meio de busca avançada no currículo da Plataforma Lattes, base de dados do Conselho Nacional de Desenvolvimento Científico (CNPq). Para o levantamento na plataforma, optou-se pelo modo de busca por assunto e utilizou-se as palavras-chave: SIS Fronteiras, Saúde nas Fronteiras e Fronteira, com operador lógico booleano "AND", entre as palavras. Foi possibilitado aos pesquisadores contatados indicar outros pesquisadores para substituí-los se necessário ou para ampliar o número de participantes.

Os critérios de inclusão foram: ser docente, pesquisador ou profissional com conhecimento referente ao SIS Fronteiras; possuir nível superior completo e ter conta de e-mail ativa. Foram excluídos participantes com respostas de e-mail automáticas informando impossibilidade de responder devido a férias, licenças ou outros motivos e os que enviaram questionários posteriormente ao prazo de 15 dias contados a partir do recebimento.

O contato prévio para seleção dos juízes foi estabelecido via e-mail, a fim de convidá-los a participar da pesquisa. Nesse contato, foram apresentados o objetivo, método, justificativa do estudo e explicado que a participação aconteceria de forma individual e remota, por meio de questionário on-line, formulário eletrônico (aplicativo Google Formulários), contemplando simultaneamente a validação de conteúdo e aparência. Após o aceite de cada juiz, foi encaminhado um e-mail contendo o Termo de Consentimento Livre e Esclarecido (TCLE), o qual foi assinado e devolvido por cada participante, e o link para acesso ao questionário on-line.

O questionário foi elaborado com 24 questões avaliativas, sendo oito da dimensão estrutura, oito de processo e oito de resultado, que posteriormente foram submetidas a validação de conteúdo e aparência por juízes.

Para a avaliação das questões foi empregada uma escala tipo Likert de cinco pontos, sendo 1 (discordo totalmente), 2 (discordo parcialmente), 3 (não discordo nem concordo), 4 (concordo parcialmente) e 5 (concordo totalmente). Foi facultado aos juízes dar sugestões de textos alternativos em cada questão. O prazo para devolução da matriz avaliativa foi de 15 dias a partir do recebimento⁽¹⁰⁾.

Considerou-se o percentual de 75% de concordância para cada item avaliado; no caso da não obtenção do grau de concordância entre os juízes, novos ciclos deveriam ser realizados⁽¹¹⁾. Ao fim, foi enviado um e-mail de agradecimento aos participantes pela colaboração na pesquisa.

Foi realizada a validade de conteúdo visando analisar a completude dos itens propostos e se esses refletiam o referencial teórico e as diretrizes do SIS Fronteiras - além da validação de aparência, pois, apesar de não ser uma técnica sofisticada, teve como propósito observar a forma como o conteúdo foi apresentado, a clareza e a facilidade na leitura e a adequação do item a cada dimensão^(9,12).

Para análise dos dados utilizou-se o Índice de Validade de Conteúdo (IVC) para mensurar o grau de concordância entre os juízes a partir de suas respostas. O nível de consenso esperado para este estudo foi de 75%⁽¹¹⁾.

O IVC foi calculado a partir da somatória das respostas 4 e 5 (concordo parcialmente e concordo totalmente) de cada juiz em cada questão do questionário, dividindo-se essa soma pelo número total de respostas (IVC=número de respostas 4 e 5/número total de respostas X 100). Foi calculado, também, o IVC médio das dimensões, somando cada percentual obtido em cada dimensão e fazendo a divisão por três, ou seja, pelas três dimensões utilizadas.

Foi utilizada, também, a Razão de Validade de Conteúdo (CVR - Content Validity Ratio)⁽¹³⁾. O IVC mede a proporção de juízes com respostas 4 e 5 (concordo parcialmente e concordo totalmente) e o CVR compara essa proporção com o número esperado se os juízes estivessem respondendo ao acaso [CVR=ne-(N/2)/(N/2)], onde "ne" é o número de juízes que classificaram cada item como 4 e 5, enquanto "N" é o número total de juízes respondentes.

O IVC varia entre 0 e 1, quanto mais próximo de 1, melhor será o desempenho do item segundo os juízes. O CVR varia entre -1 e 1, sendo que o valor mínimo depende do número de juízes. Neste estudo foi considerado 0,99⁽¹³⁾.

A validação de aparência foi realizada considerando o requisito clareza do conteúdo e a semântica das questões; desta forma foi verificado se todos os itens estavam compreensíveis para a população respondente, sendo oportunizado para cada questão espaço para manifestação descritiva⁽¹⁴⁾.

O projeto foi aprovado pelo Comitê de Ética em Pesquisa com Seres Humanos, CAAE: 68748617.3.0000.5393.

Resultados

No modelo lógico foram considerados os elementos necessários para o desenvolvimento do SIS Fronteiras, tais como: estruturais - recursos financeiros (valores repassados); infraestrutura administrativa (sala para coordenação); infraestrutura para atendimentos de urgências, ambulatoriais e novos serviços (sala, equipamentos e materiais); infraestrutura para qualificação profissional (computadores, material bibliográfico) e recursos humanos (pessoal destinado e/ou contratado) -, processo - as ações operacionais para aprovação e manutenção do programa, como por exemplo: formalização do Termo de Adesão ao SIS Fronteiras; descrição da clientela, considerando fluxos assistenciais e perfil dos usuários; comissão local de saúde; plano operacional; plano municipal de saúde e relatórios. Considerou-se como resultados o conhecimento das realidades de fronteira; os profissionais qualificados; o atendimento prestado à população e integração entre os serviços. Após elaboração do desenho avaliativo, fundamentado na literatura científica e nas normativas, definiu-se como impacto esperado o atendimento qualificado à população de fronteira (Figura 1).

Figura 1
Modelo Lógico do Sistema Integrado de Saúde das Fronteiras. Ribeirão Preto, SP, Brasil, 2018

Com base no modelo lógico (Figura 1), foram identificadas inicialmente, 24 questões avaliativas, sendo oito da dimensão estrutura, oito de processo e oito de resultado, que posteriormente foram submetidas a validação de conteúdo e aparência por juízes.

Na etapa de validação. identificaram-se em uma seleção prévia, pelas palavras-chave, 18 pesquisadores. Após a aplicação dos demais critérios de inclusão e exclusão, restaram dez selecionados; desses, três contribuíram com a realização do teste-piloto da matriz de avaliação e sete juízes participaram efetivamente do processo de validação - sendo cinco do sexo feminino e dois, masculino. Quanto à área de formação: três eram da enfermagem, um da biomedicina, um da odontologia, um da psicologia e um de direito - desses, dois eram doutores e cinco, mestres.

A matriz de avaliação foi submetida a duas rodadas no processo de validação, sendo que, na primeira rodada, nas dimensões estrutura e processo o IVC médio foi de 100% e o CVR de 1,0, enquanto na dimensão resultado o IVC médio foi de 98,21% e o CVR de 0,96. Apesar de se ter obtido consenso na primeira rodada, foi enviada para segunda rodada para fins de apresentação de nova versão, constando as sugestões dos juízes e justificativa para as não alterações. Na segunda rodada não houve novas proposições e o IVC para cada uma das dimensões foi de 100% e CVR de 1,0.

O IVC médio geral da matriz avaliativa, considerando as três dimensões (estrutura, processo e resultado), foi de 99,40% e o CVR foi de 0,90. Na segunda rodada, não houve novas proposições, portanto obteve-se 100% de concordância e CVR de 1,0.

No que se refere à validação de aparência, os juízes apresentaram duas proposições para a dimensão estrutura; duas sugestões para processo e uma recomendação para a dimensão resultado. As sugestões foram analisadas e acatadas com as adequações necessárias, conforme evidenciado na Figura 2.

Figura 2
Demonstrativos das sugestões apresentadas na validação de aparência e as respectivas mudanças ou justificativas para as não alterações. Ribeirão Preto, SP, Brasil, 2018

Rodadas	Sugestões e mudanças ou justificativas
	Estrutura
1º	Aqui, na pergunta 5, que se refere a "sala, equipamentos e materiais para o primeiro atendimento às urgências para 100% da população descrita, contemplando", faltou dizer aonde está descrita e o que deveria estar contemplado.
2º	A pergunta foi revista e incluídas as informações referentes aos documentos em que deveria constar a descrição da população, e a palavra "contemplando" foi excluída, pois já consta que eram equipamentos e materiais.
1º	Na questão 5, tem a palavra urgências, acho que não é necessário, pois já fala que é para o primeiro atendimento.
2º	Nesse caso, a palavra urgência foi mantida para deixar claro ao leitor, pois o atendimento pactuado era para o primeiro atendimento dos casos de urgências.
	Processo
1º	Na questão 10, referente ao município elaborar a descrição da clientela, no prazo de até 30 dias a partir do Termo de Adesão, sugiro ampliar o prazo para 30 a 40 dias.
2º	O item não foi alterado, tendo em vista que o prazo de até 30 dias foi estabelecido respaldado na Portaria 1.189, de 5 de junho de 2006.
	Processo
1º	Na pergunta 15, que trata da inserção do SIS Fronteiras no Plano Municipal de saúde, precisa esclarecer a qual período se refere, pois desde a implantação do SIS Fronteiras, em 2006, já são no mínimo quatro planos elaborados nesse período, com isto, sugiro constar que são nos Planos Municipais de Saúde.
2º	Sugestão acatada, alterando-se o texto, para: "Nos Planos Municipais de Saúde, elaborados durante a vigência e execução do SIS Fronteiras, constam o Diagnóstico Local e o Plano Operacional"
	Resultados
1º	Na questão 23, consta o plano de contingência para eventos inusitados, mas não eram exclusivos do SIS Fronteiras, acho que poderiam ser retirados.
2º	O plano de contingência para eventos inusitados é uma exigência para a liberação de recursos financeiros do SIS Fronteiras, portanto foi mantido.

Após as adequações necessárias e conclusão do processo de validação, a matriz para avaliação normativa do SIS Fronteiras foi constituída de 24 questões avaliativas, conforme a Figura 3, a seguir.

Figura 3
Demonstrativo das questões referentes à matriz avaliativa do SIS Fronteiras. Ribeirão Preto, SP, Brasil, 2018

Estrutura
1. O Ministério da Saúde destinou recursos financeiros para o desenvolvimento do SIS Fronteiras.
2. O município disponibilizou sala para a coordenação do projeto, contendo 1 computador; 1 impressora; 1 nobreak; 1 mesa; 1 cadeira para digitador e 1 armário.
3. O município proporcionou infraestrutura para implantação de redes de saúde, contemplando: computadores; sistemas de informação; pontos de atenção primários e terciários, para apoio à atenção primária de saúde, com ações especializadas em nível ambulatorial, hospitalar, apoio diagnóstico e terapêutico, sala de reuniões e carro para o deslocamento.
4. O município disponibilizou consultórios, equipados com equipamentos, mobiliários e materiais para o atendimento ambulatorial básico.
5. O município forneceu sala, equipamentos e materiais para o primeiro atendimento às urgências, para 100% da população descrita no Termo de Adesão e Plano Operacional do SIS Fronteiras.
6. Infraestrutura, disponibilizada pelo município, para novos serviços propostos no Diagnóstico Local de Saúde, podendo ser incluídos construções; reformas; aquisição de equipamentos; aquisição de veículos; material de consumo etc.
7. Infraestrutura, fornecida pelo município, para qualificação, contemplando: Espaço físico (salas disponíveis para a qualificação); Computadores e Material bibliográfico.
8. Pessoal, destinado e/ou contratado pelo município para as atividades inerentes ao SIS Fronteiras, podendo ser realizada a contratação de profissionais e o pagamento de encargos quando previsto no Plano Operacional.
Processo
9. O Município formalizou parceria com o Ministério da Saúde, por meio de um contrato denominado Termo de Adesão ao Sistema Integrado de Saúde das Fronteiras, SIS Fronteiras, dentro do prazo estabelecido (abril de 2006).
10. O município elaborou e apresentou a descrição da clientela, no prazo de até 30 dias a partir da assinatura do gestor no Termo de Adesão ao SIS Fronteiras.
11. O município constituiu Comissão Local de Saúde de forma integrada com o Conselho Municipal de Saúde e com a participação de representantes dos sistemas de saúde dos dois lados da fronteira, no prazo de 30 dias a partir da assinatura do gestor no Termo de Adesão ao SIS Fronteiras.
12. O município apresentou Plano Operacional no prazo de 60 meses a partir da assinatura do gestor no Termo de Adesão ao SIS Fronteiras.
13. O Conselho Municipal de Saúde aprovou o Diagnóstico Local de Saúde e o Plano Operacional.
14. A Comissão Intergestores Bipartite Estadual aprovou o Diagnóstico Local de Saúde e o Plano Operacional.
15. Nos Planos Municipais de Saúde, elaborados durante a vigência e execução do SIS Fronteiras, constam o Diagnóstico Local de Saúde e o Plano Operacional.
16. Foram encaminhados os relatórios referentes às Fases do SIS Fronteiras.
Resultados
17. Diagnóstico Local de Saúde completo, com aspectos qualitativos e quantitativos, contemplando a identificação da população a ser atendida nos serviços de saúde; o levantamento das demandas existentes; a capacidade instalada; a descrição dos fluxos assistenciais; a definição do perfil epidemiológico, sanitário e ambiental em saúde.
18. Profissionais qualificados quanto à gestão (economia, planejamento, organização dos sistemas de saúde e gestão da saúde suplementar), atenção à saúde (protocolos e procedimentos específicos de fronteiras), vigilância em saúde, saúde do indígena, sistemas de informação e controle social.
19. Redes de saúde implantadas, respeitando os limites financeiros.
20. Novos serviços implantados conforme demandas levantadas no Diagnóstico Local de Saúde.
21. Atendimento ambulatorial básico disponível para 100% da população descrita no Diagnóstico Local de Saúde e Plano Operacional.
22. Atendimento de urgência disponível para 100% da população descrita no Diagnóstico Local de Saúde e Plano Operacional.
23. O município apresentou o Plano de Contingência para Eventos Inusitados.
24. As ações elencadas pelo gestor no Diagnóstico Local de Saúde e Plano Operacional foram executadas.

Para a matriz avaliativa também foi elaborada e validada uma escala do tipo Likert, adaptada a cada pergunta, em que zero corresponde ao não cumprimento das diretrizes (o gestor não realizou nenhuma ação e/ou não apresentou documento); 1, diretrizes parcialmente cumpridas (gestor realizou apenas algumas ações e/ou apresentou parte dos documentos); 2, diretrizes cumpridas de maneira inadequada (o gestor realizou as ações e apresentou todos os documentos, porém parte deles foram cumpridos de forma inadequada); e 3, cumprimento integral das diretrizes do SIS Fronteiras (o gestor desenvolveu todas as ações e entregou todos os documentos exigidos).

Discussão

A análise de documentos e artigos científicos por meio do Scoping Review proporcionou informações consistentes para a elaboração do modelo lógico, o qual subsidiou a construção das questões que compuseram a matriz avaliativa do SIS Fronteiras. A construção do modelo lógico é uma etapa muito importante na avaliação de programas e/ou políticas públicas, pois constitui-se na representação do seu funcionamento e favorece a compreensão dos seus projetos e ações, sua aplicabilidade tem sido utilizada na avaliação de importantes programas tais como Mais Médicos e de Controle da Hanseníase^(15-16). A matriz construída e validada neste estudo obteve avaliação positiva, com IVC médio geral para as três dimensões estrutura, processo e resultados de 100% e CVR de 1.0, sendo, portanto, considerado adequado e superior ao corte de 75% estabelecido. Na literatura, o ponto de corte para obtenção de consenso entre juízes oscila entre 50 a 80%; para as pesquisas em enfermagem tem sido considerado o percentil superior a 75%⁽¹¹⁾.

Na validação de aparência, a matriz foi considerada inteligível, após as adequações sugeridas pelos juízes. As principais recomendações apresentadas estiveram relacionadas com a clareza do conteúdo e a semântica das questões. Estudos apontam a importância da avaliação semântica, pois neste momento os juízes se certificam de que os itens estejam escritos de forma clara e compreensível para a população a que se destina, evitando-se dubiedade e assegurando a validade aparente^(14,17).

Na matriz validada foram abordados aspectos de estrutura, processo e resultado e ela permitirá que gestores, pesquisadores e profissionais de saúde tenham conhecimento do processo de implantação do SIS Fronteiras em cada localidade, possibilitando a identificação das potencialidades e fragilidades dessa política pública de saúde.

Na dimensão estrutura, na primeira rodada foi de 99,40% e o CVR foi de 0,90 e na segunda não houve novas proposições, portanto obteve-se 100% de concordância e CVR de 1,0. Nesta dimensão foram contemplados pontos importantes para o desenvolvimento do SIS Fronteiras, como infraestrutura, recursos financeiros, humanos e materiais. Os elementos estruturais incluídos na matriz de avaliação convergem com estudos nacionais que apontam que recursos financeiros insuficientes, déficit de funcionários e a estrutura física precária são problemas enfrentados pelos gestores de municípios de fronteira. Isso devido à assimetria dos sistemas de saúde dos países que fazem divisa com o Brasil e à demanda de estrangeiros para atendimento em saúde e o SIS Fronteiras, por meio do repasse financeiro, foi uma estratégia crucial para melhorar a situação nestas localidades⁽¹⁸⁾.

A realidade brasileira se assemelha com regiões de fronteira de outros países do mundo, como é o caso de San Diego - EUA e Tijuana - México, em que também apresentam diferenças no que se refere aos aspectos como idioma, cultura e economia e milhares de pessoas cruzam para o outro lado diariamente, especialmente trabalhadores mexicanos para trabalhar. Nos últimos anos, em San Diego - Tijuana, organizações públicas e privadas sem fins lucrativos têm promovido projetos de infraestrutura e econômicos para ampliar as relações econômicas, sociais e políticas fronteiriças⁽¹⁹⁾.

Na dimensão processo obteve-se na primeira rodada IVC de 99,40% e CVR 0,90 e na segunda rodada não houve novas proposições, resultando em 100% de concordância e CVR de 1,0. Nas proposições os juízes validaram que a matriz avaliativa deveria contemplar de maneira geral aspectos referentes à operacionalização das ações desenvolvidas ou planejadas e a integração entre os países vizinhos ao Brasil, previstas no SIS Fronteiras.

Os elementos elencados pelos juízes para a dimensão processo do SIS Fronteiras, assemelham-se com um estudo sobre a cooperação transfronteiriça nas fronteiras da UE-Rússia, em que o programa transfronteiriço foi analisado considerando a coordenação governamental em vários níveis, com o propósito de implementação de políticas com benefícios mútuos; parcerias, criação de órgãos conjuntos de gestão de programas; desenvolvimento de políticas uniformes e fontes conjuntas de financiamento para projeto⁽²⁰⁾.

Para a dimensão resultado, IVC médio foi de 98,21% e o CVR de 0,96 e na segunda rodada obteve-se IVC de 100% e CVR de 1,0 e os itens validados pelos juízes referem-se à identificação do cumprimento das metas previstas e dos serviços implementados. A principal meta prevista no SIS Fronteiras é a elaboração do Diagnóstico Local de saúde, pois permite a análise detalhada da população assistida nas regiões de fronteiras, especialmente a demanda relacionada à mobilidade de pacientes vindos de países vizinhos para atendimento em saúde.

A mobilidade de pacientes para outros países para fins de tratamento de saúde, embora sempre tenha existido, apresentou aumento considerável na última década devido à maior integração comercial entre diversos países do mundo. Porém, as principais causas para os pacientes atravessarem as fronteiras para atendimento em saúde são a dificuldade de acesso ou a ausência de serviços necessários nos seus países de origem⁽²¹⁾.

Além dos pacientes transfronteiriços, que realizam o deslocamento para atendimento em saúde e retornam a seus países, o Brasil, neste século, tem vivenciado o aumento considerável no número de imigrantes vindos de vários países. Essa imigração é motivada principalmente por questões econômicas, políticas e ambientais. Recentemente, evidenciou-se o caso dos venezuelanos, que estão ultrapassando as fronteiras do Norte do Brasil como forma de fuga da grave crise econômica e política na Venezuela⁽²²⁾.

Estudo desenvolvido na Costa Rica identificou que o país também vivencia uma alta demanda de estrangeiros e de pessoas em trânsito transfronteiriço e, diante dessa situação, adotou a estratégia para implantar casa de acolhimento, com o propósito de ajuda humanitária e a identificação dessa população imigrante⁽²³⁾.

Sob este prisma, no Brasil o diagnóstico local de saúde do SIS Fronteiras foi apontado pelo juízes, neste estudo, como importante requisito avaliativo desta política pública e representou uma ação relevante para a identificação da população estrangeira.

Esses aspectos corroboram com estudo nacional que considera que no Brasil não há disponibilidade de dados precisos relativos aos atendimentos nas regiões de fronteiras, e que muitas vezes essas informações são camufladas e/ou omitidas pelos pacientes para conseguirem acesso aos serviços do Sistema Único de Saúde⁽²⁴⁾.

A técnica Delphi apresentou-se como estratégia importante para a obtenção de consenso entre os juízes e para conduzir os ajustes necessários quanto ao conteúdo e à aparência de algumas questões da matriz avaliativa. A satisfação e o reconhecimento da relevância da Técnica Delphi para este estudo corrobora com outras pesquisas desenvolvidas com o uso deste método, realizadas por meio de consenso de experts⁽²⁵⁾.

Outra potencialidade da técnica Delphi neste estudo foi a utilização do Google Formulários. Atualmente a tecnologia online está ganhando destaque em pesquisas científicas, pela facilidade em contactar pessoas sem precisar deslocar-se e com menores custos. Neste sentido, pesquisas desenvolvidas sobre a técnica Delphi apontam que uma de suas vantagens está na possibilidade de não ser presencial, pois agrega riqueza ao estudo com a participação de especialistas em temáticas específicas de diferentes localidades geográficas^(26-27).

Apesar das inúmeras vantagens percebidas no uso do método, identificamos algumas limitações, como a demora no aceite e a dificuldade em explicar a relevância do estudo, sem o contato físico com o participante. Outra limitação observada no presente estudo refere-se ao fato de o Brasil apresentar uma vasta extensão territorial, com especificidades nas diferentes regiões, podendo portanto haver a dificuldade na aplicabilidade da matriz em todo do território nacional.

Os estudos metodológicos são vistos com grande relevância pela comunidade científica. Assim, este estudo, por meio do modelo lógico e da matriz de avaliação, tem como fortaleza a disponibilidade de uma ferramenta que permitirá a avaliação do SIS Fronteiras e desta forma poderá contribuir para a formulação de novas políticas públicas de saúde voltadas para regiões de fronteiras internacionais.

Conclusão

A matriz de avaliação normativa do SIS Fronteiras, elaborada e validada neste estudo, mostrou-se uma ferramenta inovadora na avaliação de políticas públicas de saúde em regiões de fronteiras internacionais.

A validade de conteúdo e de aparência da matriz foi considerada adequada, tendo em vista o processo criterioso de análise dos seus itens e as sugestões para aperfeiçoá-lo, assegurando-se, assim, de que as questões avaliativas e a estrutura estejam situadas dentro das diretrizes do SIS Fronteiras e em conformidade com a abordagem teórica de avaliação.

Salienta-se a necessidade de ampliação de pesquisas relacionadas às questões de saúde nas regiões fronteiriças, bem como a elaboração de novas ferramentas para avaliação dessas realidades tão específicas.

• *
  Artigo extraído da tese de doutorado “Sistema Integrado de Saúde nas Fronteiras entre o Brasil e o Paraguai, no Estado do Paraná: um estudo avaliativo da dissertação”, apresentada à Universidade de São Paulo, Escola de Enfermagem de Ribeirão Preto, Centro Colaborador da OPAS/OMS para o Desenvolvimento da Pesquisa em Enfermagem, Ribeirão Preto, SP, Brasil. Apoio financeiro da Fundação Araucária, Chamada Pública Nº 16/2017, Protocolo Nº 49036, Brasil.

References

• ¹
  Mathon D, Apparicio P, Lachapelle U. Cross-border spatial accessibility of health care in the North-East Department of Haiti. Int J Health Geogr. 2018;17:36. doi: https://doi.org/10.1186/s12942-018-0156-6
  » https://doi.org/10.1186/s12942-018-0156-6
• ²
  Zaslavsky R, Goulart BNG. Pendulum migration and healthcare in border area. Ciend Saúde Coletiva. 2017;22(12):3981-6. doi: http://dx.doi.org/10.1590/1413-812320172212.03522016
  » http://dx.doi.org/10.1590/1413-812320172212.03522016
• ³
  Carter, DB, Poast P. Why Do States Build Walls? Political Economy, Security, and Border Stability. J Conflict Resolut. 2017;61(2):239-70. doi: https://doi.org/10.1177/0022002715596776
  » https://doi.org/10.1177/0022002715596776
• ⁴
  Assis IS, Arcoverde MAM, Ramos ACV, Alves LS, Berra TZ, Arroyo LH, et al. Social determinants, their relationship with leprosy risk and temporal trends in a triborder region in Latin America. PLOS Negl Trop Dis. 2018;April 6. doi: https://doi.org/10.1371/journal.pntd.0006697
  » https://doi.org/10.1371/journal.pntd.0006697
• ⁵
  Nascimento A. As armas dos fracos: estratégias, táticas e repercussões identitárias na dinâmica do acesso à saúde na fronteira Brasil/Paraguai. Horiz Antropol. 2018;24(50):181-214. doi: https://doi.org/10.1590/s0104-71832018000100007
  » https://doi.org/10.1590/s0104-71832018000100007
• ⁶
  Kruger C, Dantas MK, Castro JM, Passador CS, Caldana ACF. Analysis of public policies for developing the Brazilian border strip. Ambient Soc. 2017;20(4):39-60. doi: http://dx.doi.org/10.1590/1809-4422asoc0005r1v2042017
  » http://dx.doi.org/10.1590/1809-4422asoc0005r1v2042017
• ⁷
  Levac D, Colquhoun H, O'Brien KK. Scoping studies: advancing the methodology. Implement Sci. 2010;5(69):1-9.
• ⁸
  Donabedian A. The definition of quality and approaches to its assessment. Chicago: Health Adminstration Press; 1980.
• ⁹
  Pasquali L. Teoria dos testes na psicologia e na educação. Petrópolis: Vozes; 2003.
• ¹⁰
  Scarparo AF, Laus AM, Azevedo ALCS, Freitas MRI, Gabriel CS, Chaves LDP. Reflections on the use of Delphi technique in research in nursing. Rev Rene. 2012;13(1):242-51.
• ¹¹
  Pereira RDM, Alvim, NAT. Delphi technique in dialogue with nurses on acupuncture as a proposed nursing intervention. Esc Anna Nery. 2015;19(1):174-80. doi: https://doi.org/10.5935/1414-8145.20150024
  » https://doi.org/10.5935/1414-8145.20150024
• ¹²
  Martins GA. Sobre confiabilidade e validade. Rev Bras Gestão Negócios. 2006;8(20):1-12.
• ¹³
  Tristán-López A. Modificación al modelo de Lawshe para el dictamen cuantitativo de la validez de contenido de un instrumento objetivo. Av Medición. 2008;6:37-48.
• ¹⁴
  Fuzissaki MA, Santos CB, Almeida AM, Gozzo TO, Clapis MJ. Validação semântica de instrumento para identificação da prática de enfermeiros no manejo das radiodermatites. Rev Eletr Enferm. 2016;18. doi: https://doi.org/10.5216/ree.v18.35164
  » https://doi.org/10.5216/ree.v18.35164
• ¹⁵
  Emerich TB, Cavaca AG, Santos Neto ET, Oliveira AE, Siqueira CE. Implementation of the More Doctors Program in Espírito Santo State, Brazil: logic model and proposed indicators. Cad Saúde Pública. 2020;36(6). doi: https://doi.org/10.1590/0102-311X00043219
  » https://doi.org/10.1590/0102-311X00043219
• ¹⁶
  Souza MF, Vanderlei LCM, Frias PG. Assessment of the implementation of the Leprosy Control Program in Camaragibe, Pernambuco State, Brazil. Epidemiol Serv Saude. 2017;26(4):817-34. doi: 10.5123/S1679-49742017000400013
  » https://doi.org/10.5123/S1679-49742017000400013
• ¹⁷
  Freitas RF, Waecheter HN, Coutinho SG, Gubert FA. Semantic aspects validation in guidelines for the elaboration of Printed Educational Materials for Health Promotion: contribution of Information Design. Braz J Information Design. 2020;17(1):152-69.
• ¹⁸
  Hortelan MS, Almdeida ML, Fumincelli L, Zilly A, Nihei OK, Peres AM, et al. The role of public health managers in a border region: a scoping review. Acta Paul Enferm. 2019;32(2):229-36. doi: https://doi.org/10.1590/1982-0194201900031
  » https://doi.org/10.1590/1982-0194201900031
• ¹⁹
  Mendonza JE, Dupeyron B. Economic integration, emerging fields and cross-border governance: the case of San Diego - Tijuana. J Borderl Stud. 2017;25(5):59-88. doi: https://doi.org/10.1080/08865655.2017.1367711
  » https://doi.org/10.1080/08865655.2017.1367711
• ²⁰
  Sebentsov AB. Cross-border cooperation on the EU-Russian borders: results of the program approach. Geogr Environ Sustain. 2020;13(8):74-83. doi: https://doi.org/10.24057/2071-9388-2019-136
  » https://doi.org/10.24057/2071-9388-2019-136
• ²¹
  Durham J, Blondell SJ. A realist synthesis of cross-border patient movement from low and middle income countries to similar or higher income countries. Global Health. 2017;13(68):1-14. doi: https://doi.org/10.1186/s12992-017-0287-8
  » https://doi.org/10.1186/s12992-017-0287-8
• ²²
  Martin D, Goldberg A, Silveira C. Immigration, refuge and health: sociocultural analysis in perspective. Saúde Soc. 2018;27(1):26-36. doi: https://doi.org/10.1590/s0104-12902018170870
  » https://doi.org/10.1590/s0104-12902018170870
• ²³
  Winters N, Izaguirre CM. Es cosa suya: entanglements of border externalization and African transit migration in northern Costa Rica. Comparative Migr Sud. 2019;7:23. doi: https://doi.org/10.1186/s40878-019-0131-9
  » https://doi.org/10.1186/s40878-019-0131-9
• ²⁴
  Aikes S, Rizzotto MLF. Regional integration of healthcare services in twin cities, Paraná State, Brazil. Cad Saúde Pública. 2018;34(8):1-11. doi: https://doi.org/10.1590/0102-311x00182117
  » https://doi.org/10.1590/0102-311x00182117
• ²⁵
  Miranda FBG, Mazzo A, Pereira-Junior GA. Construction and validation of competency frameworks for the training of nurses in emergencies. Rev. Latino-Am. Enfermagem. 2018;(26):e3061. doi: https://doi.org/10.1590/1518-8345.2631-3061
  » https://doi.org/10.1590/1518-8345.2631-3061
• ²⁶
  Marques JBV, Freitas D. Método DELPHI: caracterização e potencialidades na pesquisa em Educação. Pro-Proposições. 2018;29(2):389-415. doi: http://dx.doi.org/10.1590/1980-6248-2015-0140
  » http://dx.doi.org/10.1590/1980-6248-2015-0140
• ²⁷
  Hirschhorn F. Reflections on the application of the Delphi method: lessons from a case in public transport research. Int J Soc Res Methodol. 2019;22(3):309-22. doi: https://doi.org/10.1080/13645579.2018.1543841
  » https://doi.org/10.1080/13645579.2018.1543841

Editado por

Editora Associada:

Maria Lúcia Zanetti

Datas de Publicação

• Publicação nesta coleção
  02 Jul 2021
• Data do Fascículo
  2021

Histórico

• Recebido
  17 Fev 2020
• Aceito
  12 Set 2020