Aplicativo móvel para utilização do Núcleo Ampliado de Saúde da Família e Atenção Básica: validação de conteúdo e de usabilidade

RESUMO

Objetivo:

validar por conteúdo e usabilidade o aplicativo “NASF em Rede” direcionado para as equipes dos Núcleos Ampliados de Saúde da Família e Atenção Básica (NASF-AB).

Métodos:

estudo metodológico, no qual participaram 18 especialistas, pesquisadores e profissionais, com diferentes áreas de formação, com vistas à validação de conteúdo e de usabilidade do APP. Realizado em quatro etapas: adaptação do instrumento; aplicação do instrumento de Avaliação de Adequação de Materiais (SAM); validação de conteúdo por meio do cálculo do Índice de Validade de Conteúdo (IVC) e avaliação da usabilidade por meio do System Usability Scale (SUS), respectivamente.

Resultados:

os participantes classificaram o material como válido, tanto no que concerne ao conteúdo quanto à usabilidade. Obteve-se índice de 83,5% para o instrumental SAM, pois 04 dos 06 tópicos constantes no instrumento apresentaram valores de 0,78, os quais foram considerados excelentes e dois deles foram avaliadas como bons, sendo acolhidas as recomendações dos juízes especialistas. O índice de usabilidade (5,5%) também foi considerado relevante.

Conclusão:

o aplicativo desenvolvido para profissionais do NASF- AB foi considerado válido quanto ao conteúdo e à usabilidade.

Descritores:
Validação; Tecnologia em Saúde; Atenção Primária em Saúde

ABSTRACT

Purpose:

to validate the content and usability of the “Network NASF” application, intended for the teams of the Extended Family Health and Primary Care Center (NASF-AB).

Methods:

eighteen specialists, researchers, and professionals from different fields of study participated to validate the content and usability of the application, carried out in four stages: adjustment of the instrument; administration of the Suitability Assessment of Materials (SAM); validation of the content by calculating the content validity index (CVI); and usability evaluation through the System Usability Scale (SUS), in this order.

Results:

the participants classified the material as valid regarding both its content and usability. The index achieved in the SAM was 83.5%, as four, out of the six topics in the instrument, had values over 0.78. Hence, these four were considered excellent, while the other two were considered good. The recommendations given by the specialized judges were accepted and the usability index (5.5%) was considered relevant.

Conclusion:

the application developed for NASF-AB professionals was considered valid regarding its content and usability.

Keywords:
Validation; Technology in Health; Primary Health Care

Introdução

O NASF, atualmente denominado Núcleo Ampliado de Saúde da Família e Atenção Básica (NASF-AB), emergiu a partir da necessidade de inserção de outras categorias profissionais para atuar nos cenários da Atenção Primária à Saúde (APS) de modo a possibilitar a ampliação do escopo de ações e da resolutividade da Atenção Básica, diminuindo a demanda por serviços de nível secundário e terciário. Balizado pelas mesmas diretrizes da AB, o NASF-AB realiza ações de promoção à saúde, prevenção, tratamento e reabilitação no território sob sua responsabilidade. Assume, assim, relevância, visto que funciona como retaguarda multiprofissional de cuidado. Sua função também abrange suporte técnico e pedagógico as equipes da Estratégia de Saúde da Família (ESF), sendo seu processo de trabalho orientado pelo referencial teórico-metodológico do apoio matricial.

Contudo, após mais de uma década de implantação dos NASF, ainda existem desafios que precisam ser superados para que se possa ofertar um cuidado integral. Destaca-se aqui as dificuldades na organização dos processos de trabalho e a baixa integração com os demais serviços das redes locorregionais^1-3.

Dessa forma, o uso de Tecnologias da Informação e Comunicação (TICs) podem vir a favorecer a integração das ações, por meio de apoio técnico-pedagógico e técnico-assistencial. Ademais, as TICs possibilitam a divulgação, a disseminação e a atualização de conhecimento na área da saúde, permitindo a tomada de decisão. As TICs ainda podem suprir as necessidades de saúde de diferentes regiões geográficas, propiciando uma ampla cobertura de assistência à saúde⁴. Contudo, apesar de todas as vantagens citadas, o processo de utilização das TICs na APS, no Brasil, ainda é incipiente, uma vez que poucas equipes de APS possuem um grau alto de índice de TIC, mesmo em regiões mais desenvolvidas como Sul e Sudeste⁴.

Ressalta-se, ainda a escassez de estudos que abordem o uso de TCIs no âmbito do NASF-AB. As poucas produções científicas realizadas na APS limitam-se às equipes de saúde da família. Porém, acredita-se que o uso de tecnologias em saúde pelas equipes do NASF-AB pode viabilizar a realização de um trabalho mais integrado e, consequentemente, avançar na gestão do cuidado integral com maior e melhor resolutividade.

Assim, desenvolveu-se o aplicativo móvel “NASF em Rede”, que tem o objetivo de superar a fragmentação da gestão do cuidado do NASF-AB, auxiliando os profissionais na prestação do cuidado e na promoção da integração entre os serviços de saúde do município de Fortaleza.

Compreende um Mobile Web Applications, ou seja, um aplicativo móvel compatível para plataforma Android denominado, “NASF em Rede”, sendo uma tecnologia que potencializa a atuação das equipes, direcionam e orientam os profissionais, fortalecendo a realização de práticas integrais na Atenção Primária.

O “NASF em Rede” permite a visualização dos serviços de saúde públicos e privados disponíveis de acordo com o perfil e as necessidades dos usuários, possibilitando o acesso dos profissionais do NASF a dados dos serviços (tipo de serviço prestado, vínculo do serviço e horários de funcionamento) para facilitar a trajetória na rede de saúde.Portanto, o presente estudo tem por objetivo validar por conteúdo e usabilidade o aplicativo “NASF em Rede” direcionado para as equipes dos Núcleos Ampliados de Saúde da Família e Atenção Básica (NASF-AB)

Métodos

Trata-se de um estudo metodológico, pois se refere à validação do aplicativo “NASF em Rede”, esse tipo de estudo investiga, organiza e analisa dados para auxiliar na construção, na adaptação e na validação de instrumentos e técnicas para a pesquisa e/ou para a prática que utiliza métodos mistos centrados no desenvolvimento e na aplicação de ferramentas específicas para melhorar a confiabilidade e a validade desses instrumentos⁵.

A validação determina a escolha e/ou aplicação de um instrumento de medida e é mensurada pela extensão ou grau em que o dado representa o conceito que o instrumento se propõe a medir⁶.

O aplicativo “NASF em Rede” foi elaborado a partir de uma revisão integrativa na qual foram selecionados artigos científicos que versavam sobre o NASF, além de material normativo do Ministério da Saúde e grupos focais com profissionais atuantes no NASF-AB.

O aplicativo é estruturado com uma página inicial para Cadastro de Dispositivo, que direciona o usuário a um formulário de cadastro onde poderá contribuir com o projeto fornecendo dados dos serviços que utiliza ou presta serviços, além de cadastrar uma senha e um login para acessar as funcionalidades. A página de Filtragem de Dispositivos promove a funcionalidade de filtragem, possibilitando rápido acesso aos dispositivos que atendam à demanda específica do usuário, como: grupo etário, tipo de serviço prestado, vínculo e horário, sendo permitida a inclusão de múltiplas seleções para um mesmo grupo, retornando uma listagem dos dispositivos caso haja correspondência em seus atributos.

O estudo ocorreu no município de Fortaleza, capital do estado do Ceará, que administrativamente encontra-se dividido em 07 Secretarias Regionais (SR). Dessa maneira, participaram do estudo 07 juízes para validação de conteúdo e 11 profissionais do NASF-AB inseridos nas SR II e IV, para a validação de usabilidade.

Os critérios para seleção dos juízes consideraram a experiência profissional e a qualificação, tais como: Doutorado - 03 pontos; Mestrado - 02 pontos; Mestre com dissertação relevante para a área (saúde coletiva ou TIC’s) - 01 ponto; Pesquisa (com publicação) na área (saúde coletiva ou TIC’s) - 02 pontos; Artigo publicado na área (saúde coletiva ou TIC’s) - 02 pontos; Experiência profissional no NASF-AB ou APS (mínimo de um ano) - 01 ponto. Foram selecionados aqueles que atingiram a pontuação mínima de cinco pontos, de acordo com a adaptação do sistema de pontuação “The Fehring Model”⁷.

Para seleção dos juízes realizou-se a busca na Plataforma Lattes, sendo 20 juízes convidados via e-mail a participarem do estudo, destes, 07 retornaram indicando que aceitariam participar da validação. Com isso, foi enviado o link do aplicativo acompanhado dos instrumentos de validação e dos termos de consentimento.

No que concerne aos profissionais de saúde do NASF-AB, a seleção ocorreu por meio da técnica da bola de neve, assim, 11 participantes foram selecionados para o teste de usabilidade.

Mediante resposta positiva, foi enviado aos participantes o Termo de Consentimento Livre e Esclarecido (TCLE), sendo enviado aos juízes um questionário para validação de conteúdo de acordo com o SAM (Suitability Assessment of Materials)^8,9 e aos profissionais outro para validação de usabilidade de acordo com o SUS (System Usability Scale)¹⁰.

Ademais, a validade de conteúdo consistiu na análise de um instrumento por Comitê de Especialistas de determinado constructo. Essa validação fundamenta-se na aplicabilidade de checklist formado por seis categorias: conteúdo, compreensão do texto, ilustração gráfica, apresentação, motivação e adaptação cultural, totalizando 22 itens.

A validação de conteúdo foi realizada a partir de questionário estruturado em escala tipo Likert. De acordo com Polit e Beck⁵, essa escala consiste em vários itens que expressam um ponto de vista sobre algum tópico. Trata-se de uma escala ordinal que considerou os seguintes itens: 1- Parcialmente adequado, 2- Adequado e 0- Inadequado.

Nessa abordagem, solicitou-se aos respondentes que assinalassem sua concordância a cada dimensão do aplicativo, permitindo aos juízes avaliar todos os itens. Havia, também, um espaço para formulação de sugestões referentes a cada item. No final do questionário, os especialistas fizeram uma avaliação global do instrumento, utilizando os mesmos critérios, por meio de uma questão aberta, que permitia a formulação de sugestões para o instrumento como um todo.

Já a avaliação de usabilidade refere-se à qualidade da experiência de um usuário ao interagir com produtos, sistemas, aplicativos, sendo assim o ponto crucial para a qualidade dos APPs. O processo de validação foi realizado mediante consulta a juízes especialistas na área. Na validação, foi levado em consideração o número e a qualificação dos juízes, explicitando que alguns estudos recomendam de cinco a dez juízes, enquanto outros mencionam de seis a vinte especialistas¹¹.

A avaliação de usabilidade foi realizada por meio da aplicação do SUS, também estruturado em escala Likert. Trata-se de um questionário em língua inglesa traduzido para o português em etapas que podem ser destacadas no trabalho de Tenório, Cohrs, Sdepanian, Pisa e Marin¹⁰. O método foi criado por John Brooke em 1986, e pode ser usado para avaliar produtos, serviços, hardware, software, websites, aplicações, entre outros.

Aplicou-se o cálculo do Índice de Validade de Conteúdo (IVC) nas respostas dos grupos, considerando a proporção de respostas 3 ou 4 dividido pelo total de respostas. Preconiza-se um valor mínimo para o IVC, que é de 0,78 ⁵, adotado neste estudo.

Destarte, a presente investigação obteve aprovação do Comitê de Ética em Pesquisa da instituição de origem com Parecer nº 1.710.586 e respeitou todos os preceitos éticos da Resolução nº 466 de 2012.

Resultados

Caracterização dos Participantes

O tempo de trabalho na área da saúde varia entre 1 a 5 anos, 44,40% ¹², menos de 1 ano, 22,20% ¹³, de 6 a 10 anos, 16,68% ⁴ e mais de 15 anos, 11,10%. Tais indicadores traduzem a relevância em conhecer o território para o planejamento das ações articuladas entre atenção primária e atenção psicossocial.

Verifica-se, a partir dos dados apresentados na Figura 1, o perfil dos participantes deste estudo. Dentre um total de 18 participantes, os juízes são compostos por Terapeuta Ocupacional, Assistente Social e Psicólogo estando cada categoria representada por 16,4%, bem como 5,6% de pesquisador na área. No que concerne aos profissionais atuantes no NASF tem-se Educador Físico, Fisioterapeuta, Nutricionista e Farmacêutico cada um com percentual de 11.3% (Figura 1).

Figura 1:
Caracterização dos participantes de acordo com a área de atuação/formação. Fortaleza, 2019

Configura-se que o tempo de formação dos juízes entre 1 a 5 anos compreende o percentual de 38,90% ¹⁴, na faixa etária de mais de 15 anos, constam no quadro 06 profissionais com percentual de 33,30%, esses percentuais são relevantes como indicativo de promoção do conhecimento para trabalhar no campo da saúde mental. Sendo assim, torna-se necessária a educação permanente e a discussão dos problemas no próprio serviço viabilizando as tomadas de decisão.

Validação de Conteúdo

Os resultados apontam que essa avaliação consistiu na aplicabilidade de um checklist formado de seis categorias - conteúdo, compreensão do texto, ilustração gráfica, apresentação, motivação e adaptação cultural composta de 22 itens e uma escala de pontuação de zero a dois, sendo (0- Inadequado; 1- Adequado; 2- Totalmente adequado). O mesmo foi aplicado após leitura do material.

O cálculo do escore total de adequação foi realizado a partir da soma dos escores obtidos dividido pelo total de escores e multiplicado por 100, com a finalidade de transformar em percentual. Em todas as situações, a interpretação do percentual de estimativa do SAM se deu da seguinte forma: 70-100% (Material superior), 40-69% (Material adequado) ou 0-39% (Material inadequado) segundo Doak, Doak e Root⁸. Os itens com pontuação menor ou igual a 39% (Material Inadequado) por mais de 50% dos juízes foram modificados. Como o cálculo foi representado por um percentual de 83,5%, considerou 70-100% (Material superior), na avaliação da Usabilidade do aplicativo no NASF-AB.

Tabela 1:
Distribuição dos índices de Validade de Conteúdo do aplicativo de acordo com análise dos juízes especialistas. Fortaleza, 2019

1.Conteúdo (IVC = 0,81)	FR	%	IVC
1.1 Objetivo é evidente, facilitando a pronta compreensão do material	33	32.03	0,88
1.2 O conteúdo aborda informações relevantes para assistência do paciente	24	23,31	0,89
1.3A proposta do material é limitada aos objetivos, para que o profissional possa razoavelmente compreender no tempo permitido	23	22,33	0,76
1.4 O resumo ou revisão incluído	23	22,33	0,76
Total	103	100%	-
2. Linguagem (IVC = 0,85)	FR	%	IVC
2.1 O nível de leitura é adequado para compreensão do profissional	30	22,39	0,93
2.2 O estilo de conversação facilita o entendimento do texto	31	23,13	0,91
2.3 O vocabulário utiliza palavras comuns	30	22,39	0,88
2.4 O contexto é dado primeiro	27	20,15	0,84
2.5 Materiais pedagógicos	16	11,94	0,65
Total	134	100%	-
3. Ilustrações Gráficas (IVC = 0,75)	FR	%	IVC
3.1 Ilustrações gráficas utilizadas com propósito	25	21,00	0,78
3.2 Tipos de ilustrações gráficas	22	18,50	0,68
3.3 Relevâncias das ilustrações	25	21,00	0,78
3.4 Listas e tabelas explicadas	24	20,18	0,75
3.5 Legendas usadas para ilustrações gráficas	23	19,32	0,71
Total	119	100%	-
4. Layout e tipografia (IVC = 0,81)	FR	%	IVC
4.1 Fatores de Layout	26	34,67	0,78
4.2 Tipografia	23	30,66	0,73
4.3 Subtítulos usados	26	34,67	0,81
Total	75	100%	-
5. Motivação (IVC = 0,71)	FR	%	IVC
5.1 Ocorre interação do texto e/ou das figuras com o leitor, levando-os a resolver problemas, fazer escolhas e/ou demonstrar habilidades	21	33,33	0,68
5.2 Os padrões de comportamento desejados são bem modelados ou bem demonstrados	23	36,50	0,70
5.3 Existe motivação à autoeficácia, ou seja, as pessoas são motivadas a aprender por acreditarem que as tarefas e comportamentos são factíveis	19	30,17	0,75
Total	63	100%	-
6- Adequação cultural (IVC = 0,80)	FR	%	IVC
6.1 O material é culturalmente adequado à lógica, linguagem e experiência do público-alvo	28	50,00	0,82
8.2 Apresenta imagens e exemplos adequados culturalmente	28	50,00	0,78
Total	56	100%	-

• Fonte: Adaptado de Doak, Doak e Root8.
• Legenda: IVC (Índice de Validade de Conteúdo), FR (Frequência Relativa)

No tocante ao IVC, adotou-se como referência de avaliação: IVC ≥ 0,78 excelente, IVC entre 0,60 e 0,77 bom, e IVC < 0,59 ruim, partindo de Polit, Back, Owen¹⁵. Para tanto, realizou-se a tabulação dos dados, seguindo da realização do cálculo do IVC por item analisado e por especialista para cada dimensão, sendo possível verificar o grau de concordância estabelecida entre os juízes.

Dos 06 tópicos constantes no instrumento, 04 apresentaram IVC maior que 0,78, sendo considerados como excelentes, são eles: Linguagem (IVC = 0,85); Conteúdo (IVC = 0,81); Adequação Cultural (IVC = 0,80) e Layout e Tipografia (IVC = 0,81). As dimensões Ilustrações Gráficas (IVC = 0,75) e Motivação (IVC = 0,71) foram avaliadas como boas, sendo acolhidas as recomendações dos especialistas.

Tabela 2:
Avaliação de usabilidade pelos profissionais do NASF-AB

Itens	No	%
1 Eu acho que gostaria de usar este APP frequentemente	21	9,90
2 Eu achei o APP desnecessário complexo	18	8,50
3 Eu achei o APP fácil de usar	26	12,26
4 Eu acho que precisaria do apoio de um suporte técnico para ser possível usar este APP	17	8,02
5 Eu achei que as diversas funções neste APP foram bem integradas	23	10,84
6 Eu achei que houve muita inconsistência neste APP	23	10.84
7 Eu imaginaria que a maioria das pessoas aprenderiam a usar este APP rapidamente	22	10,38
8 Eu achei o APP muito pesado para o uso	20	9,44
9 Eu me senti muito confiante para o uso	20	9,44
10 Eu preciso aprender uma série de coisas antes de continuar usando esse APP	22	10,38
	212	100,00

• Fonte: Elaboração própria.
• Legenda: N (N˚ de respostas dos participantes), APP (Aplicativo).

Quanto ao cálculo da avaliação de usabilidade, subtraiu-se 1 da pontuação das respostas ímpares (1, 3, 5) e para as respostas pares (2, 4) subtraiu-se a resposta de 5. Para obtenção da média final, multiplicou-se o valor encontrado por 2,5. A média do SUS nessa ferramenta é de 5,5%. Essa pontuação final pode ir de 0 a 100 pontos.

Fórmula: 212 x 2,5= 530= 5,3%.

Dessa forma, o instrumento apresentou índices de validade de conteúdo (83,5%) pelo SAM, sendo quatro dimensões avaliadas como excelentes e duas como boas, considerando o grau de concordância entre os especialistas, a partir da análise do IVC. No tocante aos índices de Usabilidade, estes foram avaliados relevantes.

Discussão

O aplicativo tem o intuito de facilitar a trajetória do usuário na rede de saúde, promovendo maior integração entre as ações e os serviços. Para tanto, fornece informações aos profissionais do NASF acerca dos serviços de saúde disponíveis na rede em seus diferentes níveis de atenção à saúde.

Os dados apontam que os profissionais atuantes no NASF-AB permanecem pouco tempo no serviço, em virtude, sobretudo, da fragilidade dos vínculos empregatícios. Tal realidade interfere na gestão do cuidado em saúde no território, visto que, a cada nova contratação deve-se investir em tempo de aprendizagem desse profissional com relação aos fluxos e aos equipamentos existentes. Com isso, o aplicativo torna-se uma ferramenta facilitadora do processo de trabalho dos profissionais na rede de saúde.

Onocko-Campos, Ferrer, Porto, Santos, Stefanello, Trapé et al.¹⁶⁾ consideram que: “O vínculo frágil entre os serviços é atribuído tanto à alta rotatividade de profissionais como também à de modelos de assistência à saúde a cada eleição municipal, o que atrapalha a continuidade” (p. 4645), dos serviços.

Souza e Medina³ destacam que “a inserção dos profissionais do NASF na APS reforça a fragmentação do trabalho em saúde ou fomenta a integração de práticas” (p. 146). Isso reflete a importância do trabalho dos profissionais na saúde pela busca da integração das diversas linhas de cuidado, o qual possibilita atualizações constantes do conhecimento e das tecnologias avançadas para a promoção de uma atenção integral.

Para verificar a validade de novos instrumentos de uma forma geral, alguns autores sugerem uma concordância mínima de 75% para ser considerado com boa validade de conteúdo¹¹. Foram revisados os itens que receberem avaliação Parcialmente Adequado (1) e descartados aqueles considerados Inadequados (0), de acordo com Polit e Beck⁵.

Baseando-se em um estudo semelhante no qual foi desenvolvido um instrumento para profissionais de saúde, do total de 28 itens no checklist, nove necessitaram de alterações, principalmente no que diz respeito à clareza, sequência instrucional de tópicos e vocabulário. Na avaliação global, o instrumento obteve IVC de 0,94. As sugestões dos juízes foram acatadas, buscando o aumento da clareza dos itens, facilitando a leitura, o entendimento e aplicabilidade dos instrumentos¹⁷.

De maneira geral, as respostas dos juízes foram concordantes, como é possível visualizar nos resultados apresentados. A partir das respostas obtidas no SAM, dadas pelos juízes de conteúdo (Tabela 2), a média do escore foi considerada relevante para confiabilidade e concordância das respostas altas.

Doak, Doak e Root⁸, autores e idealizadores do SAM, consideram que, para que o material educativo seja considerado adequado, ele deverá apresentar valor igual ou superior a 40% em relação ao total de escores do instrumento. Este cálculo é realizado por meio do somatório do total de escores obtidos, dividido pelo total de itens do questionário.

Com as constantes e intensas mudanças nos dias atuais, nos quais é crescente e cada vez mais acelerada a inovação tecnológica, tem-se à disposição dos profissionais e usuários os mais diversos tipos de tecnologias, tais como: tecnologias educacionais, gerenciais e assistenciais¹⁸. Dessa forma, é importante ter postura crítica e reflexiva sobre a utilização da tecnologia, buscando adequação às necessidades de saúde como um todo.

A usabilidade deve ser considerada como importante fator no desenvolvimento dos sistemas, desde a fase de projeto até a sua implementação. Por isso, os sistemas de informação devem ser submetidos continuamente à avaliação de usabilidade, com a finalidade de verificar se a sua interface é, de fato, eficiente e satisfatória para os usuários.

No que se refere ao uso desse aplicativo para a gestão do cuidado em saúde coletiva pode-se ressaltar que a equipe do NASF e da atenção primária precisam trabalhar em conjunto para o cuidado do paciente e esta ferramenta busca contribuir na resolução de alguns obstáculos. Sendo assim, a usabilidade é um atributo principal da qualidade de qualquer produto interativo. Usabilidade em aparelhos touchscreen baseados em dispositivos móveis é algo essencial e deve ser considerado quando do lançamento de um novo produto, que poderia ser um diferencial em um mercado de pressa, como é o dos dispositivos móveis hoje em dia¹⁹.

Obstáculos, estes descrito por Sousa, Albuquerque, Nascimento, Albuquerque e Lira²⁰, parecem ser geradores ou agravadores desses limites, tais como ausência de reuniões entre equipes da AB e demais serviços especializados, inexistência de prontuários eletrônicos e má utilização das fichas de encaminhamento capazes de ajudar na transferência de informações.

Assim, o instrumento proposto poderá auxiliar equipes de profissionais no rastreamento da integração entre NASF-AB e Atenção Primária. Ressalta-se, como limitação do estudo, o uso de amostra não probabilística e a restrição da utilização do aplicativo aos limites territoriais do município de Fortaleza - CE.

Conclusão

O aplicativo desenvolvido para os profissionais do NASF-AB foi validado quanto ao conteúdo e à usabilidade por juízos e profissionais assistenciais. O Índice de Validade de Conteúdo atingiu valor considerado adequado, tornando o material produzido válido e apto a ser utilizado pelos serviços de saúde.

A participação dos juízes possibilitou adequação e aprimoramento da tecnologia, pois as sugestões desses profissionais foram de grande valia para o aperfeiçoamento do material, agregando conhecimentos e valores à sua versão final.

O envolvimento dos profissionais das diversas áreas foi relevante no processo de validação da tecnologia, possibilitando uma avaliação positiva da adequabilidade do material com um olhar diferenciado por se tratar de especialistas na área que atuam.

Agradecimentos

À Fundação Cearense de Apoio ao Desenvolvimento Científico e Tecnológico (FUNCAP), Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPQ) e Ministério da Saúde ao financiamento do projeto: “Gestão em Redes Compartilhadas: espaços de tecnologia e inovação para o cuidado na Atenção Primária à Saúde”.

Aos bolsistas da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES), que nos ajudaram no desenvolvimento da coleta de dados.

REFERENCES

• ¹
  Brocardo D, Andrade CLT, Fausto MCR, Lima SML. Núcleo de Apoio à Saúde da Família (Nasf): panorama nacional a partir de dados do PMAQ. Saúde debate. 2018;42(1):130-44.
• ²
  Campos GWS, Pereira Júnior N. Primary care in Brazil, and the Mais Médicos (More Doctors) Program in the Unified Health System: achievements and limits. Ciênc. saúde coletiva. 2016;21(9):2655-63.
• ³
  Souza TS, Medina MG. NASF: fragmentação ou integração do trabalho em saúde na APS? Saúde debate. 2018;42(2):145-58.
• ⁴
  Santos AF, Fonseca Sobrinho D, Araujo LL, Procópio CSD, Lopes EAS, Lima AMLD et al. Incorporação de tecnologias de informação e comunicação e qualidade na atenção básica em saúde no Brasil. Cad. Saúde Pública [periódico na Internet]. 2017 [acesso em: 25 abr. 2019]; 33(5):1-14. Disponível em: http://www.scielo.br/pdf/csp/v33n5/1678-4464-csp-33-05-e00172815.pdf
  » http://www.scielo.br/pdf/csp/v33n5/1678-4464-csp-33-05-e00172815.pdf
• ⁵
  Polit DF, Beck CT. Fundamentos de pesquisa em enfermagem: avaliação de evidências para a prática da enfermagem. 7 ed. Porto Alegre: Artmed; 2011.
• ⁶
  Bittencourt HR, Creutzberg M, Rodrigues ACM, Casartelli AO, Freitas ALS. Desenvolvimento e validação de um instrumento para avaliação de disciplinas na educação superior. Est Aval Educ. 2011;22(48):91-114.
• ⁷
  Fehring RJ. The Fehringmodel. In: Carrol-Jonhnson RM, Paquete M (eds). Classification of nursing diagnoses: proceedings of the Tenth Conference, 1994. Philadelphia: J.B. Limppincott; 1994. p. 55-62.
• ⁸
  Doak CC, Doak LG, Root JH. Learner verification and revision of materials. In: Doak CC, Doak LG, Root JH (eds). Teaching patients with low literacy skills. 2nd ed. Philadelphia: Lippincott Company; 1996. p. 167-88.
• ⁹
  Sousa CS, Turrini RNT, Proveda VB. Translation and adaptation of the instrument "suitability assessment of materials" (sam) into Portuguese. Rev Enf UFPE. 2015;9(5):7854-61.
• ¹⁰
  Tenório JM, Cohrs FM, Sdepanian VL, Pisa IT, Marin HF. Desenvolvimento e avaliação de um protocolo eletrônico para atendimento e monitoramento do paciente com doença celíaca. RITA. 2010;17(2):210-20.
• ¹¹
  Alexandre NMC, Coluci MZO. Validade de conteúdo nos processos de construção e adaptação de instrumentos de medidas. Ciênc. saúde coletiva. 2011;16(7):3061-8.
• ¹²
  Sukumar SR, Natarajan R, Ferrel RK. Quality of Big Data in health care. Int J of Health Care Qual Assur. 2015;28(6):621-34.
• ¹³
  Pinto LF, Rocha CMF. Innovations in Primary Health care: the use of communications technology and information tools to support local management. Ciênc. saúde coletiva [periódico na Internet]. 2016 Maio [acesso em: 25 abr. 2019]; 21(5):1433-48. Disponível em: https://www.scielo.br/pdf/csc/v21n5/en_1413-8123-csc-21-05-1433.pdf
  » https://www.scielo.br/pdf/csc/v21n5/en_1413-8123-csc-21-05-1433.pdf
• ¹⁴
  Liddy C, Afkham A, Drosinis P, Joschko J, Keely E. Impact of and satisfaction with a New eConsult Service: a mixed-methods study of primary care providers. J Am Board Fam Med. 2015;28(3):394-403.
• ¹⁵
  Polit DF, Beck CT, Owen SV. O CVI é um indicador aceitável de validade de conteúdo? Avaliação e recomendações. Pesquisa enferm saúde. 2007;30(4):459-67.
• ¹⁶
  Onocko-Campos RT, Ferrer AL, Porto K, Santos DVD, Stefanello S, Trapé TL et al. Saúde mental na atenção primária à saúde: estudo avaliativo em uma grande cidade brasileira. Ciênc. saúde coletiva [periódico na internet]. 2011 [acesso em: 14 mar. 2019]; 16(12):4643-53. Disponível em: http://www.scielo.br/pdf/csc/v16n12/13.pdf
  » http://www.scielo.br/pdf/csc/v16n12/13.pdf
• ¹⁷
  Tiburcio MP, Melo GSM, Balduíno LSC, Costa IKF, Dias TYAF, Torres GV. Validação de instrumento para avaliação da habilidade de mensuração da pressão arterial. Rev Bras Enferm. 2014;67(4):581-7.
• ¹⁸
  Barra DCC, Paim SMS, Sasso GTMD, Colla GW. Methods for developing mobile apps in health: an integrative review of the literature. Texto contexto - enferm. 2017;26(4):1-12.
• ¹⁹
  Nilsson EG. Design patterns for user interface for mobile applications. Adv Eng Softw. 2009;40(12):1318-28.
• ²⁰
  Sousa FOS, Albuquerque PC, Nascimento CMB, Albuquerque LC, Lira AC. The role of Family Health Support Center in assistance coordination of Primary Health Care: limits and possibilities. Saúde debate [periódico na Internet]. 2017 [acesso em: 04 maio 2020]; 41(115):1075-89. Disponível em: https://www.scielo.br/pdf/sdeb/v41n115/en_0103-1104-sdeb-41-115-1075.pdf
  » https://www.scielo.br/pdf/sdeb/v41n115/en_0103-1104-sdeb-41-115-1075.pdf

• Fonte de financiamento: Fundação Cearense de Apoio ao Desenvolvimento Científico e Tecnológico (FUNCAP).

Datas de Publicação

• Publicação nesta coleção
  17 Jul 2020
• Data do Fascículo
  2020

Histórico

• Recebido
  22 Maio 2019
• Aceito
  09 Jun 2020