CONSTRUÇÃO E VALIDAÇÃO DE UMA CARTILHA PARA AUTOEFICÁCIA DA PREVENÇÃO DO ZIKA VÍRUS

RESUMO

Objetivo:

descrever a construção e validação de uma cartilha para prevenção do Zika vírus.

Método:

trata-se de uma pesquisa metodológica, realizada em quatro etapas. Na primeira, elaborou-se o projeto de pesquisa. Na segunda etapa, realizou-se o levantamento de dados a partir de uma revisão integrativa e de uma pesquisa qualitativa utilizando três grupos focais. Na terceira etapa, desenvolveram-se o conteúdo e roteiro da cartilha. Na quarta etapa, ocorreu a validação por juízes especialistas e pelo público-alvo, usuários(as) do Sistema Único de Saúde da atenção primária.

Resultados:

construiu-se uma cartilha ilustrada, colorida, contendo histórias em quadrinhos e textos informativos. Participaram da validação 23 juízes especialistas e 31 pessoas como público-alvo, usuários(as) do Sistema Único de Saúde da atenção primária. No primeiro ciclo de validação pelos juízes, obteve-se Índice de Validade de Conteúdo global de 0,79, e no segundo, o índice aumentou para 0,85. A média percentual de concordância do público-alvo correspondeu a 99%. Na versão final, a cartilha apresenta 28 páginas.

Conclusão:

a cartilha validada apresenta elementos potenciais para melhorar a prevenção da Zika e das demais arboviroses que possuem formas de prevenção semelhantes.

DESCRITORES:
Zika Vírus; Tecnologia educacional; Estudos de validação; Enfermagem; Tecnologia; Educação em Saúde

ABSTRACT

Objective:

to describe the construction and validation of a booklet for the Zika virus prevention.

Method:

this is a methodological research, carried out in four stages. In the first, the research project was elaborated. In the second stage, data were collected from an integrative review and a qualitative research using three focus groups. In the third stage, the booklet’s content and script were developed. In the fourth stage, there was validation by expert judges and by the target audience, Unified Health System users.

Results:

an illustrated, colorful booklet was built, containing comic books and informative texts. Twenty-three expert judges and 31 people participated in validation, Unified Health System users. In the first cycle of validation by judges, an overall Content Validity Index of 0.79 was obtained, and in the second, the index increased to 0.85. The average percentage of agreement of the target audience corresponded to 99%. In the final version, the booklet has 28 pages.

Conclusion:

the validated booklet presents potential elements to improve Zika prevention and other arboviruses that have similar forms of prevention.

DESCRIPTORS:
Zika virus; Educational technology; Validation studies; Nursing; Technology; Health education

RESUMEN

Objetivo:

describir la construcción y validación de un folleto para la prevención del virus Zika.

Método:

es una investigación metodológica, realizada en cuatro etapas. En el primero se elaboró ​​el proyecto de investigación. En la segunda etapa, se recopilaron datos de una revisión integradora y una investigación cualitativa utilizando tres grupos focales. En la tercera etapa se desarrolló el contenido y el guión del cuadernillo. En la cuarta etapa, se llevó a cabo la validación por parte de jueces expertos y por el público objetivo, usuarios del Sistema Único de Salud de atención primaria.

Resultados:

se elaboró un folleto ilustrado y colorido, que contiene cómics y textos informativos. En la validación participaron 23 jueces expertos y 31 personas como público objetivo, usuarios del Sistema Único de Salud de atención primaria. En el primer ciclo de validación por parte de los jueces, se obtuvo un Índice de Validez de Contenido general de 0,79, y en el segundo, el índice aumentó a 0,85. El porcentaje medio de acuerdo del público objetivo correspondió al 99%. En la versión final, el folleto tiene 28 páginas.

Conclusión:

el folleto validado presenta elementos potenciales para mejorar la prevención del Zika y otros arbovirus que tienen formas similares de prevención.

DESCRIPTORES:
Virus Zika; Tecnologia educacional; Estudios de validación; Enfermería; Tecnología; Educación en salud

INTRODUÇÃO

O Zika vírus é um arbovírus que se tornou uma preocupação das autoridades públicas por desvelar uma infecção menos branda do que inicialmente se acreditava. A arbovirose é responsável por causar infecção fetal e Síndrome Congênita do Zika Vírus. Em adultos, a infecção pode induzir a Síndrome de Guillain-Barré. O quadro de complicações neurológicas, a facilidade de deflagrar epidemias, principalmente em regiões que são endêmicas para outras arboviroses, e as diferentes possibilidades de transmissão do vírus, vetorial, transplacentária e sexual, tornam o combate à doença um desafio1^-3.

Na tentativa de debelar a infecção, a ciência avança com o desenvolvimento de algumas vacinas, em estágios pré-clínicos e precoces. Contudo, mensuram-se alguns problemas enfrentados, entre eles, a necessidade de proteção contra a Síndrome Congênita do Zika Vírus e a dificuldade de projetar e conduzir ensaios de eficácia no contexto de uma epidemia em rápida mudança4. A utilização de substâncias químicas, como larvicidas e inseticidas, como estratégias de saúde pública para eliminar as formas do mosquito transmissor da doença, infelizmente também tem apresentado limitações, como o aumento da resistência do vetor5^-6.

Diante dos desafios das estratégias de combate, tanto ao vírus como ao seu vetor, a prevenção da infecção e, consequentemente, a redução de suas complicações ficam restritas aos cuidados individuais e coletivos com o meio ambiente, a fim de eliminar os locais de reprodução do mosquito, bem como evitar as formas de transmissão da doença7.

A partir dessa premissa, o desenvolvimento e aperfeiçoamento de estratégias de educação ambiental com a utilização de materiais educativos adequados ao contexto socioeconômico e cultural da população consistem em alternativas potenciais para o combate à Zika. Os êxitos das estratégias educativas para o combate de doenças vetoriais já têm sido relatados em outros estudos, em que foi possível constatar aumento substancial do entendimento das doenças transmitidas pelo vetor em pessoas que participaram de intervenções utilizando tecnologia educativa impressa, elaborada coletivamente, mediante parceria e envolvimento da população8.

Estratégias educativas de combate ao mosquito também apresentam limitações. Para melhor compreendê-las, pesquisadores realizaram um estudo para identificar as principais barreiras para adesão às medidas de eliminação do vetor, pois as ações de combate vetorial já são desenvolvidas há tempos, tendo em vista que o mesmo mosquito também é capaz de transmitir outras doenças de relevância pública. Pesquisadores evidenciaram que um dos fatores relacionados à baixa adesão às recomendações de prevenção é a falta da autoeficácia da população9. A autoeficácia é tida como a crença que o indivíduo tem sobre sua capacidade de realizar com sucesso determinada atividade10.

Albert Bandura tem oferecido contribuições teóricas específicas e aplicáveis à área da saúde por meio de estudos abordando o comportamento humano, um deles inclui o construto da autoeficácia. Segundo o autor, as crenças da autoeficácia podem ser desenvolvidas a partir de quatro principais fontes de informação, consideradas elementos fundamentais na transmissão de informações que fortalecem ou enfraquecem as crenças dos indivíduos a respeito das próprias capacidades. Estas quatro fontes constituem os pressupostos da teoria da autoeficácia, os quais são: 1) experiência direta; 2) experiência vicária; 3) persuasões sociais (ou verbais) e 4) estados físicos e emocionais10.

Diante das repercussões da Zika para a saúde pública, frente ao potencial das intervenções educativas utilizando materiais educativos elaborados de forma participativa e às necessidades de elevar a autoeficácia da população para a prevenção da doença, este estudo teve como objetivo descrever a construção e validação de uma cartilha educativa para a prevenção da Zika, empregando pressupostos da teoria da autoeficácia.

MÉTODO

Trata-se de uma pesquisa metodológica realizada no período de 2016 a 2017 a partir de quatro etapas, as quais foram adaptadas de acordo com as orientações referentes ao desenvolvimento de materiais educativos no cuidado à saúde11.

Na primeira etapa, elaborou-se o projeto de pesquisa, o qual foi submetido ao Comitê de Ética em Pesquisa (CEP). Na segunda etapa, realizou-se o levantamento de dados a partir de uma revisão integrativa, para sintetizar os conhecimentos científicos existentes referentes ao Zika vírus12. Nesta mesma etapa também foi realizada uma pesquisa qualitativa utilizando três grupos focais para identificar quais aspectos da Zika a população considerava importante conter na cartilha. A Figura 1 apresenta a operacionalização dos grupos focais. Foram incluídas pessoas “chaves” da comunidade e aquelas que representavam grupos de risco da infecção.

Na terceira etapa, desenvolveram-se o conteúdo e o roteiro com a descrição das ilustrações das respectivas páginas da cartilha. Para a adequabilidade da linguagem, escrita, layout e design foram seguidas as orientações para a construção de materiais educativos em saúde13^-14. Depois da elaboração textual e do roteiro, a cartilha foi confeccionada por uma profissional de Design gráfico.

Figura 1 -
Operacionalização dos grupos focais. Crato, CE, Brasil, 2017.

Na quarta etapa, a cartilha foi validada por juízes especialistas, responsáveis por realizar tanto a validação de conteúdo quanto da forma, avaliando a coerência das informações técnicas referentes à doença e à aparência das ilustrações. Depois das adequações sugeridas pelos juízes, a cartilha foi submetida à validação da aparência pelo público-alvo, usuários(as) do Sistema Único de Saúde (SUS) da atenção primária. Esse processo teve a finalidade de julgar a clareza dos itens, facilidade de leitura, compreensão e forma de apresentação, segundo a percepção do público.

Os grupos focais e a etapa de validação pelo público-alvo foram realizados na zona urbana de um município pertencente à região dos Inhamuns, Ceará, Brasil. O referido município situa-se na região Nordeste e também foram registradas epidemias da Zika no período da pesquisa. A escolha do local se deu pela facilidade de acesso das pesquisadoras, tendo em vista o cronograma para conclusão da pesquisa pela ausência de financiamentos para a sua realização, pois todas as despesas do estudo foram custeadas pelas pesquisadoras.

Para convidar o público-alvo para validação, selecionou-se uma Unidade Básica do município com maior área adscrita, pois o número maior de pessoas assistidas por uma unidade ampliaria as pessoas que poderiam ser convidadas para participar da pesquisa. Quanto aos juízes especialistas, foram convidados profissionais de diferentes regiões do Brasil que atenderam ao perfil preestabelecido, mínimo de sete pontos no sistema classificação de Fehring adaptado15.

Os itens para a pontuação dos juízes foram os seguintes: artigo publicado, projetos de pesquisas, especialização/residência, mestrado, doutorado e/ou pós-doutorado em uma das seguintes áreas: saúde ambiental, tecnologias educativas, saúde coletiva/pública, doenças infecciosas e parasitárias, promoção da saúde, arboviroses, teorias comportamentais, assim como possuir experiência profissional em construção e validação de tecnologias educativas.

A validação pelos juízes foi realizada em dois ciclos. No que se refere ao número de juízes, adotou-se o quantitativo de 6 a 20 vinte, tanto no primeiro quanto no segundo. No primeiro ciclo foram convidados 35 profissionais e no segundo, 61.

As estratégias para a identificação dos juízes foram: 1) busca na Plataforma Lattes; 2) busca dos autores brasileiros nos estudos incluídos na revisão integrativa; 3) pesquisa aleatória de autores brasileiros em artigos publicados em periódicos da Biblioteca Virtual de Saúde; 4) amostragem de bola de neve; 5) solicitação de contatos aos departamentos de pós-graduação das áreas de conhecimentos afins.

Os juízes foram convidados via correio eletrônico (e-mail), mediante envio de uma carta-convite, os que aceitaram participar receberam um kit contendo: a Sinopse da Teoria da Autoeficácia, a Cartilha e o link de acesso ao questionário do Google Docs. Estabeleceu-se um prazo de quinze dias para a análise da cartilha, preenchimento e envio do questionário. Utilizou-se como critérios de exclusão do juiz: o envio do questionário de validação incompleto ou após o prazo estabelecido.

Depois de a profissional em Design gráfico concluir as alterações acatadas na validação pelos juízes, a cartilha foi submetida à validação pelo público-alvo. Buscou-se incluir uma quantidade de 30 a 40 pessoas, com diferentes faixas etárias e, preferencialmente, com baixa escolaridade, pois estas teriam mais capacidades de identificar mensagens da cartilha que pudessem não ser claras suficientes para a população com baixo nível de instrução. Foram excluídos(as) menores de 18 anos, pessoas com deficiências visuais e cognitivas e aquelas que aguardavam atendimento na unidade básica com queixas de dor ou desconforto durante a coleta de dados.

O instrumento de validação dos juízes especialistas conteve uma parte para a identificação do profissional e outra parte para julgar as respectivas páginas da cartilha quanto à clareza da linguagem, pertinência prática e relevância teórica. Foi adotada a escala do tipo Likert em 5 níveis de relevância (1. Pouquíssimo; 2. Pouco; 3. Médio; 4. Muito e 5. Muitíssimo) e possibilidade de uma única resposta para cada variável, com espaço adicional para sugestões. Os juízes foram identificados com uma letra J seguida de um número de ordem.

Os dados dos questionários foram organizados no Microsoft Excel. Para a análise dos dados foi adotado o Índice de Validade de Conteúdo (IVC), calculado com base em três equações matemáticas: S-CVI/UA (proporção de itens de uma escala que atinge os escores 4 “Muito” e 5 “Muitíssimo”; I-CVI (Validade de conteúdo dos índices individuais) e S-CVI/Ave (média dos índices de validação de conteúdo para todos os índices da escala). Consideraram-se validados o item e os instrumentos como um todo que apresentaram IVC maior ou igual a 0,7816.

Os itens que receberam pontuações 1, 2 ou 3 e IVC abaixo do recomendado foram revisados. As sugestões dos juízes em torno dos textos e ilustrações foram analisadas e acatadas ou não, com base nos resultados da revisão integrativa,12 nos pressupostos da teoria da autoeficácia,10 nas recomendações para a construção de materiais educativos13^-14 e levando em consideração as informações obtidas nos grupos focais.

Quanto à validação pelo público-alvo, aqueles que aceitaram participar receberam a cartilha impressa juntamente com um instrumento de validação que permitiu julgar as respectivas páginas da cartilha quanto à clareza e relevância mediante respostas “sim” ou “não”. Para mensurar o grau de relevância das páginas também foi adotada a escala de Likert contendo 4 níveis (1. Irrelevante; 2. Pouco relevante; 3. Realmente relevante e 4. Muito relevante).

A validação realizada por eles foi calculada com base no percentual de concordância das respostas “sim” e da proporção das respostas da escala de Likert “3 - Realmente relevante” e 4 - “Muito relevante”, de modo que os itens e a cartilha como um todo que obtivessem nível de concordância mínimo de 75% seriam considerados válidos.

RESULTADOS

O total de participantes dos três grupos focais correspondeu a 18. Participaram do grupo os Representantes das Associações de Moradores (RAM), Líderes Religiosos (LR) e Gestantes (G), respectivamente n=7, n=6 e n=5. A média de tempo dos três grupos foi de 79 minutos.

O grupo dos Líderes Religiosos apresentou faixas etárias entre 20 e 58 anos, maioria do sexo masculino (n=5) e com ensino superior incompleto (n=3), as rendas variaram desde a nenhuma até 4 salários mínimos. O grupo de Representantes das Associações de Moradores foi composto apenas por mulheres de religião católica, a faixa etária variou de 33 a 72 anos, grande parte havia concluído o ensino médio (n=4), a renda variou de menos de um salário mínimo a mais de 2 salários. O grupo de gestantes apresentou idades de 22 a 31 anos, religiões diversificadas, em relação à escolaridade apenas 2 tinham o ensino médio completo, a renda de grande parte era advinda do trabalho informal e com no máximo 2 salários mínimos.

De acordo com as falas, os participantes manifestaram interesse em conhecer a origem da Zika, como a arbovirose chegou ao Brasil e como ocorre a transmissão da doença: Eu tenho interesse de saber de que começou a doença aqui, como foi que a pessoa adoeceu. Eu queria saber de que foi que começou! (RAM6). Demonstraram que seria importante explicar os sintomas da Zika e quais as diferenças entre outras arboviroses transmitidas pelo mesmo mosquito, assim como o tratamento e prevenção da Zika: Como o mesmo mosquito transmite a Dengue, Zika e Chikungunya, muitas vezes a gente se embaralha com os sintomas das doenças, né?! [...] Principalmente para abordar os sintomas, as formas de prevenção, até mesmo como é feito o tratamento (LR2). [...] então eu quero saber a diferença entre os sintomas e como prevenir (G3). Talvez algo que informe nesse sentido, de dizer o que é a doença, suas consequências, e como tratá-la (LR1). O que vamos tomar? Que medicamentos existem para isso? (RAM5). Eu também gostaria de saber como se inicia a doença e principalmente a prevenção (RAM3).

Outro aspecto sinalizado diz respeito às complicações da Zika: [...] falar essa questão das implicações da infecção para as gestantes (LR1). [...] É isso que a gente quer saber, as consequências na criança. Eu já vi que pode causar microcefalia, mas pode causar mais o quê? (G2).

Os participantes dos Grupos também apresentaram alguns elementos considerados relevantes para tornar a cartilha culturalmente aceita e atrativa aos leitores. Sugeriram maneiras de como a cartilha poderia ser organizada: Que ela seja ilustrada, de forma que facilite o entendimento, porque às vezes podem não lê por causa das palavras que não são compreendidas, às vezes o vocabulário é um vocabulário de nível superior. (RAM 5). Ficaria interessante se tivesse figuras, imagens que mostram como deve ser feito (G3). Quando tem texto pequeno eu leio, mas quando é com texto grande eu não leio (G3). Tanto explicando com texto como por figura, porque tem gente que não sabe ler, né?! (G2).

Optou-se por uma cartilha colorida, mesclando narrativa quadrinizada com textos didáticos, inserindo personagens fictícios. Os textos e as narrativas foram elaborados com sentenças curtas, empregando palavras comuns na voz ativa, o tamanho da fonte foi de no mínimo 14. Foram incluídos tópicos, títulos, negrito e marcadores nas páginas.

A primeira versão da cartilha apresentou 28 páginas no formato de meia folha A4 (150x210 mm) configuradas em paisagem. Para empregar o pressuposto da Teoria da autoeficácia, experiência direta, a cartilha enfatizou comportamentos em que os personagens obtiveram êxito: uma gestante que realizou os cuidados recomendados para prevenir a Zika, durante a gestação, não foi infectada pelo vírus e o seu filho nasceu saudável.

No pressuposto experiência vicária, para aumentar as crenças dos leitores de que eles possuíam capacidades e habilidades para dominar atividades de forma também bem-sucedida, foram incluídos personagens que representavam os usuários do SUS com um desfecho positivo. Para que os leitores adentrassem o roteiro da cartilha, foram incluídas ilustrações que retratavam locais semelhantes aos existentes da localidade do público-alvo: ruas, Unidade Básica de Saúde, Lacen, entre outros.

Para utilizar o pressuposto de persuasões sociais (ou verbais), a cartilha foi escrita na voz ativa, ao tempo em que muitas frases ressaltavam ações propostas de prevenção da Zika que são exequíveis, capazes de serem realizadas pelo leitor. No pressuposto estados físicos e emocionais, foram ilustradas situações em que a população demonstra interesse em aprender e participar ativamente das ações de prevenção da Zika.

A capa foi ilustrada para que o leitor capte a mensagem principal, contendo o Título “Juntos somos capazes de evitar a Zika”. Foram incluídos os principais personagens envolvidos na prevenção do vírus Zika representados pela gestante, adulto, criança, bem como por diferentes profissionais da saúde.

No primeiro ciclo de validação pelos juízes, aceitaram participar da pesquisa, respondendo ao questionário em tempo hábil, 12 juízes. No segundo ciclo, participaram 19, dos quais 8 deles também participaram do primeiro. Foram convidados 6 especialistas da área de Design gráfico, dos quais 2 confirmaram participação, porém nenhum enviou o questionário.

No total participaram 23 Juízes, maioria do gênero feminino 87% (N=20), grande parte da região Nordeste 56% (N=13), principalmente do estado do Ceará 31% (N=7). Em relação ao curso de graduação, a maioria era graduada em enfermagem 44% (N=10). No que se refere à pós-graduação, com exceção de 1 (4%), todos cursaram ou estavam cursando doutorado, além disso 26% (N=6) possuíam pós-doutorado.

A Tabela 1 apresenta os valores dos respectivos IVC obtidos nos dois ciclos de validação. No primeiro ciclo a cartilha obteve o IVC global mínimo 0,78. Depois de realizar as alterações sugeridas, o resultado do IVC global no segundo ciclo correspondeu a 0,85. No primeiro ciclo a variável “relevância teórica” obteve I-CVI inferior ao valor estabelecido para a validação, contudo, no segundo ciclo o índice aumentou para 0,86, valor satisfatório para a validação.

Tabela 1 -
Distribuição dos Índices de Validade de Conteúdo (IVC) dos respectivos ciclos de validação, segundo análise dos juízes especialistas. Crato, CE, Brasil, 2017.

Páginas da cartilha S-CVI/UA*	Primeiro ciclo de validação			Segundo ciclo de validação
	Clareza da Linguagem	Pertinência Prática	Relevância Teórica	Clareza da Linguagem	Pertinência Prática	Relevância Teórica
Capa	0,92	0,92	0,83	0,89	0,95	0,89
Sumário	1	0,91	1	0,95	1	0,89
6	0,83	0,68	0,68	0,95	0,89	0,95
7	0,92	0,83	0,75	0,79	0,79	0,74
8	0,83	0,83	0,83	0,69	0,84	0,69
9	0,75	0,83	0,66	0,63	0,84	0,58
10	0,83	0,75	0,75	0,84	0,95	0,95
11	0,92	0,92	0,92	0,63	0,84	0,98
12	0,75	0,83	0,83	0,84	0,89	0,84
13	0,67	0,58	0,68	0,74	0,74	0,79
14	0,58	0,58	0,50	0,74	0,95	0,95
15	0,92	0,83	0,83	0,79	0,89	0,95
16	0,67	0,67	0,58	0,84	0,84	0,89
17	0,83	0,83	0,75	0,53	0,74	0,63
18	0,92	0,83	0,83	0,89	0,95	0,95
19	0,83	0,83	0,75	0,89	0,95	0,84
20	0,83	0,75	0,75	0,95	0,89	0,95
21	0,67	0,67	0,58	0,89	0,95	0,89
22	0,67	0,67	0,67	0,98	0,84	0,95
23	0,91	0,91	0,83	0,95	0,95	0,95
I- CVI†	0,81	0,78	0,75	0,82	0,88	0,86
S-VCI/Ave‡		0,78			0,85

• *Proporção de itens da escala que atingiu escores 4 “muito” e 5 “muitíssimo”;†Validade de conteúdo de índices individuais; ‡ Média dos índices de validação de conteúdo para todos os índices da escala.

No primeiro ciclo, 13 páginas obtiveram S-CVI/UA acima de 0,78 no aspecto clareza da linguagem e no segundo ciclo, 14 delas. No aspecto pertinência prática, o número de páginas com S-CVI/UA acima de 0,78 foram 13 no primeiro ciclo e 18 no segundo. No aspecto relevância teórica, no primeiro ciclo, apenas 8 páginas obtiveram S-CVI/UA acima de 0,78, enquanto no segundo ciclo a quantidade de páginas dobrou para 16.

O Quadro 1 apresenta algumas sugestões dos juízes obtidas no processo de validação de ambos os ciclos, as quais foram analisadas, acatadas ou não, conforme os dados obtidos na revisão integrativa. No final no segundo ciclo de validação, a cartilha permaneceu com 28 páginas, sendo algumas delas totalmente modificadas.

Quadro 1 -
Sugestões dos juízes especialistas que participaram da validação da cartilha. Crato, CE, Brasil, 2017.

Página	Sugestões dos juízes especialistas	Análise
Sumário	Não utilizar a palavra perigosa (J2); modificar a lona em cima do pneu e a garrafa solta (J13)	Aceito
	Retirar tópico "Como a Zika chegou ao Brasil?"(J5)	Rejeitado
6	Incluir uma roda de conversa (J3, J12); substituir a enfermeira loira por alguém com pele e cabelos escuros (J7); contemplar a diversidade da população brasileira, incluir negros (J16)	Aceito
7	Não colocar números, pois desatualiza (J11); colocar o ciclo em macacos e em hospedeiros humanos (J16)	Aceito
	Retirar as hipóteses de como o vírus chegou (J14, J15, J20)	Rejeitado
8	Deve enfatizar os locais que funcionam de criadouro (J5); alterar o título do item (J15, J13, J17)	Aceito
9	Modificar a figura do doente (J5, J7); incluir o período de incubação extrínseco (J16, J17)	Aceito
	Modificar o título do item: “Você é capaz de evitar a Zika” (J13)	Rejeitado
10	Retirar transmissão pela saliva (J2, J3, J8, J11, J5); rever figura da doação de sangue, está confusa (J5); modificar o título (J8, J14)	Aceito
11	Informar que geralmente os sintomas da Zika são leves (J3); modificar “é mais branda”, para melhor compreensão (J1, J3, J15)	Aceito
	Sugiro criar um novo tópico (J20)	Rejeitado
12	Colocar destaque na expressão "que coçam" (J10)	Aceito
	Deve aparecer apenas laboratório e não Lacen (J13)	Rejeitado
13	Ressaltar a busca à ESF não somente quando doente (J4); modificar semblante da enfermeira, ela está muito feliz para a gravidade (J15)	Aceito
	Reforçar a busca aos serviços apenas nas complicações (J18)	Rejeitado
14	Colocar outras alterações na face do bebê com microcefalia (J4); sugiro colocar uma imagem em família (J8)	Aceito
15	Sugiro colocar no roteiro algo que remeta à prevenção (J3); sugiro acrescentar no texto “clínicas especializadas” (J13, J18)	Aceito
16	Sugiro retirar a Síndrome de Guillain-Barré e as complicações raras (J2); descrever sinais de piora e necessidade de procura dos serviços de saúde (J5); especificar “corte suas unhas” (J13, J15)	Aceito
17	Incentivar a sociedade a monitorar bueiros (J1); responsabilizar autoridades sanitárias e governamentais (J1, J2); sugiro uma imagem direcionada à limpeza e evitar acúmulo de água (J3)	Aceito
18	Esclarecer necessidade do controle dos focos nas casas vizinhas (J5); especificar que o reservatório é da geladeira (J12)	Aceito
19	Desconstruir a cultura de buscar a unidade somente diante dos agravos (J4)	Aceito
20	Rever abordagem da página (J1)	Aceito
21	Lembrar o mais importante: evitar a proliferação do mosquito (J3) Trazer figura do corpo todo da gestante (J12); abranger os cuidados para todas as pessoas (J18)	Aceito
22	Retirar a informação de viagens (J3, J7); deixar a decisão de não doar sangue a cargo da população (J3)	Aceito
23	Frisar a importância da hidratação oral (J2)	Aceito

Figura 2 -
Ilustração representativa da capa, diagramação e personagens da cartilha “Juntos somos capazes de evitar a Zika”. Crato, CE, Brasil, 2017.

Na Figura 2 há ilustrações representativas de algumas páginas da cartilha após a validação. Ao finalizar o segundo ciclo não houve necessidade de modificar as ilustrações, foram modificados apenas os textos em algumas páginas. Depois da compilação dos dados, o material foi dividido em seis tópicos com as seguintes temáticas: 1) Você é capaz de saber o que é Zika! 2) Você pode saber como se pega Zika! 3) Você pode saber os sintomas da Zika! 4) Entenda as complicações da Zika! 5) Você pode melhorar da Zika! 6) Você é capaz de evitar a Zika!

Na validação pelo público-alvo participaram 31 pessoas. A idade dos participantes variou de 20 a 72 anos, o gênero foi predominantemente feminino 83,9% (N=26). Metade 51,5% (N=16) cursou o ensino médio completo, 12,9% (N=4) não concluíram o ensino médio, enquanto 16,1% (N=5) só estudaram o ensino fundamental. Grande parte, 54,8% (N=17), apresentava renda familiar de menos de um salário mínimo e 38,7% (N=12) possuíam renda em torno de 1 a 2 salários.

A Tabela 2 apresenta os percentuais de concordância obtidos durante a coleta de dados. Em relação à “clareza” a média de concordância foi 100%, enquanto “relevância” obteve percentual de concordância de 99%, em relação ao “grau de relevância” o percentual de concordância foi 98%.

Foram registradas poucas sugestões de alterações, todas referentes apenas ao texto. Obtiveram-se vários comentários positivos mensurando a importância dos temas incluídos no material, sua aparência, clareza dos textos e ilustrações.

Tabela 2 -
Resultados dos percentuais de concordância obtidos pelo público-alvo na validação da cartilha. Crato, CE, Brasil, 2017. (N=31)

Páginas da cartilha	Clareza		Relevância		Grau de Relevância
	N	%*	N	%*	N	%*
Capa	31	100	31	100	31	100
Sumário	31	100	31	100	31	96,8
6	31	100	31	96,8	31	93,6
7	31	96,8	31	93,5	31	90,3
8	31	100	31	100	31	100
9	31	100	31	100	31	96,8
10	31	100	31	100	31	96,8
11	31	100	31	100	31	93,6
12	31	100	31	96,8	31	96,8
13	31	100	31	100	31	100
14	31	100	31	100	31	100
15	31	100	31	100	31	100
16	31	100	31	100	31	96,8
17	31	100	31	100	31	96,8
18	31	100	31	100	31	100
19	31	100	31	100	31	100
20	31	100	31	100	31	100
21	31	100	31	96,8	31	96,8
22	31	96,8	31	96,8	31	96,8
23	31	100	31	100	31	100
Total †	100%		99%		98%
Média das variáveis			99%

• *Percentual de concordância; †Média do Percentual de concordância das páginas.

DISCUSSÃO

As tecnologias educacionais devem ser construídas a partir da abordagem teórica, por serem capazes de fornecer um quadro previsível de planejar ações mais propensas ao sucesso, disporem de um modelo para replicar uma intervenção e proporem um processo sistemático12. Assim como a cartilha desenvolvida neste estudo, outras Enfermeiras também construíram e validaram materiais educativos com base nos pressupostos da teoria da autoeficácia, sinalizando que este constructo é uma alternativa para nortear o desenvolvimento de materiais educativos na área da saúde17^-19.

A cartilha educativa “Juntos somos capazes de evitar a Zika” foi validada por uma quantidade significativa de juízes, 23 especialistas, com elevados conhecimentos referentes ao tema abordado, pois a maioria possuía doutorado nas áreas afins. A partir dos resultados da validação, infere-se que os juízes foram criteriosos quanto aos aspectos julgados, tendo em vista o IVC mínimo de 0,78 obtido no primeiro ciclo. As alterações realizadas, conforme sugerido, nas ilustrações, textos e roteiro, fizeram com que o IVC no segundo ciclo fosse elevado para 0,85.

Acredita-se que o resultado do primeiro ciclo possa ser justificado pelo fato de a Zika, no período da pesquisa, ser uma arbovirose emergente, uma vez que o primeiro caso autóctone foi registrado no ano de 2015 e a sua repercussão para a criança durante a gestação só foi relatada posteriormente20. Confirma essa afirmação os achados da revisão integrativa realizada na etapa de levantamento de dados, durante a construção da cartilha, em que foram encontradas divergências quanto aos aspectos da doença, sobretudo referentes à transmissão e complicações do Zika vírus.

As sugestões no segundo ciclo foram realizadas predominantemente por aqueles que não participaram do primeiro, tendo em vista que grande parte das sugestões anteriores foi aceita, contribuindo para elevar os índices de validação no segundo ciclo. A estratégia de incluir novos juízes em uma segunda etapa de validação pôde contribuir de modo significativo para o aperfeiçoamento da cartilha.

A realização de uma segunda rodada de validação pelos especialistas tem sido adotada também por outros autores nas pesquisas de validação de materiais, o método eleva os escores de validação e consequentemente a qualidade do material. Cita-se um estudo de validação de conteúdo de um checklist para avaliar a capacitação com simulação clínica do atendimento ao paciente séptico, no qual os autores adotaram o IVC e também realizaram duas rodadas de avaliação pelos especialistas21.

A utilização do IVC em estudos metodológicos para validação de cartilhas educativas na área da saúde tem sido amplamente difundida. É crescente a necessidade de materiais educativos confiáveis que possam contribuir para as ações de educação em saúde pela Enfermagem e pelos demais profissionais. Evidencia-se que algumas pesquisadoras realizaram validação de cartilhas incluindo exclusivamente juízes especialistas, citam-se uma cartilha para a promoção da alimentação saudável entre pacientes diabéticos, a qual obteve IVC de 0,96 e uma cartilha para a prevenção de HIV/Aids em idosos, validada com o IVC global de 0,95 por 9 juízes22^-23.

Assim como neste estudo, há outras publicações que incluíram no processo de validação de cartilhas educativas tanto especialistas como o público-alvo, além de também adotarem o IVC24^-25. Em pesquisa de construção e validação de cartilha para a prevenção da transmissão vertical do HIV, da qual participaram 30 pessoas como público-alvo e 9 juízes especialistas, a cartilha obteve IVC global de 0,87 pelos juízes e o nível de concordância entre o público-alvo variou de 98,1% a 100%26. Na validação de cartilha para a prevenção do excesso ponderal em adolescentes, as autoras incluíram 15 juízes e 36 adolescentes como público-alvo e obtiveram nível de concordância de 82% e o IVC médio obtido pelos juízes de conteúdo foi 0,8727.

Ao analisar as sugestões dos juízes neste estudo, foram acatadas aquelas que reforçam a prevenção e promoção da saúde. Algumas sugestões foram rejeitadas, conforme apresentadas no Quadro 1, tendo em vista estarem em desacordo com os referenciais teóricos adotados no estudo, apresentados no método. Ressalta-se que a cartilha foi ilustrada retratando situações e comportamentos desejáveis por parte dos leitores, logo, sugestões contrárias não foram acatadas. Além disso, conteúdos que haviam sido sugeridos pelos participantes dos grupos focais e que os juízes solicitaram excluir também não foram acatados, considerou-se prioridade incluir os conteúdos de interesse da comunidade em detrimento aos dos juízes.

As sugestões de correções gramaticais foram aceitas. Recomenda-se que os materiais educativos sejam submetidos à revisão gramatical para que possa melhorar os índices de validação. Sugestões de alterações que remetiam a uma abordagem mais dialógica, respeitando o modelo de atenção horizontalizado entre profissionais e usuários do SUS, foram acatadas. Nesse contexto, surge a necessidade de readequar os processos de ensino da Enfermagem, bem como os materiais educativos, de modo que contemplem este novo paradigma.

No primeiro ciclo de validação houve a necessidade de fazer muitas adequações na cartilha, tanto no roteiro como nas ilustrações, contudo, as modificações após o segundo ciclo de validação foram predominantes nos tópicos. As alterações textuais foram feitas de modo que tornassem as informações mais compreensíveis para os leitores. Buscou-se ilustrar as informações textuais contendo situações práticas.

Quanto à validação pelo público-alvo, chama atenção que, ao contrário dos resultados obtidos pela validação dos juízes, ele validou a cartilha com valores elevados, uma variável inclusive obteve nível de concordância máximo de 100%. A média dos percentuais de concordância dos itens julgados pelo público-alvo foi igual a 99%, o que representa excelente nível de concordância dos participantes, indicando elevada qualidade da cartilha. A população-alvo também realizou sugestões, as quais foram analisadas e aceitas de acordo com os referenciais do estudo, o que resultou na versão final da cartilha.

Considera-se que os resultados obtidos pelo público-alvo neste estudo estão relacionados à participação da comunidade, a partir dos grupos focais, na segunda etapa da pesquisa, em que foi possível identificar os temas de interesse e a forma pela qual a cartilha poderia se tornar mais atrativa, elaborada, portanto, de modo participativo. Cita-se, também, além dos métodos utilizados previamente à validação da cartilha pelo público-alvo, a validação criteriosa dos especialistas. Os resultados qualitativos da avaliação desse público encontram-se na literatura28.

Infere-se que a cartilha educativa “Juntos somos capazes de evitar a Zika” é uma tecnologia de enfermagem validada contendo uma linguagem simples, layout e design atraente, a qual pode ser utilizada na educação em saúde por diferentes profissionais e em variados contextos, favorecendo a autoeficácia, autonomia e o empoderamento da população em torno das ações de prevenção da Zika.

Cita-se como desafio desenvolver um material educativo contendo elementos que desperte no leitor autonomia e o “Empowerment”, com abordagem construtivista e que não reproduza o tradicional modelo mecanicista e biomédico de atenção à saúde. Os modelos tradicionais de ensino já estão naturalizados às práticas de ensino e pesquisa, repensar estratégias para a desconstrução desse modelo requer tempo, esforço, dedicação e abordagens inovadoras, que por vezes demandam capacitação continuada, perspicácia e persistência.

Aponta-se como limitação do estudo a não adesão da participação de profissionais da área de Design gráfico para realizar a validação. Sugere-se a elaboração de materiais educativos com abordagem semelhante, direcionados às famílias com crianças diagnosticadas com a Síndrome Congênita do Zika vírus. Essas famílias vivenciam a doença com maior intensidade, ansiedade, angústia e depressão, demandando atenção e cuidados especiais, por parte da Enfermagem, desde o pré-natal até o puerpério29.

CONCLUSÃO

A cartilha “Juntos somos capazes de evitar a Zika” foi validada pelos juízes com IVC global de 0,85, e pelo público-alvo com percentual de concordância de 99%. A cartilha desenvolvida a partir dos pressupostos da Teoria da autoeficácia apresenta elementos potenciais para melhorar a prevenção da Zika e das demais arboviroses que possuem formas de prevenção semelhantes.

As contribuições deste estudo pautam-se na criação de novos saberes para a Enfermagem, consolidando os conhecimentos científicos da profissão e subsidiando as práticas educativas. Ainda, assumem relevância no campo dos cuidados à saúde com o meio ambiente, sobretudo na atenção primária, por fortalecer as ações em torno da saúde ambiental. Recomenda-se a divulgação da cartilha nas diferentes regiões do Brasil e em diferentes contextos. Também, a realização de estudos experimentais para mensuração da eficácia da cartilha.

REFERENCES

• 1. Oliveira WK, França GVA, Carmo EH, Duncan BB, Kuchenbecker RS, Schmidt MI. Infection-related microcephaly after the 2015 and 2016 Zika virus outbreaks in Brazil: a surveillance-based analysis. Lancet [Internet]. 2017 [cited 2019 June 10];390:861-70. Available from: https://doi.org/10.1016/S0140-6736(17)31368-5
  » https://doi.org/10.1016/S0140-6736(17)31368-5
• 2. Anthony S, Fauci MD, David M, Morens MD. Zika Virus in the Americas - yet another arbovirus threat. N Engl J Med [Internet]. 2016 [cited 2019 Aug 12];7(374):601-4. Available from: https://doi.org/10.1056/NEJMp1600297
  » https://doi.org/10.1056/NEJMp1600297
• 3. Shresta AENS. Immune Response to Dengue and Zika. Annu Rev Immunol [Internet]. 2018 [cited 2020 Jul 14];36:279-308 Available from: https://doi.org/10.1146/annurev-immunol-042617-053142
  » https://doi.org/10.1146/annurev-immunol-042617-053142
• 4. Barouch DH, Thomas SJ, Michael NL. Perspectivas para uma vacina contra o vírus zika Immunity; 2017 [cited 2020 Jul 14];46(2):176-82. Available from: https://doi.org/10.1016/j.immuni.2017.02.005
  » https://doi.org/10.1016/j.immuni.2017.02.005
• 5. Seley CM, González LJ, Tornese ML, Marchesi Olid LS, Martínez FN, Rossi ML, et al. Dengue and dengue haemorrhagic fever: its history and resurgence as a global public health problem: progress and challenges. Prensa Med Argent [Internet]. 2009 [cited 2019 Aug 12];96(7):395-406. Available from: https://www.researchgate.net/publication/293082321_Dengue_and_dengue_haemorrhagic_fever_Its_history_and_resurgence_as_a_global_public_health_problem_Progress_and_challenges
  » https://www.researchgate.net/publication/293082321_Dengue_and_dengue_haemorrhagic_fever_Its_history_and_resurgence_as_a_global_public_health_problem_Progress_and_challenges
• 6. Tozan Y, Ratanawong P, Louis VR, Kittayapong P, Smith WA. Use of insecticide-treated school uniforms for prevention of dengue in schoolchildren: a cost-effectiveness analysis. PLoS One [Internet]. 2014 [cited 2019 Aug 15];23(9):e0118038. Available from: https://doi.org/10.1371/journal.pone.0108017
  » https://doi.org/10.1371/journal.pone.0108017
• 7. Ioosa S, Malletb HP, Goffartc LI, Gauthiera V, Cardosoa T, Herida M. Current Zika virus epidemiology and recent epidemics. Med Maladies Infect [Internet]. 2014 [cited 2019 Aug 15];44:302-7. Available from: https://doi.org/10.1016/j.medmal.2014.04.008
  » https://doi.org/10.1016/j.medmal.2014.04.008
• 8. Arunachalam N, Tyagi BK, Samuel M, Krishnamoorthi R, Manavalan R, Tewari SC, et al. Community-based control of Aedes aegypti by adoption of eco-health methods in Chennai City, India. Pathog Glob Health [Internet]. 2012 [cited 2019 Aug 30];106(8):488-96. Available from: https://doi.org/10.1179/2047773212Y.0000000056
  » https://doi.org/10.1179/2047773212Y.0000000056
• 9. Wong LP, Abubaka S. Health beliefs and practices related to dengue fever: A Focus Group Study. PLoS Negl Trop Dis [Internet]. 2013 [cited 2019 Aug 20];7(7):e2310. Available from: https://doi.org/10.1371/journal.pntd.0002310
  » https://doi.org/10.1371/journal.pntd.0002310
• 10. Bandura A. Social Cognitive Theory. Greenwich (UK): JAI Press; 1989.
• 11. Echer IC. Elaboração de manuais de orientação para o cuidado em saúde. Rev Latino-Am Enfermagem [Internet]. 2005 [cited 2019 Aug 12];13(5):754-7. Available from: http://www.scielo.br/pdf/rlae/v13n5/v13n5a22.pdf
  » http://www.scielo.br/pdf/rlae/v13n5/v13n5a22.pdf
• 12. Dias, ÍKR, Sobreira, CLS, Martins, RMG, Santana, KFS, Lopes, MSV, Joventino, ES, et al. Zika virus: - a review of the main aspects of this type of arbovirosis. Rev Soc Bras Med Trop [Internet]. 2018 [cited 2019 Oct 23];51(3):261-9. Available from: https://doi.org/10.1590/0037-8682-0130-2018
  » https://doi.org/10.1590/0037-8682-0130-2018
• 13. Doak CC, Doak LG, Root JH. Teaching pacients wint low literacy skills. 2nd ed. Phildelphia (US): JB Lippincott; 1996.
• 14. Moreira MF, Nobrega MML, Silva MIT. Written communication: contribution for the elaboration of educational material in health. Rev Bras Enferm [Internet]. 2003 [cited 2019 Oct 23];56(2):184-8. Available from: https://doi.org/10.1590/S0034-71672003000200015
  » https://doi.org/10.1590/S0034-71672003000200015
• 15. Fehring R. Methods to validate nursing diagnoses. Heart Lung [Internet]. 1987 Nov [cited 2019 Aug 25];16(6):625-9. Available from: https://core.ac.uk/download/pdf/213076462.pdf
  » https://core.ac.uk/download/pdf/213076462.pdf
• 16. Lynn MR. Determanation and quantification of content validity. Nurs Res [Internet]. 1986 [cited 2019 Oct 23];35(6):382-5. Available from: https://doi.org/10.1097/00006199-198611000-00017
  » https://doi.org/10.1097/00006199-198611000-00017
• 17. Dodt RCM, Ximenes LB, Oria MOB. Validação de álbum seriado para promoção do aleitamento materno. Acta Paul Enferm [Internet]. 2012 [cited 2020 Jul 16];25(2):225-30. Available from: https://doi.org/10.1590/S0103-21002012000200011
  » https://doi.org/10.1590/S0103-21002012000200011
• 18. Sabino LMM, Ferreira ÁMV, Mendes ERR, Joventino ES, Gubert FA, Penha JC, et al. Validation of primer for promoting maternal self-efficacy in preventing childhood diarrhea. Rev Bras Enferm [Internet]. 2018 [cited 2020 Jul 16];71(Suppl 3):1412-9. Available from: https://doi.org/10.1590/0034-7167-2017-0341
  » https://doi.org/10.1590/0034-7167-2017-0341
• 19. Sabino LMM, Ferreira ÁMV, Joventino ES, Lima FET, Penha JC, Lima KF, et al. Elaboration and validation of a reader on childhood diarrhea prevention. Acta Paul Enferm [Internet]. 2018 [cited 2020 Jul 16];31(3):233-9. Available from: https://doi.org/10.1590/1982-0194201800034
  » https://doi.org/10.1590/1982-0194201800034
• 20. Zaluca C, Melo A, Mosimann ALP, Santos GIV, Santos CND, Luz K. First report of autochthonous transmission of Zika virus in Brazil. Mem Inst Oswaldo Cruz [Internet]. 2015[cited 2019 Oct 27];110(4):569-72. Available from: https://doi.org/10.1590/0074-02760150192
  » https://doi.org/10.1590/0074-02760150192
• 21. Lino RLB, Oliveira SA, Silva KP, Machado RC. Validação de checklist para avaliação da capacitação com simulação clínica do atendimento ao paciente séptico. Enferm Global [Internet]. 2019 [cited 2020 Jan 30];56:172-84. Available from: https://doi.org/10.6018/eglobal.18.4.341171
  » https://doi.org/10.6018/eglobal.18.4.341171
• 22. Gonçalves MS, Celedônio RF, Targino MB, Albuquerque TO, Flauzino PA, Bezerra AN, et al. Development and validation of an educational booklet for health eating promotion among diabetic patients. Rev Bras Promoç Saúde [Internet]. 2019 [cited 2020 Jan 30];32:7781. Available from: https://doi.org/10.5020/18061230.2019.7781
  » https://doi.org/10.5020/18061230.2019.7781
• 23. Cordeiro LI, Lopes TO, Lira LEA, Feitoza SMS, Bessa MEP, Pereira MLD, et al. Validation of educational booklet for HIV/Aids prevention in older adults. Rev Bras Enferm [Internet]. 2017 [cited 2019 Oct 23];70(4):775-82. Available from: https://doi.org/10.1590/0034-7167-2017-0145
  » https://doi.org/10.1590/0034-7167-2017-0145
• 24. Ribeiro SA, Moreira AD, Reis JS, Soares AN, Géa-Horta T. Elaboration and validation of a booklet on diabetes for Community Health Workers. Rev Bras Enferm [Internet]. 2020 [cited 2020 Jul 17];73(4):e20180899. Available from: https://doi.org/10.1590/0034-7167-2018-0899
  » https://doi.org/10.1590/0034-7167-2018-0899
• 25. Santos AS, Rodrigues LN, Andrade KC, Santos MSN, Viana MCA, Chaves EMC. Construction and validation of an educational technology for mother-child bond in the neonatal intensive care unit. Rev Bras Enferm [Internet]. 2020 [cited 2020 Jul 17];73(4):e20190083. Available from: https://doi.org/10.1590/0034-7167-2019-0083
  » https://doi.org/10.1590/0034-7167-2019-0083
• 26. Lima AC, Bezerra KC, Sousa DM, Rocha JF, Oriá MO. Development and validation of a booklet for prevention of vertical HIV transmission. Acta Paul Enferm [Internet]. 2017 [cited 2019 Oct 23];30(2):181-9. Available from: https://doi.org/10.1590/1982-0194201700028
  » https://doi.org/10.1590/1982-0194201700028
• 27. Moura JR, Silva KC, Rocha AE, Santos SD, Amorim TR, Silva AR. Construção e validação de cartilha para prevenção do excesso ponderal em adolescentes. Acta Paul Enferm [Internet]. 2019 [cited 2020 Jan 23];32(4):365-73. Available from: https://doi.org/10.1590/1982- 0194201900051
  » https://doi.org/10.1590/1982- 0194201900051
• 28. Dias ÍKR, Sobreira CLS, Martins RMG, Santana KFS, Rocha RMGS, Lopes MSV. Perceptions of UHS users about the zika virus booklet. Reuol [Internet]. 2018 [cited 2019 Oct 23];12(11):3001-8. Available from: https://doi.org/10.5205/1981-8963-v12i11a236633p3001-3008-2018
  » https://doi.org/10.5205/1981-8963-v12i11a236633p3001-3008-2018
• 29. Hamad GBNZ, Souza KV. congenital zika virus syndrome: knowledge and how to communicate the diagnosis. Texto Contexto Enferm [Internet]. 2020 [cited 2020 Mar 10];29:e20180517. Available from: https://doi.org/10.1590/1980-265x-tce-2018-0517
  » https://doi.org/10.1590/1980-265x-tce-2018-0517

NOTAS

• ORIGEM DO ARTIGO

  Extraído da dissertação/tese - Vírus Zika: construção e validação de uma cartilha educativa, apresentada ao Programa de Pós-Graduação em Enfermagem da Universidade Regional do Cariri, em 2017.

• APROVAÇÃO DE COMITÊ DE ÉTICA EM PESQUISA

  Aprovado no Comitê de Ética em Pesquisa da Universidade Regional do Cariri - URCA, parecer n. 1.914.412, Certificado de Apresentação para Apreciação Ética 62843316.1.0000.5055

Datas de Publicação

• Publicação nesta coleção
  16 Ago 2021
• Data do Fascículo
  2021

Histórico

• Recebido
  25 Maio 2020
• Aceito
  28 Set 2020