Validação de cartilha sobre marcos do desenvolvimento da linguagem na infância

RESUMO

Objetivo:  construir e validar o conteúdo de um material educacional impresso (cartilha) sobre desenvolvimento típico da linguagem oral.

Métodos:  pesquisa de desenvolvimento metodológico, com validação de conteúdo. O material foi produzido após revisão da literatura, analisando as publicações disponíveis desta temática com os descritores: linguagem infantil, desenvolvimento infantil, desenvolvimento da linguagem, Transtornos do Desenvolvimento da Linguagem. Participaram 37 juízes (especialistas na área e público alvo) subdivididos em grupos: fonoaudiólogos-GJF; educadores-GJE; e familiares-GJFA, que responderam um instrumento com escala likert de 5 pontos. Foram aplicados o percentual de concordância absoluta (PCA) e o Índice de Validade de Conteúdo (IVC) com valores mínimos adotados de 75% e 0,78, respectivamente.

Resultados:  a cartilha contempla os aspectos de fonologia, semântica, sintaxe, narrativa e audição, citando o que é esperado para cada idade e aborda ao final de cada tópico sugestões sobre como estimular a linguagem da criança. Os escores médios de IVC foram: GJF=81,3%, GJE=93,51% e GJFA=89,4%.

Conclusão:  a cartilha atingiu alto índice de validade de conteúdo e apresentação final e subsidiará ações educativas em saúde, favorecendo a disseminação do conteúdo a familiares e profissionais que acompanham o desenvolvimento infantil.

Descritores:
Estudos de Validação; Desenvolvimento da Linguagem; Tecnologia Educacional; Educação em Saúde; Fonoaudiologia

ABSTRACT

Purpose:  to develop and validate the content of printed educative material (booklet) on the typical oral language development.

Methods:  methodological development research with content validation. The material was produced following a literature review, in which the available publications approaching this theme were analyzed. The descriptors used were “child language”, “child development”, “language development”, and “language development disorders”. A total of 37 judges (specialists in the field and target audience) participated, divided into groups: speech-language-hearing therapists (LJG), educators (EJG), and relatives (RJG). They answered a 5-point Likert-scale instrument. The absolute percentage agreement (APA) and content validity index (CVI) were applied, whose respective minimum values of 75% and 0.78 were adopted.

Results:  the booklet encompassed the aspects of phonology, semantics, syntax, narrative and hearing, citing what is expected for each age. At the end of each topic, suggestions on how to stimulate the child’s language were made. The mean VCI scores were: LJG=81.3%, EJG=93.51%, and RJG=89.4%.

Conclusion:  the booklet reached a high content and design validity index and will aid health education initiatives, allowing its content to be spread among families and professionals involved in child development.

Keywords:
Validation Studies; Language Development; Educative Technology; Health Education; Speech, Language and Hearing Sciences

Introdução

As ações de educação em saúde podem proporcionar a construção de novos conhecimentos, a mudança de comportamentos e de estilo de vida¹, incluindo a motivação em procurar o profissional da saúde para maiores informações e possíveis tratamentos². Este processo envolve a comunicação entre instituições/profissionais e o cidadão^3,4 e, neste contexto as tecnologias educativas do tipo impresso - nos formatos de cartazes, cartilhas, livretos, folders e/ou panfletos são amplamente utilizados como recurso^3,5-9.

A tecnologia impressa apoia e reforça informações e/ou discussões orais, serve como guia de orientações em casos de dúvidas posteriores e auxilia nas tomadas de decisões^3-6, além de aumentar a autonomia do público alvo¹⁰, tornando-se parte da mediação entre profissionais e população durante o processo educativo^4-12.

A elaboração do material educativo impresso deve seguir alguns princípios: a) base científica^11-14; b) meta educacional proposta para o público a que se destina¹⁵; c) legível e compreensível para o público a quem se destina^13,14,16; d) deve ser avaliado por juízes quanto ao conteúdo, linguagem, estrutura, design/layout, ilustração e composição geral^13,14. O material impresso deve chamar a atenção, ser de fácil leitura, portanto o vocabulário utilizado deve ser coerente com a mensagem e com o público alvo¹⁶. A validação de conteúdo deve ser realizada por juízes especialistas com expertise na área e depois pela população-alvo^16-18.

Na área de neurociência a linguagem é um dos exemplos clássicos de um período "crítico" ou "sensível" para o desenvolvimento. Estudos referem-se a diferentes janelas temporais para o aprendizado dos diferentes níveis de linguagem Para a aprendizagem da fonologia seria entre o nascimento e o final do primeiro ano, enquanto que para o desenvolvimento sintático seria entre 18 e 36 meses de idade, já para o vocabulário haveria um marco importante de "explosão lexical" aos 18 meses de idade, mas a aquisição ocorre durante toda a vida¹⁹. A exposição à linguagem no primeiro ano de vida influencia os circuitos neurais do cérebro ainda no período pré-verbal e o desenvolvimento do vocabulário durante os primeiros anos de vida está associado ao sucesso acadêmico posterior²⁰. A extensão do vocabulário oral aos 24 meses de idade pode predizer o desempenho acadêmico (leitura e matemática), na idade pré-escolar²¹.

Acompanhar o desenvolvimento da linguagem infantil desde o nascimento é extremamente importante visto que o período entre 0 a 36 meses é primordial para o desenvolvimento linguístico e qualquer exposição por fatores de risco e/ou proteção podem afetar diretamente este processo¹⁵.

Muitos familiares possuem incertezas quanto ao desenvolvimento da linguagem de seus filhos e como tratar essas situações, e muitas vezes recorrem a pediatras e educadores para receber orientações, sendo que o fundamental seria o encaminhamento ao fonoaudiólogo especialista em linguagem.

Uma cartilha construída e validada cientificamente é uma ferramenta educativa opcional muito relevante para divulgar os marcadores de desenvolvimento da linguagem destinados à diferentes públicos, tais como, profissionais das áreas da saúde e educação, familiares e outras pessoas que têm contato direto com a criança, visto que a disseminação deste conteúdo poderá incentivar o reconhecimento de atrasos e o encaminhamento precoce para aos processos de avaliação e intervenção fonoaudiológica, contribuindo para o prognóstico dos diferentes casos.

Diante deste exposto e considerando que durante a atuação em diferentes cenários em estágios supervisionados de diferentes níveis de complexidade, como Unidades de Educação Infantil, de Saúde da Família e centro especializado em diagnóstico e intervenção fonoaudiológica identificaram-se, durante a anamnese, relatos comuns de muitos familiares orientados a aguardar até cinco ou seis anos de idade, período em que se completaria o desenvolvimento da linguagem, para procurar atendimento, surgiu o primeiro questionamento direcionador: “Existe material impresso validado cientificamente para informar sobre o desenvolvimento da linguagem entre o nascimento e 6 anos de idade? E após analisar as diretrizes e os materiais informativos institucionais das secretarias de educação e da saúde municipal e estadual e do ministério da saúde não foi encontrada tal tecnologia educativa. Então iniciou-se o processo de elaboração da primeira versão do material e surgiu a segunda questão norteadora “o conteúdo do material produzido é adequado segundo avaliação de juízes especialistas? Está adequado ao público alvo?

Portanto, o objetivo deste estudo foi construir e validar o conteúdo de uma tecnologia impressa (cartilha) educativa sobre desenvolvimento típico da linguagem oral voltada a informar e aconselhar familiares e profissionais das áreas da saúde e educação.

Métodos

Trata-se de estudo descritivo de validação de tecnologia, do tipo pesquisa de desenvolvimento metodológico^16-18, aprovado pelo Comitê de Ética em do Hospital das Clínicas de Ribeirão Preto sob número 1.972.306/2017. Todos os juízes foram convidados a participar formalmente, preencheram e assinaram o Termo de Consentimento Livre e Esclarecido (TCLE). Todos foram assegurados quanto aos esclarecimentos às dúvidas no transcorrer do estudo. Foi garantido o direito de interromper a participação.

Construção da Cartilha

A construção do material seguiu as recomendações para confecção de material educativo citadas na literatura^{2,7,11-16,22-25}. Esta etapa foi dividida em três fases: 1) revisão da literatura para construir a base científica do conteúdo; 2) organização do conteúdo; 3) construção da cartilha quanto ao conteúdo, ilustração e layout e 4) validação do conteúdo e aparência.

Para a revisão de literatura (fase 1) foram empregados termos selecionados da lista de Descritores em Ciências da Saúde (DeCS), edição 2016: “linguagem infantil”, “desenvolvimento infantil”, desenvolvimento da linguagem, transtornos do desenvolvimento da linguagem, fonoaudiologia e educação em saúde. A estratégia de busca foi organizada com o apoio de uma bibliotecária, usando os operadores lógicos OR e AND para a combinação dos termos. Definiu-se como fonte de busca as bases Literatura Latino-Americana e do Caribe (Lilacs) e Scientific Electronic Library (Scielo). Os artigos científicos foram selecionados, de acordo com os seguintes critérios de inclusão: pelo período de publicação (janeiro de 2005 e janeiro de 2017), pela língua (publicados em português), disponibilidade (na íntegra e acesso eletrônico livre), e após a leitura dos resumos, considerando aqueles que citavam claramente os marcadores de desenvolvimento dos aspectos fonológico, semântico, sintático e função narrativa para crianças falantes do português brasileiro, assim como os fatores proteção e risco. Ao final, foram lidos na íntegra e o conteúdo registrado em planilha, totalizando 12 referências que subsidiaram a construção do material.

Na fase 2, inicialmente organizou-se o conteúdo em uma planilha que agrupava todos os marcadores descritos de desenvolvimento por período etário e posteriormente por nível de linguagem.

Na fase 3, quanto ao conteúdo, procedeu-se a redação dos tópicos atentando-se para que houvesse coesão e coerência textual e adequação às normas ortográficas vigentes da língua portuguesa. Em relação à ilustração e layout, as ilustrações internas e de marca d’água foram realizadas por um estudante do curso de Design Gráfico da Universidade Estadual Paulista enquanto que a imagem utilizada na capa e contracapa da cartilha foi recolhida do site de acesso livre Freepik.

A cartilha foi construída utilizando-se o programa Microsoft Publisher®. O material foi dividido em tópicos (por faixa etária) da seguinte forma: a) Recém nascido a 12 meses; b) 13 meses a 24 meses; e) 2:1 a 3 anos; f) 3:1 a 4 anos; e g) 4:1 a 6 anos de idade. O conteúdo foi disposto ordenadamente contemplando os aspectos da linguagem oral de fonologia, semântica, sintaxe, narrativa e da audição. Ao final de cada tópico foram inseridas informações (dicas) sobre atitudes favoráveis ao desenvolvimento da linguagem e fala da criança e alertas sobre comportamentos que são indicativos de risco para o mesmo (Figura 1).

Figura 1:
Conteúdo referente às páginas 4 e 5 da cartilha

Validação do Conteúdo e Aparência do Material Educativo

Amostra: Critérios de Elegibilidade de Juízes

Elegeram-se para composição do júri de peritos especialistas (grupo de juízes fonoaudiólogos - GJF) fonoaudiólogos clínicos de dois serviços públicos e de clínica particular que atenderam aos critérios: realizar diagnóstico e intervenção em linguagem na infância e adolescência e estar empregado no momento da coleta. Estimou-se a seleção de nove juízes, conforme descrito em literatura^26,27 que foram identificados por amostragem em rede ou bola de neve^16,26.

Para compor o júri representante do público alvo foram eleitos dois grupos: grupo de juízes educadores (GJE): educadores de duas escolas de educação infantil, docentes do maternal II, etapas I e II, da rede pública e privada do município. E, grupo de juízes familiares (GJFA): familiares de crianças e/ou adolescentes que aguardavam na recepção de um serviço público de reabilitação integrada de média complexidade. Estimou-se um total de 15 participantes para o GJF e 15 para GFA e 30 para o GJE, (10 da escola pública e 10 da particular). A amostragem foi não probabilística por conveniência, portanto foram excluídos somente os juízes que não concordaram em participar, que não respondessem dentro do prazo combinado e/ou que devolvessem o instrumento sem o preenchimento dos itens solicitados.

Instrumento de Coleta

Um instrumento com perguntas fechadas do tipo questionário foi elaborado considerando a literatura sobre pesquisas de validação^{4,5,9,10,13,14,28,29}. Ele era dividido em blocos: a) conteúdo, b) linguagem, c) ilustrações, d) layout e, e) motivação (Tabela 1), perfazendo um total de 20 questões com uma escala psicométrica de resposta do tipo Likert^16,17,26,28: DT - Discordo Totalmente, D- Discordo, NDNC - Não Discordo Nem Concordo, C- Concordo e CT Concordo Totalmente.

Tabela 1:
Total de respostas possíveis por categoria das questões escalares

Categoria/Bloco	Questões
Conteúdo	1.O conteúdo está adequado ao público alvo?
	2. O conteúdo apresenta informações relevantes para o público alvo?
	3. Os subtítulos são pertinentes?
	4. Os trechos em destaques no texto devem ser mantidos?
	5. A sequência do texto é lógica e coerente?
	Total de resposta possíveis para o item = 5
Linguagem	6. O vocabulário usada na cartilha é acessível ao público alvo?
	7. O texto escrito é claro e objetivo?
	Total de resposta possíveis para o item = 2
Ilustração	8. As ilustrações são necessárias para a compreensão do conteúdo?
	9. As ilustrações motivam a manipulação do material impresso?
	10. As ilustrações elucidam o conteúdo?
	11. A quantidade de ilustrações está adequada ao conteúdo material?
	12. As ilustrações apresentam traços e/ou resolução adequados ao público alvo?
	Total de resposta possíveis para o item = 5
Layout	13. A formatação do texto quanto à fonte (tipo) e tamanho da letra estão adequados?
	14. A composição visual está atrativa e organizada?
	15. A escolha das cores está adequada?
	16. O tamanho das páginas está adequado?
	17. O número de páginas está adequado?
	Total de resposta possíveis para o item = 5
Motivação	18. O conteúdo é motivador?
	19. O conteúdo despertou seu interesse?
	20. O conteúdo esclareceu dúvidas sobre o assunto?
	Total de resposta possíveis para o item = 3
	TOTAL DE SCORE = 20

• Fonte: Dados da pesquisa.

Ao final havia três questões com resposta dicotômica (sim/não): 1) “Você faria alguma modificação no conteúdo?”, 2) “Você faria alguma mudança na forma como do texto está escrito (vocabulário usado)?”, e 3) “Você faria alguma mudança na apresentação do layout gráfico (organização de texto, figuras e formas)?”. Caso a alternativa SIM fosse assinalada o juiz poderia descrever suas sugestões em espaço designado para isto.

O cabeçalho continha a instrução, explicando que o juiz deveria ler primeiro a cartilha e depois responder ao questionário. Abaixo havia local para assinalar a qual grupo pertencia o participante juíz (GJF ou GJE), data nascimento, anos de experiência profissional e para o GFA foi acrescentado a escolaridade e ocupação atual. Após um pré-teste houve adequação de conteúdo e vocabulário para posterior aplicação.

Procedimento de Coleta

Após finalizada a construção da primeira versão da cartilha foram encaminhados e-mails aos fonoaudiólogos, explicando o objetivo do projeto e convidando-os a participar como juízes peritos de conteúdo e solicitando agendamento de um encontro para entrega da pasta com o kit pesquisa contendo: TCLE, versão da cartilha impressa e o questionário com instruções. O material ficou com os juízes por um tempo que variou de um a sete dias. Após este período os kits foram recolhidos e após a análise dos dados, a cartilha foi revisada e atualizada para a impressão da 2ª versão já validada em conteúdo pelos especialistas.

A validação pelo público-alvo ocorreu em duas etapas. Na primeira, a segunda versão foi a apresentada para validação do GJE. Realizou-se o contato com direção de uma escola pública e uma privada para autorização. Os educadores foram abordados na escola e aqueles que concordaram em participar receberam o kit com TCLE, a segunda versão da cartilha impressa e o questionário com instrução, que deveria ser devolvido em sete dias. Após a análise por este grupo foi produzida a terceira versão da cartilha com os ajustes necessários. E na segunda etapa foi realizado o convite para as mães que estavam aguardando o atendimento para seus filhos em serviço público de reabilitação para composição do GJFA. Nesta abordagem pessoal era explicado o objetivo e procedimento da pesquisa (orientações sobre análise do material e o preenchimento do questionário), e por fim as que concordaram assinaram o TCLE e receberam o kit pesquisa, contendo a terceira versão do material. A pesquisadora aguardou em média de 45 minutos no local para devolução do questionário.

Procedimento de Análise

As informações sobre os juízes foram organizadas em planilhas do Microsoft® Excel®, 2016, a análise descritiva foi feita calculando-se as frequências absolutas e relativas, além das medidas de tendência central (média e mediana).

As respostas obtidas em cada bloco (conteúdo, linguagem, ilustrações, layout e motivação) foram dispostas em planilhas e atribuiu-se um (1) ponto para a resposta assinalada e zero (0) para os demais itens da escala Likert.

Definiu-se concordância entre juízes como o grau em que dois ou mais avaliadores, usando a mesma escala, fornecem igual classificação para o mesmo objeto de análise^{2,7,10-16,28-30}.

Foram utilizadas duas medidas de concordância: a) percentual de concordância absoluta (PCA) ou índice de concordância (IC) e b) Índice de Validade de Conteúdo (IVC). O percentual de concordância absoluta (PCA) consistiu em calcular o número de vezes em que os avaliadores concordaram e dividir pelo número total de avaliações multiplicando por 100 para obter o percentual. O valor mínimo de concordância considerado foi de 75%^26,29. O IVC foi aplicado para medir o grau de concordância entre os juízes para cada um dos itens de compunham os blocos do instrumento (Tabela 1). Dividiu-se o número de respostas assinaladas na escala de concordância (4 e 5 - concordo e concordo totalmente) pelo número total de respostas^10,27. O ponto de corte empregado para o IVC foi de 0,78, tanto para cada item respondido quanto para o questionário como um todo⁷.

Resultados

Durante o processo foram elaboradas três versões do material que foram revisadas em relação ao conteúdo e ao designer até obter-se a versão final validada. A Tabela 2 demonstra o conteúdo selecionado após a revisão de literatura para compor a primeira versão da cartilha.

Tabela 2:
Conteúdo selecionado para compor a primeira versão da cartilha após revisão de literatura

Idade	Conteúdo
0-12 meses	• Entre o primeiro dia e primeiro mês de vida apresenta o choro como reação à dor e à fome; acorda e assusta-se com sons intensos; • Entre os 2 e 3 meses de vida o choro se torna diferente para cada situação (fome, dor ou “manha”); as vocalizações e risos parecem estar relacionados a sensações de bem estar; reage à fala humana: sorri, olha, vocaliza; • Até os 5 meses surgem os “jogos vocais” quando o bebê brinca com os sons que emite, fazendo repetição da mesma sílaba (ex.: /papapa/, /mamama/) • Aos 8 até os 9 meses surgem os comportamentos comunicativos intencionais; Repete sons emitidos pelos outros; • As primeiras palavras surgem em torno dos 10 aos 15 meses, sendo que as palavras curtas são adquiridas primeiro do que as mais extensas; • Pode repetir palavras ditas pelos outros, porém, a repetição não tem o mesmo padrão fonológico (ex.: vai dormi... - a criança: [mimi])
13-24 meses	• 18 meses: expansão do sistema fonológico, aumento do inventário fonético; período caracterizado pela ocorrência de substituições e omissões de sons. • Apresenta uma linguagem funcional, ou seja, comunica-se para expressar suas necessidades, chamar a atenção, informar, perguntar. • Emite palavras isoladas ou frases produzidas em bloco. (ex.: [aboveti] - “acabou o sorvete”). • Produz onomatopeias (ex.: [auau] para cachorro), palavras idiossincráticas, ou seja, palavras próprias da criança (ex.:[lianu] para ônibus), palavras contextuais (ex.: [kabo] - quando acaba o alimento do prato) e palavras de uso social (ex.: [óya] - para dirigir a atenção de alguém para algo. • Entre 18 e 22 meses produz cerca de 20 palavras e entende cerca de 50. • Mantém diálogo por meio de especularidade e complementaridade. • Compreende perguntas, imperativos e afirmações rotineiras e situacionais (ex.: “é hora de comer!” - a criança dirige-se a cozinha). • A partir dos 18 meses observa-se a produção de orações com dois e três vocábulos (ex.: [may leti] para “dá mais leite”). • Compreende ordens rotineiras e situacionais com duas ações (ex.: “Pega a chave e põe na gaveta” - a criança o faz). • Ao final deste 2° ano de vida ocorre a chamada explosão do vocabulário.
2:1-3:0 anos	• Todas as simplificações fonológicas são esperadas. • Eliminação dos processos de apagamento de sílaba, assimilação, plosivização de fricativas, posteriorização e anteriorização de velares e simplificação de líquidas (até 3:6). • /s/ é adquirido aos 2:6 anos de idade e a substituição mais comum do /s/ é por /ʃ/. • Aos dois anos de idade as crianças são capazes de produzir mais de 200 palavras, e aos dois anos e seis meses, mais de 500 palavras. • Entre 2 e 2:6 as frases apresentam de 3 a 4 palavras, com desvios de flexionamento nominal e verbal (ex.: “esse meu bola”; “eu comeu tudo bolacha”). • Não utiliza adequadamente o gênero de pronomes pessoais (você, eu, ele/ela), possessivo (meu) e demonstrativo (esse) (ex.: “sapato minha pai”). • Perto dos 3 anos observa-se períodos coordenados (ex.: “essa boneca chóia e fazi xixi” (essa boneca chora e faz xixi)). • Faz uso de muitos substantivos: nomes de brinquedos, objetos da casa, pessoas do convívio diário, partes do corpo (pelo menos 4), alimentos, animais, bebidas, roupas, de algumas categorias (brinquedo, comida, animal). Usa diversos verbos para representar as ações e alguns adjetivos (grande/pequeno, limpo/sujo, feio/bonito, quente/frio). São frequentes os desvios semânticos nas palavras com sentido lexical (superextensão, subextensão, antonísia). • Surge a preposição “de” indicando posse, “para” indicando beneficiário (ex.: “sapato da mamãe”). • Fala e entende alguns advérbios de lugar (ali, aqui, dentro, lá, perto de) e pronomes (eu, você, mim, meu, ele, esse). Faz referência ao tempo com alguns advérbios como “agora” e “ontem”, mas os utiliza de forma instável. • Compreende e responde verbalmente a perguntas com os pronomes onde, quem, o que (ex.: “Onde está a boneca?”). • Faz uso da linguagem oral para pedir (satisfazer as necessidades físicas e psicológicas), informar, perguntar, interagir. • Narra com auxílio de perguntas do outro sobre o lugar (onde), os acontecimentos (o que) e pessoas (quem). Fase da protonarrativa. • Conversa com as pessoas, em contextos conhecidos, sobre temas concretos e referentes presentes, com turnos simples (uma oração com informação mínima necessária para não interromper a conversação).
3:1-4:0 anos	• O adulto fornece um modelo para as narrativas posteriores da criança em desenvolvimento. • Aos três anos as crianças são capazes de classificar os mesmos objetos em diferentes categorias, demonstrando a mesma flexibilidade que adultos no uso dessas categorias para inferências indutivas. • Observa-se o uso de períodos simples e compostos com 6 palavras (coordenados e subordinados com “porque” e “mas”) (ex.: “eu não vou vô come porque é ruim”). • Surgem as orações interrogativas com os pronomes “quem” e “qual” (ex.: “qual você qué?”). • Faz uso de tempos verbais no presente, passado e futuro composto, mas há desvios de flexionamento verbal por generalização de regras (ex.: “papai vai comprar pra mim” - futuro composto; “eu que comei o doce” - eu que comi o doce). • Utiliza os artigos determinados, respeitando as regras de flexionamento de gênero (as de número podem ser utilizadas por influência cultural) (ex.: “dá a bola e o palhaço). • Aos 3:6 desaparecem: Simplificação de líquida não lateral /R/ seja por redução (ex.: [opa] - roupa; [maéco] - marreco), substituição (ex.: [lede] - rede; [kalo] - carro) ou semivocalização (ex: [kachoyo] - cachorro). • Aos 4 desaparecem: Simplificação de consoante final (liquida final /r/) seja por redução (ex.: [ma] - mar; [mekado] - mercado) ou semivocalização (ex: [kayne] - carne; [kaloy] - calor). • Léxico: entre 500 e 1000 palavras. • Aumento de significado de nomes, verbos e adjetivos, entre eles: palavras que significam sentimentos (medo, triste, alegre), partes do corpo (pelo menos 6), termos de comparação (igual/diferente). Muito frequentes todos os tipos de desvios semânticos (ex.: “o lobo soprou grande” - forte). • Adquire preposição “em”, “sobre” indicando lugar, “com” indicando acompanhamento. • Faz referência a diversos advérbios de lugar (em cima/embaixo, atrás/na frente, dentro/fora, perto/longe), mas erra ao distinguir os opostos. Usa e compreende os advérbios de tempo “agora/depois”, mas utiliza os outros advérbios de forma instável (ex.: “agora eu vou dormir” “depois eu vou brincar”). • Compreende duas ordens não relacionadas (ex.: “fecha o armário e traz a bola). • Compreende e responde verbalmente perguntas com os pronomes “como” e “quando” (ex.: “como faz para tomar banho?”). • Pede, protesta, nomeia, faz perguntas sobre referentes ausentes, usa expressões sociais para interagir. Função predominante: informativa. • Relata experiências imediatas, ou seja, aquelas que estão ocorrendo no momento em que a questão é feita. Na narrativa de histórias, há dificuldades em manter a coerência e coesão, omite elementos secundários, insere fatos não verdadeiros. Fase da narrativa primitiva. • Quanto as habilidades conversacionais, os turnos são inteligíveis e coerentes com o turno anterior. Mais mantêm do que iniciam, apresentam mais turnos simples do que expansivos (turnos com mais de uma oração, com mais informação do que o necessário, para não interromper a conversação). Se não entendidas, não se autocorrigem, repetem exatamente o que disseram.
4:1-6:0 anos	• Aos 4:6 anos ocorre a eliminação dos processos de posteriorização para palatal (ex.: [ʃapo] - sapo; [meʃa] - mesa), anteriorização de palatal (ex.: [sapéw] - chapéu; [zelo] - gelo) e simplificação de liquida lateral /r/ seja por redução (ex: [kaeta] - careta), substituição (ex.: [molãgo] - morango) ou semivocalização (ex.: [peya] - pera) • Aos 5 anos desaparecem: Simplificação de grupo consonantal, especificamente redução (ex.: [peto] - preto; [buza] -blusa). • Léxico: entre 1500 e 3000 palavras. • Aumento significativo dos significados de nomes, verbos e adjetivos. Os desvios semânticos diminuem, mas ainda são observados, sendo comuns a superextensão (ex.: “esse vestido está pequeno aqui” (referindo-se ao comprimento - curto.)) e a relação por contiguidade. • Usa e compreende vários pronomes indefinidos: outro, ninguém, alguém (ex.: “alguém fez essa sujeira aí e não fui eu”). • Obedece uma sequência de três ordens (ex.: “pegue a bola, coloque sobre a cadeira e me traga o caminhão”). • Narra uma história conhecida sem ajuda do outro ou de figuras. Os elementos coesivos na narração ainda são falhos. • Passa a haver um equilíbrio maior entre manter e iniciar a conversação e entre turnos simples e expansivos.
4:1-6 anos	• Uso de período simples e compostos, incluindo subordinados com “pois” e “para que” (ex.: “Vamos desenhar esse, pois é o mais bonito!”). • Uso de tempos verbais: pretérito mais que perfeito e condicional (ex.: “Eu já tinha feito esse desenho antes de você chegar”). • Uso correto dos verbos irregulares mais utilizados. • Até os 5:6 desaparecem: Simplificação de grupo consonantal, silabificações (ex.: [tarator] - trator; [folor] - flor; [plego] - prego) e substituições (ex.: [bisikreta] - bicicleta; [brusa] - blusa). • Aos 6:0 eventualmente pode ainda aparecer: Omissão de silaba átona em palavras polissílabas com mais de cinco silabas (ex.: [lidifikador] - liquidificador); Migração de grupo consonantal e de consoante final (liquida final) (ex.: [trige] - tigre; [pegro] - prego; [kardeno] - caderno). • Léxico: em torno de 6.000 palavras. • Aumento do significado lexical de nomes, verbos e adjetivos. • Usa e compreende os advérbios/preposições de lugar por oposição (em cima/embaixo; dentro/fora; atrás/na frente/do lado; perto/longe). Domina termos opostos como “alguns/muitos”; “mais/menos”. Os advérbios de tempo ainda podem ser usados de forma instável, mas estão frequentemente presentes no vocabulário da criança (ex.: “ontem eu fui ao circo”). • Faz perguntas sobre o tempo (ex.: “quando vai chegar o natal?”). • Descreve um objeto ou local. Demonstra habilidades metalinguísticas (define palavras, pergunta o significado delas, identifica e faz rimas). • Ao narrar mantém a organização temporal dos fatos, mesmo omitindo alguns fatos secundários, que não prejudicam o entendimento da narrativa. Não insere mais fatos não verdadeiros só para manter a narrativa: se não lembra, diz que não lembra. • Conversa com mais de um interlocutor ao mesmo tempo sobre referentes ausentes e abstratos, com turnos expansivos.

• Fonte: Dados da pesquisa

Validação da Cartilha

O GJF foi composto por nove fonoaudiólogos de um serviço público de média complexidade e dois de uma clínica particular, com tempo médio de formação de 7 anos e 6 meses. No GJE, dos dezessete educadores seis eram de instituição pública e onze de privada, com tempo médio de formação de 10 anos e 6 meses. A idade média do GJFA foi de 38 anos e 66% cursaram o ensino médio completo e os dois juízes com EF incompleto estavam alfabetizados e realizavam leitura fluente. A Tabela 3 demonstra a escolaridade de todos os juízes.

Tabela 3:
Escolaridade dos juízes por grupos

Escolaridade	Grupos
	GJF			GJE		GJFA		Total
	N	%	N	%	N	%	N	%
Fundamental Incompleto	0	0	0	0	2	22,2	2	5,4
Ensino Médio Completo	0	0	0	0	6	66,7	6	16,2
Superior Completo	8	72,7	17	100	1	11,1	26	70,3
Doutorado	3	27,3	0	0	0	0	3	8,1

• Legenda: GJF = Grupo de Juízes Fonoaudiólogos; GJE = Grupo de Juízes Educadores; GJFA = Grupo de Juízes de Familiares.

Fonte: Dados da pesquisa

O bloco ilustração, composto por cinco critérios, alcançou IVC médio de 0,66 abaixo do esperado (Tabela 4) e este foi o único bloco em que foram assinaladas duas respostas discordo, sendo assim após a análise das sugestões de modificação feitas, as ilustrações foram revisadas e foram acrescentados esquemas para chamar a atenção do leitor para aspectos mais importante do período cronológico. Quanto ao bloco conteúdo, com IVC de 0,90 (Tabela 4), os peritos sugeriram a exclusão de alguns itens, a adequação da linguagem escrita, ilustração e layout (vide Figura 2). Salienta-se que nos demais critérios as opções discordo e discordo totalmente não foram assinaladas.

Tabela 4:
Distribuição das análises (média de IVC) dos juízes peritos por critério

Bloco	Itens	GJF
		%	IVC
Conteúdo	1) O conteúdo está adequado ao público alvo?	90,9	0,90
	2) O conteúdo apresenta informações relevantes para o público alvo?	100	1
	3) Os subtítulos são pertinentes?	90,9	0,90
	4) Os trechos em destaques no texto devem ser mantidos?	81,8	0,81
	5) A sequência do texto é lógica e coerente?	90,9	0,90
IVC Bloco	média	0,90
Linguagem	6) O vocabulário é acessível ao público alvo?	81,8	0,81
	7) O texto é claro e objetivo?	81,8	0,81
IVC Bloco	média	0,81
Ilustração	8) As ilustrações são necessárias para a compreensão do conteúdo?	63,3	0,63
	9) As ilustrações motivam a manipulação do material impresso?	63,3	0,63
	10) As ilustrações elucidam o conteúdo?	54,5	0,54
	11) A quantidade de ilustrações está adequada ao conteúdo material?	72,7	0,72
	12) As ilustrações apresentam traços e/ou resolução adequados ao público alvo?	81,8	0,81
IVC Bloco	média	0,66
Layout	13) A formatação do texto quanto à fonte (tipo) e tamanho da letra estão adequados?	81,8	0,81
	14) A composição visual está atrativa e organizada?	90,9	0,90
	15) A escolha das cores está adequada?	72,7	0,72
	16) O tamanho das páginas está adequado?	90,9	0,90
	17) O número de páginas está adequado?	90,9	0,90
IVC Bloco	média	0,84
Motivação	18) O conteúdo é motivador?	90,9	0,90
	19) O conteúdo despertou seu interesse?	90,9	0,90
	20) O conteúdo esclareceu dúvidas sobre o assunto?	63,3	0,63
IVC Bloco	média	0,81
IVC	Total	0,80

• Legenda: GJF = Grupo de Juízes Fonoaudiólogos; IVC= média do Índice de Validade de Conteúdo
• Fonte: Dados da pesquisa.

Figura 2:
Modificações sugeridas pelos juízes peritos após avaliação da primeira versão

Na Tabela 5 estão dispostos os valores de IVC médio após avaliação da segunda versão do material educativo pelos grupos de juízes representantes do público alvo.

Tabela 5:
Distribuição do número de concordância (média IVC) entre os juízes público alvo

Bloco	Itens	Juízes
		GJE		GJFA
		%	IVC	%	IVC
Conteúdo	1) O conteúdo está adequado ao público alvo?	100	1	100	1
	2) O conteúdo apresenta informações relevantes para o público alvo?	100	1	100	1
	3) Os subtítulos são pertinentes?	100	1	100	1
	4) Os trechos em destaques no texto devem ser mantidos?	100	1	77,7	0,77
	5) A sequência do texto é lógica e coerente?	94,1	0,94	100	1
IVC Bloco	média	0,99		0,95
Linguagem	6) O vocabulário é acessível ao público alvo?	94,1	0,94	100	1
	7) O texto é claro e objetivo?	94,1	0,94	88,8	0,88
IVC bloco	média	0,94		0,94
Ilustração	8) As ilustrações são necessárias para a compreensão do conteúdo?	70,5	0,70	88,8	0,88
	9) As ilustrações motivam a manipulação do material impresso?	88,2	0,88	77,7	0,77
	10) As ilustrações elucidam o conteúdo?	82,3	0,82	66,6	0,66
	11) A quantidade de ilustrações está adequada ao conteúdo material?	82,3	0,82	66,6	0,66
	12) As ilustrações apresentam traços e/ou resolução adequados ao público alvo?	82,3	0,82	77,7	0,77
IVC Bloco	média	0,80		0,75
Layout	13) A formatação do texto quanto à fonte (tipo) e tamanho da letra estão adequados?	94,1	0,94	100	1
	14) A composição visual está atrativa e organizada?	100	1	77,7	0,77
	15) A escolha das cores está adequada?	94,1	0,94	88,8	0,88
	16) O tamanho das páginas está adequado?	100	1	100	1
	17) O número de páginas está adequado?	94,1	0,94	88,8	0,88
IVC bloco	média	0,96		0,90
Motivação	18) O conteúdo é motivador?	100	1	88,8	0,88
	19) O conteúdo despertou seu interesse?	100	1	100	1
	20) O conteúdo esclareceu dúvidas sobre o assunto?	100	1	100	1
IVC bloco	média	1		0,96
IVC	Total	0,93		0,89

• Legenda: GJF = Grupo de Juízes Fonoaudiólogos; GJE = Grupo de Juízes Educadores; GJFA = Grupo de Juízes de Familiares. IVC= média do Índice de Validade de Conteúdo
• Fonte: Produzido pela própria autora

Observa-se que IVC médio do bloco ilustração ficou dentro do limite de corte preconizado 0,78, mas os demais critérios estavam acima de 0,90 indicando que quanto ao conteúdo, a linguagem, o layout e motivação houve um nível ótimo de concordância nestes quesitos.

Notou-se que o escore médio geral do IVC por questão foi de 0,80% para o GJF, 0,93% para o GJE e de 0,90% para o GJFA (Tabelas 4 e 5), portanto houve alto nível de concordância entre os juízes peritos e público alvo, assim considerou-se a terceira versão da cartilha validada em conteúdo e aparência.

A porcentagem de concordância absoluta (PCA) de toda a cartilha alcançou valor de 98,45% valor que está acima do mínimo aceitável estabelecido neste estudo (75%)²⁶ e que é considerado um valor de concordância alto entre os avaliadores.

Ressalta-se que a cartilha foi avaliada por juízes de conteúdo (peritos) e pelos juízes representantes do público alvo. A versão final acrescida das sugestões e validada possui dimensão de 29,7 x 21cm (folha A4), com capa e contracapa, e 23 páginas, sendo 11 com conteúdo distribuído em tópicos (por faixa etária) da seguinte forma: a) recém nascido a 12 meses; b) 13 meses a 24 meses e) 2:1 a 3:0 anos de idade; f) 3:1 a 4:0 anos de idade; e g) 4:1 a 6:0 anos de idade. E disposto ordenadamente contemplando os aspectos de fonologia, semântica, sintaxe, narrativa e audição, com base da literatura revisada. Ao final de cada tópico foram inseridas dicas de como estimular a linguagem da criança e alertas sobre comportamentos que são indicativos de risco para o desenvolvimento da linguagem. Na página 12 está a informação sobre a atuação do fonoaudiólogo e como buscar atendimento. Foram inseridos (página 13 a 21) quadros sintetizando os principais marcos etários e comportamentos evolutivos, com os seguintes títulos: Audição; Sons da Fala; Falar Palavras; Falar Frases; Contar histórias. E ao final havia duas páginas com as referências bibliográficas. A exemplificação da disposição das páginas encontra-se disposta na Figura 3.

Figura 3:
Exemplificação da disposição das páginas

Discussão

O material educativo é um método eficaz para auxiliar no processo de ensino-aprendizagem em saúde^25-29, que pode aumentar a autonomia do público alvo e dos profissionais que atuam juntamente ao mesmo, possibilitando melhores condutas³⁰.

A cartilha validada com este estudo poderá auxiliar familiares e outros profissionais das áreas da saúde e educação, que tem contato com crianças de 0 a 6 anos de idade, a monitorar o desenvolvimento da linguagem, e saber identificar os marcos atrasados. Após esta identificação o adulto responsável pela criança poderá ser incentivado a procurar o profissional fonoaudiólogo para possível diagnóstico e tratamento.

Quando os pais possuem incertezas quanto ao desenvolvimento da linguagem de seus filhos e como tratar essas situações, é fundamental o encaminhamento ao fonoaudiólogo especialista em linguagem³⁰. E não foi encontrado material específico de tecnologia educativa, do tipo cartilha impressa, após a análise das diretrizes e dos materiais informativos institucionais das secretarias de educação e da saúde municipal e estadual, e do ministério da saúde, abordando o tema desenvolvimento da linguagem na infância do nascimento aos seis anos destinado ao público alvo do presente estudo. O material educativo no formato impresso é de fácil manuseio e pode ser levado para o domicílio, fortalecendo as orientações e sanando dúvidas sempre que necessário. O material escrito tem funções tais como a de reforçar as informações e discussões orais e auxiliar em casos de dúvidas posteriores e nas decisões²⁹.

O material escrito traz vantagens a pessoas sem e/ou com redução de escolaridade e/ou da habilidade de leitura, desde que, durante o processo de planejamento, sejam incorporados mecanismos que reduzam os impedimentos para compreensão da mensagem e estratégias que proporcionem a motivação do público alvo em iniciar o manuseio, e manter o interesse pelo material educativo. Uma linguagem simples e/ou o uso de recursos pictográficos, que transmitam uma mensagem culturalmente adequada, podem diminuir as dificuldades da comunicação, tornando-a mais eficaz e de maior alcance²⁹. E a concordância dos juízes por questão, variando entre 70,27% a 100%, havendo um escore médio de concordância de 88,45%, sendo este significante, uma vez que, foi acima do valor mínimo de concordância estipulado de 75%²⁹, evidencia que o conteúdo foi transmitido ao público-alvo de forma clara, o que favoreceu a compreensão das informações quanto aos seus aspectos técnicos e didático-pedagógico, não havendo (ou reduzindo) a possibilidade de interpretações errôneas.

Os valores de IVC médio (Tabelas 4 e 5) para os critérios que compunham os blocos de conteúdo, linguagem, layout e motivação indicam que os peritos e o público alvo consideraram relevantes as informações contidas na cartilha e a validação pelo público alvo foi de extrema importância para que esta tecnologia possa ser usada como ferramenta de educação em saúde. O público alvo julgou que o conteúdo era motivador (IVC de 1 para GJE e de 0,96 para GJFA, vide Tabela 5) e a linguagem adequada com IVC de 0,94 para os dois grupos (Tabela 5). Esta avaliação positiva é importante para que o material possa ser usado como meio de transmissão de informações, já que a cartilha foi idealizada e construída com a finalidade de ser um instrumento de disseminação do conteúdo sobre o desenvolvimento linguístico infantil. A validação científica pelo público alvo^16-18 acrescenta credibilidade à tecnologia uma vez que afirma-se que está adequada para ser ferramenta de mediação de ações educativas.

A ilustração (desenhos, imagens, fotografias, símbolos) é muito importante para a legibilidade e compreensão de um texto, sendo a sua função atrair o leitor, despertar e manter seu interesse pela leitura, acrescentar e substanciar a informação. O layout e o design trazem mais facilidade na leitura e tornam o material mais atraente para o leitor⁵. Os itens que apresentaram menores valores de IVC (Tabela 4) foram justamente a respeito da ilustração da primeira versão da cartilha, e a partir das sugestões dos peritos realizou-se o processo de ajustes para que as ilustrações e figuras fossem informativas, autoexplicativas e relacionadas ao conteúdo exposto pelo texto escrito. Muitos trabalhos de validação de material educativo registram que este processo de adaptação após a análise pelos juízes é essencial para adequar a tecnologia não só em sua aparência, mas também em conteúdo e rigor científico^16,17,26. Esta análise crítica foi fundamental para o aprimoramento da nova versão do material que seria encaminhada ao público alvo.

Conclusão

A validação do material educativo pelos diferentes grupos de juízes (profissionais fonoaudiólogos, educadores de ensino infantil e familiares de crianças e adolescentes), construído em formato de cartilha, abordando os principais marcos do desenvolvimento típico de linguagem (fonologia, semântica, sintaxe e narrativa) e da audição na infância, revelou ser um instrumento ou ferramenta útil de educação em saúde de confiabilidade, efetivo e válido, configurando-se como facilitador(a) para a disseminação destas informações para familiares e profissionais das áreas da saúde e educação.

Agradecimentos

Pró-reitoria de Cultura e Extensão da Universidade de São Paulo (USP) e ao banco Santander pelo apoio financeiro para o desenvolvimento, impressão e distribuição do produto final.

Referências bibliográficas

• ¹ Viero VSF, Farias JM. Educational actions for awareness of a healthier lifestyle in adolescents. J. Phys. Educ. 2017;(28):12-28.
• ² Silva GG, Carcereri DL, Amante CJ. Estudo qualitativo sobre um programa de educação em saúde bucal. Cad. Saúde Colet. 2017;25(1):7-13.
• ³ Marins BR, Araujo IS. Materiais educativos de vigilâncias sanitárias: perfil de produção e circulação no tema dos alimentos. Trab. Educ. Saúde. 2016;14(1):137-54.
• ⁴ Freitas FV, Rezende Filho LA. Communication models and use of printed materials in healthcare education: a bibliographic survey. Interface - Comunic, Saude, Educ. 2011;15(36):243-55.
• ⁵ Silva HL, Bezerra FHG, Brasileiro IC. Avaliação de materiais educativos direcionados para o desenvolvimento neuropsicomotor da criança. Rev Bras Promoç Saúde. 2017;30(3):1-6.
• ⁶ Moura DJM, Moura NS, Menezes LCG, Barros AA, Guedes MVC. Construção de cartilha sobre insulinoterapia para crianças com diabetes mellitus tipo 1. Rev. Bras. Enferm. 2017;70 (1):7-14.
• ⁷ Costa TL, Souza OMV, Carneiro HÁ, Chiquito Netto C, Pegonaro-Krook MI, Dutka JCR. Multimedia material about velopharynx and primary palatoplasty for orientation of caregivers of children with cleft lip and palate. CODAS. 2016;28(1):10-6.
• ⁸ Campos K, Maximino L, Oliveira JRM, Pardo-Fanton CS, Blasca WQ. Analysis of informative material stored in DVD in the hearing aid adaptation of elderly users. Audiol Commun Res. 2014;19(4):367-74.
• ⁹ Reberte LM, Hoga LAK, Gomes ALZ. O processo de construção de material educativo para a promoção da saúde da gestante. Rev Latino-Am Enfermagem. 2012;20(1):1-7.
• ¹⁰ Carvalho RM, Meirelles RMS. Ensino de ciências e saúde para idosos: uma proposta de construção de Cartilha Informativa em Grupos de Convivência. Rev. Práxis. 2009;2(1):9-21.
• ¹¹ Teixeira E, Martins TDR, Miranda PO, Cabral BG, Silva BAC, Rodrigues LSS. Educational technology on potpartum care: development and validation. Rev Baiana Enferm. 2016;30(2):1-10.
• ¹² Demir F, Ozsaker E, Ilce AO. The quality and suitability of written educational materials for patients. The Authors. Journal compilation _ 2008 Blackwell Publishing doi: 10.1111/j.1365-2702.2007.02044.x
  » https://doi.org/10.1111/j.1365-2702.2007.02044.x
• ¹³ Sousa CS, Turrini RNT. Validação de constructo de tecnologia educativa para pacientes mediante aplicação da técnica. Delphi Acta Paul Enferm. 2012;25(6):990-6.
• ¹⁴ Oliveira SC, Lopes MVO, Fernandes AFC. Construção e validação de cartilha educativa para alimentação saudável durante a gravidez. Rev. Latino-Am. Enfermagem. 2014;22(4):611-20.
• ¹⁵ Mousinho R, Schimid E, Pereira J, Lyra L, Mendes L, Nóbrega V. Aquisição e desenvolvimento da linguagem: dificuldades que podem surgir neste percurso. Rev Psicopedag. 2012;25(78):297-306.
• ¹⁶ Hortense FLP, Bergerot CD, Domenico EBL. Construction and validation of clinical contents for development of learning objects. Rev Bras Enferm. 2018;71(2):306-13.
• ¹⁷ Sabino LM, Ferreira AM, Joventino ES, Lima FE, Penha JC, Lima KF et al. Elaboration and validation of a reader on childhood diarrhea prevention. Acta Paul Enferm. 2018;31(3):233-9.
• ¹⁸ Nascimento TG, Teixeira E. Educational technology to mediate care of the "kangaroo family" in the neonatal unit. Rev Bras Enferm. 2018;71(Suppl 3):1290-7.
• ¹⁹ Kuhl P. Brain mechanisms in early language acquisition. Neuron. 2010;67(5):713-27.
• ²⁰ Asaridou SS, Demir-Lira OU, Goldin-Meadow S, Small SL. The pace of vocabulary growth during preschool predicts cortical structure at school age. Neuropsychologia. 2017;98(1):13-33.
• ²¹ Leite SS, Áfio ACE, Carvalho LV, Silva JM, Almeida PC, Pagliuca LMF. Content Validation Instrument in Health. Rev Bras Enferm. 2018;71(suppl 4):1732-8.
• ²² Viana LR, Barreto MM, Girard CCP, Teixeira E. Tecnologia educacional para mediar práticas educativas sobre alimentação complementar na Amazônia: estudo de validação. RIST. 2018;28(01):29-40.
• ²³ Jesus EB, Esteves AVF, Teixeira E, Medeiros HP, Nascimento MH, Saboia VM. Validation of educational technology on phototherapy to guide family members of icteric neonates. Rev enferm UERJ. 2018;26:e21789.
• ²⁴ Santiago JCS, Moreira TMM. Booklet content validation on excess weight for adults with hypertension. Rev Bras Enferm. 2019;72(1):102-8.
• ²⁵ Lima ACMACC, Bezerra KC, Sousa DMN, Rocha JF, Oriá MOB. Development and validation of a booklet for prevention of vertical HIV transmission. Acta Paul Enferm. 2017; 30(2):181-9.
• ²⁶ Moreira S, Oliveira TC, Ribeiro LCC, De Paula FA. Construction and validation of manual on Burnout in teachers. Revista de Enfermagem do Centro-Oeste Mineiro. 2017;7:e1317.
• ²⁷ Ferreira AS, Almeida CTG, Almedia TG, Vasconcelos EL, Lopes RF, Trindade RFC. Validation of an educational material as pedagogical tool on sexual initiation for teens. Rev enferm UFPE. 2016;10(5):4412-5.
• ²⁸ Teles LMR, Oliveira AS, Campos FC, Lima TM, Costa CC, Gomes LFS et al. Development and validating and educational booklet for childbirth companions. Rev. esc. enferm. USP. 2014;48(6):8-14.
• ²⁹ Alexandre NMC, Coluci MZO. Validade de conteúdo nos processos de construção e adaptação de instrumentos de medida. Ciênc. saúde coletiva. 2011;16(7):3061-8.
• ³⁰ Crestani AH, Oliveira LD, Vendruscolo JF, Ramos-Souza AP. Specific Language Impairment: the relevance of initial diagnosis. Rev. CEFAC. 2013;15(1):228-37.

• Fonte de auxílio à pesquisa: Programa Unificado de Bolsas - Universidade de São Paulo (PUB- USP) e Banco Santander.

Datas de Publicação

• Publicação nesta coleção
  08 Maio 2020
• Data do Fascículo
  2020

Histórico

• Recebido
  10 Nov 2019
• Aceito
  31 Mar 2020