Open-access Avaliação da eficácia de dois programas de leitura dialógica na compreensão de crianças com transtorno do espectro do autismo e desenvolvimento típico

Assessing the efficacy of two dialogic reading programs on comprehension in children with autism spectrum disorder and typical development

Evaluación de la eficacia de dos programas de lectura dialógica sobre la comprensión de niños con trastorno del espectro autista y desarrollo típico

Resumo:

Prejuízos na linguagem e na compreensão leitora de crianças com desenvolvimento típico (DT) e com transtorno do espectro do autismo (TEA) podem ser minimizados por práticas precoces de leitura. Assim, o objetivo deste estudo foi analisar a eficácia de dois programas de leitura, Reading to Engage Children with Autism in Language and Learning (Recall) e Leitura Dialógica Simples (LDS), implementados em dois pré-escolares com TEA e um com DT. Um delineamento experimental randomizado do tipo ABAB foi empregado para avaliar os efeitos dos dois programas na frequência de respostas corretas a perguntas factuais e inferenciais sobre as histórias narradas, assim como na aprendizagem de vocabulário das três crianças. Os resultados mostram que, por meio da autoscopia e de estratégias de modelação, os sete mediadores, pais das crianças e profissionais de saúde e educação, desenvolveram competências para implementar ambos os protocolos com adequado grau de fidedignidade. As três crianças aprenderam novos vocábulos quando expostas ao Recall e à LDS, sem apresentarem diferenças significativas entre os programas. Em contrapartida, ao avaliarmos a frequência de respostas corretas para o conjunto de tipo de pergunta, observou-se desempenho significativamente melhor para as três crianças com o Recall. Ao estendermos as análises considerando o valor das respostas segundo o nível de ajuda, verificou-se diferença significativa apenas para duas delas. Contribuições e limitações do estudo também são discutidas.

Palavras-chave:
TEA; compreensão de narrativas orais; Leitura Dialógica; Recall; delineamento experimental; leitura implementada por pais

Abstract:

Language and reading comprehension hurdles in children with typical development (TD), as well as those with autism spectrum disorder (ASD), can be minimized with early reading practices. Thus, the purpose of the present study was to analyze the effectiveness of two reading programs, the Reading to Engage Children with Autism in Language and Learning (RECALL) and Simple Dialogic Reading (SDR), implemented with 2 preschoolers with ASD and one with TD. A randomized experimental ABAB design was employed to assess the effects of the two programs on the frequency of correct responses to factual and inferential questions regarding the narrated stories, as well as on the vocabulary development of the three children. The results show that through autoscopic and modeling strategies, the 7 mediators, the children's parents and health and education professionals, developed competencies to implement both protocols with an adequate degree of reliability. The three children learned new vocabulary when exposed to RECALL and SDR, without showing significant differences between the programs. On the other hand, when assessing the frequency of correct answers to the set of type of questions, it was observed that performance has significantly improved for all the three children with RECALL. When extending the analyses considering the value of the answers given based on the level of support, considerable differences were found solely for two of them. Contributions and limitations of the study are also discussed.

Keywords:
ASD; oral narrative comprehension; dialogic reading; RECALL; experimental design; parent-implemented reading

Resumen:

Las deficiencias en el lenguaje y la comprensión lectora de los niños con desarrollo típico (DT) y trastorno del espectro autista (TEA) pueden minimizarse mediante prácticas tempranas de lectura. Así, el objetivo de este estudio fue analizar la efectividad de dos programas de lectura - Reading to Engage Children with Autism in Language and Learning (Recall) y Lectura Dialogica Simple (LDS) - implementados en dos niños en edad preescolar con TEA y uno con DT. Se empleó un diseño experimental aleatorio ABAB para evaluar los efectos de los dos programas sobre la frecuencia de respuestas correctas a preguntas literales e inferenciales sobre las historias narradas, así como el aprendizaje de vocabulario de los tres niños. Los resultados muestran que, a través de la autoscopia y estrategias de modelado, los siete mediadores, padres de los niños y profesionales de la salud y de la educación desarrollaron competencias para implementar ambos protocolos con un grado adecuado de fidelidad. Los tres niños aprendieron nuevos vocablos con Recall y LDS, sin mostrar diferencias significativas entre los programas. Por otro lado, al evaluar la frecuencia de respuestas correctas para el conjunto de tipo de pregunta, se observó un desempeño significativamente mejor para los tres niños con Recall. Al extender los análisis considerando el valor de las respuestas según el nivel de ayuda, se encontró una diferencia significativa apenas para dos niños. También se discuten las contribuciones y limitaciones del estudio.

Palabras clave:
TEA; comprensión de narrativas orales; lectura dialógica; Recall; diseño experimental; lectura implementada por los padres

Introdução

A Leitura Dialógica - LD (Whitehurst et al., 1988) é um método de ensino que promove a interação entre a leitura de histórias e o diálogo, por meio de perguntas e comentários direcionados à criança. Esse protocolo prevê que o mediador formule, durante a leitura repetida de um mesmo livro, cinco tipos de perguntas representadas pelo acrônimo CROWD. A consoante “C” (complete) representa o conjunto de perguntas as quais o adulto deixa um silêncio ao final da sentença para a criança preencher. O “R” (recall) indica a inclusão de perguntas que rememoram acontecimentos da história lida. A vogal “O” (open) diz respeito a perguntas abertas, sem respostas definidas. O “W” (wh question) refere-se a um conjunto de perguntas que visam a respostas específicas, como: Quem? Quando? Onde? O quê? O “D” (distancing) orienta o mediador a fazer perguntas que auxiliam a criança a relacionar eventos do livro com a própria experiência.

Na LD, as perguntas são mediadas por estratégias descritas no acrônimo PEER. O “P” (prompt) é o estímulo dado à criança para participar, baseado nas perguntas do CROWD elaboradas pelo mediador. O “E” (evaluate) instrui o mediador a avaliar a resposta da criança. Se estiver correta, segue-se para o segundo “E” (expand), em que é prevista a ampliação da resposta com novos vocábulos. Se estiver incorreta, usa-se o “R” (repeat), que envolve solicitar à criança que repita a resposta correta verbalizada pelo mediador.

Na última década, pesquisas de revisão da literatura têm registrado o uso de adaptações da LD para remediar problemas de compreensão leitora, aumento de responsividade e desenvolvimento de vocabulário em crianças com transtorno do espectro do autismo - TEA (Boyle; McNaughton; Chapin, 2019; Alharbi; Terlektsi; Kossyvaki, 2023). Um desses protocolos em destaque é o Reading to Engage Children with Autism in Language and Learning (Leitura para envolver crianças com autismo na linguagem e no aprendizado) ou Recall, que se diferencia da LD em quatro aspectos: (1) introdução de duas perguntas ao modelo CROWD: uma relacionada à inferência e outra à identificação emocional dos personagens do livro; (2) substituição do PEER pelo PEEP (prompt - evaluate - expand - praise), que inclui elogios (praise) após a criança responder corretamente à pergunta; (3) inclusão de duas estratégias para estimular iniciativas de interação da criança: a pausa intencional e a atenção conjunta; e (4) utilização de recursos visuais como suporte durante a implementação do PEEP.

Nos últimos anos, pesquisadores têm examinado os efeitos do programa Recall no repertório de crianças com TEA. Whalon et al. (2015) investigaram o impacto desse programa na responsividade e na compreensão leitora de quatro pré-escolares, utilizando um delineamento experimental de linha de base múltipla. Após a exposição ao programa, as crianças reduziram a frequência de respostas incorretas às perguntas elaboradas pelos mediadores e demonstraram uma melhoria gradual nas respostas corretas, tanto em perguntas factuais quanto inferenciais. Adicionalmente, três participantes aumentaram suas iniciativas de interação com o mediador.

Whalon, Hanline e Davis (2016) conduziram uma nova investigação sobre o Recall, dessa vez com as leituras realizadas pela mãe de uma criança com TEA. Os resultados revelaram que a mãe aprendeu a implementar o programa de leitura com um grau adequado de fidedignidade. Adicionalmente, por meio de um método experimental, observou-se maior frequência de respostas corretas às perguntas elaboradas pela mãe sobre as histórias após a intervenção, o que indica melhoria na compreensão leitora do filho.

Mediante um delineamento ABAB randomizado, Nunes et al. (2021) compararam a eficácia do Recall com a da LD em oito crianças norte-americanas, quatro com diagnóstico de TEA e quatro com desenvolvimento típico. Apesar de ambos os tratamentos terem sido bem-sucedidos no ensino de vocabulário para os oito participantes, observaram-se maiores ganhos de vocabulário no Recall.

Em termos de estudos nacionais, há uma escassez de pesquisas sobre o assunto publicadas em periódicos científicos. Destacam-se os trabalhos de Silva, Walter e Nunes (2019) e Queiroz et al. (2020), que investigaram, por meio de delineamentos de sujeito único, a efetividade de adaptações do programa Recall em crianças brasileiras. Na primeira pesquisa, Silva, Walter e Nunes (2019) analisaram os efeitos do Programa de Leitura e Comunicação para Crianças com Autismo (Proleca), um protocolo baseado no Recall, na permanência na tarefa de leitura, na atenção direcionada e na compreensão leitora de um menino com TEA de 5 anos. No segundo estudo, Queiroz et al. (2020) avaliaram os efeitos da LD adaptada na frequência de turnos verbais e não verbais, assim como o envolvimento na tarefa de um menino de 7 anos. Ambos os trabalhos evidenciaram efeitos promissores dos protocolos usados nas variáveis investigadas.

Em contexto familiar, vale mencionar os estudos de Walter e Nunes (2020) e de Müller, Nunes e Schmidt (2023), que analisaram os efeitos de adaptações do programa Recall implementado por pais. No primeiro caso, a mãe atuou como mediadora de leitura do filho, que tinha 6 anos e diagnóstico de TEA. Os resultados mostraram que a adaptação do protocolo, que envolveu a inclusão de novas estratégias e a eliminação de outras, foi eficaz em aumentar a responsividade do menino e melhorar sua compreensão leitora, refletindo achados anteriores.

Similarmente ao estudo de Walter e Nunes (2020), Müller, Nunes e Schmidt (2023) utilizaram um delineamento de pesquisa quase-experimental para comparar os efeitos do Recall em duas díades mãe-filho. Uma era composta por uma menina de 3 anos com TEA e sua mãe, ao passo que a outra envolvia um menino de 4 anos com desenvolvimento típico e sua mãe. Ambas as mães aprenderam a aplicar o protocolo com um nível adequado de fidedignidade, o que resultou em aumento na responsividade das crianças, que passaram a interagir mais com suas mães e a responder corretamente às perguntas sobre as histórias com maior frequência.

Até o momento, nenhum estudo conduzido no Brasil comparou diretamente as metodologias de LD e Recall. Portanto, o objetivo desta pesquisa foi avaliar a eficácia desses programas na compreensão da leitura oral de crianças com TEA e desenvolvimento típico. Essa abordagem reflete os princípios da educação inclusiva, visando desenvolver práticas interventivas que possam ser aplicadas em ambientes escolares nos quais crianças com e sem TEA possam aprender e se desenvolver juntas.

Método

Participantes

Este estudo contou com a participação de duas crianças diagnosticadas com TEA, Henri e Nina, e uma criança com desenvolvimento típico, Gustavo. Na época da pesquisa, Henri, com 5 anos e 4 meses, foi avaliado pela Childhood Autism Rating Scale - CARS - (Schopler; Reichler; Renner, 1988; Pereira; Riesgo; Wagner, 2008)1 com um quadro de autismo nível 2, moderado (34 pontos), demonstrando a necessidade substancial de suporte. Nina, aos 4 anos e 9 meses, exibiu sintomas de autismo nível 1, leve (31 pontos), na mesma avaliação. Ambos os participantes com TEA demonstraram, na Avaliação do Desenvolvimento da Linguagem - ADL (Menezes, 2003), habilidades para compreender comandos compostos por uma ou duas ações e comunicavam-se verbalmente para fazer solicitações simples. Gustavo, criança com desenvolvimento típico, iniciou o estudo com 4 anos e 4 meses, utilizava a linguagem verbal e compreendia comandos complexos.

As crianças participantes foram selecionadas por conveniência, atendendo ao requisito de terem entre 4 e 6 anos de idade. Os níveis de linguagem não foram considerados como critério de inclusão ou exclusão.

Em virtude da pandemia de covid-19, a escola onde o estudo seria realizado foi fechada. Consequentemente, os participantes foram recrutados em uma clínica especializada no atendimento de pessoas com TEA. A criança com desenvolvimento típico era filho da mediadora que havia participado anteriormente do programa de capacitação.

As três crianças estavam matriculadas em escolas regulares; no entanto, em 2020, Henri deixou a escola para iniciar um tratamento intensivo baseado na análise do comportamento aplicada. No ano seguinte, ele mudou de escola e retomou as aulas presenciais.

O estudo envolveu sete mediadores de leitura: quatro pais (M1, M4, M5 e M6), um psicopedagogo (M3), uma fonoaudióloga (M2) e a pesquisadora (M7). M2 e M3 atendiam Henri e Nina em uma clínica. Gustavo teve como mediadores sua mãe (M1) e a pesquisadora (M7). Henri contou com a fonoaudióloga (M2), a psicopedagoga (M3) e sua mãe (M6). Nina teve como mediadores a fonoaudióloga (M2) e seus pais (M4 e M5).

Local

Gustavo participou da intervenção em casa, enquanto Nina e Henri realizaram as leituras tanto na clínica onde recebiam terapia quanto em suas residências. Essas diferenças ocorreram em virtude da realização do estudo durante o período da pandemia de covid-19.

Equipamentos

Os equipamentos de filmagem foram computador, filmadora digital, aplicativo OBS (M1) e telefones celulares dos mediadores.

Agente de capacitação e assistente de pesquisa

A primeira autora do estudo, com formação em Fonoaudiologia e mestrado em Educação, treinou os mediadores de leitura e uma assistente de pesquisa, estudante de Fonoaudiologia, na codificação dos dados.

Materiais

Três tipos de materiais foram usados: 1) oito livros de histórias infantis (quatro usados na capacitação e quatro na intervenção); 2) fichas de pré, pós-teste e monitoramento - imagens apresentadas à criança para avaliar o vocabulário expressivo (rótulo e função) e receptivo (compreensão verbal); 3) livretos associados aos livros - cada livro era acompanhado por três livretos, elaborados individualmente para cada criança. Assim, o estudo contou com 27 livretos, que consistiam em pequenos blocos de papel, abrangendo imagens referentes às histórias. Os livretos tinham entre 29 e 31 páginas, contendo, em cada uma, três figuras ilustrativas. A Figura 1 apresenta um dos livretos usados.

Figura 1
Conteúdo dos livretos

Conforme observado na Figura 1, os livretos continham a ordem da leitura (1º, 2º ou 3º dia), a página correspondente a cada pergunta, o número da pergunta, a própria pergunta e a resposta esperada. Essas informações guiavam o mediador durante a leitura.

Delineamento de pesquisa

A presente investigação caracterizou-se como uma pesquisa experimental de sujeito único com um delineamento randômico do tipo ABAB (Kratochwill; Levin, 2010). Nesse modelo de delineamento, os sujeitos são expostos a dois tipos de intervenção (variáveis independentes). No caso em apreço, a leitura realizada por meio do protocolo Recall (A) e a leitura empregando estratégias da Leitura Dialógica Simples (B).

Variáveis independentes

As variáveis independentes do estudo foram as condições de leitura, ou seja, o programa Recall (intervenção A) e a Leitura Dialógica Simples (intervenção B).

Recall (intervenção A)

Três conjuntos de práticas compõem o Recall:

(1) Perguntas: Como previsto no protocolo original, ao acrônimo CROWD foram adicionados dois tipos de perguntas, de identificação emocional e inferência. Adicionalmente, foi incluída a estratégia “completar fonológico”, que, apesar de não fazer parte do protocolo original, foi adicionada pelo uso frequente e espontâneo que as mediadoras fizeram durante o estudo, com base em trabalho anterior ( Walter; Nunes, 2020). O Quadro 1 apresenta definição e exemplo de cada uma das perguntas utilizadas na intervenção.

Quadro 1
Definição e exemplo de cada um dos tipos de pergunta

(2) Sequência do PEEP com recursos visuais: Como previamente descrito, esse protocolo segue uma sequência de passos que varia de acordo com as respostas emitidas pela criança, conforme observado na Figura 2.

Figura 2
Sequência do PEEP no Recall

Como se verifica na Figura 2, a sequência instrucional começa com uma pergunta que, se respondida corretamente, é seguida por uma expansão e um elogio. Caso a resposta esteja incorreta, são apresentadas três opções de resposta visuais. Se a resposta correta é indicada, procede-se à expansão e ao elogio. No entanto, se a resposta for incorreta ou se a criança falhar em responder, uma das opções visuais é ocultada e uma escolha binária é oferecida. Se a criança responder corretamente, a resposta é novamente expandida e elogiada. Por outro lado, se a resposta for incorreta ou se a criança não responder, o mediador fornece um modelo direto, apontando para a alternativa correta e solicitando que a criança repita. Se a criança não conseguir imitar o modelo direto ou apontar para a opção visual correta, o mediador direciona a mão da criança para a opção visual correta.

(3) Estratégias para estimular as iniciativas de interação: (a) atenção conjunta: durante a narração da história, o leitor aponta para uma figura no livro enquanto tece comentários relacionados às imagens, como “olha!”, “uau!”, para chamar a atenção da criança; (b) pausa intencional: antes de virar a página ou imediatamente após fazê-lo, o mediador mantém um momento de pausa, olhando de forma expectante para a criança.

Leitura Dialógica Simples (intervenção B)

Os mesmos tipos de perguntas descritas no Quadro 1 foram usados na LDS. As questões foram, no entanto, mediadas pelo protocolo PEER (sem o apoio de figuras), conforme demonstra a Figura 3.

Figura 3
Sequência do PEER

Nesse protocolo, perante uma resposta correta emitida pela criança à pergunta formulada pelo mediador, este deve expandir a resposta da criança e elogiá-la. Diante de uma resposta incorreta, o mediador deve apresentar o modelo correto e pedir à criança que repita. A atenção conjunta e a pausa intencional não foram usadas.

Variáveis dependentes

Os efeitos das variáveis independentes (VI) anteriormente descritas foram analisados no comportamento das crianças: na frequência de respostas corretas a perguntas factuais e inferenciais; frequência de respostas corretas para cada tipo de estratégia (tipo de perguntas) e aquisição de vocabulário.

Procedimentos

O projeto foi submetido e aprovado pelo Comitê de Ética em Pesquisa (Parecer nº 3.768.978). Após a assinatura do Termo de Consentimento Livre e Esclarecido pelos pais das crianças participantes, o projeto foi desenvolvido em nove etapas, entre outubro de 2020 e junho de 2021:

Avaliação inicial: As três crianças foram submetidas aos testes ADL, enquanto as duas com TEA foram avaliadas adicionalmente com o CARS.

Treinamento da assistente de pesquisa: Com base em filmagens correspondentes a investigações realizadas anteriormente, a primeira autora capacitou a assistente a codificar os dados referentes às variáveis do estudo. O treinamento finalizou quando a assistente e a pesquisadora alcançaram um índice de concordância de 75%, considerando critério estabelecido por Fagundes (2015). Nos comportamentos da criança, os índices de concordância foram de 83% (67% - 100%) para iniciativa de resposta; 89% (83% - 100%) para respostas corretas; e 100% para respostas incorretas. Nas estratégias implementadas pelo mediador, as médias foram 100% (100% - 100%) para completar, final aberto, perguntas Qu, inferência, identificação emocional e pausa intencional; 89% (75% - 100%) para relembrar; 90% (80% - 100%) para distanciamento; e 82% (67% - 100%) para atenção compartilhada.

Capacitação dos mediadores: Os mediadores foram capacitados a utilizar os dois programas interventivos (Recall e LDS) por meio de discussões teóricas e atividades práticas. As estratégias de cada programa foram, inicialmente, debatidas e organizadas em um guia. Em seguida, foram realizadas sessões de autoscopia (Sadalla; Larocca, 2004; Nunes et al., 2020), modelação e encenação. A primeira envolve a filmagem e posterior observação da própria prática. A segunda abrange a demonstração de um comportamento-alvo que se almeja que o indivíduo alcance por meio da observação e da imitação. A terceira consiste na elaboração de situações fictícias representando a realidade. Assim, após observarem outros mediadores em vídeos, os participantes encenaram as leituras, assumindo o papel do adulto ou da criança, empregando as estratégias discutidas na fase teórica.

Seleção dos livros e do vocabulário: Quatro livros com 12 a 19 páginas foram selecionados para a intervenção, o que atendeu aos critérios de incluir ilustrações correspondentes ao texto e narrativas propícias para inferências. Ademais, 15 palavras, que apareciam pelo menos duas vezes e pertenciam às categorias de substantivos, adjetivos e verbos, foram selecionadas para o pré-teste.

Randomização dos programas: A ordem de exposição a cada livro e a cada uma das práticas interventivas (Recall e LDS) foi definida randomicamente. Cada criança participou de quatro semanas de leitura, com um livro por semana, totalizando 16 sessões de leitura. Em duas semanas, utilizou-se um programa de leitura, enquanto, nas outras duas, empregou-se o outro programa. O mesmo protocolo foi seguido para cada livro, independentemente do programa de leitura. O resultado da randomização das condições e dos livros está apresentado no Quadro 2.

Quadro 2
Randomização das condições e dos livros

Pré-teste: Antes da leitura de cada livro, 15 palavras previamente selecionadas eram avaliadas em termos expressivos e receptivos. Entre quatro e seis palavras com menor pontuação2 foram selecionadas como vocabulário-alvo para ser ensinado durante as leituras.

Monitoramento: Após a seleção do vocabulário-alvo, cada livro era lido durante quatro dias consecutivos, seguindo o protocolo previamente definido (Recall ou LDS). Depois de cada leitura, era realizado um teste de monitoramento, que consistia na avaliação das palavras identificadas no pré-teste.

Pós-teste: As 15 palavras avaliadas no pré-teste (incluindo as palavras-alvo) eram novamente testadas no quarto dia da leitura.

Aplicação de testes estatísticos: Aplicamos testes estatísticos para avaliarmos se as diferenças nas medidas a serem comparadas não se deviam a um evento aleatório. Todos os testes aplicados foram não paramétricos, uma vez que a distribuição das medidas obtidas de cada variável não cumpriu o critério de normalidade ou gaussianidade. Portanto, aplicamos os testes estatísticos apropriados conforme a natureza dos dados coletados. Utilizamos o teste não paramétrico de Mann-Whitney para comparações de médias provenientes de amostras independentes (Mann; Whitney, 1947). Utilizamos o teste não paramétrico de Wilcoxon dos postos sinalizados para comparações de médias provenientes de amostras pareadas (Rey; Neuhäuser, 2011). Também empregamos o teste não paramétrico exato de Fisher para compararmos a significância da frequência de eventos (acertos) obtida entre os programas Recall e LDS (Fisher, 1922). Para todos os testes, aplicamos o nível de significância de 5%.

Análise de dados

Considerando as especificidades de cada variável avaliada, distintos procedimentos de análise foram adotados.

  1. Controle da fidedignidade no uso dos protocolos Recall e LDS: Para assegurar a confiabilidade na aplicação dos protocolos Recall e LDS, empregou-se o Formulário de Avaliação da Capacitação do Cuidador - FACC (Whalon; Delano; Hanline, 2013). Esse formulário, composto por uma checklist, foi administrado pela assistente de pesquisa para avaliar a frequência de uso de cada estratégia dos programas estudados. Essa avaliação foi conduzida com todos os mediadores envolvidos.

  2. Atribuição de pontuação gradual quando diferentes níveis de ajuda foram dados à criança ao responder às perguntas: As respostas das crianças foram analisadas como corretas e incorretas nos dois protocolos de leitura. Como na LDS não são utilizados auxílios visuais, as respostas foram pontuadas de forma binária (1 para corretas e 0 para incorretas). Já no Recall, foram fornecidas dicas visuais para auxiliar as crianças. Assim, adotou-se uma pontuação gradual para as respostas corretas de acordo com o grau de apoio fornecido, a fim de tornar os protocolos de leitura comparáveis estatisticamente. Nesse sentido, foi aplicada a seguinte regra: uma resposta correta sem apoio recebia a pontuação máxima de 1,00, equivalente à resposta correta na LDS. Se a criança acertasse a resposta com o apoio de três opções (apoio de três opções), ela recebia uma pontuação de 0,67. Com o apoio de duas alternativas de resposta (apoio de duas opções), a pontuação era de 0,33. Caso um modelo de resposta fosse fornecido após a resposta incorreta da criança, a pontuação era zero. A soma total de acertos em cada um dos programas de leitura foi designada como “pontos totais”.

  3. Pontuação do vocabulário: A pontuação do vocabulário foi avaliada em termos expressivos e receptivos durante o pré-teste, o pós-teste e as sessões de monitoramento. No aspecto expressivo, as crianças foram avaliadas em sua capacidade de nomear a palavra representada por uma imagem (rótulo) e descrever um atributo relacionado a ela (função). No aspecto receptivo, foram solicitadas a apontar, entre três opções, para a figura correspondente à palavra verbalizada pelo mediador. Cada item correto (rótulo, função e compreensão) equivalia a 1 ponto, totalizando até 3 pontos por palavra. As pontuações de cada uma das palavras-alvo foram somadas para produzir uma pontuação geral por sessão, variando de 0 a 18 pontos, dependendo do número de palavras avaliadas, que variou de quatro a seis.

  4. Testes estatísticos: Foram utilizados os testes estatísticos não paramétricos Mann-Whitney para comparações entre amostras independentes e Wilcoxon dos postos sinalizados para amostras pareadas. Esses testes foram empregados em virtude da não normalidade dos dados. Por fim, foi utilizado o teste exato de Fisher para comparar frequência de eventos (acertos). Para todos os testes, foi usado o nível de significância de 5%.

Resultados e discussão

Efeitos da capacitação no comportamento dos mediadores

A Tabela 1 mostra a média percentual de uso das estratégias pelos mediadores de leitura em cada condição.

Tabela 1
Média percentual de uso das estratégias

Com base nos resultados, foi constatado que os mediadores aplicaram as estratégias conforme o previsto em cada protocolo. Isso está alinhado com as diretrizes do FACC (Whalon; Delano; Hanline, 2013), as quais definem uma implementação fidedigna como aquela em que pelo menos 80% das estratégias são utilizadas corretamente.

Efeitos da LD e do Recall na aprendizagem do vocabulário

Vocabulário de Henri

O vocabulário-alvo selecionado para Henri está apresentado no Quadro 3, que indica a pontuação inicial (pré-teste) e a condição experimental a que o menino foi exposto (Recall ou LDS).

Quadro 3
Pontuação inicial e condição experimental de Henri

Conforme observado no Quadro 3, foram selecionadas cinco palavras nos 1º, 3º e 4º livros. No 2º livro, seis palavras foram incluídas em razão de um “empate” na pontuação de três vocábulos. O tempo de sessão de Henri foi reduzido em virtude de sua dificuldade em se engajar na tarefa, o que impactava sua capacidade de completar todos os passos do programa, incluindo a leitura integral do livro e a realização da atividade de monitoramento. Diante dessas circunstâncias, optou-se por avaliar o vocabulário comparando as respostas dos pré e pós-testes, em vez de realizar uma avaliação contínua por meio dos registros de monitoramento. O Gráfico 1 ilustra a pontuação de Henri nessas duas etapas, sob as condições de Recall e LDS.

Gráfico 1
Pontuação do vocabulário de Henri no pré e pós-teste nos programas Recall e LDS

O aumento na pontuação observado nas quatro etapas do estudo sugere uma aprendizagem dos novos vocábulos, respaldado pelo teste de Wilcoxon, que revelou diferenças estatisticamente significativas (p < 0,050) ao compararmos o ganho de pontos no pós-teste com relação ao pré-teste, tanto no Recall quanto na LDS.

Cada ponto no Gráfico 2 representa o ganho em cada vocábulo-alvo tanto na condição de Recall (com 10 palavras) quanto de LDS (com 11 palavras). No geral, houve um aumento de 1 a 3 pontos em 17 dos vocábulos aos quais Henri foi exposto. Observou-se a ausência de ganhos em duas palavras na condição de Recall (jogar e botar) e em uma palavra na condição de LDS (pesado). Além disso, o vocábulo “luz” apresentou uma pontuação de 1 no pré-teste e 0 no pós-teste.

Para comparar a magnitude dos ganhos de cada programa na aprendizagem do vocabulário, utilizou-se o teste estatístico de Mann-Whitney. Foram avaliados o ganho médio de pontos ao testar 10 palavras com o programa Recall e 11 palavras com o programa LDS, comparando os resultados pré e pós-teste. Essa análise considerou a diferença entre os pontos obtidos nos pós e nos pré-testes, variando de -3 a +3 em cada palavra. O teste estatístico verificou se o ganho médio de pontos do Recall diferia do ganho médio de pontos da LDS. O teste foi aplicado na mediana (teste não paramétrico) do ganho de pontos do grupo de palavras avaliadas. Os resultados não indicaram diferença estatisticamente significativa (com um nível de significância de p > 0,050) entre Recall e LDS, sugerindo que a magnitude dos ganhos foi equivalente em ambos os programas.

Gráfico 2
Ganho médio de pontos em Recall e LDS para Henri

Vocabulário de Nina

O Quadro 4 apresenta os vocábulos-alvo e sua pontuação (pré-teste) em cada condição experimental.

Quadro 4
Vocábulos-alvo e sua pontuação (pré-teste) em cada condição experimental de Nina

Foram selecionadas cinco palavras-alvo para o 1º, o 2º e o 3º livros, enquanto, no 4º livro, houve a inclusão de seis palavras. O Gráfico 3 traz os “ganhos” no vocabulário de Nina em relação ao pré-teste nas duas condições experimentais. Para viabilizar a comparação entre as condições experimentais, o valor “zero” foi atribuído ao pré-teste.

Gráfico 3
Ganho de vocabulário de Nina por sessão

Os dados revelam um aumento na pontuação do vocabulário em ambas as condições experimentais. Nina teve ganhos graduais no Recall durante a primeira exposição, mas ganhos mais modestos na segunda, com uma leve queda na pontuação. Na exposição à LDS, dois aspectos se destacam: houve uma “perda” na pontuação das palavras ao comparar a primeira sessão de monitoramento com o pré-teste, atribuída à queda na pontuação das palavras “jogar”, “famosa” e “bater papo”. Além disso, em virtude das dificuldades em manter Nina engajada na tarefa, não foi possível realizar duas sessões de monitoramento (M2 da segunda exposição e M1 da primeira exposição), após a leitura dos livros. Apesar dessas limitações, foram registrados ganhos no vocabulário em relação às medidas do pré-teste.

O Gráfico 4 ilustra o ganho médio de pontos em Recall (10 palavras) e LDS (11 palavras) para Nina com base nos resultados pré e pós-teste. O teste de Mann-Whitney não encontrou diferença significativa (p > 0,050) entre os programas. Isso sugere que nenhum programa foi mais eficaz que o outro no desenvolvimento do vocabulário de Nina.

Gráfico 4
Ganho médio de pontos em Recall e LDS para Nina

Vocabulário de Gustavo

O vocabulário-alvo selecionado para Gustavo está apresentado no Quadro 5.

Quadro 5 - Vocábulos-alvo e sua pontuação (pré-teste) em cada condição experimental de Gustavo

Entre quatro e cinco palavras foram selecionadas em cada um dos livros. O Gráfico 5 demonstra os “ganhos” no vocabulário de Gustavo em relação ao pré-teste nas duas condições experimentais.

Gráfico 5
Ganho de vocabulário de Gustavo por sessão

De forma geral, a pontuação de Gustavo apresentou uma tendência ascendente nas duas condições experimentais, sugerindo assimilação das palavras-alvo. Essa observação é respaldada pelos resultados do teste Wilcoxon, que destacou diferenças estatisticamente significantes (p < 0,050) ao comparar os ganhos dos pré e pós-testes, tanto no Recall quanto na LDS. Em consonância com os demais participantes, a análise pelo teste estatístico Mann-Whitney (Gráfico 6) não evidenciou diferença significativa (p > 0,050) entre os programas.

Gráfico 6
Ganho médio de pontos em Recall e LDS para Gustavo

Efeitos da LD e do Recall na compreensão leitora dos três participantes

O Gráfico 7 revela a porcentagem de acertos de Henri para cada tipo de pergunta quando submetido às duas condições experimentais.

Gráfico 7
Porcentagem de acertos de Henri para cada tipo de pergunta nas condições Recall e LDS

Em ambas as condições (Recall e LDS), Henri demonstrou maior habilidade ao responder perguntas mais concretas, como completar frases e questões factuais (Qu), além de mostrar compreensão de perguntas que exigiam distanciamento. No entanto, seu desempenho foi menos satisfatório em perguntas que demandavam maior abstração, como identificação emocional e inferência. Esses resultados corroboram pesquisas anteriores, como a conduzida por Walter e Nunes (2020), que indicaram que participantes com TEA tendem a responder corretamente a perguntas concretas, mas enfrentam dificuldades com as abstratas. Essa tendência reflete um padrão de desenvolvimento típico, no qual a compreensão de situações mais concretas precede a compreensão de conceitos mais abstratos (Schwanenflugel, 1991; Bellagamba et al., 2022).

O Gráfico 8 salienta a porcentagem de acertos de Nina para cada tipo de pergunta nas duas condições experimentais.

Gráfico 8
Porcentagem de acertos de Nina para cada tipo de pergunta nas condições Recall e LDS

Em contraste com Henri, Nina apresentou altas taxas de acertos, superiores a 85%, em todas as perguntas elaboradas pelos mediadores no protocolo Recall. Na LDS, seu desempenho foi superior em perguntas mais previsíveis e concretas, como completar fonológico e perguntas abertas. Manteve desempenho satisfatório nas questões mais abstratas, como inferência e identificação emocional, além de apresentar uma baixa porcentagem de acertos em perguntas de relembrar.

O Gráfico 9 apresenta a porcentagem de acertos de Gustavo para cada tipo de pergunta quando submetido às duas condições experimentais.

Gráfico 9
Porcentagem de acertos de Gustavo para cada tipo de pergunta nas condições Recall e LDS

Na condição Recall, Gustavo alcançou taxas de acerto superiores a 90% em todas as perguntas, tanto as concretas quanto as abstratas. No protocolo LDS, seu desempenho foi menos consistente, com porcentagens de acertos variadas, inexistindo diferenças precisas entre as questões. Nesse sentido, obteve resultados muito bons em perguntas mais simples (completar e completar fonológico), como também em mais complexas (relembrar, distanciamento e inferência). Por outro lado, conseguiu menos acertos em questões mais concretas (perguntas Qu e abertas) e abstratas (identificação emocional).

Para avaliar se a porcentagem de acertos dos três participantes quando submetidos ao programa Recall diferia da porcentagem de acertos quando submetidos ao LDS, foi utilizado o teste Wilcoxon dos postos sinalizados. Isso foi possível porque ambos os programas foram aplicados utilizando os mesmos tipos de perguntas (pareamento por tipo de pergunta). Para os cálculos, foi utilizado o software GraphPad Prism 8.0.2.

Adotando o nível de significância estatística de 5%, foram encontradas diferenças significativas entre os tratamentos para Henri (p = 0,047), Nina (p = 0,016) e Gustavo (p = 0,008), havendo mais acertos quando o Recall era usado. O Gráfico 10 ilustra a porcentagem de respostas corretas para cada tipo de pergunta, nos dois programas, para cada um dos sujeitos. Cada ponto representa um tipo de pergunta.

Gráfico 10
Diferenças na porcentagem de respostas corretas (acertos) dos tipos de perguntas em cada um dos programas de Henri, Nina e Gustavo

Conforme descrito na seção de análise de dados, os protocolos foram avaliados de maneiras distintas. Na LDS, os valores foram atribuídos de forma binária, ou seja, um ponto para respostas corretas e zero para as incorretas. Por outro lado, no Recall, as notas foram normalizadas para permitir uma comparação dos acertos totais obtidos em cada programa. Assim, a pontuação variou de acordo com o tipo de suporte visual fornecido: 1,00 ponto para respostas corretas sem nenhum suporte; 0,67 ponto para acertos obtidos quando a resposta correta era apresentada como uma dentre três opções de suporte; 0,33 ponto para acertos obtidos quando a resposta correta era apresentada como uma dentre duas opções de suporte; e 0,0 para respostas incorretas, mesmo após a criança receber os dois níveis de suporte.

A seguir, é apresentada a Tabela 2 com os resultados dos acertos e erros dos participantes quando expostos aos dois protocolos.

Tabela 2
Total de acertos (nota normalizada) e respostas incorretas Recall - LDS dos três sujeitos

Ao analisar os dados da Tabela 2, observa-se que Henri obteve 55 pontos corretos de um total de 136 perguntas usando o programa Recall, o que corresponde a 40% de acertos, e 79 pontos corretos de 212 perguntas usando o programa LDS, equivalente a 37% de acertos. Por outro lado, Nina alcançou 159 pontos corretos de 184 perguntas com o Recall (86% de acertos) e 76 pontos corretos de 108 perguntas com o LDS (70% de acertos). Além disso, Gustavo apresentou 82% de acertos com o Recall em comparação a 65% de acertos com o LDS.

O Gráfico 11 ilustra as porcentagens de pontos totais (acertos) e de erros alcançados pelos três sujeitos em cada um dos programas.

Gráfico 11
Porcentagens de pontos totais (acertos) e de erros em cada um dos programas de Henri, Nina e Gustavo

Na primeira análise apresentada no Gráfico 10, para o programa Recall, uma resposta foi considerada correta quando o sujeito respondia obtendo 1,0 ponto (sem ajuda visual), 0,67 ponto ou 0,33 ponto (com ajuda visual). Portanto, qualquer modalidade de acerto (com ou sem ajuda visual) foi considerada um acerto completo. Essa avaliação é mais permissiva, pois considera os diferentes tipos de acertos como semelhantes.

Para estender a análise desses dados considerando níveis maiores de ajuda como de menor pontuação, os acertos foram tratados conforme suas pontuações. Assim, foi analisado se a porcentagem de acertos dos participantes diferiu entre Recall e LDS. Para isso, empregou-se o teste exato de Fisher. Os resultados indicaram, nesse caso, a equivalência entre os programas para Henri (p = 0,771). Por outro lado, houve diferença estatisticamente significativa para Nina (p = 0,010) e para Gustavo (p = 0,010), que tiveram desempenho superior no Recall.

Como se percebe no Gráfico 11, as porcentagens de pontos obtidos por Henri (barras brancas), quando comparados os programas Recall e LDS, são próximas e não diferem estatisticamente. Em contrapartida, as porcentagens de pontos obtidos por Nina e Gustavo em cada programa são estatisticamente distintas, o que indica melhor pontuação no programa Recall.

Conclusão

O objetivo deste estudo foi avaliar a eficácia de dois programas de leitura dialógica (LDS e Recall) na aprendizagem de vocabulário e na compreensão oral de crianças com TEA e com desenvolvimento típico. Objetivou-se, também, capacitar mediadores de leitura, incluindo pais e agentes de saúde e educação, a implementarem ambos os protocolos em contexto familiar e clínico.

Os resultados evidenciaram a eficácia das estratégias adotadas no treinamento dos sete mediadores de leitura, uma vez que todos demonstraram proficiência na aplicação dos procedimentos dos protocolos, com um índice adequado de confiabilidade. Esses resultados corroboram achados de estudos anteriores (Whalon; Hanline; Davis, 2016; Walter; Nunes, 2020; Müller; Nunes; Schmidt, 2023), os quais destacaram a eficácia dos métodos de autoscopia, modelação e encenação no ensino de habilidades mediadoras de leitura.

Em contraste com o estudo de Nunes et al. (2021), os dois programas demonstraram ser igualmente eficazes no ensino de vocabulário, tanto para as duas crianças com TEA quanto para o menino com desenvolvimento típico. Por outro lado, embora os três participantes tenham obtido maior porcentagem de acertos nas perguntas elaboradas durante o protocolo Recall, tais diferenças se mostraram estatisticamente significativas apenas para dois deles (Nina e Gustavo), que obtiveram melhor desempenho com o Recall. Duas hipóteses podem explicar esses achados: a primeira é que as crianças tiveram uma melhor compreensão leitora; a segunda é que as ajudas visuais previstas no Recall podem ter auxiliado as crianças a formularem melhor suas respostas, resultando em menos erros.

Nesse âmbito, é importante destacar que a hierarquia de dicas visuais ofertadas pelo Recall proporciona à criança mais chances de responder corretamente. Em termos avaliativos, é crucial analisar o valor dessas respostas. Se levarmos em conta todas as oportunidades necessárias para que a criança responda corretamente, a pontuação deve variar de acordo com o nível de apoio fornecido. Assim, pareceu prudente a adoção de valores parciais (0,67 ou 0,33), correspondentes ao grau crescente de ajuda.

É relevante destacar essa análise, uma vez que, em certas situações de avaliação escolar, os educadores tendem a considerar respostas de forma binária: correta ou incorreta. Ao adotarmos uma abordagem inclusiva na sala de aula, é imprescindível avaliar os progressos graduais, reconhecendo as diversas etapas necessárias para que a criança alcance uma resposta correta.

Nesta investigação, ressaltam-se contribuições metodológicas e sociais significativas. Em primeiro lugar, a adoção de um delineamento experimental randomizado em um contexto natural ampliou a validade interna e externa da pesquisa. Em segundo lugar, foram identificadas estratégias para avaliar as respostas dos participantes, com foco nos diferentes níveis de precisão. Em vez de considerar apenas resultados binários (acerto ou erro), o protocolo Recall permitiu avaliar a sutileza do grau de necessidade de cada participante para chegar às respostas corretas.

Em termos sociais, os achados apontam para a viabilidade de ensinar o uso de estratégias de LD tanto para pais quanto para profissionais de saúde e educação. Além disso, é notável que as adaptações de leitura realizadas para crianças com TEA também resultaram em benefícios para os alunos com desenvolvimento típico. Esses achados sugerem que, em um contexto de educação inclusiva, é plausível considerar a adoção de protocolos de leitura que possam beneficiar simultaneamente alunos com e sem deficiência.

A despeito das contribuições do estudo, quatro importantes limitações foram identificadas. Primeiramente, a realização durante a pandemia de covid-19 resultou na diminuição do número de participantes, o que pode ter impactado a amplitude dos resultados. Em segundo lugar, a ausência de sessões de follow-up para avaliar a manutenção da aprendizagem ao longo do tempo limitou a compreensão sobre o impacto das intervenções em longo prazo. O terceiro ponto a salientar é a falta de prática de leitura com as crianças antes da coleta de dados, o que pode ter impactado o nível de participação das crianças durante o estudo. Por fim, a definição da compreensão leitora baseada exclusivamente na frequência de acertos às perguntas elaboradas pelos mediadores levanta questionamentos sobre a abrangência e a profundidade da avaliação. Portanto, sugere-se, para futuras pesquisas, uma amostragem mais ampla, o uso de estratégias alternativas para avaliação da compreensão leitora e a realização de sessões de follow-up.

Referências

  • ALHARBI, H.; TERLEKTSI, E.; KOSSYVAKI, L. Dialogic reading effect on communicative initiations and responses for children with autism: a systematic review. Review Journal of Autism and Developmental Disorders, [s. l.], Aug. 2023. Available in: Available in: https://doi.org/10.1007/s40489-023-00395-1 Access on: 8 Jan. 2025.
    » https://doi.org/10.1007/s40489-023-00395-1
  • BELLAGAMBA, F. et al. Abstractness emerges progressively over the second year of life. Scientific Reports, [s. l.], v. 12, e20940, 2022.
  • BOYLE, S. A.; MCNAUGHTON, D.; CHAPIN, S. E. Effects of shared reading on the early language and literacy skills of children with autism spectrum disorders: a systematic review. Focus on Autism and Other Developmental Disabilities, [s. l.], v. 34, n. 4, p. 205-214, 2019.
  • FAGUNDES, A. J. F. M. Cálculo de concordância entre observadores. In: FAGUNDES, A. J. F. M. Descrição, definição e registro de comportamento 17. ed. rev. e amp. São Paulo: Edicon, 2015. p. 97-110.
  • FISHER, R. A. On the interpretation of χ2 from contingency tables, and the calculation of P. Journal of the Royal Statistical Society, [s. l], v. 85, n. 1, p. 87-94, Jan. 1922.
  • KRATOCHWILL, T. R.; LEVIN, J. R. Enhancing the scientific credibility of single-case intervention research: randomization to the rescue. Psychological Methods, [s. l.], v. 15, n. 2, p. 124-144, June 2010.
  • MANN, H. B.; WHITNEY, D. R. On a test of whether one of two random variables is stochastically larger than the other. Annals of Mathematical Statistics, [s. l.], v. 18, n. 1, p. 50-60, Mar. 1947.
  • MENEZES, M. L. N. A construção de um instrumento para avaliação do desenvolvimento da linguagem: idealização, estudo piloto para padronização e validação. 2003. 143 f. Tese (Doutorado em Saúde da Criança e da Mulher) - Instituto Fernandes Figueira, Fundação Oswaldo Cruz, Rio de Janeiro, 2003.
  • MÜLLER, K. F.; NUNES, D. R. P.; SCHMIDT, C. Caregiver implemented dialogic reading: impact on children with and without autism in Brazil. International Journal of Special Education, [s. l.], v. 38, n. 1, p. 47-57, 2023.
  • NUNES, D. et al. Effects of dialogic reading on the vocabulary knowledge of preschoolers with autism spectrum disorder. International Journal of Disability, Development and Education, [s. l.], v. 69, n. 1, p. 282-301, 2021.
  • NUNES, L. R. D. P. et al. Técnicas e procedimentos de autoscopia na formação inicial e continuada do professor reflexivo: revisão descritiva da literatura In: NUNES, L. R. D. P. (Org.) Autoscopia: uma ação reflexiva sobre a prática docente. Rio de Janeiro: EdUerj, 2020. p. 15-43.
  • PEREIRA, A.; RIESGO, R. S.; WAGNER, M. B. Childhood autism: translation and validation of the Childhood Autism Rating Scale for use in Brazil. Jornal de Pediatria, [Rio de Janeiro], v. 84, n. 6, p. 487-494, 2008.
  • QUEIROZ, L. R. et al. Dialogic reading: effects on independent verbal responses, verbal and non-verbal initiations, and engagement of children with autism spectrum disorder. International Journal of Psychology and Psychological Therapy, [s. l.], v. 20, n. 1, p. 47-59, Mar. 2020.
  • REY, D.; NEUHÄUSER, M. Wilcoxon-Signed-Rank test. In: LOVRIC, M. (Ed.). International Encyclopedia of Statistical Science Berlin: Springer, 2011. p. 1658-1659.
  • SADALLA, A. M. F. A.; LAROCCA, P. Autoscopia: um procedimento de pesquisa e de formação. Educação e Pesquisa, São Paulo, v. 30, n. 3, p. 419-433, set./dez. 2004.
  • SCHOPLER, E.; REICHLER, R.; RENNER, B. R. The Childhood Autism Rating Scale (CARS) 10. ed. Los Angeles: Western Psychological Services, 1988.
  • SCHWANENFLUGEL, P. Why are abstract concepts hard to understand? In: SCHWANENFLUGEL, P. (Ed.) The psychology of word meanings Hillsdale: Lawrence Erlbaum Associates, 1991. p. 223-249.
  • SILVA, S. P. N.; WALTER, C. C. F.; NUNES, L. R. O. P. Avaliação dos efeitos de um programa de leitura e comunicação para crianças com autismo. Revista Educação Especial, Santa Maria, RS, v. 32, p. 1-22, 2019.
  • WALTER, E. C.; NUNES, D. R. P. Avaliação da eficácia de um programa de compreensão da leitura oral dialógica por criança com autismo. ETD: Educação Temática Digital, Campinas, v. 22, n. 1, p. 27-49, jan./mar. 2020.
  • WHALON, K.; DELANO, M.; HANLINE, M. F. A rationale and strategy for adapting dialogic reading for children with autism spectrum disorder: Recall. Preventing School Failure, [s. l.], v. 57, n. 2, p. 93-101, Jan. 2013.
  • WHALON, K. et al. The impact of reading to engage children with autism in language and learning (Recall). Topics in Early Childhood Special Education, [s. l.], v. 35, n. 2, p. 102-115, Aug. 2015.
  • WHALON, K.; HANLINE, M. F.; DAVIS, J. Parent implementation of Recall: a systematic case study. Education and Training in Autism and Developmental Disabilities, [s. l.], v. 51, n. 2, p. 211-220, June 2016.
  • WHITEHURST, G. J. et al. Accelerating language development through picture-book reading. Developmental Psychology, v. 24, n. 4, p. 552-558, 1988.
  • 1
    A escala CARS identifica crianças com autismo, distinguindo-as de outras com atrasos no desenvolvimento, além de classificar a gravidade do autismo em leve, moderado ou grave. Com 14 domínios e uma categoria geral, é indicada para crianças acima de 2 anos, com pontuação de 15 a 60 e um ponto de corte de 30 para autismo (Pereira; Riesgo; Wagner, 2008). No estudo, a primeira autora utilizou a escala para avaliar a gravidade do TEA em dois participantes.
  • 2
    Ver pontuação do vocabulário.

Datas de Publicação

  • Publicação nesta coleção
    25 Abr 2025
  • Data do Fascículo
    2025

Histórico

  • Recebido
    14 Maio 2024
  • Aceito
    28 Nov 2024
location_on
Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira Setor de Indústrias Gráficas - Quadra 04 - lote 327, Térreo, Ala B, CEP 70.610-440 – Brasília-DF – Brasil, Telefones: (61) 2022-3077, 2022-3078 - Brasília - DF - Brazil
E-mail: editoria.rbep@inep.gov.br
rss_feed Acompanhe os números deste periódico no seu leitor de RSS
Reportar erro