Aula expositiva versus gamificação na fixação do conhecimento em estudantes de Medicina: um estudo randomizadoRESUMO
Introdução: Mesmo diante de uma geração de estudantes criada no ambiente dos jogos e da interatividade, a metodologia da gamificação associada a histórias interativas ainda não foi suficientemente testada por meio de estudos com maior poder estatístico.
Objetivo: Este estudo visa comparar a fixação de conhecimento de estudantes de Medicina expostos à aula expositiva ou aula por meio de jogos e histórias interativas, e comparar os níveis de aquisição de conhecimento e de satisfação após a exposição às duas diferentes metodologias referidas.
Método: Trata-se de um estudo randomizado, controlado e cruzado que compara o uso de aulas com gamificação e histórias interativas com o uso de aula tradicional. Os principais desfechos avaliados foram o nível de fixação de conhecimento um mês depois da exposição à última aula, o incremento de conhecimento antes e depois de cada aula, e o nível de satisfação ao final de cada aula. Realizou-se análise estatística usando-se o Teste dos Sinais de Wilcoxon, ao nível de significância de 5%.
Resultado: Incluíram-se no estudo 83 estudantes do quinto e do sexto ano. A fixação de conhecimento no grupo de gamificação e histórias foi 3,6 vezes maior (p < 0,001) do que no grupo de aula expositiva. Os níveis de aquisição de conhecimento e a satisfação também foram superiores no grupo de gamificação.
Conclusão: O presente estudo indica que a aula com metodologia de gamificação e histórias interativas é superior à aula tradicional na fixação do conhecimento em estudantes de Medicina. Além disso, observou-se também superioridade nos níveis de aquisição de conhecimento e de satisfação.
Palavras-chave:
Educação Médica; Gamificação; Modelos Educacionais
ABSTRACT
Introduction: Even in the presence of a generation of students created in the gaming and interactivity environment, the Gamification methodology associated with interactive stories has not yet been sufficiently tested through studies with greater statistical power.
Objective: This study aims to compare knowledge retention in medical students exposed to lectures or classes through games and interactive stories and to compare levels of knowledge acquisition and satisfaction after exposure to the two mentioned different methodologies.
Methods: It is characterized as a randomized, controlled, crossover study comparing the use of Gamification classes and Interactive Stories with the use of Traditional Classroom method. The main outcomes assessed were the level of knowledge retention one month after exposure to the last class, the increase in knowledge before and after each class, and the level of satisfaction at the end of each class. Statistical analysis was performed using the Wilcoxon signed rank test with a significance level set at 5%.
Results: Eighty-three students attending the 5th and 6th years of medical school were enrolled in this study. Knowledge fixation in the Gamification and Stories group was 3.6 times higher (p <0.001) than in the Lecture group. Knowledge acquisition and satisfaction levels were also higher in the Gamification group.
Conclusion: The present study indicates that the Gamification methodology with Interactive Stories methodology is superior to the Traditional Class regarding knowledge retention in medical students. Moreover, the knowledge acquisition and satisfaction levels were also superior.
Keywords:
Medical education; Gamification; Educational Models
INTRODUÇÃO
Ainda hoje muitos currículos de cursos médicos se apoiam no modelo mecanicista do processo saúde-doença1. Sabe-se que, nos campos de prática das escolas médicas, o retorno do conhecimento científico básico da sala de aula é muitas vezes lento e inapropriado. Somente após fazer novas conexões com o contexto clínico, a aprendizagem final acontece1),(2. As práticas pedagógicas inovadoras, no contexto da metodologia ativa, buscam estimular processos de ensino crítico-reflexivos, nos quais o estudante interaja e se comprometa com o próprio aprendizado3),(4. Estudos em diferentes países têm sugerido a força do uso formal de jogos interativos na apreensão do conhecimento em medicina5)-(7. Além disso, há dados que sugerem maior fixação de conhecimento e maior satisfação, inclusive com implicações na prática médica, com melhores resultados na aplicação dos conteúdos à assistência7),(8. Mesmo diante de uma geração de alunos criados e ambientados com os jogos e com o mundo digital, esses aspectos ainda não haviam sido suficientemente testados. No contexto das práticas pedagógicas inovadoras, os dados existentes não são suficientes para confirmar ou refutar a utilidade de jogos de competição como estratégia de ensino eficaz para estudantes de Medicina. Nesse sentido, este projeto busca avaliar em bases científicas uma mistura de metodologias ativas composta por gamificação e histórias interativas, em comparação ao modelo de aula tradicional, quanto à fixação dos conteúdos. Independentemente dos ganhos de conhecimento advindos de quaisquer dos modelos de ensino, dispomo-nos a mensurar e comparar a retenção da informação no contexto de um ambiente centrado não no conteúdo nem no professor, mas no indivíduo e na sua atuação social integrada em uma atividade lúdica.
MÉTODO
Desenho e local do estudo
Trata-se de um ensaio randomizado, realizado num hospital de assistência e ensino que oferece serviço de clínica médica pelo Sistema Único de Saúde no município de Salvador, na Bahia. A população-alvo do estudo foram alunos do quinto e do sexto ano de Medicina de quatro faculdades públicas e privadas, entretanto a população acessível do ensaio foram alunos do período de internato de clínica médica dessas faculdades que estavam aleatoriamente no hospital destacado durante os meses do estudo. Não havendo critérios de exclusão e seguindo os critérios de inclusão, selecionaram-se os alunos do internato de Medicina do serviço citado que concordaram em participar da pesquisa. Todos os alunos assinaram o Termo de Consentimento Livre e Esclarecido (TCLE). O projeto foi aprovado pelo Comitê de Ética e Pesquisa local sob o CAAE nº 97784918.2.0000.0047.
Procedimento
O protocolo do estudo é composto por seis etapas. Na primeira etapa, houve a preparação para a pesquisa e o treinamento de professores. Nesse momento, houve a construção de 36 aulas, durante dois anos, que abordassem temas sindrômicos de clínica médica, que constassem do programa didático do internato médico. Desse modo, os médicos residentes do serviço foram treinados pelo investigador a ministrar essas aulas nas duas metodologias educacionais diferentes. Em seguida, já na segunda etapa, foram feitos os convites aos participantes que estavam período de internato no hospital. Eles foram divididos de forma randômica e aleatória em dois grupos de tamanho próximo (grupo de gamificação e grupo de aula expositiva) de forma a ser respeitada a estratificação por universidade e por ano de curso, quinto ou sexto ano. Além disso, sortearam-se os temas “dor torácica”, “fraquezas (miopatia)”, “hepatoesplenomegalia” e “prurido” entre os 36 temas preparados previamente, para que assim se eliminasse algum viés advindo da seleção do tema e se minimizasse a influência do conhecimento prévio do assunto pelos estudantes ou pelos residentes sorteados para administrar as aulas nas duas metodologias. O cálculo do tamanho da amostra foi feito com base na média de notas dos alunos aferidas nos estudos de educação citados na revisão de literatura. Postulou-se que, se a variação entre as notas dos grupos fosse de dois pontos, seria necessário um número (N) igual a 36 pessoas por grupo para demonstrar essa diferença.
Na terceira etapa, realizaram-se a exposição aos primeiros temas e a aplicação de pré e pós-testes. A única diferença entre os grupos foi o uso da metodologia de games e histórias interativas para um deles (gamificação) e aula tradicional (aula expositiva) para o outro grupo. Assim, ambos os grupos fizeram testes iguais nos mesmos dias e ao mesmo tempo, antes e depois de assistirem, em auditórios diferentes do hospital, à mesma aula.
Seguindo o protocolo do estudo, durante dois dias os alunos foram expostos aos temas restantes. As aulas foram ministradas por oito médicos residentes sorteados de um total de 38 médicos do hospital, todos treinados previamente pelo investigador para aplicar os dois tipos de metodologias. A razão de serem médicos residentes foi para minimizar algum viés que poderia surgir se as aulas fossem dadas por especialistas, com diferentes formações didáticas.
Os alunos foram avaliados por um sistema pré e pós com testes impressos aplicados no início e fim de cada uma das oito aulas. Esses testes foram compostos por cinco questões de múltipla escolha para cada um dos temas, previamente elaboradas por professores especialistas, diferentes daqueles que ministraram as aulas: miopatia, um neurologista; dor torácica, um cardiologista; hepatomegalia-gastroenterologista e prurido-dermatologista. As questões dos testes não foram do conhecimento do investigador nem dos médicos que deram as aulas, assim como não deveriam coincidir com o conteúdo dos casos usados na aula de gamificação. O mesmo teste foi aplicado nas aulas dos dois grupos e repetidos, a fim de investigar o nível de decréscimo de acertos após um mês do contato com os conteúdos. Os professores que não lecionaram a aula aplicaram os testes.
Na aplicação da metodologia de gamificação, eram apresentados durante as aulas minicasos clínicos lidos por um narrador, escolhido pela plateia, com perguntas ao final. Os casos sempre tinham como pano de fundo um roteiro ficcional, lúdico e interativo, embalado por músicas e sons afins aos temas. Os internos eram divididos em dois grupos de cinco a seis pessoas, os quais deveriam competir por meio do número de acertos dos diagnósticos dos minicasos, com tempo determinado de quatro minutos para discussão e debate entre os membros antes do envio das respostas. Ao encerrar a aula, o grupo vencedor com maior número de acertos era revelado, e, então, após duas aulas seguidas, a grande vencedora entre as equipes era anunciada.
Na aplicação da metodologia tradicional, os mesmos temas foram apresentados, só que, dessa vez, na forma de aulas expositivas, contendo os mesmos slides e com o mesmo conteúdo da aula de gamificação. As diferenças entre a aplicação das metodologias foram a adição da gamificação e os professores, que, entretanto, foram médicos residentes, sorteados do mesmo grupo, com igual treinamento.
Na quarta etapa, os participantes do estudo foram submetidos a uma estratégia de crossover, passando, na terceira semana, os membros do grupo de gamificação ao grupo de aula expositiva e vice-versa, com o objetivo de minimizar algum potencial viés. Na quinta etapa, ocorreram a exposição aos dois últimos temas e a repetição do processo de testes.
A sexta etapa consistiu em avaliar a fixação do conhecimento, e, assim, um mês após a última aula, todos os estudantes foram submetidos aos mesmos testes da terceira etapa. Em nenhum momento, o investigador participou das aulas ou dos testes.
A satisfação dos alunos foi avaliada ao fim de cada aula, utilizando-se de uma escala tipo Likert9)-(12 de cinco níveis graduais, desde o extremo de “muito insatisfeito” até nível “muito satisfeito”. Essa escala foi validada previamente na fase de preparação do estudo, com bom entendimento por parte dos alunos testados e boa capacidade de discernimento e diferenciação entre os cinco níveis de satisfação13.
Os dados coletados sobre a avaliação de fixação de conhecimento, realizada um mês após a última aula, e a satisfação dos alunos, avaliada ao fim de cada aula, foram submetidos a uma análise e tratados por meio da análise de suas respectivas frequências e proporções com relação ao total.
As variáveis avaliadas no estudo foram o incremento nas notas dos testes e o nível de satisfação dos alunos após contato com os métodos de gamificação e tradicional. Na primeira variável, considerou-se a diferença entre as notas obtidas após aplicação das metodologias de gamificação e tradicional e antes delas. Considerou-se ainda a diferença entre as notas obtidas após aplicação das metodologias de gamificação e tradicional e na avaliação de fixação. A significância estatística foi avaliada por meio do Teste de Sinais de Wilcoxon.
Os dados não seguiram uma distribuição normal nem na análise gráfica do QQ - Plot e BoxPlot - nem no teste de normalidade Shapiro-Wilk. Todas as análises foram obtidas com auxílio do software estatístico R-Project.
RESULTADOS
A população do estudo foi composta de 83 estudantes de Medicina que estavam no período do internato médico. A média de idade encontrada foi de 24 anos, sendo 43 alunos do sexo feminino e 34 do sexo masculino. Do total, 60 estudantes eram do sexto ano da graduação em Medicina e 23 do quinto ano.
A população provinha de quatro instituições de ensino médico diferentes do estado da Bahia, que não foram referidas por questões éticas. A randomização de todas as características citadas seguiu um padrão de aleatorização pareada e está explicitada na Tabela 1. Apenas dois estudantes não completaram o estudo, o que não comprometeu a análise estatística.
Com a análise realizada pelo teste não paramétrico dos Sinais de Wilcoxon (Tabela 2), os resultados evidenciaram estatisticamente a rejeição de H0, ou seja, o incremento mediano com a metodologia de gamificação mostrou-se superior ao incremento mediano com a metodologia tradicional (todos os p-valores apresentam valores muito menores que 0,05).
A fixação do conhecimento um mês depois também analisada pelo Teste dos Sinais de Wilcoxon mostrou um menor decaimento na mediana de notas do grupo de gamificação.
A satisfação com a metodologia de gamificação associada a histórias interativas também foi superior, com 89,6% dos estudantes somados entre os níveis 4 e 5 de satisfação (satisfeito ou muito satisfeito), no grupo de gamificação. No grupo de aula tradicional, apenas 34,6% representavam a soma dos estudantes que estavam nesses mesmos níveis. Essa comparação obteve um p-valor < 0,000.
DISCUSSÃO
Comparado à aula tradicional, os resultados do estudo mostraram que no grupo de gamificação com histórias interativas o ganho de conhecimento foi 32% maior entre o pré e o pós-teste, e, principalmente, o decaimento do aprendizado foi 3,7 vezes menor na avaliação um mês depois.
Os estudos de Gong et al.14, Imran et al.15 e Mayel et al.16 obtiveram resultados similares ao encontrarem diferenças estatisticamente significativas indicando melhores desempenhos pós-teste para os estudantes que participaram de metodologias de aprendizagem baseada em equipes (team-based learning - TBL) em comparação com metodologias tradicionais de ensino.
Já em relação a satisfação e percepção geral dos participantes dos experimentos, o trabalho desenvolvido por Mayel et al.16 não aplica nenhuma metodologia que busque avaliar conceitos mais subjetivos do modelo de ensino. Não obstante, apresenta que o método de TBL aumentou as habilidades interpessoais em estudantes do sexo feminino, entretanto essa afirmação foi derivada apenas da comparação de escores entre grupos com metodologia de TBL e aula tradicional.
De forma similar ao presente estudo, as investigações de Mayel et al.16 e Gong et al.14 aplicaram questionários de satisfação aos grupos, e os discentes obtiveram uma maior satisfação com o método de TBL que foi considerado uma melhor estratégia de aprendizado. Em adição, os participantes também tiveram a impressão de que, além de uma forma melhor de retenção de conteúdo, o método pode promover o aprimoramento e ganho de habilidades interpessoais, como trabalho em equipe, comunicação efetiva, ensino e colaboração em atividades acadêmicas, e maior enriquecimento do raciocínio clínico por meio das discussões.
Até onde a pesquisa atual permite afirmar, em consistência com os resultados do presente estudo, apenas o trabalho de Castro Delgado et al.17 teve como objetivo avaliar a fixação do conhecimento por meio de uma avaliação um mês após as sessões de exposição do conteúdo.
Entretanto, de maneira similar a Mayel et al16 e dissimilar ao presente estudo, avaliaram-se as percepções dos estudantes apenas considerando os altos escores e os associando a percepções positivas da metodologia e da obtenção de conhecimento.
Como já referido, a fixação do conhecimento no presente estudo foi muito superior no grupo de gamificação, sem queda significante na mediana de notas um mês depois (0,0), comparado ao grupo de aula tradicional (-2,0). Um ponto crucial a ser discutido e buscado são as possíveis razões que possam participar da explicação para esse resultado tão expressivo.
O primeiro grupo de hipóteses, a serem avaliadas em novos estudos específicos, vem das profundas e interessantes pesquisas sobre os mecanismos influenciadores na memória, sobretudo da fixação da informação na memória de longo prazo.
Segundo os estudos de Atkinson et al.18, há uma relação direta entre a quantidade de recitação no armazenamento de curto prazo e a potência do traço de memória armazenado na memória de longo prazo. Mecanismos como ter que repetir as informações para outras pessoas como os membros de uma mesma equipe ou ter que defender um ponto de vista para encontrar uma solução, como ocorreu no estudo, poderiam influenciar decisivamente em uma maior qualidade de retenção das informações6),(19.
Esses resultados de uma maior fixação bem maior no grupo de gamificação nos leva a tecer possíveis explicações, baseadas nos estudos clássicos de psicologia cognitiva sobre os mecanismos moduladores da memória de longo prazo. A ação de defender um ponto de vista para encontrar uma solução, como ocorreu no estudo, poderia influenciar decisivamente em uma maior qualidade de retenção das informações6),(19. O uso de narração, músicas e storytelling poderia ser mais uma explicação para a mudança de experiência de aprendizado, pois já é sabido que as memórias visual (icônica) e sonora (ecoica) influenciam positivamente a fixação20),(21. Portanto, quanto maior a extensão de sensações em que o significado é processado, mais profundo o nível de processamento (fonte). Por sua vez, Morris et al.22 evidenciaram em sua pesquisa que a memória depende das demandas especificas que justificam seu uso. Assim, quando as pessoas sabem que irão responder a um teste, e com valor competitivo, elas poderão gravar melhor.
Há também a influência das redes cerebrais envolvidas no ato de ouvir histórias e nelas intervir, como ocorre no grupo de gamificação do estudo. Essa forma de ensino pode permitir um aprendizado que transcende o nível cognitivo, para atuar também nos níveis afetivo e experiencial, ampliando a percepção do estudante13. Um enredo que relaciona personagens e que capte a atenção e desperte emoções no ouvinte poderia transmitir a mensagem de uma forma mais fácil de ser compreendida, pelos aspectos emocionais e sociais presentes.
Adicionalmente, o nível de satisfação também foi maior no grupo de gamificação. Em uma escala do tipo Likert9)-(12) de níveis graduais de satisfação mensurados de 1 até 5, 56% dos alunos do grupo do gamificação atribuíram a nota máxima a essa metodologia, em oposição a apenas 6,8% no grupo de aula tradicional.
Segundo as pesquisas de Kirkpatrick23, um estudante satisfeito com a atividade absorveria melhor o conteúdo e aplicaria esse conhecimento em seu ambiente. Assim, a alta satisfação mensurada no grupo de gamificação poderia influenciar o aprendizado. Afora a avaliação de satisfação, esse autor também sugere avaliações da aprendizagem por meio de questionários dos tipos pré e pós-teste, como as feitas nesta pesquisa.
Por fim, retorna o alerta de Berbel24 e Behrens25 sobre a necessidade imanente do exercício da ruptura no processo educacional. Assim, são essenciais o desafio e a incitação de sempre buscarmos, estudantes e professores, ultrapassar os aparentes limites. Sob esse prisma, a hipótese inovadora na qual se baseia este estudo (um blend incomum de metodologias ativas) e os resultados encontrados sobre a fixação e aprendizagem são motivos para não só adicionarmos essas metodologias no repertório de atividades possíveis, mas, para além disso, refletirmos sobre o que na prática podemos fazer para tornar a educação verdadeiramente transformadora.
Como perspectiva futura fica a necessidade de replicação do projeto e a incorporação em outros locais de ensino e para outros temas e matérias além da clínica médica.
O estudo deixa à disposição dos educadores a associação de gamificação com storytelling, um blend de metodologias de ensino que se demonstrou barato, envolvente e eficaz. Utilizando o ambiente de jogos e da narrativa, sem necessidade de sofisticação tecnológica, e com recursos educacionais que perpassam por uma sala, um aparelho de datashow e um aparelho de som.
Deve-se observar os níveis de fixação e satisfação atingidos com poucos recursos e com base apenas no conteúdo e na participação ativa do aluno.
Como limitações deste estudo, há o fato de os dados terem sido coletados apenas com temas de clínica médica e com estudantes de internato, o que talvez possa restringir a extrapolação dos resultados para outros segmentos.
CONCLUSÃO
A associação de gamificação e histórias interativas se demonstrou superior à aula expositiva no incremento de conhecimento entre o pré e o pós-teste imediato. Além disso, a fixação do conhecimento no grupo de gamificação com histórias interativas não obteve um decaimento mediano de notas após 30 dias, enquanto o grupo de aulas tradicionais apresentou um decaimento mediando de dois pontos nas notas. Ademais, a satisfação dos alunos também foi superior no grupo de gamificação. Assim, essa associação particular de metodologias fica à disposição como estratégia educacional útil e de fácil aplicação para os educadores e instituições de ensino médico.
REFERÊNCIAS
- 1 Silva Souza C da, Iglesias AG, Pazin-Filho A. Estratégias inovadoras para métodos de ensino tradicionais - aspectos gerais. Rev Med (Ribeirão Preto). 2014;47(3):284-92.
- 2 Cyrino EG, Toralles-Pereira ML. Trabalhando com estratégias de ensino-aprendizado por descoberta na área da saúde: a problematização e a aprendizagem baseada em problemas. Cad Saude Publica. 2004;20(3):780-8.
- 3 Capra F. O ponto de mutação: a ciência, a sociedade e a cultura emergente. 30a ed. São Paulo: Cultrix; 2006.
- 4 Siqueira-Batista R, Siqueira-Batista R. Os anéis da serpente: a aprendizagem baseada em problemas e as sociedades de controle. Cien Saude Colet. 2009;14(4):1183-92.
- 5 Gentry SV, Gauthier A, Ehrstrom BLE, Wortley D, Lilienthal A, Car LT, et al. Serious gaming and gamification education in health professions: systematic review. J Med Internet Res. 2019;21(3):e12994.
- 6 McCoy L, Lewis JH, Dalton D. Gamification and multimedia for medical education: a landscape review. J Am Osteopath Assoc. 2016;116(1):22-34.
- 7 Diehl LA, Souza RM, Gordan PA, Esteves RZ, Coelho ICM. InsuOnline, an electronic game for medical education on insulin therapy: a randomized controlled trial with primary care physicians. J Med Internet Res . 2017;19(3):e6944.
- 8 Araujo TB de, Silveira FR, Souza DLS, Strey YTMH, Flores CD, Webster RS. Impact of video game genre on surgical skills development: a feasibility study. J Surg Res. 2016;201(1):235-43.
- 9 Dalmoro M, Vieira KM. Dilemas na construção de escalas tipo Likert: o número de itens e a disposição influenciam nos resultados? Rev Gest Organ. 2014;6(3).
- 10 Alexandre J, Andrade D, Vasconcelos A, Araujo A, Batista M. Análise do número de categorias da escala de Likert aplicada à gestão pela qualidade total através da teoria da resposta ao item. XXIII Encontro Nacional de Engenharia de Produção. Ouro Preto: Instituição; 2003.
- 11 Cunha LMA da. Modelos Rasch e escalas de Likert e Thurstone na medição de atitudes. Lisboa: Universidade de Lisboa; 2007.
- 12 Silva Júnior SD da, Costa FJ. Mensuração e escalas de verificação: uma análise comparativa das escalas de Likert e Phrase Completion. Rev Bras Pesq Mark. 2014;
- 13 Kumagai AK. A conceptual framework for the use of illness narratives in medical education. Acad Med. 2008;83(7):653-8.
- 14 Gong J, Du J, Hao J, Li L. Effects of bedside team-based learning on pediatric clinical practice in Chinese medical students. BMC Med Educ. 2022;22(1).
- 15 Imran M, Halawa TF, Baig M, Almanjoumi AM, Badri MM, Alghamdi WA. Team-based learning versus interactive lecture in achieving learning outcomes and improving clinical reasoning skills: a randomized crossover study. BMC Med Educ . 2022;22(1).
- 16 Mayel M, Hoseini SH, Teimouri A, Shabouni Z, Rayat-Dost E, Foroughian M. Teaching approach to tachycardia and bradycardia in medical students: a quasi-experimental study to compare team-based learning and lecture method. Front Emerg Med. 2020;4(3):e68-e68.
- 17 Castro Delgado R, Fernández García L, Cernuda Martínez JA, Cuartas Álvarez T, Arcos González P. Training of medical students for mass casualty incidents using table-top gamification. Disaster Med Public Health Prep. 2023;17(4).
- 18 Atkinson RC, Shiffrin RM. Human memory: a proposed system and its control processes. Psychol Learn Motiv - Adv Res Theory. 1968;2(C):89-195.
- 19 Hícaro J, Gonçalves H, Paiva L, Coelho L, Barros M, Samuel I, et al. O uso da estratégia gameficação na educação médica. Rev Bras Educ Med. 2019;43(1):147-56.
- 20 Persuh M, Genzer B, Melara RD. Iconic memory requires attention. Front Hum Neurosci. 2012;6:23354.
- 21 Ioannides AA, Popescu M, Otsuka A, Bezerianos A, Liu L. Magnetoencephalographic evidence of the interhemispheric asymmetry in echoic memory lifetime and its dependence on handedness and gender. Neuroimage. 2003;19(3):1061-75.
- 22 Morris CD, Bransford JD, Franks JJ. Levels of processing versus transfer appropriate processing. J Verbal Learning Verbal Behav. 1977;16(5):519-33.
- 23 Kirkpatrick DL. Techniques for evaluating training programs. Train Dev J. 1978.
- 24 Berbel NAN. As metodologias ativas e a promoção da autonomia de estudantes. Semin, Ciênc Soc Hum. 2011;32(1):25-40.
- 25 Behrens M. A prática pedagógica e o desafio do paradigma emergente. Revista Brasileira de Estudos Pedagógicos. 1999;80(196).
Fonte: Elaborada pelas autores.