O aprendizado melhorado por provas

Test-enhanced learning

REVISÃO

O aprendizado melhorado por provas

Test-enhanced learning

Patrícia Souza Valle Cardoso Pastura^I; Guilherme Santoro-Lopes^II

^IFundação Oswaldo Cruz. Instituto Fernandes Figueira Rio de Janeiro, RJ, Brasil

^IIUniversidade Federal do Rio de Janeiro, Rio de Janeiro, RJ, Brasil

^{Endereço para correspondência}

RESUMO

Provas não são neutras em termos de aprendizagem. Não têm apenas caráter avaliativo. A utilização de testes repetidamente traz um benefício mnemônico, estudado em psicologia cognitiva no chamado "efeito de ser testado". A utilização de testes repetidos em cenários de educação caracteriza a metodologia do "aprendizado melhorado por provas". Estudos experimentais e aplicados em cursos extracurriculares têm demonstrado melhor desempenho na retenção de conteúdos e em habilidades de alunos submetidos a testes repetidos em comparação aos de grupos controle. Embora caracterize uma metodologia ativa e o incremento de conteúdo factual seja necessário ao desenvolvimento do raciocínio clínico, a crítica que se faz ao método é de ser baseado em memorização e retenção, na era das evidências. Os estudos aplicados não podem, até o momento, estabelecer se há melhor organização dos conteúdos adquiridos para utilização na resolução de problemas e se isto interfere positivamente no cuidado aos pacientes.

Palavras-chave: Educação Médica; Avaliação Educacional; Competência Profissional.

ABSTRACT

Tests are not neutral in terms of learning. They are not only evaluative, but summative too. There is a mnemonic benefit of testing - called the testing effect, in cognitive psychology studies. In educational settings, test-enhanced learning methodology has been associated with improved cognitive skills and performance of students repetitively tested on a specific content. Although it is an active learning method and despite the fact that the development of clinical reasoning depends upon increased factual contents, there has been criticism of memorization and retention in the era of evidence-based medicine. In fact, available studies have been unable to prove the benefits of using this method in problem solving abilities and patient care.

Keywords: Education, Medical; Education Measurement; Professional Competency.

INTRODUÇÃO

Vivemos na era das diretrizes, revisões sistemáticas, meta-análises e acesso rápido a diversas bases de dados da internet. Um novo desafio aos alunos de Medicina é aprender a adquirir, explorar e analisar esta fonte crescente de conhecimento. Mas, além da habilidade de aplicar evidências, um bom médico, em sua prática, deve ainda ter um bom raciocínio clínico. Segundo os estudos do grupo holandês de van der Vleuten¹, o raciocínio clínico depende majoritariamente de uma consistente base acumulada de conteúdo factual.

Uma das novas metodologias ativas de ensino que tem se mostrado eficaz no incremento e retenção, pelos alunos, de conteúdo factual é o aprendizado melhorado por provas (livre tradução do termo inglês test-enhanced learning).

O objetivo deste artigo é fazer uma breve revisão da base teórica sobre o método e dos estudos aplicados, sobretudo ao ensino médico. Não se pretende esgotar o assunto, mas introduzi-lo, uma vez que não encontramos citações na literatura nacional.

METODOLOGIA

Foi realizada uma revisão não sistemática a partir da busca de artigos nas bases de dados Medline, Beme Systematic Review, Cochrane e Eric, utilizando os termos testing effect ou test-enhanced learning, seguida da busca das referências dos trabalhos encontrados.

É importante ressaltar que, por se tratar de uma revisão narrativa, há possibilidade de viés pela utilização de fontes menos abrangentes, sem uma explícita estratégia de seleção de artigos. Além disso, a fundamentação teórica do texto pode incluir análise crítica pessoal dos autores.

DEFINIÇÕES: O EFEITO DE SER TESTADO E APRENDIZADO REFORÇADO POR PROVAS

Define-se o efeito de ser testado (livre tradução de testing effect) como um fenômeno de melhoria de desempenho na retenção de informação decorrente da submissão a testes (ou provas - termo mais utilizado na língua portuguesa) repetidos sobre determinado assunto. Apesar de ser contraintutivo², nas palavras de dois pesquisadores do tema, Roediger e Karpicke, o efeito de ser testado tem se mostrado eficaz em experimentos de memorização e retenção de informações. Provas não são neutras. Existe um benefício mnemônico em sua aplicação. Assim, a utilidade das provas ultrapassaria a simples necessidade de uma avaliação. Tais hipóteses são defendidas pelos pesquisadores do fenômeno, em psicologia cognitiva.

A aplicação deste fenômeno de ser testado ao ensino traduz-se na metodologia do aprendizado melhorado por provas. Esta é uma metodologia ativa que defende um melhor desempenho para a memorização e aprendizado dos alunos que são repetidamente testados sobre algum tema.

ESTUDOS EXPERIMENTAIS SOBRE O APRENDIZADO MELHORADO POR PROVAS

Classicamente, o método começou a ser estudado no início do século XX, com pequenos trabalhos em 1909 e os mais robustos em 1937 e 1939, de Gates³ e Spitzer³, respectivamente. Permaneceu, no entanto, relegado a raros trabalhos de psicologia cognitiva⁵.

No século XXI, vários experimentos laboratoriais chamaram a atenção, finalmente, para a possibilidade de aplicação do método a cenários reais de educação. O que os estudos experimentais demonstram é a melhora do desempenho quanto à retenção de informação em indivíduos que são submetidos a testes repetidos^6-7.

Duas teorias tentam explicar esta melhoria de desempenho⁵. A primeira, chamada "hipótese do tempo total", atribui o benefício ao aumento do tempo de exposição dos alunos a determinado conteúdo, uma vez que fossem testados repetidamente em provas com tal conteúdo. Existem experimentos, no entanto, que comparam o efeito dos testes repetidos em relação ao estudo continuado, por um tempo semelhante de exposição a um conteúdo, e ainda assim demonstram a superioridade do primeiro método^8,9.

Existiria então outra explicação para um melhor desempenho de indivíduos testados repetidamente. Esta outra teoria defende que recuperar informação da memória fortalece a memória para aquela informação². Basicamente, ocorreriam dois mecanismos que poderíamos didaticamente separar em qualitativo e quantitativo². Conteúdos mnemônicos são mais facilmente recuperados quando tiverem sido testados anteriormente em situação semelhante; este seria o efeito qualitativo. E, quantitativamente, será mais fácil a recuperação de conteúdo da memória quanto mais difícil tiver sido esta recuperação na ocasião de ser testado. A melhoria do aprendizado se daria, ainda, em outras palavras, pela mudança da representação mnemônica de um conteúdo que é "resgatado" da memória. O método, que envolve um processamento ativo de informações, aumentaria, finalmente, também, a retenção a longo prazo^5,8.

Incorporando as duas teorias, é possível considerar que provas repetidas tenham efeitos direto e indireto sobre o aprendizado (também descritos como efeitos intrínsecos ou extrínsecos). O efeito direto é observado na melhor capacidade de memorização de conteúdos sobre os quais os alunos são repetidamente testados. Esse efeito pode ser reforçado pela utilização de testes que exijam maior esforço mnemônico por parte dos alunos - testes de respostas curtas, em oposição aos de "múltipla escolha"¹⁰. Construir uma resposta promoveria maior retenção de conteúdo do que reconhecer a opção apropriada. Outro fator que qualifica o efeito direto da aplicação de múltiplas provas no aprendizado é a revisão das provas.

Os efeitos indiretos de ser testado são o aumento do tempo e a melhoria das estratégias de estudo requeridos para a execução das provas. A partir das provas, por exemplo, os alunos descobrem áreas em que são mais fracos e as estudam mais e melhor^6,10.

Além desse efeito dos testes da psicologia cognitiva, existe outro campo do conhecimento que tenta explicar a metodologia do aprendizado melhorado por provas. Para a neurobiologia, é o estresse da execução das provas que funciona como um mecanismo ou um modulador do aprendizado. Embora os campos da neurobiologia e da psicologia cognitiva não estejam totalmente integrados no estudo do método, não são campos de pesquisa excludentes. Nas palavras de Peter Cantillon¹¹, testar repetidamente seria uma forma de aprendizado ativo "adicionado a um tempero" de um pouco de estresse para melhorar o desempenho. Também em artigo recente, os autores procuraram discriminar as respostas de ansiedade da capacidade de memorização, para a eficácia da metodologia¹².

Como integrar, então, o papel do estresse às teorias de aprendizado e memorização de conteúdos, segundo a neurobiologia?

Em trabalho de 2006, Joëls e Wiegert¹³ concluíram que hormônios e neurotransmissores liberados em resposta ao estresse podem ativar redes/circuitos neuronais envolvidos no processamento de informações, facilitando mecanismos de memória e aprendizado, desde que haja convergência no tempo e no espaço. Há liberação de corticoide, induzida por estresse, o que resulta na ativação dos circuitos envolvidos no aprendizado. Mas se o hormônio é liberado muito antes de o evento a ser aprendido, o input de novas informações encontra circuitos com limiar aumentado para ligação sináptica. De forma semelhante, é necessário que os transmissores e hormônios exerçam ação nas mesmas áreas ativadas pela situação estressante. Assim, podem-se explicar os efeitos benéficos do estresse em relação ao aprendizado, diferindo do que ocorre em situações patológicas de declínio cognitivo que cursam com hiperatividade dos sistemas de estresse (culminando com atrofia dendrítica, resposta alterada a neurotransmissores e plasticidade sináptica comprometida). Permanece, entretanto, um questionamento: o estresse em associação com a tarefa a ser aprendida ou lembrada facilitaria a consolidação do evento?

De forma geral, os estudos experimentais já preveem limitações do método do aprendizado melhorado por provas e existem outros questionamentos sobre sua aplicação, além da supracitada dúvida sobre a consolidação do conteúdo ou tempo de duração da memorização. Citam-se o custo elevado e exigência de dedicação dos professores, o risco de que o aluno memorize o próprio erro e de que a utilização da metodologia em uma disciplina curricular piore o aprendizado em outras disciplinas aplicadas no mesmo período¹⁴. E, finalmente, existem incertezas acerca do potencial da metodologia quanto ao desenvolvimento do aprendizado crítico, além da simples memorização de quesitos e aquisição de habilidades, como "automatismos". Alguns destes questionamentos, como a questão intuitiva de que "é necessário mais do que decorar para aprender" - entendimento mais que memorização -, levaram a extrapolar os experimentos do laboratório para a sala de aula^8,10,15. Neles, os materiais de experiências foram usados, então, em contextos educacionais, com alunos de graduação em nível superior.

Finalmente, alguns estudos analisaram os efeitos da aplicação deste método na educação médica, avaliando sua influência na geração de aprendizado como conhecimento integrativo utilizável para resolução crítica dos contextos de diagnóstico e intervenção terapêutica^16-19. É necessário avaliar se o aprendizado melhorado por provas, como metodologia, é aplicável ao desenvolvimento do chamado "raciocínio clínico".

ESTUDOS APLICADOS À EDUCAÇÃO MÉDICA

O primeiro estudo aplicado à educação médica, publicado em 2009 por Kromann et al¹⁶, teve por objetivo avaliar se a metodologia do aprendizado melhorado por provas seria válida para o aprendizado, além dos conteúdos teóricos, de habilidades, em um cenário de curso hospitalar de reanimação cardiorrespiratória. O mesmo grupo utilizou metodologia semelhante no cenário do curso de reanimação para avaliar o efeito do hormônio cortisol sobre a modulação da memória¹⁷. Em ambos os casos, houve superioridade no desempenho dos alunos do grupo de intervenção (que eram submetidos a provas repetidas), assim como uma interação significativa entre gênero e diferença dos níveis de cortisol no aprendizado de homens no segundo trabalho.

Outra publicação de 2009, de Larsen associado a Roediger e Butler¹⁸, avaliou o efeito de ser testado no aprendizado de temas de emergência neurológica entre 44 residentes (Pediatria e emergência) em um estudo controlado contrabalanceado randomizado. O resultado também foi favorável, indicando incremento no desempenho do grupo submetido a testes, apesar de as notas individuais terem diminuído ao longo destes testes.

Finalmente, Galvano e Segal, também em 2009¹⁹, avaliaram a utilização de testes repetidos na formação de residentes de Anestesiologia e demonstraram a pertinência da metodologia na consolidação de protocolos de "procedimentos de ação crítica" (metodologia utilizada para treinamento de pilotos de alto desempenho da força aérea norte-americana). Os alunos estudavam provas com questões já corrigidas sobre protocolos de emergência em Anestesiologia e posteriormente eram testados para estes protocolos com questões iguais. A melhoria foi progressiva entre os testes. Também foi positiva uma avaliação do uso da metodologia pelos alunos. Embora, de forma geral, estes estudos tenham apresentado resultados concordantes em relação ao efeito benéfico sobre o desempenho de alunos submetidos a provas repetidas, pode-se depreender dos mesmos que não há metodologia única que caracterize o aprendizado melhorado por provas. Dois trabalhos avaliaram habilidades, e dois, retenção de conhecimento; destes, um com carga teórica expositiva prévia e o outro com estudo prévio dos próprios testes já com respostas certas. Também variaram nos trabalhos o número de testes, a periodicidade e a aplicação ou não de pré-teste.

Mais um estudo, publicado em 2012, avaliou estudantes de Medicina, mas sem a proposta de demonstrar superioridade da metodologia do aprendizado melhorado por provas. De outra forma, objetivou examinar mecanismos subjacentes ao método - como, a partir de testes, os alunos descobrem seus limites ou capacidade de aprendizado?²⁰.

INCERTEZAS, POTENCIAL E CRÍTICAS

As lacunas do conhecimento a respeito da metodologia abrangem grande número de questões. Dentre elas, destacam-se: o tipo de prova a ser usada, sua frequência e periodicidade; se deve haver conteúdo teórico associado; se os testes aplicados em diferentes momentos devem ser iguais; se há benefício maior para homens em relação às mulheres; se há interferência no aprendizado de outros temas concomitantes; qual a duração do efeito da memorização e aprendizado; se existe melhora do raciocínio crítico, com integração de outros conteúdos já aprendidos; e, finalmente, que benefícios traz o método à organização do conhecimento e pensamento em redes utilizáveis, os chamados scripts clínicos²¹.

A utilização de uma metodologia que poderia caracterizar em seus fundamentos o aprendizado melhorado por provas há mais de 23 anos, no ensino médico, na disciplina de Doenças Infecciosas e Parasitárias da Faculdade de Medicina da UFRJ, sugere a viabilidade do método na educação formal em nível de graduação, como relatado na tese de doutorado do professor Pereira²². Também um recente estudo do grupo holandês de Van der Vleuten destaca os já bem conhecidos efeitos das avaliações no aprendizado, validando um modelo explicativo (além dos descritivos) para estes efeitos²³.

A crítica que se faz ao método é principalmente a de ser baseado em memorização e retenção, na era das evidências. Não seria adequado avaliar memorização e incremento de conhecimento factual quando se discute aquisição, análise e aplicação das evidências científicas. No entanto, estudos sobre o método e a educação científicos propõem que é necessária uma base de conhecimento factual para o desenvolvimento do raciocínio clínico¹, assim como evidência, inferência e experiência são métodos complementares na transformação das observações em conhecimento aplicável²⁴. Finalmente, vale lembrar que não só o conhecimento e a competência técnicos geram um bom médico - são necessárias também habilidades e atitudes.

CONCLUSÃO

A revisão da literatura deixa claro que, apesar dos resultados positivos dos estudos realizados, ainda há muito a ser compreendido e investigado no que se refere à aplicação do aprendizado melhorado por provas.

Assim, para este método - e para qualquer outro proposto para o ensino médico -, seria fundamental estabelecer qual a sua influência sobre a qualidade do cuidado prestado ao paciente e sobre a ocorrência de desfechos clínicos relevantes, uma meta elusiva ainda a ser alcançada.

Recebido em: 30/03/2012

Reencaminhado em: 12/11/2012

Reencaminhado em: 24/03/2013

Aprovado em: 08/06/2013

CONFLITO DE INTERESSES: Declarou não haver.

CONTRIBUIÇÃO DOS AUTORES:

Ambos os autores contribuíram na concepção e no delineamento do estudo e participaram igualmente da redação do artigo.

• 1. Van der Vleuten CPM, Newble DI. How can wettest clinical reasoning? Lancet. 1995;345:1032-4.
• 2. Roediger HL III, Karpicke JD. The power of testing memory: basic research and implications for educational practice. Perspect Psychol Sci. 2006;1:181-210.
• 3. Gates AL. Recitation as a factor in memorizing. Arch Psychol. 1917;6:1-104.
• 4. Sptizer HF. Studies in retention. J Educ Psychol. 1939;30:641-56.
• 5. Roediger HL III, Butler AC. The critical role of retrieval practice in long-term retention. Trends in Cognit Sci. 2011;15(1):20-7.
• 6. Larsen DP, Butler AC, Roediger HL III. Test-enhanced Learning in Medical Education. MedEduc 2008;42:959-66. DOI: 10.1111/j.1365-2923.2008.03124.x.
• 7. Roediger HL III, Karpicke JD. The critical importance of retrieval for learning. Science. 2008;319:966-8. DOI: 10.1126/science.1152408
• 8. Roediger HL III, Karpicke JD. Test-enhanced learning - Taking Memory tests improves long-tern retention. Psychol Sci. 2006;17(3):249-55.
• 9. Butler AC. Repeated testing produces superior transfer of learning relative to repeated studying. J Exp Psychol Learn Mem Cogn. 2010;36(5):1118-33. DOI: 10.1037/a0019902.
• 10. Mc Daniel MA, Roediger HL, McDermott KB. Generalizing test-enhanced learning from the laboratory to the classroom. Psychon Bull Rev2007;14(2):200-6. DOI: 10.3758/BF03194052
• 11. Cantillon P. Do not adjust your set: the benefits and challenges of test-enhanced Learning. Med Educ. 2008;42(10):954-6. DOI: 10.1111/j.1365-2923.2008.03164.x.
• 12. Tse CS, Pu X. The effectiveness sof test-enhanced learning depend son trait test anxiety and working-memory capacity. J Exp Psycho l Appl. 2012;18(3):253-64. DOI: doi: 10.1037/a0029190
• 13. Joëls M, Pu Z, Wiegert O, Oitzl MS, Krugers HJ. Learning Under Stress: How does it work? Trends Cogn Sci. 2006;10(4):152-8.
• 14. Wood T. Assessment not only drives learning, it may also help learning. Med Educ. 2009:43(1):5-6. DOI: 10.1111/j.1365-2923.2008.03237.x.
• 15. Wheeler MA, Ewers M, Buonanno JF. Different rates of forgetting following study versus test trials. Memory. 2003;11(6):571-80.
• 16. Kromann CB, Jensen ML, Ringsted C. The effect of testing on skills learning. Med Educ. 2009;43(3):21-7. DOI: 10.1111/j.1365-2923.2008.03245.x.
• 17. Kromann CB, Jensen ML, Ringsted C. Test-enhanced learning maybe a gender-related phenomenon explained by changes in cortisol level. Med Educ 2011;45(2):192-9. DOI: 10.1111/j.1365-2923.2010.03790.x.
• 18. Larsen DP, Butler AC, Roediger HL III. Repeated testing improves long-term retention relative to repeated study: a randomized controlled trial. Med Educ. 2009;43(12):1174-81. doi: 10.1111/j.1365-2923.2009.03518.x.
• 19. Galvagno Junior SM, Segal BS. Critical Action Procedures testing: a novel method for Test-enhanced Learning. Med Educ. 2009;43(12):1182-7. DOI: 10.1111/j.1365-2923.2009.03533.x.
• 20. Agrawal S, Norman GR, Eva KW. Influences on medical students' self-regulated learning after test completion. Med Educ. 2012;46(3):326-35. DOI:10.1111/j.1365-2923.2011.04150.x
• 21. Van der Vleuten CPM. The assessment of professional competence: developments, research and practical implications. Adv Health Sci Educ. 1996;1:41-67. DOI: 10.1007/BF00596229
• 22. Pereira NG. Evolução do ensino de graduação na disciplina de doenças infecciosas e parasitárias na faculdade de medicina da universidade federal do rio de janeiro no período de 1963 ao primeiro semestre de 2006. Rio de Janeiro; 2006. Doutorado [Tese] - Fundação Oswaldo Cruz. 154p.
• 23. Cilliers FJ, Schuwirth LWT, Van der Vleuten CPM. A model of the pre-assessment learning effects of summative assessment is operational in an under graduate clinical context. BMC [periódico na internet]. 2012 [acesso em 15 mar. 2013];12:9. Disponível em: http://www.biomedcentral.com/1472-6920/12/9
• 24. Marshall JC. Surgical decision-making: integrating evidence, inference and experience. Surg Clin N Am. 2006;86:201-15.

Datas de Publicação

• Publicação nesta coleção
  17 Dez 2013
• Data do Fascículo
  Set 2013

Histórico

• Recebido
  30 Mar 2012
• Aceito
  08 Jun 2013
• Revisado
  24 Mar 2013