Tradução e Adaptação Transcultural do Instructional Materials Motivation Survey (IMMS) para o Português do Brasil

Translation and Transcultural Adaptation of the Instructional Materials Motivation Survey (IMMS) to Brazilian Portuguese

Resumo:

Introdução:

No cenário educacional, diversas metodologias de ensino-aprendizagem vêm sendo utilizadas como ferramentas instrucionais, com o objetivo de aumentar a motivação dos estudantes e favorecer a aprendizagem significativa. Por sua vez, instrumentos que avaliem a motivação, após exposição a diferentes estratégias e materiais de ensino, podem contribuir para análise e decisão sobre sua efetividade. Nesse sentido, o questionário Instructional Materials Motivation Survey (IMMS) avalia a motivação, após atividades instrucionais, por meio de quatro domínios: atenção, relevância, confiança e satisfação. Assim, esta pesquisa teve como objetivo realizar a tradução e adaptação transcultural do IMMS para o português brasileiro.

Método:

A tradução e adaptação transcultural foram realizadas em seis etapas: tradução do questionário original, síntese das traduções, retrotradução, revisão pelo comitê de especialistas, teste da versão pré-final, confecção da versão final e auditoria pelo comitê externo. As traduções foram realizadas por duas professoras de inglês, de língua nativa brasileira. As retrotraduções foram realizadas por dois professores de inglês, de língua nativa inglesa. O comitê de especialistas foi formado por um professor de medicina e educação médica, dois professores de medicina, uma pedagoga, um estatístico e um professor de inglês. A versão brasileira final do IMMS foi testada, após aula invertida, tendo como objetivo avaliar a consistência interna do instrumento. Considerou-se como aceitável valor de alfa de Cronbach ≥ 0,70.

Resultados:

No processo de tradução e adaptação transcultural, foram atingidas todas as equivalências: semântica, idiomática, cultural e conceitual. Na avaliação da consistência interna, dos 52 estudantes submetidos à aula invertida, 48 (92,3%) responderam à versão brasileira do IMMS. O instrumento apresentou consistência interna de 0,718, avaliada por meio do teste alfa de Cronbach.

Conclusões:

A versão final do instrumento IMMS, após processo de tradução e adaptação transcultural, manteve todas as suas 36 sentenças e as instruções do instrumento original, e apresenta boa consistência interna, de acordo com o teste alfa de Cronbach. A possibilidade de avaliação da motivação, no contexto educacional, por instrumento amplamente validado, traz consigo ganhos tanto no campo da prática quanto da pesquisa pedagógica. Seu emprego no Brasil possibilitará novas validações em cenários educacionais nacionais e contextos diversos.

Palavras-chave:
Educação; Motivação; Avaliação; Metodologia; Estudos de Validação

Abstract:

Introduction:

Several educational methodologies have been used as instructional tools, with the objective of increasing student motivation and promoting meaningful learning. In turn, instruments designed to assess a student’s motivation after being exposed to different teaching strategies and materials can play an important role in reviewing the effectiveness of such methods. In this sense, the Instructional Materials Motivation Survey (IMMS) evaluates student motivation after instructional activities, through four domains: attention, relevance, confidence and satisfaction. This research aimed to perform the translation and cross-cultural adaptation of the IMMS into Brazilian Portuguese.

Method:

The cross-cultural translation and adaptation was performed in six stages: translation of the original questionnaire; synthesis of translations; back-translation; review by the Committee of Experts; testing of the pre-final version, preparation of the final version and review by the External Committee. The translations were performed by two English teachers, native Brazilian. The back-translations were performed by two English teachers, native English language. The expert committee was formed by a professor of medicine and medical education, two medical professors, a pedagogue, a statistician and an English teacher. The final Brazilian version of the IMMS was tested following a flipped classroom activity aimed at evaluating the internal consistency of the instrument. A Cronbach alpha value of ≥ 0.70 was considered acceptable.

Results:

In the process of translation and cross-cultural adaptation, all equivalences were achieved: semantic, idiomatic, cultural and conceptual. In the evaluation of internal consistency, of the 52 students submitted to the flipped classroom, 48 (92.3%) correctly answered the Brazilian version of the IMMS. The instrument presented an internal consistency of 0.718, evaluated using the Cronbach alpha test.

Conclusions:

The final version of the IMMS instrument, after cross-cultural translation and adaptation, maintained all its 36 sentences and the 3 instructions of the original instrument and presented good internal consistency according to the Cronbach alpha test. The possibility of evaluating motivation in the educational context by means of a broadly validated instrument, brings with it gains both in the field of practice and pedagogical research. Use of the IMMS in Brazil will support new validations in national educational settings and diverse contexts.

Keywords:
Education; Motivation; Evaluation; Methodology; Validation Studies

INTRODUÇÃO

A motivação é um sentimento gerador de comportamento humano proativo. Pode ser compreendida a partir de modelos teóricos que explicam os processos que levam os indivíduos a tomar atitudes que os conduzam a alcançar objetivos, reagir, cumprir necessidades e satisfazer expectativas¹.

No ambiente educacional, a motivação está diretamente relacionada ao esforço que os estudantes decidem imprimir para aprender, ao tempo que dispensam para realização de tarefas e a seu envolvimento com as atividades instrucionais. Assim, estudantes altamente motivados se engajam espontaneamente nos estudos, sem a necessidade de recompensas externas (motivação intrínseca)². Por sua vez, aqueles pouco motivados dependem de recompensas externas, como o sucesso nas avaliações ou o reconhecimento de suas competências e habilidades (motivação extrínseca)³.

Diversas metodologias de ensino-aprendizagem, estruturadas na participação ativa dos estudantes, são utilizadas como ferramentas educacionais, tendo como um de seus principais objetivos o aumento da motivação dos discentes, com vistas a favorecer a aprendizagem significativa^4),(5. Dessa forma, o desenho de atividades instrucionais motivadoras, bem como a avaliação de sua efetividade em promover a motivação e a proficiência, é motivo de esforço continuado dos investigadores em educação.

Dentre as teorias motivacionais de aprendizagem, o modelo Attention, Relevance, Confidence, and Satisfaction (ARCS), desenvolvido por Keller⁶, é amplamente utilizado para o desenho instrucional baseado na motivação, especialmente em ambientes tecnológicos. Esse modelo, construído a partir da teoria valor-expectativa, baseia-se na síntese de conceitos e características motivacionais em quatro domínios: atenção, relevância, confiança e satisfação⁶. Essas quatro categorias representam um conjunto de condições necessárias para um estudante estar motivado:

• Em relação ao primeiro domínio da metodologia, a atenção, o objetivo é utilizar táticas que atraiam a atenção do indivíduo, como realizar discussões e resolver problemas no curso de uma apresentação.

• O segundo domínio visa criar a relevância do tema para o indivíduo. Mesmo despertando a curiosidade, a motivação poderá ser perdida no cenário em que o aluno não perceba o valor daquele tema na sua rotina. Essa relevância é resultado da conexão do conteúdo apresentado com os objetivos, os interesses e o estilo de aprendizagem do aluno.

• O terceiro domínio necessário para motivar o aluno é desenvolver a confiança no indivíduo. Quando se estabelecem expectativas positivas de sucesso, por meio da apresentação de objetivos claros, o indivíduo entende que, ao ser bem-sucedido em uma situação, houve resultado do seu esforço ou sua capacidade pessoal, melhorando sua confiança individual, motivando-o, ainda mais, naquela atividade.

• Finalmente, para sustentar a motivação, é necessário que o quarto domínio, a satisfação, seja atingida. Isso ocorre quando os alunos obtêm êxito nas atividades, fomentando a motivação intrínseca. Ao receberem recompensas tangíveis, como privilégios, notas, promoções, objetos ou certificados, é ativada, nesses indivíduos, a motivação extrínseca. As oportunidades de aplicar o que foi ensinado, com o reconhecimento pessoal, elevam os sentimentos intrínsecos e extrínsecos da satisfação. Assim, ao perceberem que a equidade na atividade instrucional foi proposta, ou seja, a quantidade de esforço exigida foi apropriada e os objetivos estavam coerentes, eles se sentirão extremamente satisfeitos com a atividade executada, incorporando forte motivação.

A partir do constructo teórico do modelo ARCS, Keller⁷ desenvolveu o instrumento Instructional Materials Motivational Survey (IMMS) para avaliação da motivação após uso de material instrucional ou participação em atividades educacionais. Esse questionário apresenta 36 itens que medem, por meio da escala Likert, os mesmos quatro domínios da motivação: atenção, relevância, confiança e satisfação. Desde então, o IMMS foi validado em diversos estudos, sendo amplamente utilizado para avaliar a motivação de estudantes em variados cenários^8)-(12.

Entre as possibilidades de aplicação do IMMS, destacam-se estudos que utilizaram ambientes de ensino-aprendizagem dotados de recursos tecnológicos^9)-(11. Essa característica do instrumento acentua a importância de se ter versão adequadamente traduzida para o português brasileiro, uma vez que a utilização de novas tecnologias no campo da educação é uma tendência em crescimento¹².

Portanto, diante da importância de se avaliar a motivação de estudantes expostos às diversas atividades instrucionais, seja em pesquisas ou na prática educacional, o objetivo deste estudo foi realizar a tradução e adaptação transcultural (TATC) do instrumento IMMS para o português brasileiro, cuja relevância caracteriza-se por já ter sido validado em diversos cenários educacionais, estar baseado em sólido constructo teórico (ARCS) e ser aplicável em ambientes de ensino tecnológicos.

MÉTODOS

Desenho do estudo

Este estudo foi dividido em duas fases:

• Fase 1: TATC.

• Fase 2: avaliação da consistência interna da versão final da TATC do IMMS para o português brasileiro.

Características da amostra

A população-alvo foi composta por estudantes do sexto e oitavo período e professores, de qualquer gênero ou idade, do curso de Medicina do Centro Universitário de Várzea Grande (Univag), em Várzea Grande, em Mato Grosso. Incluíram-se no estudo alunos que estavam regularmente matriculados e professores que desejaram participar e se comprometeram a aderir ao protocolo, em amostragem por conveniência. Os critérios de exclusão foram: desejo declarado de deixar o estudo, falta de aderência ao protocolo, erro na alocação em relação aos critérios da pesquisa e ser de naturalidade estrangeira.

Após observância dos critérios de inclusão e exclusão, os alunos que se interessaram pelo estudo assinaram o Termo de Consentimento Livre e Esclarecido e foram alocados na pesquisa da seguinte maneira:

• Fase 1: Recrutaram-se para participar do estudo 20 estudantes, matriculados no sexto período do curso de Medicina da Univag, de ambos os sexos e de qualquer idade. Também foram recrutados dez professores pertencentes ao mesmo curso, totalizando 30 indivíduos na amostra final.

• Fase 2: Recrutaram-se 52 estudantes matriculados no oitavo período do curso de Medicina da Univag, de ambos os sexos e de qualquer idade.

Esta pesquisa foi aprovada pelo o Comitê de Ética em Pesquisa da Universidade José do Rosário Vellano (CEP/Unifenas) com Certificado de Apresentação para Apreciação Ética (CAAE) nº 03461718.0.0000.5143.

Instrumento

O IMMS é derivado do constructo ARCS, tendo sido desenvolvido com o intuito de ser aplicado após os estudantes terem vivenciado uma experiência educacional. O questionário é composto por três sentenças referentes às instruções para preenchimento e por 36 itens pertencentes aos quatro domínios da motivação: atenção (12 itens), relevância (nove itens); confiança (nove itens) e satisfação (seis itens). Sua finalidade é medir a motivação do respondente, utilizando a escala de Likert, com a seguinte pontuação: (1) discordo totalmente; (2) discordo parcialmente; (3) nem discordo, nem concordo; (4) concordo parcialmente; (5) concordo totalmente. A pontuação total varia de 36 a 180 pontos, podendo-se avaliar cada domínio ou o escore total, gerando, assim, a nota da motivação. Os valores mínimos, máximos e médios para cada domínio variam, pois o número de itens é diferente e eles são independentes. Alguns itens, mencionados como inversos, devem ser pontuados da seguinte forma: 5 = 1, 4 = 2, 3 = 3, 2 = 4 e 1 = 5 (Quadro 1). As pontuações mais altas no escore total indicam maior motivação¹³.

Quadro 1
Instruções para pontuação do IMMS: itens referentes aos domínios

Atenção	Relevância	Confiança	Satisfação
2	6	1	5
8	9	3*	14
11	10	4	21
12*	16	7*	27
15*	18	13	32
17	23	19*	36
20	26*	25
22*	30	34*
24	33	35
28
29*
31*

• IMMS: Instructional Materials Motivation Survey. *Pontuação invertida. Fonte: Elaborado pelos autores.

A permissão para a TATC do IMMS para o português do Brasil foi solicitada ao seu idealizador, John M. Keller, e consentida por ele.

Tradução e adaptação transcultural

A TATC de questionários é um processo de pesquisa qualitativo utilizado para conferir equivalência semântica, idiomática, cultural e conceitual em idiomas diversos do originalmente concebido. Assim, aproveitam-se as características psicométricas validadas em outros países, de modo a agilizar e reduzir custos de obtenção de instrumentos de avaliação. A TATC pode prescindir da realização de estudos psicométricos no novo idioma, especialmente em questionários já revalidados em diversos estudos, como o IMMS^14),(15.

Para a realização da TATC, foi utilizado o protocolo proposto por Beaton et al.¹⁶, que apresenta os seguintes estágios:

• Estágio I: tradução inicial: Foi realizada a tradução do questionário original por duas professoras de língua estrangeira que tinham como língua-mãe o português e possuíam fluência na língua inglesa. A primeira tradutora (1T) tinha conhecimento dos conceitos avaliados no questionário em sua versão original, para maior equivalência. A segunda tradutora (2T) desconhecia os conceitos em questão, em sua versão original, com o objetivo de ter maior representatividade da linguagem popular. Assim, foram geradas duas versões, T1 e T2, traduzidas para a língua portuguesa.

• Estágio II: síntese das traduções iniciais: Reunião do pesquisador com os dois tradutores do estágio I com o objetivo de analisar o questionário original, juntamente com as duas traduções (T1 e T2), para a confecção de uma versão única (T12).

• Estágio III: Retrotradução: Realizaram-se duas traduções reversas a partir da versão T12, do português para o idioma original. Esse estágio foi conduzido por dois retrotradutores (1RT e 2RT) com língua-mãe inglesa e fluência em português, que desconheciam a versão original e não possuíam conhecimento do conceito avaliado. Essa etapa gerou duas novas versões do questionário (RT1 e RT2), com o objetivo de revelar as discrepâncias e os erros conceituais das traduções.

• Estágio IV: revisão pelo comitê de especialistas: Após a elaboração de todas as versões (T1, T2, T12, RT1 e RT2), elas foram analisadas por um comitê formado por um professor de medicina e educação médica, dois professores de medicina, uma pedagoga, um estatístico e um professor de inglês, sendo desenvolvida a versão pré-final (VPF). Nessa versão, buscou-se atingir equivalência semântica, idiomática, experimental e conceitual entre todas as versões.

• Estágio V: teste da VPF: A VPF foi aplicada em uma população de 30 indivíduos (estudantes e professores de medicina), conforme descrito na amostra. Os participantes, após lerem os itens do questionário, foram orientados a reescrever as frases com suas próprias palavras, com o objetivo de avaliar as equivalências semântica, idiomática, experiencial e conceitual, de modo a promover a melhoria do instrumento. Baseado nas respostas dos 30 indivíduos a cada um dos 36 itens e às três instruções, o comitê de especialistas, novamente reunido, realizou as modificações necessárias em alguns itens, com vistas a tornar o entendimento adequado, o que gerou a versão final (VF).

• Estágio VI: comitê externo: Comitê externo encarregado de auditar todos os estágios da metodologia desenvolvida na TATC, conforme preconizado no “Guidelines for the process of cross-cultural adaptation of self-report measures”¹⁶.

Avaliação da consistência interna

A consistência interna da versão final do IMMS, traduzida e adaptada para o português brasileiro, foi avaliada utilizando-se o teste alfa de Cronbach. O questionário foi aplicado a estudantes do oitavo período do curso de Medicina do Univag, em Várzea Grande, em Mato Grosso, após uma atividade instrucional que utilizou como metodologia ativa a aula invertida, contando com recursos tecnológicos. Antecedendo a atividade, enviou-se, por e-mail, material referente aos objetivos de aprendizagem da aula, contendo textos, gráficos, tabelas e ilustrações do tema a ser abordado.

RESULTADOS

Participaram da fase I do estudo 30 indivíduos (20 alunos e dez professores), sendo 12 (40%) do sexo masculino e 15 (60%) do sexo feminino. A idade variou de 20 a 68 anos (média 44 anos). Na fase II, foram alocados 52 alunos dos quais 19 (36,5%) eram do sexo masculino e 33 (63,5 %) do sexo feminino, com idades variando entre 20 e 34 anos (média 27 anos). Nessa fase, quatro (7,69%) alunos não preencheram o questionário completamente e foram excluídos da análise.

Fase 1: Tradução e adaptação transcultural

Realizaram-se duas traduções independentes, estágio I, o qual foi seguido pelo estágio II, síntese das traduções (T1 + T2), sendo confeccionada a versão única (T12) com as seguintes adaptações:

• A palavra lesson pode ser entendida como aula ou lição, porém, diante do pouco uso do termo lição no português brasileiro, optou-se por usar a palavra aula.

• Na primeira sentença, optou-se por assisti em vez de vi.

• Na sentença 8, adotou-se termo atraentes em vez de apelativos.

• Na sentença 15, optou-se por secas e pouco atraentes em vez de áridas e desagradáveis.

• Na sentença 36, optou-se por planejada em vez de elaborada.

• O termo IMMS havia sido traduzido para Pesquisa de Motivação de Materiais Didáticos (PMMD). Entretanto, decidiu-se manter o termo IMMS em sua língua original, porque haverá maior sucesso em se encontrar o questionário, versão brasileira, nas bases de dados de publicações científicas.

O Quadro 2 apresenta as modificações das sentenças realizadas nessa etapa.

Quadro 2
Versão T12 - síntese das traduções (T1 + T2)

Item/palavra	Tradução 1 + 2 (T1 + T2)	Síntese (T12)
Instruções	Pesquisa de Motivação de Materiais Didáticos John M. Keller Universidade do Estado da Flórida	Instructional Materials Motivation Survey John M. Keller Florida State University
Lesson	Quando vi essa lição pela primeira vez, tive a impressão de que seria fácil para mim.	Quando eu vi essa aula pela primeira vez, eu tive a impressão de que seria fácil para mim.
1	Quando vi essa lição pela primeira vez, tive a impressão de que seria fácil para mim.	Quando eu assisti a essa aula pela primeira vez, tive a impressão de que seria fácil para mim.
8	Esses materiais são apelativos.	Estes materiais são atraentes.
15	As páginas desta aula parecem áridas e pouco atraentes.	As páginas dessa aula parecem secas e pouco atraentes.
36	Foi um prazer trabalhar em uma aula tão bem elaborada.	Foi um prazer trabalhar em uma lição tão bem planejada.

• T1 - versão do tradutor 1. T2 - versão do tradutor 2. T12 - versão sintetizada das traduções T1 e T2. Fonte: Elaborado pelos autores.

No estágio III, realizaram-se duas retrotraduções da versão T12, que mostrou equivalência semântica entre ambas (RT1 e RT2), passando-se, então, ao estágio IV no qual ocorreu a revisão pelo comitê de especialistas. As versões anteriores foram analisadas pelo comitê que buscou atingir a equivalência semântica, idiomática, experimental e conceitual de todas as sentenças, gerando a VPF da TATC do IMMS. O Quadro 3 mostra as alterações realizadas nesse estágio.

Quadro 3
Versão revisada pelo comitê de especialistas (VPF)

Item	Versão T12	Versão pré-final (VPF)
1	Quando eu assisti a essa aula pela primeira vez, eu tive a impressão de que seria fácil para mim.	Quando eu assisti a essa atividade pela primeira vez, eu tive a impressão de que seria fácil para mim.
6	Está claro para mim como o conteúdo deste material está relacionado com as coisas que eu já sei.	Está claro para mim como o conteúdo deste material está relacionado com os conhecimentos que eu já tenho.
8	Estes materiais são atraentes.	Esses materiais são interessantes.
11	A qualidade da escrita ajudou a prender minha atenção.	A qualidade da escrita ajudou a manter minha atenção.
15	As páginas dessa aula parecem secas e pouco atraentes.	As páginas desse material parecem pouco interessantes.
20	Esta aula tem coisas que estimularam minha curiosidade.	Esta aula tem elementos que estimularam minha curiosidade
22	A quantidade de repetição nesta aula me fez ficar entediado às vezes.	A quantidade de repetição nessa atividade me fez ficar, eventualmente, entediado.
23	O conteúdo e o estilo de escrita nesta aula dão a impressão de que vale a pena conhecer seu conteúdo.	O conteúdo e o estilo de escrita nesse material dão a impressão de que vale a pena conhecê-lo.
27	O feedback após os exercícios, ou outros comentários na aula, me ajudou a me sentir recompensado pelo meu esforço.	A maneira como foi dado o feedback após os exercícios, ou outros comentários na atividade, ajudou a me sentir recompensado pelo meu esforço.
28	A variedade de trechos de leitura, exercícios, ilustrações etc., ajudou a prender minha atenção na aula.	A variedade de trechos de leitura, exercícios, ilustrações etc., ajudou a manter minha atenção na atividade.

• VPF - versão pré-final. T12 - versão sintetizada das traduções T1 e T2. Fonte: Elaborado pelos autores.

No estágio V, aplicou-se a VPF a um grupo de 30 indivíduos (estudantes e professores) que, após lerem as sentenças e as instruções do questionário, foram orientados a reescrever as frases com suas próprias palavras. Essa etapa teve o propósito de detectar alguma dificuldade de entendimento das sentenças, e os participantes foram estimulados a indicar sugestões, modificações ou mudanças nos termos que fossem relevantes para a interpretação do instrumento traduzido. Baseado na interpretação das respostas e nas sugestões dos participantes, o comitê de especialistas realizou algumas alterações (Quadro 4), sendo, então, confeccionada a versão final do instrumento (Quadro 5).

Quadro 4
Versão final - Alterações realizadas na versão pré-final (VPF)

Item	Versão pré-final (VPF)	Versão final (VF)
Instruções	Há 36 afirmações neste questionário. Por favor, pense sobre cada sentença em relação a cada material didático que você acabou de estudar e indique o quão verdadeiro ele é.	Há 36 afirmações neste questionário. Por favor, pense sobre cada sentença em relação a cada material didático que você acabou de estudar e indique o quão verdadeira é a sentença.
	Dê a resposta que verdadeiramente se aplica a você, e não aquela que você gostaria que fosse verdadeira, ou aquilo que você pensa que outros querem ouvir.	Dê a resposta que verdadeiramente se aplica a você, e não aquela que você gostaria que fosse verdadeira, ou aquilo que você pensa que outros querem ouvir.
4	Depois de ler as informações iniciais, me senti confiante de que sabia o que era esperado que eu deveria aprender essa atividade.	Depois de ler as informações iniciais, eu me senti confiante de que sabia o que se esperava que deveria ser aprendido com essa atividade.
18	Há explicações ou exemplos de como as pessoas usam o conhecimento nessa atividade.	Há explicações ou exemplos de como as pessoas usam o conhecimento dessa atividade.

• Fonte: Elaborado pelos autores.

Quadro 5
IMMS versão final traduzida e adaptada para o português brasileiro

Instructional Materials Motivation Survey John M. Keller Florida State University 1. Há 36 afirmações neste questionário. Por favor, pense sobre cada sentença em relação a cada material didático que você acabou de estudar e indique o quão verdadeira é a sentença. Dê a resposta que verdadeiramente se aplica a você, e não aquela que você gostaria que fosse verdadeira, ou aquilo que você pensa que outros querem ouvir. 2. Pense em cada afirmação isoladamente e indique quão verdadeira ela é. Não se deixe influenciar por suas respostas a outras afirmações. 3. Registre suas respostas na folha fornecida e siga as instruções adicionais que podem ser fornecidas em relação à folha de resposta que está sendo usada nesta pesquisa. Obrigado.	Discordo totalmente	Discordo parcialmente	Não concordo, nem discordo	Concordo parcialmente	Concordo totalmente
Quando eu assisti a essa atividade pela primeira vez, tive a impressão de que seria fácil para mim.	①	②	③	④	⑤
Havia alguma coisa interessante no início desta atividade que me chamou a atenção.	①	②	③	④	⑤
Este material foi mais difícil de entender do que eu gostaria.	①	②	③	④	⑤
Depois de ler as informações iniciais, eu me senti confiante de que sabia o que se esperava que deveria ser aprendido com essa atividade.	①	②	③	④	⑤
Completar os exercícios dessa atividade me deu um sentimento satisfatório de realização.	①	②	③	④	⑤
Está claro para mim como o conteúdo deste material está relacionado com conhecimentos que eu já tenho.	①	②	③	④	⑤
Muitas das páginas tinham tanta informação que foi difícil escolher e lembrar os pontos importantes.	①	②	③	④	⑤
Esses materiais são interessantes.	①	②	③	④	⑤
Havia histórias, figuras ou exemplos que me mostraram como esse material poderia ser importante para algumas pessoas.	①	②	③	④	⑤
Completar essa atividade com sucesso foi importante para mim.	①	②	③	④	⑤
A qualidade da escrita ajudou a manter minha atenção.	①	②	③	④	⑤
Essa atividade é tão abstrata que foi difícil manter minha atenção nela.	①	②	③	④	⑤
Enquanto eu trabalhava nessa atividade, estava confiante de que poderia aprender o conteúdo.	①	②	③	④	⑤
Gostei tanto dessa atividade que gostaria de saber mais sobre este assunto.	①	②	③	④	⑤
As páginas desse material parecem pouco interessantes.	①	②	③	④	⑤
O conteúdo desse material é relevante para os meus interesses.	①	②	③	④	⑤
A forma como a informação está organizada nas páginas ajudou a manter minha atenção.	①	②	③	④	⑤
Há explicações ou exemplos de como as pessoas usam o conhecimento dessa atividade.	①	②	③	④	⑤
Os exercícios dessa atividade foram muito difíceis.	①	②	③	④	⑤
Esta atividade tem elementos que estimularam minha curiosidade.	①	②	③	④	⑤
Gostei muito de estudar essa atividade.	①	②	③	④	⑤
A quantidade de repetição nesta atividade me fez ficar, eventualmente, entediado.	①	②	③	④	⑤
O conteúdo e o estilo de escrita neste material dão a impressão de que vale a pena conhecê-lo.	①	②	③	④	⑤
Aprendi algumas coisas que foram surpreendentes ou inesperadas.	①	②	③	④	⑤
Depois de trabalhar nessa atividade por algum tempo, eu estava confiante de que seria capaz de passar em um teste sobre ela.	①	②	③	④	⑤
Esta atividade não foi relevante para as minhas necessidades porque eu já sabia a maior parte dela.	①	②	③	④	⑤
A maneira como foi dado o feedback após os exercícios, ou outros comentários na atividade, ajudou-me a sentir recompensado pelo meu esforço.	①	②	③	④	⑤
A variedade de trechos de leitura, exercícios, ilustrações etc., ajudou a manter minha atenção na atividade.	①	②	③	④	⑤
O estilo de escrever é entediante.	①	②	③	④	⑤
Eu pude relacionar o conteúdo desta atividade com as coisas que tenho visto, feito ou pensado sobre minha própria vida.	①	②	③	④	⑤
Há tantas palavras em cada página que é irritante.	①	②	③	④	⑤
Foi bom concluir esta atividade com sucesso.	①	②	③	④	⑤
O conteúdo desta atividade será útil para mim.	①	②	③	④	⑤
Eu realmente não consegui entender muito o material desta atividade.	①	②	③	④	⑤
A boa organização do conteúdo me ajudou a ter certeza de que eu aprenderia este material.	①	②	③	④	⑤
Foi um prazer trabalhar em uma atividade tão bem planejada.	①	②	③	④	⑤

• Fonte: Elaborado pelos autores.

Finalizando a primeira fase da pesquisa, no estágio VI, o comitê externo auditou e verificou que todas as etapas foram realizadas com exatidão, conforme as recomendações propostas por Beaton¹⁶.

Fase 2: Avaliação da consistência interna da versão brasileira do IMMS

A versão final do instrumento IMMS, traduzido e adaptado para o português brasileiro, foi aplicada a um grupo de 52 estudantes, de ambos os sexos, do oitavo período de Medicina, da disciplina Morfofuncional, os quais foram submetidos à atividade educacional descrita no método, seguida da aplicação do instrumento.

O IMMS, versão português-brasileiro, apresentou consistência interna de 0,718, avaliada por meio do alfa de Cronbach. A Tabela 1 mostra os valores de alfa após a remoção de cada item do IMMS, e a Tabela 2 demonstra a matriz de correlação item a item.

Tabela 1
Valores de alfa após remoção de cada item do IMMS

Item	Alfa de Cronbach removendo o item
Q15	0,749
Q29	0,747
Q12	0,745
Q22	0,742
Q31	0,742
Q03	0,738
Q34	0,735
Q19	0,728
Q07	0,728
Q01	0,722
Q26	0,716
Q10	0,713
Q30	0,711
Q06	0,709
Q27	0,708
Q25	0,708
Q32	0,706
Q11	0,706
Q08	0,706
Q23	0,704
Q33	0,703
Q16	0,702
Q13	0,700
Q18	0,700
Q24	0,700
Q05	0,698
Q04	0,697
Q02	0,696
Q17	0,696
Q35	0,695
Q20	0,694
Q36	0,694
Q09	0,688
Q14	0,688
Q21	0,686
Q28	0,683

• Fonte: Elaborada pelos autores.

Tabela 2
Matriz de correlação item a item do questionário IMMS

Matriz de correlação Item a Item
	Q01	Q02	Q03	Q04	Q05	Q06	Q07	Q08	Q09	Q10	Q11	Q12	Q13	Q14	Q15	Q16	Q17	Q18	Q19	Q20	Q21	Q22	Q23	Q24	Q25	Q26	Q27	Q28	Q29	Q30	Q31	Q32	Q33	Q34	Q35	Q36
Q01	1,000	-0,098	-0,169	-0,003	-0,008	0,071	-0,248	-0,105	-0,025	-0,184	0,184	-0,297	0,342	0,308	-0,109	0,274	0,072	-0,116	-0,343	-0,098	0,071	0,027	0,167	0,088	0,090	0,286	-0,245	0,030	-0,014	0,234	-0,169	0,256	0,319	-0,045	0,147	0,253
Q02	-0,098	1,000	0,008	0,277	0,302	0,033	0,145	0,243	0,419	0,140	0,239	-0,274	0,155	0,346	-0,371	0,293	0,509	0,450	0,221	0,395	0,321	-0,185	0,348	0,327	-0,024	0,079	0,357	0,439	-0,331	0,081	-0,331	0,415	0,185	-0,192	0,165	0,300
Q03	-0,169	0,008	1,000	-0,090	-0,120	-0,027	0,121	-0,168	-0,007	0,074	0,139	0,401	-0,213	-0,308	0,440	-0,332	-0,102	-0,165	0,384	-0,245	-0,229	0,215	-0,278	-0,213	-0,172	-0,115	-0,050	-0,176	-0,035	-0,165	0,122	-0,140	-0,026	0,302	-0,129	-0,260
Q04	-0,003	0,277	-0,090	1,000	0,393	0,180	-0,139	0,329	0,222	0,283	0,019	-0,119	0,457	0,210	-0,292	0,153	0,390	0,193	-0,040	0,301	0,413	-0,118	0,106	0,414	0,366	0,228	0,063	0,301	-0,149	0,095	-0,101	0,284	0,004	-0,252	0,500	0,412
Q05	-0,008	0,302	-0,120	0,393	1,000	0,135	0,125	0,282	0,290	0,349	0,065	-0,408	0,049	0,366	-0,414	0,216	0,279	0,330	-0,069	0,466	0,455	-0,203	0,063	0,346	0,205	-0,018	0,468	0,417	-0,322	0,124	-0,150	0,522	0,240	-0,291	0,311	0,427
Q06	0,071	0,033	-0,027	0,180	0,135	1,000	-0,168	0,182	0,069	0,151	0,049	-0,157	0,201	0,127	-0,180	0,170	0,272	-0,017	-0,075	0,138	0,351	-0,035	0,342	0,169	0,152	0,093	0,082	0,103	-0,320	0,222	-0,266	0,140	0,214	0,080	0,250	0,359
Q07	-0,248	0,145	0,121	-0,139	0,125	-0,168	1,000	0,175	0,269	0,001	0,223	0,214	-0,159	-0,190	0,017	-0,202	-0,071	0,149	0,143	-0,128	-0,096	-0,063	0,117	-0,206	-0,201	-0,001	0,234	0,106	0,090	-0,321	0,228	0,015	-0,097	0,045	-0,133	-0,173
Q08	-0,105	0,243	-0,168	0,329	0,282	0,182	0,175	1,000	0,552	0,047	0,193	0,056	0,076	0,032	-0,551	0,059	0,420	0,456	0,017	0,154	0,119	-0,197	0,274	0,278	-0,024	0,028	-0,018	0,403	-0,110	0,073	-0,192	-0,035	-0,079	-0,028	0,314	0,407
Q09	-0,025	0,419	-0,007	0,222	0,290	0,069	0,269	0,552	1,000	0,063	0,476	-0,140	0,132	0,241	-0,314	0,130	0,480	0,632	-0,037	0,256	0,171	-0,318	0,267	0,254	0,071	0,180	0,304	0,754	-0,289	0,134	-0,271	0,066	0,060	-0,010	0,252	0,340
Q10	-0,184	0,140	0,074	0,283	0,349	0,151	0,001	0,047	0,063	1,000	0,038	-0,175	0,129	0,189	-0,169	-0,074	-0,009	0,029	-0,099	0,210	0,431	-0,244	-0,105	0,122	0,274	0,006	0,330	0,064	-0,045	-0,019	0,027	0,126	0,220	-0,151	0,043	0,114
Q11	0,184	0,239	0,139	0,019	0,065	0,049	0,223	0,193	0,476	0,038	1,000	-0,105	0,093	0,049	-0,237	0,059	0,347	0,379	-0,032	0,141	0,062	-0,365	0,333	0,153	0,071	-0,026	0,150	0,510	-0,233	0,052	-0,174	-0,019	0,016	0,060	0,192	0,239
Q12	-0,297	-0,274	0,401	-0,119	-0,408	-0,157	0,214	0,056	-0,140	-0,175	-0,105	1,000	-0,229	-0,483	0,266	-0,501	-0,338	-0,272	0,467	-0,328	-0,410	0,259	-0,111	-0,375	-0,424	-0,042	-0,211	-0,291	0,191	-0,337	0,401	-0,448	-0,268	0,375	-0,151	-0,302
Q13	0,342	0,155	-0,213	0,457	0,049	0,201	-0,159	0,076	0,132	0,129	0,093	-0,229	1,000	0,555	-0,263	0,367	0,455	-0,012	-0,325	0,249	0,476	-0,172	0,267	0,408	0,513	0,224	-0,033	0,230	-0,103	0,288	-0,263	0,238	0,285	-0,352	0,432	0,214
Q14	0,308	0,346	-0,308	0,210	0,366	0,127	-0,190	0,032	0,241	0,189	0,049	-0,483	0,555	1,000	-0,240	0,510	0,283	0,266	-0,084	0,458	0,672	-0,132	0,236	0,357	0,353	0,212	0,203	0,437	-0,076	0,182	-0,148	0,253	0,532	-0,189	0,355	0,408
Q15	-0,109	-0,371	0,440	-0,292	-0,414	-0,180	0,017	-0,551	-0,314	-0,169	-0,237	0,266	-0,263	-0,240	1,000	-0,257	-0,438	-0,359	0,254	-0,392	-0,397	0,493	-0,611	-0,383	-0,175	0,051	-0,338	-0,474	0,401	-0,205	0,503	-0,212	0,126	0,491	-0,292	-0,579
Q16	0,274	0,293	-0,332	0,153	0,216	0,170	-0,202	0,059	0,130	-0,074	0,059	-0,501	0,367	0,510	-0,257	1,000	0,320	0,075	-0,227	0,570	0,494	-0,080	0,336	0,409	0,320	-0,104	0,156	0,201	-0,177	0,456	-0,357	0,329	0,562	-0,259	0,223	0,309
Q17	0,072	0,509	-0,102	0,390	0,279	0,272	-0,071	0,420	0,480	-0,009	0,347	-0,338	0,455	0,283	-0,438	0,320	1,000	0,437	-0,194	0,457	0,257	-0,293	0,441	0,504	0,235	-0,014	0,260	0,567	-0,451	0,251	-0,505	0,256	0,040	-0,219	0,497	0,453
Q18	-0,116	0,450	-0,165	0,193	0,330	-0,017	0,149	0,456	0,632	0,029	0,379	-0,272	-0,012	0,266	-0,359	0,075	0,437	1,000	-0,025	0,398	0,218	-0,360	0,186	0,361	-0,033	0,023	0,307	0,663	-0,264	-0,012	-0,335	0,104	0,078	-0,151	0,247	0,411
Q19	-0,343	0,221	0,384	-0,040	-0,069	-0,075	0,143	0,017	-0,037	-0,099	-0,032	0,467	-0,325	-0,084	0,254	-0,227	-0,194	-0,025	1,000	-0,235	-0,107	0,205	-0,107	-0,131	-0,405	0,006	0,023	-0,087	0,245	-0,195	0,325	-0,150	-0,066	0,372	-0,237	-0,222
Q20	-0,098	0,395	-0,245	0,301	0,466	0,138	-0,128	0,154	0,256	0,210	0,141	-0,328	0,249	0,458	-0,392	0,570	0,457	0,398	-0,235	1,000	0,575	-0,085	0,333	0,505	0,272	-0,092	0,397	0,437	-0,447	0,258	-0,381	0,349	0,369	-0,279	0,382	0,436
Q21	0,071	0,321	-0,229	0,413	0,455	0,351	-0,096	0,119	0,171	0,431	0,062	-0,410	0,476	0,672	-0,397	0,494	0,257	0,218	-0,107	0,575	1,000	-0,229	0,318	0,383	0,622	0,109	0,366	0,338	-0,299	0,280	-0,151	0,425	0,483	-0,367	0,263	0,403
Q22	0,027	-0,185	0,215	-0,118	-0,203	-0,035	-0,063	-0,197	-0,318	-0,244	-0,365	0,259	-0,172	-0,132	0,493	-0,080	-0,293	-0,360	0,205	-0,085	-0,229	1,000	-0,394	-0,381	-0,283	0,182	-0,370	-0,513	0,355	-0,031	0,291	-0,058	0,076	0,311	-0,244	-0,387
Q23	0,167	0,348	-0,278	0,106	0,063	0,342	0,117	0,274	0,267	-0,105	0,333	-0,111	0,267	0,236	-0,611	0,336	0,441	0,186	-0,107	0,333	0,318	-0,394	1,000	0,398	0,228	-0,044	0,313	0,450	-0,559	0,186	-0,484	0,297	0,039	-0,343	0,393	0,593
Q24	0,088	0,327	-0,213	0,414	0,346	0,169	-0,206	0,278	0,254	0,122	0,153	-0,375	0,408	0,357	-0,383	0,409	0,504	0,361	-0,131	0,505	0,383	-0,381	0,398	1,000	0,299	-0,165	0,160	0,435	-0,424	0,220	-0,338	0,387	0,207	-0,246	0,412	0,424
Q25	0,090	-0,024	-0,172	0,366	0,205	0,152	-0,201	-0,024	0,071	0,274	0,071	-0,424	0,513	0,353	-0,175	0,320	0,235	-0,033	-0,405	0,272	0,622	-0,283	0,228	0,299	1,000	0,036	0,106	0,239	-0,189	0,364	-0,174	0,320	0,199	-0,455	0,380	0,274
Q26	0,286	0,079	-0,115	0,228	-0,018	0,093	-0,001	0,028	0,180	0,006	-0,026	-0,042	0,224	0,212	0,051	-0,104	-0,014	0,023	0,006	-0,092	0,109	0,182	-0,044	-0,165	0,036	1,000	-0,156	0,116	0,199	0,151	0,013	0,007	0,005	0,010	-0,146	0,030
Q27	-0,245	0,357	-0,050	0,063	0,468	0,082	0,234	-0,018	0,304	0,330	0,150	-0,211	-0,033	0,203	-0,338	0,156	0,260	0,307	0,023	0,397	0,366	-0,370	0,313	0,160	0,106	-0,156	1,000	0,393	-0,485	0,001	-0,247	0,319	0,126	-0,318	0,156	0,337
Q28	0,030	0,439	-0,176	0,301	0,417	0,103	0,106	0,403	0,754	0,064	0,510	-0,291	0,230	0,437	-0,474	0,201	0,567	0,663	-0,087	0,437	0,338	-0,513	0,450	0,435	0,239	0,116	0,393	1,000	-0,418	0,321	-0,290	0,142	0,124	-0,062	0,491	0,610
Q29	-0,014	-0,331	-0,035	-0,149	-0,322	-0,320	0,090	-0,110	-0,289	-0,045	-0,233	0,191	-0,103	-0,076	0,401	-0,177	-0,451	-0,264	0,245	-0,447	-0,299	0,355	-0,559	-0,424	-0,189	0,199	-0,485	-0,418	1,000	-0,157	0,476	-0,457	-0,107	0,281	-0,367	-0,455
Q30	0,234	0,081	-0,165	0,095	0,124	0,222	-0,321	0,073	0,134	-0,019	0,052	-0,337	0,288	0,182	-0,205	0,456	0,251	-0,012	-0,195	0,258	0,280	-0,031	0,186	0,220	0,364	0,151	0,001	0,321	-0,157	1,000	-0,255	0,155	0,336	-0,165	0,110	0,117
Q31	-0,169	-0,331	0,122	-0,101	-0,150	-0,266	0,228	-0,192	-0,271	0,027	-0,174	0,401	-0,263	-0,148	0,503	-0,357	-0,505	-0,335	0,325	-0,381	-0,151	0,291	-0,484	-0,338	-0,174	0,013	-0,247	-0,290	0,476	-0,255	1,000	-0,304	-0,070	0,565	-0,267	-0,456
Q32	0,256	0,415	-0,140	0,284	0,522	0,140	0,015	-0,035	0,066	0,126	-0,019	-0,448	0,238	0,253	-0,212	0,329	0,256	0,104	-0,150	0,349	0,425	-0,058	0,297	0,387	0,320	0,007	0,319	0,142	-0,457	0,155	-0,304	1,000	0,414	-0,309	0,202	0,359
Q33	0,319	0,185	-0,026	0,004	0,240	0,214	-0,097	-0,079	0,060	0,220	0,016	-0,268	0,285	0,532	0,126	0,562	0,040	0,078	-0,066	0,369	0,483	0,076	0,039	0,207	0,199	0,005	0,126	0,124	-0,107	0,336	-0,070	0,414	1,000	0,072	0,227	0,228
Q34	-0,045	-0,192	0,302	-0,252	-0,291	0,080	0,045	-0,028	-0,010	-0,151	0,060	0,375	-0,352	-0,189	0,491	-0,259	-0,219	-0,151	0,372	-0,279	-0,367	0,311	-0,343	-0,246	-0,455	0,010	-0,318	-0,062	0,281	-0,165	0,565	-0,309	0,072	1,000	-0,212	-0,185
Q35	0,147	0,165	-0,129	0,500	0,311	0,250	-0,133	0,314	0,252	0,043	0,192	-0,151	0,432	0,355	-0,292	0,223	0,497	0,247	-0,237	0,382	0,263	-0,244	0,393	0,412	0,380	-0,146	0,156	0,491	-0,367	0,110	-0,267	0,202	0,227	-0,212	1,000	0,615
Q36	0,253	0,300	-0,260	0,412	0,427	0,359	-0,173	0,407	0,340	0,114	0,239	-0,302	0,214	0,408	-0,579	0,309	0,453	0,411	-0,222	0,436	0,403	-0,387	0,593	0,424	0,274	0,030	0,337	0,610	-0,455	0,117	-0,456	0,359	0,228	-0,185	0,615	1,000

• Fonte: Elaborada pelos autores.

DISCUSSÃO

Este estudo descreveu o processo de TATC do questionário IMMS para o português, resultando em sua versão brasileira. A versão final traduzida atingiu adequada equivalência em relação ao documento original e boa consistência interna.

O planejamento de atividades instrucionais motivadoras, bem como a avaliação da percepção pelos estudantes de quão motivadoras elas são na prática, consiste em pedra angular de sustentação do processo ensino-aprendizagem. A motivação, em alunos de ensino superior, pode ser vista sob quatro contextos: o contexto sociocultural, referente às crenças e aos comportamentos do estudante, amparados nas suas experiências prévias; o ambiente em sala de aula, relacionado à atitude do professor; os fatores internos do aluno, ligados aos seus sentimentos, suas percepções e metas; e, finalmente, a motivação própria do aluno, relacionada ao comportamento dele em uma aula¹⁷. Todos esses componentes são influenciados de forma positiva ou negativa durante uma atividade de aprendizagem. Assim, instrumentos validados são imprescindíveis para avaliar a motivação dos estudantes em materiais e atividades instrucionais.

Nesse sentido, a motivação pode ser mensurada por meio de um modelo que avalie a atenção, a relevância, a confiança e a satisfação do estudante perante uma atividade de aprendizagem (modelo teórico ARCS)⁶. O IMMS, derivado do ARCS, foi amplamente validado e reconhecido internacionalmente, sendo utilizado em 50 países¹⁸. Recentemente, Hauze e Marshall¹⁹ examinaram a validade e confiabilidade do questionário, medidas em enfermeiros, após simulação de uma atividade clínica, ampliando a validação do instrumento.

Diante da escassez de instrumentos validados - em português - que avaliem a motivação, especialmente, em ambientes educacionais tecnológicos, a versão do IMMS, em português brasileiro, é uma opção consistente por causa do seu sólido e validado construto teórico. A decisão em traduzir, e não desenvolver um novo instrumento, veio da premissa de que adaptar um instrumento previamente validado, em outra língua, minimiza custos e tempo e possibilita a comparação de resultados em estudos multicêntricos^14)-(16),(20.

O escopo da segunda fase foi avaliar a consistência interna, a fim de averiguar se os itens do questionário, em suas respectivas dimensões, estavam correlacionados uns aos outros. Nesse sentido, o instrumento IMMS, em português brasileiro, apresentou alfa de Cronbach igual a 0,718, demonstrando a boa consistência interna da TATC do instrumento, realizada no presente estudo. Com a remoção do item 15, o instrumento passaria a apresentar alfa de Cronbach igual a 0,749, não migrando para um faixa de confiabilidade maior, motivo pelo qual o questionário foi mantido em sua íntegra (Tabela 1)²¹.

Enfim, tem-se que a versão brasileira do IMMS possibilitará a avaliação pedagógica, a pesquisa e a comparação de resultados, entre estudos nacionais e internacionais, a respeito da característica precípua da aprendizagem: a motivação do estudante. Ressalta-se, por oportuno, sua especificidade em relação aos ambientes de aprendizagem dotados de recursos tecnológicos, em franca ascensão, como o e-learning e a gamificação^22),(23.

CONCLUSÕES

A versão traduzida do IMMS para o português do Brasil contemplou adequadamente os critérios de equivalência semântica, idiomática, cultural e conceitual. O IMMS brasileiro manteve todas as suas 36 sentenças e também as três instruções do instrumento original e apresentou boa consistência interna. A possibilidade de avaliação da motivação, no contexto educacional, por instrumento amplamente validado traz consigo ganhos tanto no campo da prática quanto da pesquisa pedagógica. Seu emprego no Brasil possibilitará novas validações em cenários educacionais nacionais e contextos diversos.

AGRADECIMENTOS

Os autores agradecem, especialmente, ao professor John Keller que autorizou e estimulou a tradução do IMMS para o português, bem como aos professores Yael Botelho, Géssica Rubira Gamba, David Edward Gardner, Tony Williams e Terry Paul Matfield que participaram com grande desvelo nas fases de tradução, retrotradução e no comitê de especialistas. Da mesma forma, agradecemos aos professores Paulo Luiz B. Nogueira e Arestides Massao Nachi a participação no comitê externo de auditoria do processo de tradução e adaptação transcultural.

REFERÊNCIAS

• ¹
  Gopalan V, Aida J, Bakar A, Nasir A, Alwi A, Mat RC. A review of the motivation theories in learning. In: AIP Conference Proceedings 1891. 2017. p. 1-7.
• ²
  Azevedo PTACC, Caminha MFC, Andrade CRS, Godoy CG, Monteiro RLS FA. Motivação Intrínseca do Estudante de Medicina de uma Faculdade com Metodologia Ativa no Brasil : Estudo Transversal. Rev Bras Educ Med. 2019;43:24-35.
• ³
  Alkaabi SAR, Alkaabi W, Vyver G. Researching Student Motivation. Contemp Issues Educ Res. 2017;10:193-202.
• ⁴
  Cicuto CAT, Torres BB. Implementing an Active Learning Environment to Influence Students’ Motivation in Biochemistry. J Chem Educ. 2016;93:1020-6.
• ⁵
  Zayapragassarazan Z, Kumar S. Active Learning Methods. NTTC Bull. 2012;19:3-5.
• ⁶
  Keller JM. Motivational Design for Learning and Performance: the ARCS Model Aproach. Keller JM, editor. New York: Springer; 2010.
• ⁷
  Huang W, Huang W, Diefes-Dux H, Imbrie PK. A preliminary validation of Attention, Relevance Confidence and Satisfaction model-based Instructional Material Motivational Survey in a computer-based tutorial setting. Br J Educ Technol. 2006;37:243-59.
• ⁸
  Loorbach N, Peters O, Karreman J, Steehouder M. Validation of the Instructional Materials Motivation Survey (IMMS) in a self-directed instructional setting aimed at working with technology. Br J Educ Technol . 2015;46:204-19.
• ⁹
  Cook DA, Beckman TJ, Thomas KG, Thompson WG. Measuring motivational characteristics of courses: Applying Keller’s instructional materials motivation survey to a web-based course. Acad Med. 2009;84:1505-9.
• ¹⁰
  Huang B, Hew KF. Measuring Learners’ Motivation Level in Massive Open Online Courses. Int J Inf Educ Technol. 2016;6:759-64.
• ¹¹
  Julià C, Antolí JÒ. Impact of implementing a long-term STEM-based active learning course on students’ motivation. Int J Technol Des Educ. 2019;29:303-27.
• ¹²
  De Oliveira NC, Barbosa A. Docência no Ensino Superior: O Uso de Novas Tecnologias na Construção da Autonomia do Discente. Rev Saberes [Internet]. 2015;3:3-13 [acesso em 1 mai 2020] Disponível em: Disponível em: http://facsaopaulo.edu.br/media/files/35/35_1401.pdf
  » http://facsaopaulo.edu.br/media/files/35/35_1401.pdf
• ¹³
  Keller JM. Development of Two Measures of Learner Motivation [Internet]. Florida State University; 2006. v.3, p. 1-9 [acesso em 25 abr 2020]. Disponível em: Disponível em: http://scholar.google.com/scholar?hl=en&btnG=Search&q=intitle:Development+of+Two+Measures+of+Learner+Motivation#0
  » http://scholar.google.com/scholar?hl=en&btnG=Search&q=intitle:Development+of+Two+Measures+of+Learner+Motivation#0
• ¹⁴
  Toledo Júnior A, Duca JGM, Coury MIF. Tradução e Adaptação Transcultural da Versão Brasileira do Schutte Self-Report Emotional Intelligence Test. Rev Bras Educ Med . 2018;42:109-14.
• ¹⁵
  Sousa VD, Rojjanasrirat W. Translation, adaptation and validation of instruments or scales for use in cross-cultural health care research: a clear and user-friendly guideline. J Eval Clin Pract. 2011;17:268-74.
• ¹⁶
  Beaton DE, Bombardier C, Guillemin F, Ferraz MB. Guidelines for the process of cross-cultural adaptation of self-report measures. Spine. 2000;25:3186-91.
• ¹⁷
  García-Celay IM, Dios MJ De. About Paul Pintrich’s work: self-regulation of motivational and cognitive processes in educational settings. Electron J Res Educ Psychol. 2004;2:189-96.
• ¹⁸
  Simsek A, Keller JM. Interview with John M. Keller on Motivational Design of Instruction. Contemp Educ Technol. 2014;5:90-5.
• ¹⁹
  Hauze SW, Marshall JM. Validation of the Instructional Materials Motivation Survey : Measuring Student Motivation to Learn via Mixed Reality Nursing Education Simulation. Int Journal of E-learning 2020;19:49-64.
• ²⁰
  De Souza Bastos VC, Carneiro AAL, Ramos Barbosa M dos S, De Andrade LB. Brazilian version of the Pediatric Functional Status Scale: translation and cross-cultural adaptation. Rev Bras Ter Intensiva. 2018;30:301-7.
• ²¹
  Landis JR, Koch GG. The measurement of observer agreement of categorical data. Biometrics. 1977;33:159-74.
• ²²
  Keller JM. First principles of motivation to learn and e3-learning. Distance Educ. 2008;29:175-85.
• ²³
  Gentry SV, Gauthier A, Ehrstrom BLE, Wortley D, Lilienthal A, Car LT, et al. Serious gaming and gamification education in health professions: systematic review. J Med Internet Res. 2019;21:1-20.

Datas de Publicação

• Publicação nesta coleção
  30 Nov 2020
• Data do Fascículo
  2020

Histórico

• Recebido
  13 Maio 2020
• Aceito
  02 Nov 2020