Validação do questionário sobre a utilização de Dispositivos Móveis Interativos no Ensino Superior

Resumos

Objetivo:

this study aims to design and validate a questionnaire to measure the students’ perception of the use of IRS as a technopedagogical resource in the classroom.

Method:

a 24 items questionnaire (Interactive Response System for the Improvement of the Teaching-Learning Process) was designed ad hoc for this research and applied to 142 university students.

Results:

both the exploratory and confirmatory factorial analysis yielded 3 dimensions: classroom environment, teaching-learning processes and learning assessment. The results obtained both in reliability (Cronbach’s alpha= 0.955) and in the Confirmatory Factor Analysis (χ2/df=1.944, CFI=0.97; GFI=0.78; RMR=0.077; RMSEA=0.08) reveal highly satisfactory indices.

Conclusion:

statistical analyses confirm that this instrument is a valid, reliable, and easy-to-apply tool for professors to evaluate the student perception of student-centred learning.

Descriptors:
Education; Higher Education; Learning; Validation Study; Surveys and Questionnaires; Technology Education

Objetivo:

el presente estudio tiene como objetivo diseñar y validar un cuestionario que permita medir la percepción de los estudiantes universitarios del uso de los MIR como recurso tecnopedagógico en el aula.

Método:

se aplicó el cuestionario Mandos Interactivos de Respuesta para la Mejora del Proceso de Enseñanza-Aprendizaje, creado ad hoc para esta investigación, que está formado por 24 ítems, aplicado a 142 estudiantes universitarios.

Resultados:

tanto el análisis factorial exploratorio como el confirmatorio arrojan tres dimensiones: ambiente de clase, los procesos de enseñanza-aprendizaje y la evaluación. Los resultados obtenidos tanto en la fiabilidad (alfa de Cronbach 0.955) como en el análisis factorial confirmatorio (χ²/gl=1.944, CFI=0.97; GFI=0.78; RMR=0.077; RMSEA=0.08) arrojan índices altamente satisfactorios.

Conclusión:

los análisis estadísticos muestran que este instrumento es una herramienta válida, fiable y de fácil aplicación para el docente que le permitirá evaluar la experiencia del alumnado sobre el aprendizaje centrado en el estudiante.

Descriptores:
Educación; Educación Superior; Aprendizaje; Estudios de Validación; Encuestas y Cuestionarios; Tecnología Educacional

Introdução

A confluência do Ensino Superior deve estabelecer um espaço para o intercâmbio de experiências práticas que permitam o avanço do conhecimento e da investigação desenvolvidos no quadro comum do Espaço Europeu e Ibero-Americano do Ensino Superior^(1-2).

A implementação da aprendizagem centrada no estudante desperta o interesse no estabelecimento de um modelo que integre efetivamente a tecnologia ao conhecimento da mediação didática, evoluindo para o Modelo Tecnológico-Pedagógico (TPACK), que combina conhecimentos disciplinares, pedagógicos e tecnológicos, mas sempre levando em consideração o contexto no qual intervém^(3-4), com uma maior interação entre professores e estudantes a partir de uma análise dialógica-crítica⁽²⁾.

Alguns autores mostram a necessidade de se estabelecer o conhecimento didático frente à relação entre os diferentes tipos de conhecimento (da disciplina, o pedagógico geral e dos estudantes) e a biografia do professor⁽⁵⁾. Assim, torna-se evidente que na formação inicial dos enfermeiros, tanto os aspectos pedagógicos, utilizando a monitorização mediante os Dispositivos Móveis Interativos (doravante MIR, sigla originária da expressão em espanhol Mandos Interactivos de Respuesta), quanto à importância da aprendizagem com docentes especializados, podem levar ao desenvolvimento de um ensino de qualidade, entre outras questões⁽⁶⁾.

Neste sentido, é importante encorajar os professores para que integrem a tecnologia nas salas de aula, conforme salientado pelo Horizon Report⁽⁷⁾, resultando em um significativo impacto na educação nos próximos anos. Para tal, os professores universitários devem utilizar as ferramentas tecnológicas que mais conhecem e dominam, bem como aceder a novos recursos tecnológicos para melhorar os processos de ensino⁽⁸⁾.

Do mesmo modo, é evidente que as mudanças tecnológicas na vida dos professores universitários são orientadas à variação dentro da estabilidade, introduzindo aquelas que são coerentes com as suas práticas docentes nas atividades de aprendizagem que normalmente realizam⁽⁹⁾.

Para enfrentar estes desafios tecnológicos é importante investir na aprendizagem, disponibilizando materiais aos estudantes, em vários formatos, para que estes desenvolvam um trabalho prévio antes de chegar à sala de aula, incorporando o uso dos MIR para verificar as melhorias do processo de aprendizagem centrado no estudante^(10-12). Ao mesmo tempo, se faz evidente que os MIR são parte da experiência que hoje se realiza nas salas de aula universitárias⁽¹³⁾. Assim, a literatura atual no Ensino Superior sobre a utilização desta tecnologia centra-se, nos últimos anos, nas áreas da Ciência, Tecnologia, Engenharia e Matemática, Sociologia, Humanidades, Saúde (Medicina e Enfermagem), Administração de Empresas/Negócios e Inglês^(13-14).

Os estudos consultados mostram como a utilização dos MIR nas salas de aula universitárias permite a melhoria em três grandes áreas: o ambiente da sala de aula, os processos de ensino-aprendizagem e a avaliação dos estudantes^(15-20), sendo cada vez mais importante definir as possibilidades e limitações desta ferramenta para a melhoria da qualidade no Ensino Superior⁽⁶⁾.

Centrando-se no fator ambiente de sala de aula, os MIR aumentam a frequência⁽²¹⁾ e a participação dos estudantes^(22-25), uma vez que há um maior envolvimento nas aulas do que com a metodologia mais tradicional^(23,26-27). Dentro do fator aprendizagem, alguns estudos estabelecem que a interação frequente e positiva torna as aulas mais dinâmicas quando os MIR são utilizados^(13,28-29), promovendo a aprendizagem ativa^(30-32). Além disso, a atenção^(33-34), a concentração⁽³⁵⁾ e a memória^(36-37) são estimuladas no estudo. Há uma extensa investigação que sugere que a melhoria de rendimento é resultado da utilização dos MIR, tal como indicado por alguns estudos^{(31-32,38-41)}, sendo que outros deles não apontam para tal efeito⁽⁴²⁾. Em relação ao fator de avaliação, os resultados da literatura apoiam a capacidade dos MIR como instrumento de avaliação e feedback^(43-44). Considera-se que tanto estudantes quanto professores são beneficiados pelo feedback que recebem com a utilização desta tecnologia educacional^(20,27). Tudo isto conduz a um processo de aprendizagem fundamental para a interação do saber e do saber fazer⁽⁴⁵⁾.

O presente estudo visa conceber e validar um instrumento para medir a percepção dos estudantes universitários sobre a utilização dos Dispositivos Móveis Interativos (MIR) como recurso tecnológico-pedagógico na sala de aula.

Método

O tipo de desenho foi transeccional e descritivo, uma vez que os dados foram recolhidos em uma única ocasião para poder descrever o fato e analisar a sua incidência em um determinado momento.

A investigação foi realizada na Universidade de Granada (Espanha), no seu Campus de Melilla, localizado no Norte de África, cujos estudantes pertencem às Faculdades de Ciências da Saúde, Ciências Sociais e Jurídicas e Ciências da Educação e do Desporto. Para este fim, foi utilizada uma amostra intencional não-probabilística. Os critérios de seleção foram: em primeiro lugar, professores que utilizam tecnologia nas suas salas de aula, os Dispositivos Móveis Interativos nas suas aulas e, em segundo lugar, a voluntariedade dos estudantes em participar neste estudo. Portanto, a amostra foi composta por 142 estudantes, 110 mulheres (77,5%) e 32 homens (22,5%). Em relação ao ano acadêmico, 17 estudantes estão no primeiro ano (12%), 95 no segundo ano (66,9%) e 30 no terceiro (21,1%).

Para realizar esta pesquisa foi desenvolvido um questionário ad hoc para a investigação “Mandos Interactivos de Respuesta para la Mejora del Proceso de Enseñanza-Aprendizaje (MIR-MPEA)”.

Em relação aos itens do MIR-MPEA, os mesmos foram escolhidos após uma extensa revisão bibliográfica a respeito dos três fatores acima salientados(21,46-47), o que permitiu estabelecer a validade do conteúdo, uma vez que não se dispunha de peritos neste campo. Foi utilizado um banco inicial de 65 itens agrupados por categoria⁽⁴⁸⁾ e, após a análise dos mesmos, 35 foram consolidados nas três dimensões: ambiente, processo e avaliação. Em relação ao formato de resposta do questionário, foi utilizada uma escala do tipo Likert, com 5 respostas alternativas, variando entre 1, discordo totalmente, a 5, concordo totalmente.

A experiência ocorreu em diferentes cursos da Universidade de Granada (Espanha), sendo todas as disciplinas relativas à formação básica dos estudantes. Para este fim, foi solicitada a colaboração do grupo de docentes, de forma voluntária, com o intuito de participarem em tal pesquisa e utilizarem os MIR nas suas aulas.

Os MIR, nessas disciplinas básicas, foram utilizados ao longo do semestre do ano letivo de 2016-17, antes, durante e no final das aulas. No final do semestre, foi aplicado o questionário MIR-MPEA com o objetivo de se conhecer a percepção da experiência realizada. A aplicação do questionário ocorreu na última semana do semestre, com uma duração de aproximadamente 15 minutos. Os estudantes foram convidados a participar voluntariamente e anonimamente desta experiência, seguindo as regras do Committee on Publication Ethics (COPE).

A versão 20.0 do software estatístico SPSS foi usada para o processamento estatístico dos dados. Para conhecer a confiabilidade de cada bloco, foi utilizado o alfa de Cronbach e para a validade do questionário foi realizada a análise fatorial exploratória. Também houve o uso do programa LISREL 8.8 para a análise fatorial confirmatória.

Resultados

A princípio, a confiabilidade do questionário MIR-MPEA foi analisada com 35 elementos por meio do coeficiente de consistência interna α de Cronbach, sendo este 0,965. Ainda que este índice fosse elevado, efetuou-se a eliminação daqueles itens cuja correlação item-total era inferior a 0,20. Assim, o questionário final foi composto por 24 itens com um α=0,955, com índices de homogeneidade que variam entre 0,42 e 0,85.

Subsequentemente, foram medidos desvios padrão, médias, assimetrias e correlações item-total de cada um dos itens que compõem o questionário. Como se pode ver na Tabela 1, a assimetria é negativa em todos eles, o que mostra uma maior concentração de respostas que denotam pontuações elevadas nesses itens.

Tabela 1
Valores descritivos dos itens do questionário MIR-MPEA. Granada, Espanha, 2017

Nº	Itens	M*	DP†	Assimetria	Correl. item-total
1	Com a utilização dos MIR estou mais concentrado nas aulas.	3,40	1,15	-0,477	0,689
2	Com a utilização dos MIR meço se sigo corretamente o conteúdo da disciplina durante as aulas.	3,81	1,01	-0,658	0,619
5	Durante a minha vivência com os MIR tenho uma boa experiência de aprendizagem.	3,52	1,18	-0,559	0,566
9	Os MIR são utilizados para descobrir os conhecimentos iniciais dos estudantes.	3,54	1,258	-0,595	0,488
10	O uso dos MIR é colocado em prática por professores experientes para fornecer um bom feedback.	3,97	0,891	-0,616	0,610
14	O uso dos MIR me ajuda a desenvolver o meu raciocínio sobre os conteúdos trabalhados.	3,59	1,162	-0,666	0,639
15	O uso dos MIR torna as aulas divertidas e dinâmicas.	3,82	1,119	-0,877	0,656
18	O uso dos MIR permite que eu aumente o meu desempenho de aprendizagem.	3,76	1,129	-0,653	0,762
19	O uso contínuo dos MIR melhora minha participação nas aulas.	3,70	1,266	-0,793	0,579
20	O uso dos MIR permite conhecer e comparar as minhas respostas com as respostas dos meus pares.	3,42	1,234	-0,646	0,441
21	O uso dos MIR permite corrigir um erro ou falta de compreensão sobre o conteúdo da disciplina durante as aulas.	3,71	1,121	-1,032	0,558
22	Me interesso mais pelas aulas no caso do uso dos MIR.	3,65	1,066	-0,698	0,768
24	Eu gosto da utilização dos MIR como controle de participação.	3,65	1,005	-0,605	0,699
29	O uso dos MIR melhora a motivação durante as aulas.	3,83	1,111	-0,825	0,753
30	O uso dos MIR permite um debate ativo de conceitos equivocados para construir conhecimento.	3,80	1,168	-0,771	0,792
35	O uso dos MIR avalia a abrangência da minha compreensão sobre os conteúdos de cada um dos temas abordados durante a aula.	3,99	0,971	-1,211	0,788
36	O uso dos MIR promove o estudo regular do assunto para melhor preparação para as aulas.	3,64	1,094	-0,762	0,715
42	O uso dos MIR permite ter uma maior confiança ao fazer perguntas durante as aulas.	3,76	1,254	-0,739	0,787
46	A utilização dos MIR é feita no final das aulas para rever os conteúdos dados a cada dia.	3,80	1,100	-0,736	0,772
47	O uso dos MIR torna o ambiente de aula mais agradável e interativo em comparação com as aulas tradicionais.	3,86	1,082	-0,804	0,769
48	O uso dos MIR melhoram a minha participação nas aulas a partir do anonimato.	3,87	1,104	-0,773	0,712
53	As respostas dadas através dos MIR aumentam a minha confiança nas aulas ao perceber que respondo corretamente.	3,44	1,164	-0,420	0,700
59	Os MIR fornecem informação valiosa para melhorar meu processo de aprendizagem.	4,09	1,017	-1,007	0,687
65	O uso dos MIR melhora a compreensão dos conteúdos explicados na aula.	3,87	1,160	-0,911	0,727

• ^*
  M = Média;
• ^†
  DP = Desvio padrão

Uma vez que previamente não havia sido realizada qualquer publicação sobre a análise fatorial do questionário MIR-MPEA, seria conveniente realizar uma Análise Fatorial Exploratória (AFE) antes de realizar uma Análise Fatorial Confirmatória (AFC), com o objetivo de saber como os itens se agrupam em fatores. Para assegurar que os dados se encaixam em um modelo de análise de fatores, os dados foram submetidos ao teste de Kaiser, Meyer e Olkin (KMO= 0,941) e ao teste de esfericidade de Bartlett (c²= 2446.206; gl= 300; p<0,001), de forma a encontrar valores que permitam a utilização da análise fatorial como técnica adequada para interpretar a informação contida nesta matriz. A AFE mostra a existência de 3 fatores que explicam os 61,61% da variância total, sendo esta proporção aceitável. Além disso, as comunalidades das variáveis estão acima de h²=0,40 oscilando desde 0,421 “O uso contínuo dos MIR melhoram minha participação nas aulas” a 0,791 “O uso dos MIR permite conhecer e comparar as minhas respostas com as respostas dos meus pares”.

A Tabela 2 mostra os fatores, itens, pesos dos fatores e a confiabilidade de cada dimensão, assim como a interpretação de tais fatores. Para determinar as dimensões, foi adotado o critério de cargas fatoriais, sendo este valor de 0,30⁽⁴⁹⁾.

Tabela 2
Fatores, itens, pesos obtidos na Análise Fatorial Exploratória do MIR-MPEA. Granada, Espanha, 2017

Alfa, Peso fatorial	Itens, fatores e variância explicada	1		2	3	h2*	α†
FATOR 1: Ambiente
F1 51.07%	15. O uso dos MIR torna as aulas divertidas e dinâmicas.	0,759				0,625	0,926
	30. O uso dos MIR permite um debate ativo de conceitos equivocados para construir conhecimento.	0,748		0,303		0,736
	48. O uso dos MIR melhora a minha participação nas aulas a partir do anonimato.	0,731				0,650
	42.O uso dos MIR permite ter uma maior confiança ao fazer perguntas durante as aulas.	0,685		0,403		0,673
	53. As respostas dadas através dos MIR aumentam a minha confiança nas aulas ao perceber que respondo corretamente.	0,640				0,537
	5. Durante a minha vivência com os MIR, tenho uma boa experiência de aprendizagem.	0,602		0,347		0,484
	22. Me interesso mais pelas aulas no caso do uso dos MIR.	0,577		0,497		0,641
	47. O uso dos MIR torna o ambiente de aula mais agradável e interativo em comparação com as aulas tradicionais.	0,562		0,491		0,644
	24. Eu gosto da utilização dos MIR como controle de participação.	0,538			0,480	0,590
	1.Com a utilização dos MIR estou mais concentrado nas aulas.	0,483		0,560		0,564
FATOR 2: Processo de Ensino-Aprendizagem
F2 5.47%	18. O uso dos MIR permite que eu aumente o meu desempenho de aprendizagem.	0,404		0,726		0,740	0,869
	9. Os MIR são utilizados para descobrir os conhecimentos iniciais dos estudantes.			0,725		0,550
	2. Com a utilização dos MIR meço se sigo corretamente o conteúdo da disciplina durante as aulas.			0,702		0,599
	59. Os MIR fornecem informação valiosa para melhorar o processo de aprendizagem.			0,628		0,512
	10. O uso dos MIR é colocado em prática por professores experientes para fornecer um bom feedback.	0,324		0,576		0,483
	46. A utilização dos MIR é feita no final das aulas para rever os conteúdos dados a cada dia.			0,402		0,687
	19. O uso contínuo dos MIR melhora minha participação nas aulas.			0,516		0,422
FATOR 3: Avaliação
F3 5.07%	20. O uso dos MIR permite conhecer e comparar as minhas respostas com as respostas dos meus pares.				0,864	0,755	0,871
	36. O uso dos MIR promove o estudo regular do assunto para melhor preparação para as aulas	0,403			0,678	0,686
	21. O uso dos MIR permite corrigir um erro ou falta de compreensão sobre o conteúdo da disciplina durante as aulas.			0,361	0,641	0,576
	35. O uso dos MIR avalia a abrangência da minha compreensão sobre os conteúdos de cada um dos temas abordados durante a aula.	0,604			0,523	0,715
	29. O uso dos MIR melhora a motivação durante as aulas.	0,391			0,491	0,680
	65. O uso dos MIR melhora a compreensão dos conteúdos explicados na aula.			0,332	0,486	0,602

• ^*
  h2 = Comunalidade;
• ^†
  α = Alfa de Cronbach

Posteriormente, foi realizada a Análise Fatorial Confirmatória e testado o modelo com 3 fatores. O método de estimativa de máxima verossimilhança foi aplicado para analisar a matriz de correlação. A qualidade da adequação do modelo proposto foi avaliada através de vários indicadores e foi utilizado o χ²/gl (484.13/249), igual a 1,944, sendo que este índice está dentro dos padrões estabelecidos. A raiz quadrada média residual (RMR) é 0,077 e o Erro Médio Quadrático de Aproximação (RMSEA) é 0,080. Ambos os índices são considerados aceitáveis, uma vez que estão entre 0,5 e ,08⁽⁴⁹⁾. Outros indicadores foram o Goodness of Fit Index (GFI) e o Comparative Fit Index (CFI) (com valores de 0,78 e 0,97, respectivamente), estando dentro dos limites de tolerância. Estes resultados confirmam que o modelo dos 3 fatores se ajusta aos dados, sendo assim acreditamos que ele pode ser mantido como uma explicação plausível para a estrutura dimensional proposta.

Figura 1
Análise Fatorial Confirmatória do questionário “Mandos Interactivos de Respuestas para la Mejora del Proceso de Enseñanza-Aprendizaje (MIR-MPEA)”

Quanto à confiabilidade do instrumento, o alfa de Cronbach se aplica, tanto no total com um α= 0,955 como nas dimensões que o compõem, obtendo valores que vão desde α=0,922 para o fator 1, “Ambiente”, até α= 0,869 no fator 2 “Processo de ensino-aprendizagem”. Estes dados mostram que a confiabilidade do questionário é boa em todos os fatores, sendo inferior no Fator 3, “Avaliação”. Embora esta estatística tenha sido amplamente utilizada na investigação social, ela deve ser complementada com outros tipos de análise, tais como o Índice de Confiabilidade Composta (CC) e a Variância Média Extraída (VME). Os resultados obtidos estão expostos na Tabela 3, sendo ambos muito adequados em todos os casos.

Tabela 3
Confiabilidade Composta e Variância Média Extraída dos fatores do questionário MIR-MPEA. Granada, Espanha, 2017Fatores CC

Fatores	CC*	VME†
F1: Ambiente de Aprendizagem	0,955	0,544
F2: Processo de ensino-aprendizagem	0,930	0,508
F3: Avaliação da aprendizagem	0,863	0,540

• ^*
  CC= Confiabilidade Composta;
• ^†
  VME = Variância Média Extraída

Discussão

O objetivo deste estudo é a construção de um questionário válido e confiável para medir a utilização dos MIR na aprendizagem centrada no estudante universitário. Os resultados mostram que este trabalho constitui uma contribuição empírica para a validação deste modelo de intervenção no uso dos MIR, permitindo aos professores universitários em geral, e aos professores de Ciências da Saúde em particular, transformar o processo ensino-aprendizagem para encorajar e envolver os estudantes a partir de uma abordagem mais ativa para professores do século XXI, podendo medir a percepção dos estudantes sobre o uso dos MIR, avançando a passos largos. Sendo um recurso tecnológico-pedagógico, tornou-se uma forma de jogo para os estudantes, adaptando-se ao contexto extra-jogo, incorporando tal abordagem como uma metodologia emergente chamada Gamification que proporciona a oportunidade de transformar drasticamente as aulas tradicionais rumo à melhoria do ambiente da sala de aula, do processo de aprendizagem e do desempenho acadêmico de uma forma lúdica e divertida.

O questionário MIR-MPEA é composto por 24 itens que estão agrupados em 3 fatores: Ambiente, Processo Ensino-Aprendizagem e Avaliação. A qualidade dos itens foi medida pela correlação item-total e os dados indicam taxas elevadas, variando entre 0,488 e 0,787, o que demonstra uma alta consistência interna que apoia a ideia de que os itens estão correlacionados e a escala é precisa. Além disso, na análise descritiva dos ítems que compõem o questionário, os dados mostram que existe uma assimetria negativa, o que revela que os estudantes universitários tendem a responder “de acordo” ou “muito de acordo”.

No que diz respeito à confiabilidade da escala, os dados mostram um alfa de Cronbach de 0,965, o que indica uma elevada confiabilidade. Estes dados estão de acordo com os índices de confiabilidade composta dos fatores que compõem a MIR-MPEA, os quais atingiram níveis ótimos nos 3 fatores (Ambiente, Processo Ensino-Aprendizagem e Avaliação), que oscilam entre 0,955, 0,930 e 0,863, respectivamente, sendo o valor mínimo recomendado de 0,70.

Além disso, foi realizada a validade de constructo tanto pela Análise Fatorial Exploratória (AFE) como pela Análise Fatorial Confirmatória (AFC). O primeiro passo foi a AFE, uma vez que não havia instrumentos similares validados para medir a percepção dos estudantes universitários em relação à aprendizagem e somente conhecíamos as dimensões que compõem a estrutura em estudo, fruto da bibliografia consultada. Para tal, primeiro os dados foram submetidos ao teste de Kaiser, Meyer e Olkin, obtendo-se um valor significativo (KMO= 0,941) e o teste de esfericidade de Barlett (c²= 2446.206; gl= 300; p < 0.001). Estes valores permitem a utilização da análise fatorial como técnica adequada para interpretar a informação contida nesta matriz. Esta análise culminou em três fatores claramente definidos que explicam os 61,61% da variância total. Subsequentemente, a AFC foi aplicada para confirmar o modelo de três fatores. Os índices de qualidade utilizados foram χ²/gl, sendo equivalente a 1,944, tal índice está dentro dos padrões estabelecidos, a RMR é 0,077 e o RMSEA é 0,080. Os índices são considerados aceitáveis uma vez que estão entre 0,5 e 0,08⁽⁴⁹⁾. Além disso, o GFI que representa o ajuste conjunto é de 0,78 e o CFI correspondente a 0,97, estando dentro dos limites de tolerância. Estes resultados confirmam que o modelo de 3 fatores se ajusta aos dados, considerando que ele pode ser mantido como uma explicação plausível para a estrutura dimensional proposta.

Por todas as razões expostas anteriormente, estes resultados nos permitem ter confiança na confiabilidade e na validade deste instrumento. Assim, com a construção e a validação deste questionário, é possível medir a percepção do estudante quanto à utilização dos MIR no processo de aprendizagem.

Em relação à primeira dimensão, fator “Ambiente de aprendizagem”, a confiabilidade alfa medida pelo alfa de Cronbach é de 0,926, apresentando uma elevada consistência interna e a AFE explica os 51,7% da variância total, resultando no fator com o peso mais elevado neste questionário. Entre os itens que compõem esta dimensão estão: item 15: o uso dos MIR torna as aulas divertidas e dinâmicas, item 48: o uso dos MIR melhora a minha participação nas aulas a partir do anonimato, item 47: o uso dos MIR torna o ambiente de aula mais agradável e interativo em comparação com as aulas tradicionais, entre outros. Este fator é decisivo, uma vez que há um aumento da frequência dos estudantes universitários nas aulas quando existe um ambiente de aula adequado⁽²²⁾ e há o incremento de suas participações(13,17,44). Além disso, a interação entre professores e alunos melhora⁽¹³⁾, influenciando positivamente na atenção^(33-34) e concentração⁽³⁵⁾, conforme dados abordados pelos estudos analisados.

A segunda dimensão, que corresponde ao fator “processo de ensino-aprendizagem”, mostra um índice de consistência interna de 0,869 e explica os 5,4% da variância total, baixando significativamente o peso do fator. Esta dimensão refere-se àqueles elementos básicos de acesso ao conhecimento, tais como os debates, a interação entre professores e alunos, incidindo positivamente no seu processo de aprendizagem, uma vez que ajuda na revisão e na compreensão dos conteúdos. Entre os itens que o compõem estão os itens 47: o uso dos MIR torna o ambiente de aula mais agradável e interativo em comparação com as aulas tradicionais, item 59: os MIR fornecem informação valiosa para melhorar o processo de aprendizagem, item 46: a utilização dos MIR é feita no final das aulas para rever os conteúdos dados a cada dia. Estes elementos estão alinhados a estudos que consideram que esta metodologia de trabalho melhora o desempenho(31-32,38-41) com a mudança de paradigma que estabelece a aprendizagem ativa dos estudantes por meio da conexão entre o saber e o saber fazer⁽⁴⁵⁾, fruto da interação frequente e positiva que pode dinamizar as aulas quando os MIR são utilizados^(13,28). Tudo isto permite raciocinar sobre o material, adquirindo um conhecimento mais profundo, ajudando a rever e a compreender os conteúdos e melhorando a retenção dos mesmos a longo prazo^(36-37), desembocando na subsequente melhoria do processo de aprendizagem.

Em relação à terceira dimensão, “Avaliação da aprendizagem”, esta apresenta um alfa de Cronbach de 0,871, e a AFE explica os 5,07% da variância total, sendo um percentual semelhante ao fator anterior. Esta dimensão está relacionada com o feedback e a avaliação formativa, que ajudam a corrigir erros ou a falta de compreensão do conteúdo do assunto trabalhado, conforme indicado pela investigações consultadas^(4,20,40). Compreende o item 20: o uso dos MIR permite conhecer e comparar as minhas respostas com as respostas dos meus pares; item 36: o uso dos MIR promove o estudo regular do assunto para melhor preparação para as aulas; item 35: o uso dos MIR avalia a abrangência da minha compreensão sobre os conteúdos de cada um dos temas abordados durante a aula, entre outros. Este feedback imediato tem um impacto positivo tanto para os estudantes no seu processo de aprendizagem quanto para o professor no seu processo de ensino, o que permite a avaliação formativa dos estudantes.

Desta forma, o mundo global em que vivemos, sem fronteiras acadêmicas, os espaços europeus e ibero-americanos do Ensino Superior cumprem a premissa de que a qualidade do sistema universitário deve se inserir em um processo contínuo de transformação considerando a mudança de paradigma no sentido de uma aprendizagem ativa dos estudantes e da aprendizagem ao longo da vida. Além disso, é necessário estabelecer processos de avaliação e acreditação do trabalho realizado nas universidades, com a consequente transferência de conhecimentos das pesquisas realizadas para os diferentes ramos do conhecimento, estabelecendo uma compreensão interdisciplinar que realce a realidade e que questione o pensamento tradicional dos diversos ramos do conhecimento como compartimentos isolados e separados das fronteiras disciplinares.

Entre as limitações do presente estudo, enumeramos as seguintes: em primeiro lugar, é necessário incrementar o número de participantes, uma vez que a amostra não é excessivamente grande, mas permite um ponto de partida para transportá-lo a outros ramos do conhecimento. A razão para isto é que há poucos professores no Campus de Melilla, da Universidade de Granada, que utilizam recursos tecnológico-pedagógicos como os MIR nas suas aulas, adaptando-os a processos de metodologia ativa de gamificação. Sendo assim, é necessário incentivar e investigar tais recursos. Desta forma, é essencial sensibilizar e formar professores universitários no modelo TPACK (Technological Pedagogical Content Knowledge) como um quadro conceitual que possa orientar os docentes para a integração da tecnologia aos processos de aprendizagem dos estudantes, o que promoverá metodologias emergentes, tais como a gamificação. Em segundo lugar, continuar a melhorar o instrumento para que possa ser utilizado pelos professores, em qualquer campo do conhecimento e em qualquer circunstância que venha a surgir, como tem sido feito durante o confinamento da COVID-19, sendo possível trabalhar com os alunos, no futuro, de acordo com as abordagens governamentais e universitárias, em ambientes presenciais, B-Learning e E-Learning. Por conseguinte, o instrumento terá de ser aprimorado, incluindo novos itens que valorizem este novo modelo de educação virtual. Além disso, devemos aprofundar a influência deste instrumento de acordo com as diferentes disciplinas das Ciências da Saúde, um fato que pretendemos levar adiante no futuro. A aplicação dos avanços tecnológicos no campo universitário melhora o processo de aprendizagem ativa dos estudantes, sendo necessário o conhecimento de suas opiniões para chegar a avanços e melhoria da docência. Em terceiro lugar, é necessário realizar mais investigações quase experimentais no âmbito do ensino universitário, nos seus vários ramos do conhecimento, com a finalidade de analisar a influência da metodologia ativa gamificada a partir destes recursos tecnológico-pedagógicos e da metodologia tradicional, levando em consideração seu alcance ou relação com o desempenho acadêmico.

Conclusão

A contribuição deste estudo para o conhecimento é a concepção e o desenvolvimento de um instrumento, bem como a sua transferência, de forma que permita medir e avaliar a percepção dos estudantes na utilização dos MIR quanto ao desenvolvimento do ensino universitário para o domínio do tema de qualquer ramo do conhecimento, quer se trate de Ciências da Saúde, Ciências Sociais e Jurídicas, Artes e Humanidades e Engenharia e Arquitetura, mediante os recurso tecnológico-pedagógico, compreendendo três fatores fundamentais: ambiente, processo de ensino-aprendizagem e avaliação. Este instrumento pode ser aplicado nas aulas, durante o tempo que dure a formação, o que ajudará a melhorar os processos de ensino-aprendizagem. Neste sentido, os professores de Ciências da Saúde devem estabelecer e explorar novas formas inovadoras de envolver os estudantes e estimular a aprendizagem ativa. É importante incorporar metodologias ativas mediante a utilização de dispositivos móveis interativos em disciplinas como enfermagem, medicina, farmácia, educação paramédica, psicologia, odontologia, fisioterapia, terapia da fala, biotecnologia, epidemiologia, genética, bioquímica, terapia ocupacional, nutrição humana e dietética, entre outras. Este instrumento proporciona uma abordagem pedagógica positiva no processo de ensino-aprendizagem para docentes e estudantes das Ciências da Saúde, levando a um melhor desempenho e visando adquirir conhecimento profundo das disciplinas.

References

• ¹
  Sotillo JA, Rodrígue I, Echart E, Ojeda T. El Espacio Iberoamericano de Educación Superior. Diagnóstico y propuestas institucionales. Madrid: Fundación Carolina, CeALCI; 2009.
• ²
  Mingorance AC, Granda J, Rojas G, Alemany I. Flipped Classroom to Improve University Student Centered Learning and Academic Performance. Soc Sci. 2019;8(11):315-28. doi: https://doi.org/10.3390/socsci8110315
  » https://doi.org/10.3390/socsci8110315
• ³
  Harris J, Mishra P, Koehler M. Teachers' technological pedagogical content knowledge and learning activity types: curriculum-based technology integration refrained. J Res Technol Educ. [Internet]. 2009 [cited Oct 21, 2018];41(4):393-416. Available from: https://files.eric.ed.gov/fulltext/EJ844273.pdf
  » https://files.eric.ed.gov/fulltext/EJ844273.pdf
• ⁴
  Cheung G, Wan K, Chan K. Efficient Use of Clickers: A Mixed-Method Inquiry with University Teachers. Educ. Sci. 2018;8(31):1-15. doi: https://doi.org/10.3390/educsci8010031
  » https://doi.org/10.3390/educsci8010031
• ⁵
  Schubert V, Medina J, Lenise M. Proceso de construcción del conocimiento pedagógico del docente universitario de enfermería1. Rev. Latino-Am. Enfermagem. [Internet]. 2011 [cited Oct 22, 2018];19(2). Available from: http://www.scielo.br/pdf/rlae/v19n2/es_26.pdf
  » http://www.scielo.br/pdf/rlae/v19n2/es_26.pdf
• ⁶
  Cheung G, Wan K, Chan K. Efficient Use of Clickers: A Mixed-Method Inquiry with University Teachers. Educ. Sci. 2018;8(31):1-15. doi: https://doi.org/10.3390/educsci8010031
  » https://doi.org/10.3390/educsci8010031
• ⁷
  Johnson L, Adams S, Estrada V, Freeman A. NMC Horizon Report: 2016 Higher Education Edition. [Internet]. Austin: The New Media Consortium; 2016 [cited Sep 15, 2018]. Available from: http://www.aprendevirtual.org/centro-documentacion-pdf/2016-nmc-horizon-report-HE-ES.pdf
  » http://www.aprendevirtual.org/centro-documentacion-pdf/2016-nmc-horizon-report-HE-ES.pdf
• ⁸
  Kapsalis G, Ferrari A, Punie Y, Conrads J, Collado A, Hotulainen R, et al. Evidence of Innovative Assessment: Literature Review and Case Studies, EUR 29882. Luxembourg: European Commission; 2019. doi: https://doi.org/10.2760/552774
  » https://doi.org/10.2760/552774
• ⁹
  Marcelo C, Yot C, Mayor C. Enseñar con tecnologías digitales en la Universidad. Comunicar. 2015;45:117-24. doi: https://doi.org/10.3916/C45-2015-12
  » https://doi.org/10.3916/C45-2015-12
• ¹⁰
  Hinojo FJ, Mingorance AC, Trujillo JM, Aznar I, Cáceres MP. Incidence of the Flipped Classroom in the Physical Education Students' Academic Performance in University Contexts. Sustainability. 2018;10(5):1334-46. doi: https://doi.org/10.3390/su10051334
  » https://doi.org/10.3390/su10051334
• ¹¹
  Njie-Carr VP, Ludeman E, Lee MC, Dordunoo D, Trocky NM, Jenkins LS. An Integrative Review of Flipped Classroom Teaching Models in Nursing Education. J Prof Nurs. 2017;33(2):133-44. doi: 10.1016/j.profnurs.2016.07.001
  » https://doi.org/10.1016/j.profnurs.2016.07.001
• ¹²
  Wilson J, Walker S. Turning a crisis into an interactive drama: the introduction of a 'clickers theatre' in nurse education. Nurse Educ Today. 2017;51:109-11. doi: 10.1016/j.nedt.2016.11.023
  » https://doi.org/10.1016/j.nedt.2016.11.023
• ¹³
  Carrino SS. Digital connection in a physical classroom: Clickers and the student-teacher relationship [thesis]. Greensboro: University of North Carolina; 2015 [cited Dec 12, 2019]. Available from: https://libres.uncg.edu/ir/uncg/f/Carrino_uncg_0154D_11791.pdf
  » https://libres.uncg.edu/ir/uncg/f/Carrino_uncg_0154D_11791.pdf
• ¹⁴
  Zainuddin Z, Halili SH. Flipped classroom research and trends from different fields of study. Int Rev Res Open Distance Learn. [Internet]. 2016 [cited Jul 18, 2018];17(3):313-40. Available from: https://files.eric.ed.gov/fulltext/EJ1102721.pdf
  » https://files.eric.ed.gov/fulltext/EJ1102721.pdf
• ¹⁵
  Ali RA, Alnatour A, Alnuaimi K, Alzoubi F, Almomani M, Othman A. Effects of interactive teaching on university students' knowledge and attitude toward reproductive health: a pilot study in Jordan. J Multidiscip Healthc. 2018;11:211-21. doi: https://doi.org/10.2147/JMDH.S160135
  » https://doi.org/10.2147/JMDH.S160135
• ¹⁶
  Barcelo JM. Medical laboratory science and nursing students' perception of the academic learning environment at a Philippine university using the Dundee Ready Education Environment Measure. J Educ Eval Health Prof. 2016;13(33):1-7. doi: https://doi.org/10.3352/jeehp.2016.13.33
  » https://doi.org/10.3352/jeehp.2016.13.33
• ¹⁷
  Brady M, Seli H, Rosenthal J. "Clickers" and metacognition: a quasi-experimental comparative study about metacognitive self-regulation and use of electronic feedback devices. Comput Educ. 2013;65:56-63. doi: https://doi.org/10.1016/j.compedu.2013.02.001
  » https://doi.org/10.1016/j.compedu.2013.02.001
• ¹⁸
  Castro MJ, López M, Cao MJ, Fernández-Castro M, García S, Frutos M, et al. Impact of educational games on academic outcomes of students in the Degree in Nursing. PLoS One. 2019;14(7):e0220388. doi: https://doi.org/10.1371/journal.pone.0220388
  » https://doi.org/10.1371/journal.pone.0220388
• ¹⁹
  Nishimura A. Effects of different methods of reflection on nurses' gaze and judgement in a task using a touch panel. J Clin Nurs. 2018;27:569-77. doi: https://doi.org/10.1111/jocn.14096
  » https://doi.org/10.1111/jocn.14096
• ²⁰
  Toothaker R. Millennial's perspective of clicker technology in a nursing classroom: A mixed methods research study. Nurse Educ Today. 2018;62:80-4. doi: https://doi.org/10.1016/j.nedt.2017.12.027
  » https://doi.org/10.1016/j.nedt.2017.12.027
• ²¹
  Chen TL, Lan YL. Using a personal response system as an in-class assessment tool in the teaching of basic college chemistry. Australas J Educ Technol. 2013;29(1):32-40. doi: https://doi.org/10.14742/ajet.95
  » https://doi.org/10.14742/ajet.95
• ²²
  Aktekin NÇ, Çelebi H, Aktekin M. Let's kahoot! Anatomy. Int. J. Morphol. 2018;36(2):716-21. doi: http://dx.doi.org/10.4067/S0717-95022018000200716
  » http://dx.doi.org/10.4067/S0717-95022018000200716
• ²³
  Barr ML. Encouraging college student active engagement in learning: The influence of response methods. Innov High Educ. 2013;39(4):307-19. doi: https://doi.org/10.1111/jcal.12205
  » https://doi.org/10.1111/jcal.12205
• ²⁴
  Iskander M. Systematic review of the implementation of audience response systems and their impact on participation and engagement in the education of healthcare professionals. BMJ Simulation & Technology Enhanced Learning. 2018;4(2):47-50. doi: http://dx.doi.org/10.1136/bmjstel-2017-000245
  » http://dx.doi.org/10.1136/bmjstel-2017-000245
• ²⁵
  Licorish SA, Owen HE, Daniel, B, George, JL. Students' perception of Kahoot!'s in uence on teaching and learning. RPTEL. 2018;13(9):1-23. doi: https://doi.org/10.1186/s41039-018-0078-8
  » https://doi.org/10.1186/s41039-018-0078-8
• ²⁶
  Oliveira C, Tirapelli C, Rodrigues CT, Domaneschi C, Caldeira SA. Interactive audience response systems in oral and maxillofacial radiology undergraduate lectures. Eur J Dent Educ. [Internet]. 2017;22:63-9. doi: https://doi.org/10.1111/eje.12258
  » https://doi.org/10.1111/eje.12258
• ²⁷
  Mohan R. Enhancing student engagement and immediate feedback with clickers and response cards. Int J Innov Learn. 2018;24(1):81-97. doi: https://doi.org/10.1504/IJIL.2018.092924
  » https://doi.org/10.1504/IJIL.2018.092924
• ²⁸
  Banks D. Reflections on the use of ARS with small groups. In: ______. Audience Response Systems in Higher Education: Applications and Cases. Pennsylvania: IGI Global; 2006. p. 373-86.
• ²⁹
  Wood A. Nurse Perceptions of Interactivity during Their Onboarding Orientation: Effect of an Audience Response System [thesis]. Boiling Springs: Hunt School of Nursing; 2017 [cited Dec 12, 2019]. Available from: https://digitalcommons.gardner-webb.edu/cgi/viewcontent.cgi?article=1268&context=nursing_etd
  » https://digitalcommons.gardner-webb.edu/cgi/viewcontent.cgi?article=1268&context=nursing_etd
• ³⁰
  Ismaile S, Alhosban F, Hawamdeh S. Making learning fun to increase nursing students' success: Formative feedback in communication learning. Australas Med J. 2017;10(12):1014-21. doi: https://doi.org/10.21767/AMJ.2017.3228
  » https://doi.org/10.21767/AMJ.2017.3228
• ³¹
  Castro MJ, López M, Cao MJ, Fernández-Castro M, García S, Frutos M, et al. Impact of educational games on academic outcomes of students in the Degree in Nursing. PLoS One 2019;14(7):e0220388. doi: https://doi.org/10.1371/journal.pone.0220388
  » https://doi.org/10.1371/journal.pone.0220388
• ³²
  Corell A, Regueras LM, Verdú E, Verdú MJ, Castro JP. Effects of competitive learning tools on medical students: A case study. PLoS One. 2018;13(3):e0194096. doi: https://doi.org/10.1371/journal.pone.0194158
  » https://doi.org/10.1371/journal.pone.0194158
• ³³
  Oswald KM, Rhoten SE. Improving classroom clicker practices: Effects of incentives and feedback on retention. N Am J Psychol. [Internet]. 2014 [cited Dec 6, 2017];16(1):79-88. Available from: https://www.researchgate.net/publication/285958781_Improving_classroom_clicker_practices_Effects_of_incentives_and_feedback_on_retention
  » https://www.researchgate.net/publication/285958781_Improving_classroom_clicker_practices_Effects_of_incentives_and_feedback_on_retention
• ³⁴
  Marshall LL, Varnon AW. An Empirical Investigation of Clicker Technology in Financial Accounting Principles. J Learn High Educ. [Internet]. 2012 [cited Jun 3, 2018];8(1):7-18. Available from: https://files.eric.ed.gov/fulltext/EJ1144930.pdf
  » https://files.eric.ed.gov/fulltext/EJ1144930.pdf
• ³⁵
  Bojinova ED, Oigara JN. Teaching and learning with Clickers: Are Clickers good for students? Interdiscip J E-Learning Learn Objects. 2011;7:169-83. doi: https://doi.org/10.28945/1506
  » https://doi.org/10.28945/1506
• ³⁶
  Benson JD, Szucs KA, DeIuliis E, Leri A. Impact of Student Response Systems on Initial Learning and Retention of Course Content in Health Sciences Students. J Allied Health. [Internet]. 2017 [cited Feb 12, 2018];46(3):158-63. Available from: https://www.ingentaconnect.com/content/asahp/jah/2017/00000046/00000003/art00008
  » https://www.ingentaconnect.com/content/asahp/jah/2017/00000046/00000003/art00008
• ³⁷
  Njie-Carr VP, Ludeman E, Lee MC, Dordunoo D, Trocky NM, Jenkins LS. An Integrative Review of Flipped Classroom Teaching Models in Nursing Education. J Prof Nurs. 2017;33(2):133-44. doi: 10.1016/j.profnurs.2016.07.001
  » https://doi.org/10.1016/j.profnurs.2016.07.001
• ³⁸
  Rana NP, Dwivedi YK. Can clicking promote learning? measuring student learning performance using clickers in the undergraduate information systems class. J Int Educ Bus. 2017;10(2):201-15. doi: http://doi.org/10.1108/JIEB-06-2016-0010
  » http://doi.org/10.1108/JIEB-06-2016-0010
• ³⁹
  Iwamoto D, Hargis J, Taitano E, Vuong K. Analyzing the efficacy of the testing effect using kahoottm on student performance. Turkish Online J Distance Educ. [Internet]. 2017;18(2):93-80. doi: https://doi.org/10.17718/tojde.306561
  » https://doi.org/10.17718/tojde.306561
• ⁴⁰
  George C, Gallegos C, Tesar AJ, Connor K, Martz K. The use of a game-based learning platform to engage nursing students: A descriptive, qualitative study. Nurse Educ Pract. 2017;27:101-6. doi: https://doi.org/10.1016/j.nepr.2017.08.019
  » https://doi.org/10.1016/j.nepr.2017.08.019
• ⁴¹
  Kalaian SA, Kasim RM. Effectiveness of various innovative learning methods in health science class-rooms: a meta-analysis. Adv Health Sci Educ Theory Pract. [Internet]. 2017;22(5):1151-67. doi: https://doi.org/10.1007/s10459-017-9753-6
  » https://doi.org/10.1007/s10459-017-9753-6
• ⁴²
  Maloney LM, Dilger JP, Werfel PA, Cimino LM. Are Audience Response Systems Worth the Cost ? Comparing Question-Driven Teaching Strategies for Emergency Medical Technician Education. Internet J Allied Health Sci Pract. [Internet]. 2017 [cited May 7, 2018];16(1):1-8. Available from: https://nsuworks.nova.edu/cgi/viewcontent.cgi?article=1704&context=ijahsp
  » https://nsuworks.nova.edu/cgi/viewcontent.cgi?article=1704&context=ijahsp
• ⁴³
  Ismail MA, Mohammad JA. Kahoot: A promising tool for formative assessment in medical education. Educ Med J. 2017;9(2):19-26 doi: https://doi.org/10.21315/eimj2017.9.2.2
  » https://doi.org/10.21315/eimj2017.9.2.2
• ⁴⁴
  Nikou SA, Economides AA. Mobile-based assessment: A literature review of publications in major referred journals from 2009 to 2018. Comput Educ. 2018;125:101-19. doi: https://doi.org/10.1016/j.compedu.2018.06.006
  » https://doi.org/10.1016/j.compedu.2018.06.006
• ⁴⁵
  Montejano-Lozoya R, Gea-Caballero V, Miguel-Montoya I, Juárez-Vela R, Sanjuán-Quiles A, Ferrer-Ferrandiz E. Validation of a questionnaire designed to measure nursing student satisfaction with practical training. Rev. Latino-Am. Enfermagem. 2019;27:e3206. doi: https://doi.org/10.1590/1518-8345.3102.3206
  » https://doi.org/10.1590/1518-8345.3102.3206
• ⁴⁶
  Miles NG, Soares TP. Acceptance of clickers in a large multimodal biochemistry class as determined by student evaluations of teaching: Are they just an annoying distraction for distance students? Biochem Mol Biol Educ. 2016; Oct;44(1):99-108. doi: https://doi.org/10.1002/bmb.20917
  » https://doi.org/10.1002/bmb.20917
• ⁴⁷
  Yeh CR, Tao YH. How benefits and challenges of personal response system impact students' continuance intention? A Taiwanese context. Educ Technol Soc. [Internet]. 2013 [cited Jan 10, 2018];16(2):257-70. Available from: https://pdfs.semanticscholar.org/283d/f5d6cddabfc9abb8d2806efbf809975818cb.pdf
  » https://pdfs.semanticscholar.org/283d/f5d6cddabfc9abb8d2806efbf809975818cb.pdf
• ⁴⁸
  Lin YC, Liu TC, Chu CC. Implementing clickers to assist learning in science lectures: The clicker-assisted conceptual change model. Australas J Educ Technol. 2011;27(6):979-96. doi: https://doi.org/10.14742/ajet.924
  » https://doi.org/10.14742/ajet.924
• ⁴⁹
  Kline R. Principles and Practice of Structural Equation Modeling. New York: The Guilford Press; 2011.

Datas de Publicação

• Publicação nesta coleção
  28 Jun 2021
• Data do Fascículo
  2021

Histórico

• Recebido
  12 Dez 2019
• Aceito
  13 Ago 2020