The measurement of student online engagement of higher education: a scoping review in the international literature

Ortega, Fernanda da Cunha; Irala, Valesca Brasil

doi:10.35699/1983-3652.2022.35747

home Sumário navigate_before Anterior Atual Seguinte navigate_next

home Sumário

Artigos • Texto livre 15 • 2022 • https://doi.org/10.35699/1983-3652.2022.35747 linkcopy

The measurement of student online engagement of higher education: a scoping review in the international literature

Authorship SCIMAGO INSTITUTIONS RANKINGS

Abstract

This article is a scope review whose main goal is to identify the instruments for collecting and analyzing the measurement of online engagement used in international research, aiming at the choice for scalable use and adaptation to Brazilian Higher Education. Dimensions database was searched from 2017 to 2021. There was a total of 162 obtained documents, which after the screening resulted in a sample of 10 articles. The context for using these instruments is higher education and the four most recent ones were developed during the Covid-19 pandemic period. Most articles have a quantitative approach. All use some type of self-report questionnaire to collect data, which mostly consist of questions and a 5-point Likert scale. The most repeated analysis technique in the articles is structural equation modeling. Of the ten selected questionnaires, we conclude that the one by Sun and Rueda (2012) is the one that best provides the criteria for analyzing student online engagement in the context of higher education, by bringing in its elements a configuration that can be scalable to different institutional contexts and a wide range of disciplines.

Keywords:
Online engagement; Student engagement; Higher education; Self-report

Base de dados	String de busca
Dimensions	Criteria: Text - ’”online engagement” AND ”student engagement” AND ”higher education” and ”instrument” OR ”scale” OR ”self-report” ’ in full data; Publication Year is 2021 or 2020 or 2019 or 2018 or 2017; Publication Type is Article; Open Access is All OA.

ID	Referência do artigo
1	HEIDARI, Elham et al. The role of digital informal learning in the relationship between students’ digital competence and academic engagement during the COVID‐19 pandemic. Journal of Computer Assisted Learning, [s. l.], p. 1-13, 2021.
2	SHAH, Sobia Shafaq et al. Aprendizaje en línea durante la pandemia de COVID-19: aplicación de la teoría de la autodeterminación en la “nueva normalidad”. Revista de Psicodidáctica, v. 26, n. 1, p.1-10, 2021.
3	WALKER, Kristen; KORALESKY, Katherine. Student and instructor perceptions of engagement after the rapid online transition of teaching due to COVID-19. Natural Sciences Education, v. 50, n. 1, p. 1-10, 2021.
4	LUAN, Lin et al. Exploring the role of online EFL learners’ perceived social support in their learning engagement: a structural equation model. Interactive Learning Environments, [s. l.], p. 1-12, 2020.
5	RAJABALEE, Yousra Banoor; SANTALLY, Mohammad Issack. Learner satisfaction, engagement and performances in an online module: Implications for institutional e-learning policy. Education and Information Technologies, [s. l.], v. 26, n. 3, p. 2623- 2656, 2021.
6	ERGÜN, Esin; KURNAZ ADIBATMAZ, Fatma Betül. Exploring the Predictive Role of E-Learning Readiness and E-Learning Style on Student Engagement. Open Praxis, [s. l.], v. 12, n. 2, p. 175, 2020.
7	PICKERING, James D.; SWINNERTON, Bronwen J. Exploring the Dimensions of Medical Student Engagement with Technology-Enhanced Learning Resources and Assessing the Impact on Assessment Outcomes. Anatomical Sciences Education, [s. l.], v. 12, n. 2, p. 117-128, 2019.
8	PYE, Graeme; HOLT, Dale; SALZMAN, Scott. Investigating different patterns of student engagement with blended learning environments in Australian business education: Implications for design and practice. Australasian Journal of Information Systems, [s. l.], v. 22, 2018.
9	DIXSON, Marcia D. Measuring Student Engagement in the Online Course: The Online Student Engagement Scale (OSE). Online Learning, [s. l.], v. 19, n. 4, 2015.
10	SUN, Jerry Chih-Yuan; RUEDA, Robert. Situational interest, computer self-eﬀicacy and self-regulation: Their impact on student engagement in distance education: Student engagement in distance education. British Journal of Educational Technology, [s. l.], v. 43, n. 2, p. 191-204, 2012.

ID	Autoria	Instituição dos autores	País de origem da pesquisa	Idioma	Periódico de publicação	Área do conhecimento
1	Heidari et al. (2021)	Shiraz University e Open University of the Netherlands	Irã	Inglês	Journal of Computer Assisted Learning	Colégio de Ciências Exatas, Tecnológicas e Multidisciplinar
2	Shah et al. (2021)	University of Sindh; Mehran University of Engineering and Technology; University of Essex.	Paquistão	Espanhol	Revista de Psicodidáctica	Colégio de Humanidades
3	Walker e Koralesky (2021)	University of British Columbia	Canadá	Inglês	Natural Sciences Education	Colégio de Ciências da Vida
4	Luan et al. (2020)	Beijing Normal University; National Taiwan Normal University; Shandong Normal University; Central China Normal University.	China	Inglês	Interactive Learning Environments	Colégio de Ciências Exatas, Tecnológicas e Multidisciplinar
5	Rajabalee e Santally (2021)	Mauritius Institute of Education; University of Mauritius Reduit.	Maurícia	Inglês	Education and Information Technologies	Colégio de Ciências Exatas, Tecnológicas e Multidisciplinar
6	Ergün e Kurnaz Adibatmaz (2020)	Karabuk University.	Turquia	Inglês	Open Praxis	Colégio de Ciências Exatas, Tecnológicas e Multidisciplinar
7	Pickering e Swinnerton (2019)	University of Leeds.	Reino Unido	Inglês	Anatomical Sciences Education	Colégio de Ciências da Vida
8	Pye, Holt e Salzman (2018)	Deakin University.	Austrália	Inglês	Australasian Journal of Information Systems	Colégio de Ciências Exatas, Tecnológicas e Multidisciplinar
9	Dixson (2015)	Indiana University - Purdue University Fort Wayne.	Estados Unidos	Inglês	Online Learning	Colégio de Ciências Exatas, Tecnológicas e Multidisciplinar
10	Sun e Rueda (2012)	National Chiao Tung University; University of Southern California.	Estados Unidos	Inglês	British Journal of Educational Technology	Colégio de Ciências Exatas, Tecnológicas e Multidisciplinar

ID	Contexto	População pesquisada	Objetivo e foco	Metodologia
1	O estudo foi realizado com estudantes da Universidade de Shiraz, Irã, durante a pandemia de Covid-19.	A amostra do estudo incluiu 308 alunos.	O estudo tem como objetivo investigar se havia uma relação significativa entre a aprendizagem digital informal, as competências digitais dos alunos e seu engajamento acadêmico.	Estudo quantitativo com levantamento de dados através de questionários enviados aos alunos. Os dados foram analisados por meio de modelagem de equações estruturais e análises descritivas utilizando o software SPSS.
2	Estudantes que participaram de aulas online em dez universidades do Paquistão (cinco públicas e cinco privadas) durante a pandemia de Covid-19.	A amostra compreendeu 689 alunos.	O estudo investiga a fundo a transição efetiva para o “novo normal” do ensino a distância e o papel mediador das necessidades psicológicas básicas dos alunos no nexo entre o clima de aprendizagem virtual e o engajamento do aluno.	Estudo de cunho quantitativo, em que os participantes responderam a uma pesquisa online, através de questionário. Para a análise dos dados realizou-se a modelagem de equações estruturais com o SPSS.
3	Alunos de graduação e instrutores de quinze cursos em uma grande universidade canadense durante a pandemia de Covid-19.	A pesquisa foi realizada com 11 instrutores e 145 alunos.	Este estudo avaliou as percepções de alunos de graduação e instrutores sobre os componentes inter-relacionados de engajamento durante e após a rápida transição online de ensino em março de 2020, devido à pandemia Covid-19.	Estudo de métodos mistos, em que pesquisas com instrutores e pesquisas com alunos foram administradas. Os alunos foram apresentados a escalas quantitativas Likert e perguntas abertas qualitativas. As respostas da pesquisa foram baixadas e organizadas em Microsoft Excel. Os valores medianos foram calculados para o conjunto de respostas em escala Likert. Para as perguntas abertas, foi utilizada a análise de conteúdo dirigida.
4	Estudantes universitários da China durante a pandemia de Covid-19.	Um total de 615 estudantes universitários da China foram convidados a participar do estudo.	O estudo tem o objetivo de explorar se o suporte social percebido pelos alunos de English as a foreign language (EFL) online promoveria ou dificultaria seu engajamento na aprendizagem online.	Este estudo é de cunho quantitativo e utilizou questionários para o levantamento dos dados. A modelagem de equações estruturais foi realizada para fornecer uma medição mais precisa das relações de estrutura entre todos os construtos. Com base na modelagem de equações estruturais, os efeitos mediacionais foram testados usando o procedimento AMOS bootstrap.
5	Estudantes universitários no primeiro ano do ensino nacional da Maurícia em diferentes disciplinas: Engenharia, Ciências, Humanidades, Gestão e Agricultura.	A amostra foi composta de 665 alunos da universidade.	O estudo investigou as relações entre o engajamento dos alunos, seus níveis de satisfação e seus desempenhos gerais em um módulo online.	Esta pesquisa utilizou uma abordagem de método misto. O método primário foi a coleta e análise quantitativa de dados por meio de medidas do grau de associação entre as variáveis e os dados qualitativos foram levantados por meio do feedback dos alunos através de um questionário de perguntas abertas. A análise da etapa quantitativa focou principalmente em estatísticas aplicadas, como testes t e testes de correlação. Para a etapa qualitativa foi realizada análise de conteúdo.
6	Alunos do Centro de Educação a Distância da Universidade pública de Karabuk na Turquia que fizeram o curso de Medição e Avaliação em Educação durante o ano letivo de 2016-2017.	A amostra contou com 527 alunos do último ano.	O objetivo deste estudo foi determinar os fatores que predizem o engajamento dos alunos.	Esta pesquisa tem abordagem quantitativa. Na coleta de dados, foi aplicado um questionário. A análise de regressão múltipla stepwise foi usada para analisar os dados.
7	Estudantes de medicina do primeiro ano do componente de anatomia integrada do programa Bachelor of Medicine e Bachelor of Surgery na University of Leeds, Reino Unido.	Foi realizada com 192 estudantes de medicina.	Este estudo tenta investigar as dimensões do engajamento dos alunos com recursos de aprendizagem aprimorados pela tecnologia como parte do currículo de anatomia de um programa médico.	Este estudo é de natureza quantitativa. Foi aplicado um questionário para levantamento dos dados. A análise foi realizada através de estatísticas descritivas. Todos os dados foram classificados, codificados e analisados usando o software SPSS.
8	Alunos de graduação do programa de comércio de uma universidade australiana.	A amostra foi composta por 138 alunos no primeiro trimestre e 42 alunos no segundo trimestre.	A pesquisa se estende ao trabalho realizado sobre o engajamento dos alunos em ambientes online e reside no domínio do design e da prática de aprendizagem combinada no contexto empresarial australiano de ensino superior.	Este estudo é de caráter quantitativo. O levantamento de dados foi realizado através de um questionário já validado pela literatura. Os dados foram gerenciados usando Microsoft XL 2013 e analisados usando XL Statistics. O teste Quiquadrado de Pearson foi usado para testar se dois conjuntos de dados categóricos eram independentes. Para avaliar as diferenças entre duas médias, o teste t foi usado.
9	Alunos de 5 cursos de comunicação online de nível superior em um centro-oeste regional universitário dos EUA.	A pesquisa foi respondida por 34 alunos.	Este estudo fornece validação da escala de engajamento do aluno online, correlacionando os autorrelatos do aluno sobre o engajamento com dados de rastreamento do comportamento do aluno a partir de um sistema de gerenciamento de curso online.	Esta pesquisa é de natureza quantitativa. O levantamento dos dados foi realizado através de questionário e rastreamento de informações sobre comportamentos de aprendizagem dos alunos. Os resultados foram analisados executando correlações de Pearson entre o questionário e o número de comportamentos de aprendizagem.
10	Estudantes de graduação do semestre de outono de 2008 nas Escolas de Gerontologia e Engenharia, matriculados em aulas online, em uma grande universidade de pesquisa no sudoeste dos EUA.	Os participantes foram 203 alunos.	Este estudo investiga possíveis relações entre variáveis motivacionais e de aprendizagem (interesse, autoeficácia e autorregulação) e três tipos de engajamento do aluno (comportamental, emocional e cognitivo) em um ambiente de educação a distância.	Este estudo é de caráter quantitativo. Os dados foram levantados através de questionários adaptados de escalas validadas existentes. Foram realizadas análise de intercorrelações e análises de regressão hierárquica.

ID	Construtos avaliados no artigo	Dimensões/ Indicadores/ Fatores avaliados	Tipo de questionário e redação	Fonte ou base para a construção do questionário	Natureza das questões
1	A pesquisa avalia os construtos de engajamento acadêmico, competência digital e digital informal learning (DIL). Para isso, utilizou três escalas distintas, uma delas a Escala de Engajamento Acadêmico.	A Escala de Engajamento Acadêmico possui 17 itens, distribuídos em três dimensões: vigor, absorção e dedicação.	A escala é Likert de 5 pontos, onde: (1 = discordo totalmente; 5 = concordo totalmente).	A Escala de Engajamento acadêmico desenvolvida é uma versão abreviada da Utrecht work engagement scale (SCHAUFELI; BAKKER; SALANOVA, 2006).	Os itens do questionário de Engajamento Acadêmico presentes na escala não são voltados para contextos online. Estão mais direcionados a identificar o quanto o aluno está envolvido com seu campo de estudo especificamente.
2	O estudo analisa os construtos clima de aprendizagem, necessidades psicológicas básicas e motivação dos estudantes. Para isso, utilizou três escalas, uma delas a Online Student Engagement (OSE).	A Online Student Engagement Scale possui 18 itens distribuídos em quatro dimensões: habilidades, emoções, participação e desempenho.	A escala é Likert de 5 pontos, onde: (1 = discordo totalmente; 5 = concordo totalmente).	A escala adotada foi a Online Student Engagement (OSE); (DIXSON, 2015)	A escala se aplica ao contexto do ensino online, entretanto o questionário traz itens que medem situações em que é utilizado especificamente o recurso de fóruns online.
3	A pesquisa trata somente do engajamento dos estudantes. Para isso foi elaborado um questionário de perguntas fechadas com base em Prompts de atividades que aborda os engajamentos cognitivo e afetivo e, além disso, um conjunto de perguntas abertas sobre engajamento comportamental.	O questionário de perguntas fechadas possui 29 itens que avaliam duas dimensões: engajamento cognitivo e afetivo. Possui questões relacionadas aos seguintes prompts de atividade: Ensino síncrono, Ensino assíncrono, Preparação do aluno, Engajamento dos colegas, Avaliação, Laboratório.	As respostas foram coletadas usando uma escala Likert de 5 pontos, sendo 1 = muito envolvente, 2 = envolvente, 3 = neutro, 4 = um pouco envolvente, 5 = não envolvente.	O questionário se baseia em Prompts de atividade apresentados aos alunos para avaliar o quão engajante um aluno encontraria uma determinada atividade se eles fizessem o mesmo curso novamente em um ambiente totalmente online.	As atividades de prompt sugeridas para avaliar as dimensões se aplicam ao contexto do ensino online, exceto o último grupo, que traz questões relacionadas a atividades de laboratório.
4	O estudo avalia os construtos de apoio social no contexto da aprendizagem online (apoio de professor, apoio de pares) e engajamento do aluno no contexto da aprendizagem online. Para isso, utiliza duas escalas, entre elas a Online English Learning Engagement (OELE).	A escala possui 20 itens que avaliam quatro dimensões de engajamento: Engajamento comportamental, Engajamento cognitivo, Engajamento emocional, Engajamento social.	A escala é Likert de 5 pontos, onde: (1 = discordo totalmente; 5 = concordo totalmente).	O questionário OELE foi adaptado da medida desenvolvida por Wang et al. (2021).	As questões são todas direcionadas ao contexto de aulas de Inglês, ademais o questionário possui apenas uma questão que menciona o ambiente online.
5	A pesquisa analisa os construtos desempenho, satisfação e engajamento dos alunos em cursos online. Para isso, desenvolveu os Student Feedback questionnaire.	O questionário possui 27 itens que avaliam os construtos de satisfação e engajamento dos alunos. São 5 grupos de questões que possuem entre 5 e 6 questões cada.	O questionário é composto por perguntas abertas que abordam os construtos de satisfação e engajamento dos alunos em cursos online. O artigo não traz conceitos de dimensões de engajamento.	Construído a partir do Online Student Engagement (OSE), Dixson (2015) e Online Learning Consortium.	As questões presentes no questionário podem ser aplicadas ao contexto de graduação em ambiente online, contudo o questionário avalia outros construtos além do engajamento.
6	A pesquisa avalia os construtos engajamento do aluno, estilo de e-learning e a prontidão para o aprendizado online. Para isso, foram utilizadas três escalas, uma delas a Engagement Scale.	A escala possui 19 itens que avaliam as dimensões de engajamento comportamental, engajamento afetivo e engajamento cognitivo.	Os autores não detalham o tipo de Likert da Escala de engajamento do aluno, tampouco sua redação. Originalmente a escala é Likert de 5 pontos, onde: 5 = concordo totalmente, 4 = concordo, 3 = não concordo nem discordo, 2 = discordo e 1 = discordo totalmente. Contudo, isso não é pormenorizado no artigo.	Foi utilizada a Escala validada Engagement Scale (SUN; RUEDA, 2012).	A Engagement Scale (SUN; RUEDA, 2012) possui questões direcionadas ao contexto online e ensino superior. Possui questões como ”Quando estou na aula online, apenas ”ajo” como se estivesse aprendendo.” e ”Gosto de fazer as aulas online”.
7	O estudo analisa os construtos de engajamento do aluno e tecnologia-enhanced learning (TEL). Para isso, utilizou a Technology-enhanced learning (TEL) engagement instrument.	A pesquisa de engajamento TEL usada neste estudo consiste em uma escala final de 19 itens que avalia três fatores emergentes: satisfação, definição de metas e planejamento e interação física.	A escala é Likert de cinco pontos: Discordo totalmente= 1; discordo= 2; nem concordo nem discordo= 3; concordo= 4; concordo totalmente= 5.	A escala foi construída com base: (1) a escala de motivação e aprendizagem autorregulada (FONTANA et al., 2015; MILLIGAN; LITTLEJOHN, 2016), (2) a escala de engajamento online (KRAUSE; COATES, 2008), e (3) a escala de envolvimento do aluno (GUNUC; KUZU, 2015).	As questões buscam averiguar o quanto os alunos gostam de utilizar recursos TEL (Tecnologia para aprimorar a aprendizagem) em suas aulas. A escala não averígua especificamente aulas em ambientes online. Avalia a inclusão desses recursos. Ainda, a escala aborda outros dois construtos além do engajamento do aluno.
8	O estudo analisa o engajamento do aluno em ambiente de aprendizagem híbrido. Para isso, desenvolveu o Online student engagement constructs for contemporary blended learning environments.	A escala utilizada neste estudo consiste em 30 itens, divididos em sete fatores: aprendizagem ativa online, interação social online, colaboração online, ensino online, avaliação online, relevância acadêmica online e contato online com a equipe.	O artigo não menciona qual o tipo de escala utilizado, contudo, no texto das análises, as respostas se baseiam em manifestações de concordar ou não com as afirmações por parte dos respondentes, o que sugere a utilização de escala tipo Likert.	Baseia-se em uma escala de engajamento do aluno já desenvolvida, testada e validada relacionada à aprendizagem online por (COATES, 2016).	As questões da escala envolvem em sua maioria o Cloud Deakin, que é um ambiente de aprendizagem em nuvem e estão voltadas ao ensino híbrido, assim sendo, não se aplica ao contexto de cursos do ensino superior em geral.
9	O artigo trata apenas do engajamento online, objetivando o desenvolvimento da escala de medição Online Student Engagement.	A escala possui 19 itens que avaliam as dimensões: engajamento de habilidades, engajamento emocional, engajamento de participação/interação e engajamento de desempenho.	A escala é Likert de 5 pontos: 1. nada característico de mim 2. não é realmente característico de mim 3. moderadamente característico de mim 4. característica de mim 5. muito característico de mim.	Handelsman et al. (2005) SCEQ foi usado para formar a base do Online Student Engagement.	A escala se aplica ao contexto do ensino online, entretanto o questionário traz itens que medem situações em que é utilizado especificamente o recurso de fóruns online.
10	O estudo avalia as variáveis motivacionais e de aprendizagem (interesse, autoeficácia e autorregulação) e o engajamento do aluno. Para isso, a pesquisa utilizou 4 escalas distintas, uma delas, a Engagement Scale.	A escala de engajamento possui 19 itens distribuídos em três dimensões: engajamento comportamental, engajamento emocional e engajamento cognitivo.	A escala é Likert de 5 pontos, onde: 5 = concordo totalmente, 4 = concordo, 3 = não concordo nem discordo, 2 = discordo e 1 = discordo totalmente.	A Escala de Engajamento foi adaptada de Fredricks, Blumenfeld e Paris (2004) e Fredricks, Blumenfeld, Friedel et al. (2005).	A Escala de Engajamento (SUN; RUEDA, 2012) possui questões direcionadas ao contexto online e ensino superior. Possui questões como ”Quando estou na aula online, apenas ”ajo” como se estivesse aprendendo.” e ”Gosto de fazer as aulas online”.

vertical_align_top show_chart

more_horiz close
- image
- translate
- link
- article
- vertical_align_top
- file_download
- show_chart
- image
- translate
- link
- article

location_on

Universidade Federal de Minas Gerais - UFMG Av. Antônio Carlos, 6627 - Pampulha, Cep: 31270-901, Belo Horizonte - Minas Gerais / Brasil, Tel: +55 (31) 3409-6009 - Belo Horizonte - MG - Brazil
E-mail: revistatextolivre@letras.ufmg.br

rss_feed Acompanhe os números deste periódico no seu leitor de RSS

[TFN1] Fonte: Elaboração própria (2021).