Proposal of an evaluation model for online student engagement

Martins, Letícia Martins de; Ribeiro, José Luis Duarte

doi:10.1590/S1414-40772019000100002

Acessibilidade / Reportar erro

Brasil

Avaliação: Revista da Avaliação da Educação Superior (Campinas)

Español English

Brasil

Español English

sumário « anterior atual seguinte »

Sumário

Articles • Avaliação (Campinas) 24 (1) • Mar-May 2019 • https://doi.org/10.1590/S1414-40772019000100002 copy

Proposal of an evaluation model for online student engagement

Authorship SCIMAGO INSTITUTIONS RANKINGS

This article’s goal is to develop a system which allows the evaluation of student’s engagement level in distance education. First, a bibliographic review was performed, which aimed at determining already known factors constituting student engagement. Afterwards, four focus groups were conducted to identify additional factors that generate engagement in distance education. The next step consisted on the validation of a scale having students as subjects. The validation was performed by conducting a confirmatory factor analysis. Based on the list of factors and their importance, an algorithm was developed to evaluate students’ engagement in the distance mode.

Key words:
Evaluation model; Sudent engagement; Distance learning

Bloco	Fator	Dimensão	Peso	Peso relativo
CONDIÇÕES PRÉVIAS	Preparo para o mundo universitário	Formação Acadêmica e Aptidão 0,46	308	0,64
	Experiências práticas e trabalhos realizados antes de ingressar na Universidade		231	0,48
	Conhecimento do curso antes de ingressar no mesmo		228	0,48
	Grau de maturidade para realizar o curso		330	0,69
	Formação dos pais		73	0,15
	Experiência prévia em cursos online		113	0,24
	Êxito no período escolar		240	0,50
	Grau de aptidão para o curso		256	0,53
	Independência individual e pró-atividade	Características individuais dos alunos 0,80	332	0,69
	Curiosidade e interesse natural pelos assuntos do curso		401	0,84
	Disciplina e organização do tempo		405	0,84
	Vivência prática e capacidade de visualizar a aplicação dos conteúdos		359	0,75
	Capacidade de superar aceitar desafios		415	0,86
	Conhecimentos associados ao uso do computador		320	0,67
	Bons hábitos de estudo		392	0,82
	Motivação para o estudo e disposição para aprender		435	0,91
APORTE DO CURSO E DA INSTITUIÇÃO DE ENSINO	Interação com os colegas em atividades acadêmicas	Participação em atividades acadêmicas 0,53	260	0,54
	Interação com os colegas em atividades sociais		202	0,42
	Tempo elaborando trabalhos individuais e estudando		324	0,68
	Auxílio aos colegas no entendimento dos conteúdos		267	0,56
	Percepção de fazer parte da Universidade		275	0,57
	Nível de conhecimento dos colegas		195	0,41
	Interesse dos tutores no ensino	Tutor 0,82	374	0,78
	Conhecimento teórico-prático do tutor		398	0,83
	Feedback fornecido pelo tutor		413	0,86
	Conhecimento das tecnologias utilizadas no curso pelo tutor		391	0,81
	Interesse dos docentes pelo ensino	Docente 0,85	414	0,86
	Conhecimento teórico-prático do docente		405	0,84
	Feedback fornecido pelo docente		410	0,85
	Conhecimento das tecnologias utilizadas no curso pelo docente		407	0,85
	Capacidade do Suporte online na resolução de problemas	Suporte Acadêmico 0,72	397	0,83
	Capacidade do Suporte presencial na resolução de problemas		354	0,74
	Disponibilização de treinamento para uso das plataformas		309	0,64
	Facilidade de uso das plataformas		345	0,72
	Disponibilidade de computadores no polo		322	0,67
	Facilidade de acesso físico ao polo (localização)	Condições do polo 0,64	337	0,70
	Disponibilidade de Horários de funcionamento do polo		339	0,71
	Facilidade de acesso à biblioteca presencial		314	0,65
	Disponibilidade de espaço de convivência presencial no polo		292	0,61
	Flexibilidade nas participações presenciais exigidas		372	0,78
	Disponibilidade de Laboratórios especializados no polo		316	0,66
	Oferta de atividades presenciais no campus, como seminários.		284	0,59
	Disponibilidade de atividades de lazer no polo		196	0,41
	Facilidade de uso do Ambiente Virtual de Aprendizagem (AVA)	Ambiente Virtual de Aprendizagem 0,72	334	0,70
	Resolução rápida de problemas no AVA		338	0,70
	Agilidade de processamento do AVA		352	0,73
	Possibilidades de trabalho colaborativo no AVA		319	0,66
	Disponibilidade de ferramentas e serviços no AVA		349	0,73
	Compatibilidade do AVA com os recursos disponíveis na casa dos alunos		372	0,78
	Participação em trabalhos em grupo	Sistemas de Ensino 0,69	312	0,65
	Acesso online da biblioteca		332	0,69
	Carga horária das disciplinas		348	0,73
	Adequação do currículo		346	0,72
	Dinâmicas de ensino (uso de tecnologias assíncronas e síncronas)		349	0,73
	Sistemas de avaliação usados nas disciplinas		353	0,74
	Feedback da secretaria		317	0,66
	Integração das disciplinas		339	0,71
	Realização de atividades práticas ao longo do curso		318	0,66
	Utilização de redes sociais		268	0,56
	Adaptação das disciplinas ao estilo de aprendizagem do aluno		330	0,69
	Possibilidade de discutir as avaliações		348	0,73
	Tipo de material	Materiais Educacionais 0,78	356	0,74
	Volume e conteúdo do material		373	0,78
	Abordagem Interdisciplinar e Contextualizada dos Conteúdos		382	0,80
	Guia de Conteúdos (módulos, unidades, etc.) para o estudante		393	0,82
EXPECTATIVAS FUTURAS	Possibilidade de melhorar o currículo pessoal	Expectativas referentes a conhecimento e Empregabili-dade 0,94	447	0,93
	Possibilidade de melhorar o desempenho no trabalho		456	0,95
	Possibilidade de formação de redes de relacionamento professional		411	0,86
	Possibilidade de melhorar a empregabilidade		452	0,94
	Expectativas em relação ao futuro após finalizar o curso superior		480	1,00

Dimensão	Fator	Avaliação
CONDIÇÕES PRÉVIAS	Preparo para o mundo universitário	7,67
	Experiências práticas e trabalhos realizados antes de ingressar na Universidade	6,86
	Conhecimento do curso antes de ingressar no mesmo	6,00
	Grau de maturidade para realizar o curso	8,14
	Experiência prévia em cursos online	4,43
	Êxito no período escolar	7,90
	Grau de aptidão para o curso	7,90
	Independência individual e pró-atividade	8,71
	Curiosidade e interesse natural pelos assuntos do curso	8,81
	Disciplina e organização do tempo	8,19
	Vivência prática e capacidade de visualizar a aplicação dos conteúdos	7,14
	Capacidade de superar aceitar desafios	8,52
	Conhecimentos associados ao uso do computador	8,43
	Bons hábitos de estudo	8,10
	Motivação para o estudo e disposição para aprender	8,95
APORTE DO CURSO E DA INSTITUIÇÃO DE ENINO	Interação com os colegas em atividades acadêmicas	8,33
	Interação com os colegas em atividades sociais	7,86
	Tempo elaborando trabalhos individuais e estudando	7,81
	Auxílio aos colegas no entendimento dos conteúdos	8,24
	Percepção de fazer parte da Universidade	8,48
	Nível de conhecimento dos colegas	7,95
	Interesse dos tutores no ensino	8,95
	Conhecimento teórico-prático do tutor	8,86
	Feedback fornecido pelo tutor	8,90
	Conhecimento das tecnologias utilizadas no curso por parte do tutor	8,90
	Interesse dos docentes pelo ensino	8,38
	Conhecimento teórico-prático do docente	8,19
	Feedback fornecido pelo docente	8,19
	Conhecimento das tecnologias utilizadas no curso por parte do docente	8,38
	Capacidade do Suporte online na resolução de problemas	8,43
	Capacidade do Suporte presencial na resolução de problemas	7,90
	Disponibilização de treinamento para uso das plataformas	8,05
	Facilidade de uso das plataformas	8,48
	Disponibilidade de computadores no polo	7,19
	Facilidade de acesso físico ao polo (localização)	8,48
	Disponibilidade de Horários de funcionamento do polo	8,14
	Facilidade de acesso à biblioteca presencial	8,57
	Disponibilidade de espaço de convivência presencial no polo	7,62
	Flexibilidade nas participações presenciais exigidas	8,48
	Disponibilidade de Laboratórios especializados no polo	7,52
	Oferta de atividades presenciais no campus, como seminários.	8,14
	Disponibilidade de atividades de lazer no polo	7,24
	Facilidade de uso do Ambiente Virtual de Aprendizagem (AVA)	8,67
	Resolução rápida de problemas no AVA	8,33
	Agilidade de processamento do AVA	8,48
	Possibilidades de trabalho colaborativo no AVA	8,43
	Disponibilidade de ferramentas e serviços no AVA	8,62
	Compatibilidade do AVA com os recursos disponíveis na casa dos alunos	8,43
	Participação em trabalhos em grupo	8,00
	Acesso online da biblioteca	8,76
	Carga horária das disciplinas	8,62
	Adequação do currículo	8,43
	Dinâmicas de ensino (uso de tecnologias assíncronas e síncronas)	8,33
	Sistemas de avaliação usados nas disciplinas	7,48
	Feedback da secretaria	8,29
	Integração das disciplinas	8,14
	Realização de atividades práticas ao longo do curso	7,95
	Utilização de redes sociais	8,14
	Adaptação das disciplinas ao estilo de aprendizagem do aluno	8,33
	Possibilidade de discutir as avaliações	8,33
	Tipo de material	8,05
	Volume e conteúdo do material	8,57
	Abordagem Interdisciplinar e Contextualizada dos Conteúdos	8,29
	Guia de Conteúdos (módulos, unidades, etc.) para o Estudante	9,48
EXPECTATIVAS FUTURAS	Possibilidade de melhorar o currículo pessoal	9,57
	Possibilidade de melhorar o desempenho no trabalho	9,10
	Possibilidade de formação de redes de relacionamento profissional	9,48
	Possibilidade de melhorar a empregabilidade	9,48
	Expectativas em relação ao futuro após finalizar o curso superior	7,67

Dimensão	Fator	Peso relativo	Exemplo de avaliação
CONDIÇÕES PRÉVIAS	Preparo para o mundo universitário	0,64	0,76
	Experiências práticas e trabalhos realizados antes de ingressar na Universidade	0,48	0,68
	Conhecimento do curso antes de ingressar no mesmo	0,48	0,58
	Grau de maturidade para realizar o curso	0,69	0,82
	Experiência prévia em cursos online	0,24	0,46
	Êxito no período escolar	0,50	0,45
	Grau de aptidão para o curso	0,53	0,79
	Independência individual e pró-atividade	0,69	0,79
	Curiosidade e interesse natural pelos assuntos do curso	0,84	0,86
	Disciplina e organização do tempo	0,84	0,88
	Vivência prática e capacidade de visualizar a aplicação dos conteúdos	0,75	0,80
	Capacidade de superar aceitar desafios	0,86	0,71
	Conhecimentos associados ao uso do computador	0,67	0,86
	Bons hábitos de estudo	0,82	0,86
	Motivação para o estudo e disposição para aprender	0,91	0,80
APORTE DO CURSO E DA INSTITUIÇÃO DE ENINO	Interação com os colegas em atividades acadêmicas	0,54	0,89
	Interação com os colegas em atividades sociais	0,42	0,85
	Tempo elaborando trabalhos individuais e estudando	0,68	0,79
	Auxílio aos colegas no entendimento dos conteúdos	0,56	0,76
	Percepção de fazer parte da Universidade	0,57	0,82
	Nível de conhecimento dos colegas	0,41	0,83
	Interesse dos tutores no ensino	0,78	0,80
	Conhecimento teórico-prático do tutor	0,83	0,90
	Feedback fornecido pelo tutor	0,86	0,89
	Conhecimento das tecnologias utilizadas no curso pelo tutor	0,81	0,90
	Interesse dos docentes pelo ensino	0,86	0,90
	Conhecimento teórico-prático do docente	0,84	0,84
	Feedback fornecido pelo docente	0,85	0,82
	Conhecimento das tecnologias utilizadas no curso pelo docente	0,85	0,82
	Capacidade do Suporte online na resolução de problemas	0,83	0,85
	Capacidade do Suporte presencial na resolução de problemas	0,74	0,85
	Disponibilização de treinamento para uso das plataformas	0,64	0,76
	Facilidade de uso das plataformas	0,72	0,79
	Disponibilidade de computadores no polo	0,67	0,85
	Facilidade de acesso físico ao polo (localização)	0,70	0,71
	Disponibilidade de Horários de funcionamento do polo	0,71	0,83
	Facilidade de acesso à biblioteca presencial	0,65	0,80
	Disponibilidade de espaço de convivência presencial no polo	0,61	0,86
	Flexibilidade nas participações presenciais exigidas	0,78	0,76
	Disponibilidade de Laboratórios especializados no polo	0,66	0,85
	Oferta de atividades presenciais no campus, como seminários.	0,59	0,76
	Disponibilidade de atividades de lazer no polo	0,41	0,82
	Facilidade de uso do Ambiente Virtual de Aprendizagem (AVA)	0,70	0,72
	Resolução rápida de problemas no AVA	0,70	0,86
	Agilidade de processamento do AVA	0,73	0,82
	Possibilidades de trabalho colaborativo no AVA	0,66	0,85
	Disponibilidade de ferramentas e serviços no AVA	0,73	0,85
	Compatibilidade do AVA com os recursos disponíveis na casa dos alunos	0,78	0,86
	Participação em trabalhos em grupo	0,65	0,84
	Acesso online da biblioteca	0,69	0,78
	Carga horária das disciplinas	0,73	0,87
	Adequação do currículo	0,72	0,84
	Dinâmicas de ensino (uso de tecnologias assíncronas e síncronas)	0,73	0,85
	Sistemas de avaliação usados nas disciplinas	0,74	0,84
	Feedback da secretaria	0,66	0,71
	Integração das disciplinas	0,71	0,82
	Realização de atividades práticas ao longo do curso	0,66	0,80
	Utilização de redes sociais	0,56	0,78
	Adaptação das disciplinas ao estilo de aprendizagem do aluno	0,69	0,80
	Possibilidade de discutir as avaliações	0,73	0,81
	Tipo de material	0,74	0,82
	Volume e conteúdo do material	0,78	0,78
	Abordagem Interdisciplinar e Contextualizada dos Conteúdos	0,80	0,85
	Guia de Conteúdos (módulos, unidades, etc.) para o Estudante	0,82	0,81
EXPECTATIVAS FUTURAS	Possibilidade de melhorar o currículo pessoal	0,93	0,80
	Possibilidade de melhorar o desempenho no trabalho	0,95	0,95
	Possibilidade de formação de redes de relacionamento profissional	0,86	0,90
	Possibilidade de melhorar a empregabilidade	0,94	0,95
	Expectativas em relação ao futuro após finalizar o curso superior	1,00	0,95

Dimensão	Avaliação
Formação acadêmica e aptidão	0,72
Características individuais dos alunos	0,83
Participação em atividades acadêmicas	0,81
Tutor	0,90
Docente	0,83
Suporte Acadêmico	0,79
Condições do polo	0,81
Ambiente Virtual de Aprendizagem	0,85
Sistemas de Ensino	0,81
Materiais educacionais	0,81
Expectativas referentes a conhecimento e Empregabilidade	0,94

Bloco	Avaliação
Condição prévia	0,79
Aporte fornecido p/ curso	0,82
Expectativa futura	0,94
Engajamento	0,56

Publicação da Rede de Avaliação Institucional da Educação Superior (RAIES), da Universidade Estadual de Campinas (UNICAMP) e da Universidade de Sorocaba (UNISO). Rodovia Raposo Tavares, km. 92,5, CEP 18023-000 Sorocaba - São Paulo, Fone: (55 15) 2101-7016 , Fax : (55 15) 2101-7112 - Sorocaba - SP - Brazil
E-mail: revistaavaliacao@uniso.br

Acompanhe os números deste periódico no seu leitor de RSS