Proposta de um modelo de avaliação do nível de engajamento do estudante da modalidade a distância

Proposal of an evaluation model for online student engagement

Resumos

Este artigo tem como objetivo propor um modelo que permita avaliar o nível de engajamento do estudante da modalidade à distância. Inicialmente foi realizada uma revisão de literatura buscando levantar os fatores de engajamento. Após, foram conduzidos quatro grupos focados a fim de identificar fatores que geram engajamento na modalidade à distância. A seguir, foi feita uma survey para avaliar a importância dos fatores permitindo que os mesmos fossem validados por meio da realização de uma Análise Fatorial Confirmatória. Apoiado na lista de fatores e suas importâncias, foi desenvolvida uma proposta de modelo de avaliação do engajamento do estudante composto de algoritmo de cálculo.

Palavras-chave:
Modelo de avaliação; Engajamento do estudante; Ensino a distância

This article’s goal is to develop a system which allows the evaluation of student’s engagement level in distance education. First, a bibliographic review was performed, which aimed at determining already known factors constituting student engagement. Afterwards, four focus groups were conducted to identify additional factors that generate engagement in distance education. The next step consisted on the validation of a scale having students as subjects. The validation was performed by conducting a confirmatory factor analysis. Based on the list of factors and their importance, an algorithm was developed to evaluate students’ engagement in the distance mode.

Key words:
Evaluation model; Sudent engagement; Distance learning

1 Introdução

O modelo brasileiro de avaliação do ensino superior denominado Sistema Nacional de Avaliação da Educação Superior (SINAES) vem sendo desenvolvido desde o ano 2004, com a publicação da lei 10.861 que o instituiu. Desde então, os instrumentos de avaliação utilizados para coletar os dados necessários à avaliação vêm passando por constantes modificações. O modelo proposto conta com três formas de avaliação. A avaliação externa realizada por avaliadores denominados pelo poder público, gerando conceitos institucionais e de curso. A avaliação interna feita pela própria instituição de ensino por meio de uma Comissão Própria de Avaliação (CPA), formada por membros internos da Instituição de Ensino Superior (IES), bem como representantes da sociedade civil na qual está inserida a organização. A terceira, a avaliação feita pelo Exame Nacional de Cursos (ENADE), realizada por meio dos resultados de aprendizado, com a aplicação de uma prova respondida pelos alunos concluintes de curso, comparando com as notas alcançadas pelos ingressantes que realizaram o Exame Nacional do Ensino Médio (ENEM), gerando o conceito ENADE. Este último, apesar de não ter como objetivo principal a geração de rankings, é amplamente divulgado neste formato pela mídia assim como pelas instituições de ensino. Cada curso deverá passar pelo processo de avaliação de curso a cada 3 anos e a instituição como um todo a cada 5 anos no máximo, dependendo de seu Índice Geral de Cursos (IGC) esse prazo pode variar.

Ao se analisar o modelo utilizado, pode-se afirmar a carência da existência de formas de avaliar a interação do estudante com a instituição de ensino, uma vez que, conforme mencionado anteriormente, a avaliação ou é realizada analisando-se a IES ou analisando-se o aprendizado do aluno, não há indicadores que permitam medir a interação entre esses dois agentes. Pode-se dizer que não existe nenhuma medida que correlaciona as práticas institucionais com os alunos, nenhum indicador que faça a ligação aluno-instituição de ensino. Em busca na literatura de uma medida que permitisse essa medida encontra-se o engajamento. Portanto, estudar o engajamento sobre esta perspectiva é oportuno, visto que o modelo de avaliação brasileiro se encontra em um processo contínuo de desenvolvimento e aprimoramento, de modo que esteja constantemente buscando por novos olhares e formas que visem garantir a qualidade da educação superior. A literatura internacional sobre o tema indica uma série de medidas que poderiam agregar valor às já existentes no modelo Brasileiro. Porém, uma leitura crítica permite concluir que a maioria dessas medidas apenas somaria as já existentes, sem caracterizar uma nova perspectiva. Já ao revisar os estudos sobre o engajamento do estudante, pode-se afirmar que estes apresentam medidas que caracterizam uma nova dimensão para as já existentes.

Kuh (2001) sugere que o engajamento dos estudantes é uma medida de qualidade institucional. Quanto mais engajados os estudantes estiverem em atividades educacionais, melhor é a instituição. Excelência em educação superior ocorre em universidades que maximizem boas práticas que incentivam engajamento acadêmico e social (PASCARELLA, 2001). Políticas e práticas institucionais influenciam o engajamento do estudante (PIKE; KUH, 2005).

Particularmente, as questões e o interesse sobre a qualidade do ensino a distância persistem e crescem. As especificações que determinam o que é qualidade sob a perspectiva do SINAES, a garantia e a melhoria da qualidade na educação superior é um problema complexo, e os pesquisadores estão continuamente aprimorando e desenvolvendo novas formas de avaliar e medi-la. Apesar do surpreendente crescimento da educação a distância no mundo inteiro, o conhecimento das experiências que efetivamente levam ao aprendizado ainda são limitadas. Uma questão ainda não resolvida em relação à qualidade das experiências de aprendizagem do ensino a distância diz respeito ao nível de engajamento dos estudantes. Para Chen, Gonyea e Kuh (2008), um tema ainda não estudado diz respeito à qualidade das experiências de aprendizagem em cursos a distância e o nível de envolvimento nas atividades dos cursos.

O engajamento é positivamente relacionado a uma série de resultados, tais como notas, satisfação do estudante e conclusão do curso. Por esta razão, atividades como interação estudante-membros da instituição de ensino, colaboração entre pares e aprendizagem ativa são importantes para qualquer modalidade de ensino (CHEN; GONYEA; KUH et al., 2008) mas, particularmente na EAD essa interação é a essência da modalidade. No entanto, a avaliação da educação a distância deve ir além das medidas tradicionais e considerar a qualidade das experiências vivenciadas ao longo do curso como um todo (ROBINSON; HULLINGER, 2008).

Neste sentido, este artigo tem como objetivo propor um modelo que permita avaliar o nível de engajamento de estudantes de cursos superiores na modalidade a distância.

Este artigo está estruturado em cinco seções. Após esta introdução, são apresentados os conceitos relacionados ao engajamento. Na seção seguinte, é apresentado o método de pesquisa, incluindo os detalhes da coleta de dados. A seguir são apresentados os resultados, com a proposta de modelo seguida de um exemplo de sua aplicação. Por fim, nas considerações finais são traçadas sugestões para a utilização do modelo.

2 O Engajamento do Estudante na Modalidade a Distância

O estudo do engajamento no ensino superior vem se desenvolvendo em vários países do mundo com diferentes enfoques, assumindo uma variedade de significados e aplicações (ZEPKE, 2015). Historicamente, o conceito de engajamento do estudante originou-se nos estudos de Pace (1982), os quais buscavam medir a qualidade do esforço do estudante, consagrados pela Teoria do Envolvimento formulada por Astin (1985). Os primeiros estudos desenvolvidos buscavam demonstrar quanto o tempo e a energia dedicados para certas atividades que requerem mais esforço que outras, tais como estudar, interagir com colegas ou com professores discutir temas relevantes, aplicar os conteúdos desenvolvidos em situações concretas e em tarefas de diferentes contextos e assim por diante têm maiores resultados de aprendizagem (PACE, 1990). Com a evolução das pesquisas, observou-se que os estudantes em geral se beneficiam com as práticas de engajamento, apesar dos efeitos serem diversos, significando que alguns estudantes se beneficiam mais do que outros em certas atividades (PASCARELLA; TERENZINI, 2005). Observou-se que o engajamento tem reflexos sobre as notas e persistência do acadêmico principalmente, quando eles são envolvidos desde o primeiro ano de curso (KINZIE et al., 2006; KUH et al., 2008; PASCARELLA; TERENZINI, 2005). Fredericks, Blumenfeld e Paris (2004) definem que o engajamento é um meta-contruto que relaciona aspectos sociológicos, organizacionais, psicológicos, culturais, pedagógicos e econômicos.

Estar engajado estimula a aprendizagem continuada após a finalização do curso superior (CHEN, GONYEA; KUH et al., 2008). O engajamento do estudante tem uma correlação fortemente positiva com desempenho acadêmico e na satisfação do estudante, gerando sucesso acadêmico (PASCARELLA; TERENZINI, 2005). Outros estudos apontam que o engajamento do estudante está diretamente relacionado com a persistência e a permanência no ensino superior (PASCARELLA; TERENZINI, 2005). O quê as instituições fazem para engajar seus estudantes, por vezes pode ser denominado de valor agregado (ZHAO; KUH, 2004) e ser pensado como uma forma de medir a qualidade do ensino (MCCORMICK; GONYEA; KINZIE, 2013). Neste sentido, o engajamento do estudante pode ser também utilizado como um indicador de avaliação da qualidade em uma tentativa de responder a seguinte questão: será que as instituições estão aplicando adequadamente seus recursos e considerando as condições prévias do estudante para efetivamente conduzir o mesmo ao aprendizado (KUH et al., 2006) assim gerando empregabilidade do estudante (HU; WOLNIAK, 2010)? Ewell e Jones (1996) complementam afirmando a importância de incorporar indicadores de engajamento do estudante em avaliações de qualidade. Para McCormick, Gonyea e Kinzie (2013), o engajamento representa uma forma de avaliar o próprio professor. Engajar o estudante significa colocá-lo no centro do processo de ensino-aprendizagem (PARSONS; TAYLOR, 2011).

Entender o engajamento do estudante é importante visto que ele é positivamente correlacionado com bons resultados de aprendizagem, tais como desenvolvimento de pensamento crítico e notas melhores (CARINI; KUH; KLEIN, 2006; EWELL, 2002). Apesar de, conforme estudos realizados (EWELL, 2002; KLEIN et al., 2005; PASCARELLA; TERENZINI, 2005), os bons resultados de aprendizagem serem consequências de uma variedade de fatores, o engajamento do estudante aparece como um deles. Todavia, o nível de engajamento do estudante continua sendo considerado em estudos internacionais como uma forma de avaliar o desenvolvimento tanto do nível de aprendizagem bem como da perspectiva pessoal do estudante (CARINI, KUH, KLEIN, 2006). Estudantes mais engajados durante seus cursos desenvolvem hábitos que aumentam sua capacidade de permanecer aprendendo e se desenvolvendo continuamente (SHULMAN, 2002). Outros estudos (HUGHES; PACE, 2003) apontam a relação positiva entre engajamento e persistência do aluno em manter-se cursando o seu curso, bem como com os níveis de satisfação dos estudantes (ASTIN, 1984; TERENZINI; PASCARELLA, 1991). Estar engajado em uma variedade de atividades educacionais auxilia na disposição que o estudante precisaria para viver de forma mais produtiva e satisfeita após o término de seu período na Universidade, em outras palavras, estar engajado auxilia na criação de hábitos que facilitariam o processo de aprendizagem contínua (KUH, 2003).

Avaliar as experiências dos estudantes é importante, pois o engajamento do estudante em atividades acadêmicas tem um efeito positivo no sucesso da aprendizagem (KUH; PACE; VESPER, 1997; PACE, 1990; TERENZINI; PASCARELLA, 1991). Baseado em 20 anos de estudo, Pacarella e Terezinni afirmaram que uma das conclusões seguras que pode ser feita é que o impacto do ensino superior no indivíduo é determinado pela qualidade do esforço e pelo nível de envolvimento de atividades acadêmicas e não acadêmicas do estudante ao longo do período em que ele está cursando o ensino superior.

Mesmo assumindo diferentes resultados, os estudos internacionais sobre engajamento, apontam a existência de correlação positiva com sucesso acadêmico, notas mais altas, conclusão do curso, satisfação, motivação, melhores resultados de aprendizagem e desenvolvimento pessoal do estudante. Outras pesquisas utilizam medidas de engajamento para avaliar a perspectiva da Instituição de Ensino, da disciplina, do docente ou do curso. Portanto, as medidas de engajamento podem representar um importante indicador para a avaliação da qualidade da educação superior no modelo utilizado no Brasil.

3 Método

Primeiramente foi realizada uma revisão de literatura seguida por uma coleta de dados por meio de grupos focados com estudantes de diferentes cursos superiores. Foram realizadas um total de quatro reuniões. Finalizados os grupos foi realizada uma análise de conteúdo que permitiu gerar uma lista contendo mais de 100 fatores relacionados ao engajamento dos estudantes. De posse desses fatores realizaram-se entrevistas com especialistas em ensino a distância que permitiu um melhor agrupamento e redução dos fatores, gerando um total de 60 itens categorizados em 11 dimensões. Na segunda etapa, caracterizada como quantitativa, foi elaborado um questionário, o mesmo foi encaminhado para estudantes da modalidade a distância. O detalhamento do passo a passo para elaboração do modelo segue:

1º passo - Definição da escala

Após a identificação dos fatores foi preciso elaborar uma escala que permitisse a mensuração dos mesmos. A mensuração é parte fundamental para a construção de um instrumento de pesquisa, caso contrário não será possível assegurar com segurança a precisão e a confiabilidade das descobertas (HAIR JÚNIOR et al., 2005). Para tanto, foi utilizada uma escala de 11 pontos variando entre Nenhuma importância (zero), Importância moderada (cinco) e Muitíssima Importância (dez).

2º passo - Aplicação do instrumento

Para aplicar o instrumento o mesmo foi disponibilizado de forma online para os estudantes pelos coordenadores de diferentes cursos, de quatro Instituições de Ensino Superior. As IES foram selecionadas de acordo com o interesse dos coordenadores em aplicar o instrumento. Os questionários foram enviados para 6 diferentes cursos de graduação, sendo dois bacharelados, dois cursos tecnológicos e duas licenciaturas.

Os cursos de Bacharelado pertencem a duas diferentes Universidades particulares. Já os cursos tecnológicos correspondem a uma Faculdade. Por fim, os cursos de Licenciatura correspondem a duas Universidades Federais distintas. Todas as Instituições de Ensino tem sede no Rio Grande do Sul, porém, com polos em diferentes Estados brasileiros. Por solicitação das IES foram omitidos seus nomes.

Após o envio dos questionários foram obtidos 225 questionários respondidos. Foram desconsiderados 40 questionários pertencentes a diferentes cursos dos analisados ou que apresentaram preenchimento incompleto, portanto 185 foram considerados válidos para realizar a análise de resultados.

3º passo - Validação do instrumento

De posse dos resultados foi possível realizar a validação dos fatores. Para tanto, foi realizada uma Análise Fatorial Confirmatória.

5º passo - Elaboração do modelo

A elaboração do modelo levou em consideração as importâncias de cada fator, assim como a importância relativa de cada dimensão. O modelo foi elaborado levando em consideração as dimensões e o número de dimensões em cada etapa.

6º passo - Aplicação do modelo

Por fim, foi feita uma aplicação do modelo em um curso de graduação tendo como objetivo demonstrar um exemplo. Para tanto, foi enviado o instrumento proposto para alunos de uma disciplina de um curso de graduação. Foram obtidas um total de 50 respostas com questionários totalmente respondidos.

4 Proposta de um modelo de avaliação

O modelo de avaliação proposto neste artigo para identificar o nível de engajamento de estudantes curso de graduação a distância subdivide-se em dois blocos principais. As subseções a seguir apresentam a estrutura de cada bloco e suas questões.

4.1 Construção do modelo

Os fatores de engajamento são subdivididos de acordo com as dimensões. A cada dimensão são apresentados os fatores e é solicitado que o estudante avalie a situação existente em relação a suas condições prévias ao ingresso no curso e da instituição de ensino e suas expectativas futuras. Foi solicitado que o estudante atribua uma nota variando de 0 a 10.

Após a realização da Análise Fatorial confirmatória validando os fatores encontrados na literatura e na condução dos grupos focados, assim como a verificação da inexistência de diferenças significativas entre os vários cursos analisados, decidiu-se pela elaboração de um modelo único para todos os tipos de curso na modalidade a distância (bacharelados, licenciaturas e tecnológicos).

Tendo como base as importâncias dos fatores atribuídas pelos estudantes na aplicação do instrumento de pesquisa foi calculado o somatório das importâncias de cada fator atribuídos pelos respondentes. O resultado desse cálculo está demonstrado na coluna denominada Peso na Tabela 1. Em seguida, foi realizada uma comparação do somatório fator a fator com relação aquele que apresentou maior peso de importância entre todos os listados, no caso o fator Expectativas em relação ao futuro após finalizar o curso superior com somatório igual a 480. Cada fator é dividido individualmente por 480, obtendo-se o peso relativo do fator, o resultado está demonstrado na coluna denominada de peso relativo. A coluna Dimensão é calculada por meio da média dos pesos relativos dos fatores correspondentes a respectiva dimensão. Os resultados destas operações descritas estão demonstrados na Tabela 1.

Tabela 1
Peso dos Fatores e das Dimensões

Bloco	Fator	Dimensão	Peso	Peso relativo
CONDIÇÕES PRÉVIAS	Preparo para o mundo universitário	Formação Acadêmica e Aptidão 0,46	308	0,64
	Experiências práticas e trabalhos realizados antes de ingressar na Universidade		231	0,48
	Conhecimento do curso antes de ingressar no mesmo		228	0,48
	Grau de maturidade para realizar o curso		330	0,69
	Formação dos pais		73	0,15
	Experiência prévia em cursos online		113	0,24
	Êxito no período escolar		240	0,50
	Grau de aptidão para o curso		256	0,53
	Independência individual e pró-atividade	Características individuais dos alunos 0,80	332	0,69
	Curiosidade e interesse natural pelos assuntos do curso		401	0,84
	Disciplina e organização do tempo		405	0,84
	Vivência prática e capacidade de visualizar a aplicação dos conteúdos		359	0,75
	Capacidade de superar aceitar desafios		415	0,86
	Conhecimentos associados ao uso do computador		320	0,67
	Bons hábitos de estudo		392	0,82
	Motivação para o estudo e disposição para aprender		435	0,91
APORTE DO CURSO E DA INSTITUIÇÃO DE ENSINO	Interação com os colegas em atividades acadêmicas	Participação em atividades acadêmicas 0,53	260	0,54
	Interação com os colegas em atividades sociais		202	0,42
	Tempo elaborando trabalhos individuais e estudando		324	0,68
	Auxílio aos colegas no entendimento dos conteúdos		267	0,56
	Percepção de fazer parte da Universidade		275	0,57
	Nível de conhecimento dos colegas		195	0,41
	Interesse dos tutores no ensino	Tutor 0,82	374	0,78
	Conhecimento teórico-prático do tutor		398	0,83
	Feedback fornecido pelo tutor		413	0,86
	Conhecimento das tecnologias utilizadas no curso pelo tutor		391	0,81
	Interesse dos docentes pelo ensino	Docente 0,85	414	0,86
	Conhecimento teórico-prático do docente		405	0,84
	Feedback fornecido pelo docente		410	0,85
	Conhecimento das tecnologias utilizadas no curso pelo docente		407	0,85
	Capacidade do Suporte online na resolução de problemas	Suporte Acadêmico 0,72	397	0,83
	Capacidade do Suporte presencial na resolução de problemas		354	0,74
	Disponibilização de treinamento para uso das plataformas		309	0,64
	Facilidade de uso das plataformas		345	0,72
	Disponibilidade de computadores no polo		322	0,67
	Facilidade de acesso físico ao polo (localização)	Condições do polo 0,64	337	0,70
	Disponibilidade de Horários de funcionamento do polo		339	0,71
	Facilidade de acesso à biblioteca presencial		314	0,65
	Disponibilidade de espaço de convivência presencial no polo		292	0,61
	Flexibilidade nas participações presenciais exigidas		372	0,78
	Disponibilidade de Laboratórios especializados no polo		316	0,66
	Oferta de atividades presenciais no campus, como seminários.		284	0,59
	Disponibilidade de atividades de lazer no polo		196	0,41
	Facilidade de uso do Ambiente Virtual de Aprendizagem (AVA)	Ambiente Virtual de Aprendizagem 0,72	334	0,70
	Resolução rápida de problemas no AVA		338	0,70
	Agilidade de processamento do AVA		352	0,73
	Possibilidades de trabalho colaborativo no AVA		319	0,66
	Disponibilidade de ferramentas e serviços no AVA		349	0,73
	Compatibilidade do AVA com os recursos disponíveis na casa dos alunos		372	0,78
	Participação em trabalhos em grupo	Sistemas de Ensino 0,69	312	0,65
	Acesso online da biblioteca		332	0,69
	Carga horária das disciplinas		348	0,73
	Adequação do currículo		346	0,72
	Dinâmicas de ensino (uso de tecnologias assíncronas e síncronas)		349	0,73
	Sistemas de avaliação usados nas disciplinas		353	0,74
	Feedback da secretaria		317	0,66
	Integração das disciplinas		339	0,71
	Realização de atividades práticas ao longo do curso		318	0,66
	Utilização de redes sociais		268	0,56
	Adaptação das disciplinas ao estilo de aprendizagem do aluno		330	0,69
	Possibilidade de discutir as avaliações		348	0,73
	Tipo de material	Materiais Educacionais 0,78	356	0,74
	Volume e conteúdo do material		373	0,78
	Abordagem Interdisciplinar e Contextualizada dos Conteúdos		382	0,80
	Guia de Conteúdos (módulos, unidades, etc.) para o estudante		393	0,82
EXPECTATIVAS FUTURAS	Possibilidade de melhorar o currículo pessoal	Expectativas referentes a conhecimento e Empregabili-dade 0,94	447	0,93
	Possibilidade de melhorar o desempenho no trabalho		456	0,95
	Possibilidade de formação de redes de relacionamento professional		411	0,86
	Possibilidade de melhorar a empregabilidade		452	0,94
	Expectativas em relação ao futuro após finalizar o curso superior		480	1,00

Conforme é apresentado na Tabela 2 pode-se observar que os blocos apresentam pesos diferentes e que o bloco composto pelos fatores relacionados às Expectativas futuras é o de maior peso. De posse desses resultados foi possível elaborar o modelo proposto.

O modelo proposto foi construído atribuindo qualitativamente pesos de 0,5 para o bloco de condições prévias (formação acadêmica e características individuais), peso 2 para o aporte fornecido pelo curso e pela instituição de ensino (Recursos humanos, Infraestrutura e serviços e projeto pedagógico) e peso 1 para as expectativas futuras. Esses pesos foram definidos, preliminarmente, considerando tanto a importância atribuída para os diferentes quesitos (os entrevistados indicaram importância menor para a formação acadêmica prévia e peso maior para as expectativas futuras, conforme pode ser visto no capítulo anterior) como a extensão desses blocos (o bloco referente ao aporte fornecido pelo curso em si envolve um número muito grande de fatores, distribuídos entre oito dimensões: participação em atividades acadêmicas, tutor, docente, suporte acadêmico, condições do polo, ambiente virtual de aprendizagem, sistemas de ensino e materiais educacionais), conforme já demonstrado na Tabela 1.

Assim, o modelo geral de avaliação de engajamento proposto neste artigo é representado na Eq 1.

$E={\left(CP\right)}^{\mathrm{0,5}}\times {\left(AF\right)}^2\times \left(EF\right)$

Onde E representa o Engajamento calculado para o curso em avaliação, CP representa o bloco de Condições Prévias, composto pelas dimensões Formação e aptidão e características individuais. AF representa o Aporte do Fornecido pelo curso e Instituição de Ensino, representado pelas dimensões Tutor, Docente, Suporte Acadêmico, Condições do polo, Ambiente Virtual de Aprendizagem, Sistemas de Ensino, Materiais educacionais. Por fim, EF significa Expectativas Futuras representada pela dimensão que envolve as expectativas referentes a conhecimento e empregabilidade.

Importante observar que o modelo que relaciona os blocos principais é multiplicativo, o que implica considerar que o baixo resultado em um desses blocos não é compensado por um bom rendimento em outro bloco. Por exemplo: um aluno com baixa expectativa futura não terá um alto nível de engajamento, mesmo que o curso contribua positivamente para tanto. Similarmente, um curso que não promova o engajamento dos alunos não será compensado por grandes expectativas futuras.

Cada um desses blocos principais, por sua vez, é avaliado através de uma média ponderada, onde os pesos são definidos de acordo com a importância que os respondentes atribuíram aos diferentes fatores. A fórmula aplicada a qualquer um dos blocos é a mesma. A Eq. 2 representa a forma de cálculo das Condições Prévias, a Eq. 3, o cálculo do Aporte Fornecido pelo curso ou pela Instituição de Ensino e a Eq. 4 representa as Expectativas Futuras, conforme é demonstrado a seguir.

$\mathrm{C}\mathrm{P}=\sum \mathrm{}\left(\mathrm{P}ij\mathrm{}\mathrm{x}\mathrm{}\mathrm{A}ij\right)\mathrm{}/\mathrm{}\sum \mathrm{}\mathrm{P}ij$

$\mathrm{A}\mathrm{F}=\sum \mathrm{}\left(\mathrm{P}ij\mathrm{}\mathrm{x}\mathrm{}\mathrm{A}ij\right)\mathrm{}/\mathrm{}\sum \mathrm{}\mathrm{P}ij$

$\mathrm{E}\mathrm{F}=\sum \mathrm{}\left(\mathrm{P}ij\mathrm{}\mathrm{x}\mathrm{}\mathrm{A}ij\right)\mathrm{}/\mathrm{}\sum \mathrm{}\mathrm{P}ij$

Onde P_ij é o peso do fator i da dimensão j, e A_ij é a avaliação da situação atual do fator i da dimensão j em um determinado curso. Enquanto A_ij é a avaliação obtida pelo fator i da dimensão j no curso em questão, avaliação essa expressa na escala 0 a 1. A escala de 0 a 1 de A_ij é obtida dividindo as respostas do instrumento de avaliação (fornecidas na escala de 0 a 10) por 10.

No interior dos blocos, o modelo prevê o uso de médias, o que implica em entender que os elementos de um mesmo bloco são predominantemente compensatórios (por exemplo, tutores mais qualificados podem compensar alguma deficiência no quadro docente, ou material online qualificado pode compensar alguma deficiência no quadro de tutores, etc.).

O resultado referente a cada um dos blocos irá surgir na escala 0 a 1 e representa o percentual de engajamento que pode ser alcançado considerando a exclusivamente a situação do respectivo bloco. O resultado final de engajamento, produto ponderado dos três blocos, também é apresentado na escala 0 a 1, onde zero indica nenhum engajamento, enquanto que 1 indica 100% de engajamento.

4.2 Exemplo de aplicação do modelo

A Tabela 2 apresenta um exemplo a partir da aplicação do modelo em um curso de ciências sociais aplicadas em uma faculdade. O instrumento apresentado no apêndice B foi aplicado a 50 alunos em uma disciplina a distância. Os resultados apresentados na tabela 2 demonstram as médias obtidas da avaliação de cada um dos fatores.

Tabela 2
Exemplo da avaliação cálculo das médias de avaliação

Dimensão	Fator	Avaliação
CONDIÇÕES PRÉVIAS	Preparo para o mundo universitário	7,67
	Experiências práticas e trabalhos realizados antes de ingressar na Universidade	6,86
	Conhecimento do curso antes de ingressar no mesmo	6,00
	Grau de maturidade para realizar o curso	8,14
	Experiência prévia em cursos online	4,43
	Êxito no período escolar	7,90
	Grau de aptidão para o curso	7,90
	Independência individual e pró-atividade	8,71
	Curiosidade e interesse natural pelos assuntos do curso	8,81
	Disciplina e organização do tempo	8,19
	Vivência prática e capacidade de visualizar a aplicação dos conteúdos	7,14
	Capacidade de superar aceitar desafios	8,52
	Conhecimentos associados ao uso do computador	8,43
	Bons hábitos de estudo	8,10
	Motivação para o estudo e disposição para aprender	8,95
APORTE DO CURSO E DA INSTITUIÇÃO DE ENINO	Interação com os colegas em atividades acadêmicas	8,33
	Interação com os colegas em atividades sociais	7,86
	Tempo elaborando trabalhos individuais e estudando	7,81
	Auxílio aos colegas no entendimento dos conteúdos	8,24
	Percepção de fazer parte da Universidade	8,48
	Nível de conhecimento dos colegas	7,95
	Interesse dos tutores no ensino	8,95
	Conhecimento teórico-prático do tutor	8,86
	Feedback fornecido pelo tutor	8,90
	Conhecimento das tecnologias utilizadas no curso por parte do tutor	8,90
	Interesse dos docentes pelo ensino	8,38
	Conhecimento teórico-prático do docente	8,19
	Feedback fornecido pelo docente	8,19
	Conhecimento das tecnologias utilizadas no curso por parte do docente	8,38
	Capacidade do Suporte online na resolução de problemas	8,43
	Capacidade do Suporte presencial na resolução de problemas	7,90
	Disponibilização de treinamento para uso das plataformas	8,05
	Facilidade de uso das plataformas	8,48
	Disponibilidade de computadores no polo	7,19
	Facilidade de acesso físico ao polo (localização)	8,48
	Disponibilidade de Horários de funcionamento do polo	8,14
	Facilidade de acesso à biblioteca presencial	8,57
	Disponibilidade de espaço de convivência presencial no polo	7,62
	Flexibilidade nas participações presenciais exigidas	8,48
	Disponibilidade de Laboratórios especializados no polo	7,52
	Oferta de atividades presenciais no campus, como seminários.	8,14
	Disponibilidade de atividades de lazer no polo	7,24
	Facilidade de uso do Ambiente Virtual de Aprendizagem (AVA)	8,67
	Resolução rápida de problemas no AVA	8,33
	Agilidade de processamento do AVA	8,48
	Possibilidades de trabalho colaborativo no AVA	8,43
	Disponibilidade de ferramentas e serviços no AVA	8,62
	Compatibilidade do AVA com os recursos disponíveis na casa dos alunos	8,43
	Participação em trabalhos em grupo	8,00
	Acesso online da biblioteca	8,76
	Carga horária das disciplinas	8,62
	Adequação do currículo	8,43
	Dinâmicas de ensino (uso de tecnologias assíncronas e síncronas)	8,33
	Sistemas de avaliação usados nas disciplinas	7,48
	Feedback da secretaria	8,29
	Integração das disciplinas	8,14
	Realização de atividades práticas ao longo do curso	7,95
	Utilização de redes sociais	8,14
	Adaptação das disciplinas ao estilo de aprendizagem do aluno	8,33
	Possibilidade de discutir as avaliações	8,33
	Tipo de material	8,05
	Volume e conteúdo do material	8,57
	Abordagem Interdisciplinar e Contextualizada dos Conteúdos	8,29
	Guia de Conteúdos (módulos, unidades, etc.) para o Estudante	9,48
EXPECTATIVAS FUTURAS	Possibilidade de melhorar o currículo pessoal	9,57
	Possibilidade de melhorar o desempenho no trabalho	9,10
	Possibilidade de formação de redes de relacionamento profissional	9,48
	Possibilidade de melhorar a empregabilidade	9,48
	Expectativas em relação ao futuro após finalizar o curso superior	7,67

Tendo em vista a avaliação feita pelos estudantes as médias são recalculadas dividas por 10, conforme é demonstrado na Tabela 3 na coluna de exemplo de avaliação.

Tabela 3
Exemplo da avaliação cálculo dos pesos

Dimensão	Fator	Peso relativo	Exemplo de avaliação
CONDIÇÕES PRÉVIAS	Preparo para o mundo universitário	0,64	0,76
	Experiências práticas e trabalhos realizados antes de ingressar na Universidade	0,48	0,68
	Conhecimento do curso antes de ingressar no mesmo	0,48	0,58
	Grau de maturidade para realizar o curso	0,69	0,82
	Experiência prévia em cursos online	0,24	0,46
	Êxito no período escolar	0,50	0,45
	Grau de aptidão para o curso	0,53	0,79
	Independência individual e pró-atividade	0,69	0,79
	Curiosidade e interesse natural pelos assuntos do curso	0,84	0,86
	Disciplina e organização do tempo	0,84	0,88
	Vivência prática e capacidade de visualizar a aplicação dos conteúdos	0,75	0,80
	Capacidade de superar aceitar desafios	0,86	0,71
	Conhecimentos associados ao uso do computador	0,67	0,86
	Bons hábitos de estudo	0,82	0,86
	Motivação para o estudo e disposição para aprender	0,91	0,80
APORTE DO CURSO E DA INSTITUIÇÃO DE ENINO	Interação com os colegas em atividades acadêmicas	0,54	0,89
	Interação com os colegas em atividades sociais	0,42	0,85
	Tempo elaborando trabalhos individuais e estudando	0,68	0,79
	Auxílio aos colegas no entendimento dos conteúdos	0,56	0,76
	Percepção de fazer parte da Universidade	0,57	0,82
	Nível de conhecimento dos colegas	0,41	0,83
	Interesse dos tutores no ensino	0,78	0,80
	Conhecimento teórico-prático do tutor	0,83	0,90
	Feedback fornecido pelo tutor	0,86	0,89
	Conhecimento das tecnologias utilizadas no curso pelo tutor	0,81	0,90
	Interesse dos docentes pelo ensino	0,86	0,90
	Conhecimento teórico-prático do docente	0,84	0,84
	Feedback fornecido pelo docente	0,85	0,82
	Conhecimento das tecnologias utilizadas no curso pelo docente	0,85	0,82
	Capacidade do Suporte online na resolução de problemas	0,83	0,85
	Capacidade do Suporte presencial na resolução de problemas	0,74	0,85
	Disponibilização de treinamento para uso das plataformas	0,64	0,76
	Facilidade de uso das plataformas	0,72	0,79
	Disponibilidade de computadores no polo	0,67	0,85
	Facilidade de acesso físico ao polo (localização)	0,70	0,71
	Disponibilidade de Horários de funcionamento do polo	0,71	0,83
	Facilidade de acesso à biblioteca presencial	0,65	0,80
	Disponibilidade de espaço de convivência presencial no polo	0,61	0,86
	Flexibilidade nas participações presenciais exigidas	0,78	0,76
	Disponibilidade de Laboratórios especializados no polo	0,66	0,85
	Oferta de atividades presenciais no campus, como seminários.	0,59	0,76
	Disponibilidade de atividades de lazer no polo	0,41	0,82
	Facilidade de uso do Ambiente Virtual de Aprendizagem (AVA)	0,70	0,72
	Resolução rápida de problemas no AVA	0,70	0,86
	Agilidade de processamento do AVA	0,73	0,82
	Possibilidades de trabalho colaborativo no AVA	0,66	0,85
	Disponibilidade de ferramentas e serviços no AVA	0,73	0,85
	Compatibilidade do AVA com os recursos disponíveis na casa dos alunos	0,78	0,86
	Participação em trabalhos em grupo	0,65	0,84
	Acesso online da biblioteca	0,69	0,78
	Carga horária das disciplinas	0,73	0,87
	Adequação do currículo	0,72	0,84
	Dinâmicas de ensino (uso de tecnologias assíncronas e síncronas)	0,73	0,85
	Sistemas de avaliação usados nas disciplinas	0,74	0,84
	Feedback da secretaria	0,66	0,71
	Integração das disciplinas	0,71	0,82
	Realização de atividades práticas ao longo do curso	0,66	0,80
	Utilização de redes sociais	0,56	0,78
	Adaptação das disciplinas ao estilo de aprendizagem do aluno	0,69	0,80
	Possibilidade de discutir as avaliações	0,73	0,81
	Tipo de material	0,74	0,82
	Volume e conteúdo do material	0,78	0,78
	Abordagem Interdisciplinar e Contextualizada dos Conteúdos	0,80	0,85
	Guia de Conteúdos (módulos, unidades, etc.) para o Estudante	0,82	0,81
EXPECTATIVAS FUTURAS	Possibilidade de melhorar o currículo pessoal	0,93	0,80
	Possibilidade de melhorar o desempenho no trabalho	0,95	0,95
	Possibilidade de formação de redes de relacionamento profissional	0,86	0,90
	Possibilidade de melhorar a empregabilidade	0,94	0,95
	Expectativas em relação ao futuro após finalizar o curso superior	1,00	0,95

De posse das avaliações dos fatores individuais do caso avaliado é possível calcular cada dimensão, através de média ponderada, considerando os fatores (e seus respectivos pesos) associados a cada dimensão, conforme é demonstrado na Tabela 4.

Tabela 4
Peso calculado por dimensão

Dimensão	Avaliação
Formação acadêmica e aptidão	0,72
Características individuais dos alunos	0,83
Participação em atividades acadêmicas	0,81
Tutor	0,90
Docente	0,83
Suporte Acadêmico	0,79
Condições do polo	0,81
Ambiente Virtual de Aprendizagem	0,85
Sistemas de Ensino	0,81
Materiais educacionais	0,81
Expectativas referentes a conhecimento e Empregabilidade	0,94

A avaliação de cada dimensão foi obtida por meio da média ponderada, tendo em vista a importância de cada fator gerada pela pesquisa com o instrumento apresentado. A Tabela 4 revela as dimensões que os estudantes do curso atribuíram menor nota, portanto, auxiliando dessa forma coordenadores de curso ou administradores na identificação das dimensões que estão contribuindo ou limitando o engajamento do estudante. Neste exemplo, observa-se que a dimensão Tutor (0,90) e Expectativas referentes a conhecimento e empregabilidade (0,94) apresentaram desempenho igual ou superior a 0,85, caracterizando um bom desempenho no sentido de engajar os alunos. Por outro lado, as demais dimensões obtiveram avaliações inferiores e deveriam ser priorizadas nas ações de melhoria contínua do engajamento. Em especial, as dimensões Formação acadêmica e aptidão (0,72) e Suporte Acadêmico (0,79) obtiveram avaliações mais baixas.

Por fim, é gerada a avaliação de cada bloco e é calculado o engajamento final dos estudantes do curso de ciências sociais aplicadas utilizado para exemplificar. O resultado da aplicação é demonstrado na Tabela 5.

Tabela 5
Resultado da aplicação do modelo

Bloco	Avaliação
Condição prévia	0,79
Aporte fornecido p/ curso	0,82
Expectativa futura	0,94
Engajamento	0,56

Tendo como base os dados apontados na Tabela 5, por meio da aplicação do modelo os estudantes apresentam um nível de engajamento de 56%. Considerando os resultados obtidos, Condição prévia limita o Engajamento máximo que possa ser obtido a 0,79^0,5= 0,89; Aporte fornecido pelo curso limita o engajamento máximo que possa ser alcançado em 0,82^2,0= 0,67; enquanto Expectativas futuras limitam o engajamento máximo a 0,94^1,0= 0,94. Assim o bloco Expectativas futuras é aquele que apresenta maior contribuição para o engajamento, enquanto que o bloco Aporte fornecido pelo curso é aquele que oferece maiores oportunidades de ação e melhoria. As ações associadas ao curso deveriam iniciar pelas dimensões que apresentam menor resultado na avaliação, são elas: Suporte Acadêmico (avaliação = 0,79), seguida de Participação em atividades acadêmicas, Condições do polo, Sistemas de Ensino, e Materiais educacionais, todas com avaliação = 0,81. Mais ainda, o sistema de avaliação desenvolvido revela os fatores de cada dimensão que merecem maior atenção. Por exemplo, Experiência prévia em cursos online (0,46) e Êxito no período escolar (0,45) foram os fatores que obtiveram menores avaliações na dimensão Formação acadêmica e aptidão. Já os fatores Disponibilização de treinamento para uso das plataformas (0,76) e Facilidade de uso das plataformas (0,79) foram aqueles que obtiveram menores avaliações em relação a dimensão Suporte Acadêmico. Esses últimos fatores podem ser solucionados com um treinamento do uso da plataforma ou com a disponibilização de um manual contendo as instruções de uso do Ambiente.

5 Considerações finais

O modelo proposto pode ser aplicado em diferentes cursos (bacharelados, licenciaturas ou tecnólogos) assim como em Universidades, Centros Universitários ou Faculdades, independente do número de alunos. As informações geradas pela aplicação do modelo podem ser utilizadas por diferentes públicos interessados na qualidade da oferta do ensino superior na modalidade de curso a distância. Neste sentido, coordenadores, docentes, tutores, estudantes e gestores de instituições de ensino poderão fazer uso dos resultados obtidos. Os coordenadores de curso poderão utilizar os resultados obtidos com o objetivo de melhor planejarem seus cursos buscando a promoção de ações de maior impacto sobre o engajamento do estudante, assim como focando na melhoria das dimensões que tenham obtidos notas menores na avaliação. Tanto os docentes assim com o os tutores poderão utilizar a aplicação do modelo para identificar os fatores priorizados por seus alunos. Por fim, por gestores de instituição, para comparar o engajamento observado nos diversos cursos e planejar ações sistêmicas, que podem envolver projetos específicos, mudanças nos projetos de curso ou mesmo descontinuidade de cursos.

O instrumento pode ser aplicado para os estudantes iniciantes do ensino superior e para os concluintes e comparar se existem diferenças significativas no nível de engajamento ao longo do curso. Sugere-se que seja aplicado online e que o aluno possa visualizar, ao término do seu preenchimento, os resultados de seu curso, comparando-os com os seus resultados pessoais.

Referências

• ASTIN, Alexander William. Student involvement: A developmental theory for higher education. Journal of college student personnel, Iowa, USA, v. 25, n. 4, p. 297-308, 1984.
• ASTIN, Alexander William. Achieving educational excellence. Jossey-Bass, 1985.
• CARINI, Robert M.; KUH, George D.; KLEIN, Stephen P. Student engagement and student learning: testing the linkages. Research in higher education, Georgia, USA, v. 47, n. 1, p. 1-32, 2006.
• CHEN, Pu-Shih Daniel; GONYEA, Robert; KUH, George. Learning at a distance: Engaged or not? Innovate: Journal of Online Education, Florida, USA, v. 4, n. 3, p. 3, 2008.
• EWELL, Peter T. A delicate balance: The role of evaluation in management. Quality in Higher Education, Londres, UK v. 8, n. 2, p. 159-171, 2002.
• EWELL, Peter T.; JONES, Dennis P. Indicators of" good practice" in undergraduate education: a handbook for development and implementation. ERIC Clearinghouse. 1996. Disponível em: Disponível em: http://files.eric.ed.gov/fulltext/ED403828.pdf Acesso em: 1 out. 2016.
  » http://files.eric.ed.gov/fulltext/ED403828.pdf
• FREDERICKS, Jennifer A.; BLUMENFELD, Phyllis C.; PARIS, Alison H. School engagement: Potential of the concept, state of the evidence. Review of educational research, USA, v. 74, n. 1, p. 59-109, 2004.
• HAIR JÚNIOR, Joseph F. et al. Fundamentos de métodos de pesquisa em administração. Porto Alegre: Bookman, 2005.
• HU, Shouping; WOLNIAK, Gregory C. Initial evidence on the influence of college student engagement on early career earnings. Research in Higher Education, Georgia, USA, v. 51, n. 8, p. 750-766, 2010.
• HUGHES, Rees; PACE, C. Robert. Using NSSE to study student retention and withdrawal. Assessment Update, USA, v. 15, n. 4, p. 1-2, 2003.
• KINZIE, Jillian et al. Women students at coeducational and women's colleges: how do their experiences compare? Journal of College Student Development, Maryland, USA, v. 48, n. 2, p. 145-165, 2006.
• KLEIN, Stephen P. et al. An approach to measuring cognitive outcomes across higher education institutions. Research in Higher Education, Georgia, USA, v. 46, n. 3, p. 251-276, 2005.
• KUH, George D. Assessing what really matters to student learning inside the national survey of student engagement. Change: The Magazine of Higher Learning, USA, v. 33, n. 3, p. 10-17, 2001.
• KUH, George D. What we're learning about student engagement from NSSE: Benchmarks for effective educational practices. Change: The Magazine of Higher Learning, USA, v. 35, n. 2, p. 24-32, 2003.
• KUH, George D. et al. Connecting the dots: Multi-faceted analyses of the relationships between student engagement results from the NSSE, and the institutional practices and conditions that foster student success. Indiana University, Bloomington, p. 547-56, 2006.
• KUH, George D; et al. Unmasking the effects of student engagement on first-year college grades and persistence. The Journal of Higher Education, Londres, v. 79, n. 5, p. 540-563, 2008.
• KUH, George D.; PACE, C. Robert; VESPER, Nick. The development of process indicators to estimate student gains associated with good practices in undergraduate education. Research in Higher Education, Georgia, USA, v. 38, n. 4, p. 435-454, 1997.
• MCCORMICK, Alexander C.; GONYEA, Robert M.; KINZIE, Jillian. Refreshing engagement: NSSE at 13. Change: The Magazine of Higher Learning, USA, v. 45, n. 3, p. 6-15, 2013.
• PACE, C. R. Achievement and the quality of student effort. 1982. Disponível em: Disponível em: http://files.eric.ed.gov/fulltext/ED227101.pdf Acesso em: 1 out. 2016.
  » http://files.eric.ed.gov/fulltext/ED227101.pdf
• PACE, C. R. The Undergraduates: a report of their activities and progress in College in the 1980's 1990. Disponível em: Disponível em: http://files.eric.ed.gov/fulltext/ED375701.pdf Acesso em: 1 out. 2016.
  » http://files.eric.ed.gov/fulltext/ED375701.pdf
• PARSONS, Jim; TAYLOR, Leah. Student Engagement: What do we know and what should we do?. University of Alberta, 2011.
• PASCARELLA, Ernest T. identifying excellence in undergraduate education are we even close? Change: The Magazine of Higher Learning, USA, v. 33, n. 3, p. 18-23, 2001.
• PASCARELLA, Ernest T.; TERENZINI, Patrick T. How college affects students. San Francisco, CA: Jossey-Bass, 2005.
• PIKE, Gary R.; KUH, George D. A typology of student engagement for American colleges and universities. Research in Higher Education, Georgia, USA, v. 46, n. 2, p. 185-209, 2005.
• ROBINSON, Chin Choo; HULLINGER, Hallett. New benchmarks in higher education: Student engagement in online learning. Journal of Education for Business, Londres, v. 84, n. 2, p. 101-109, 2008.
• SHULMAN, Lee S. Making differences: A table of learning. Change: The Magazine of Higher Learning, USA, v. 34, n. 6, p. 36-44, 2002.
• TERENZINI, Patrick T.; PASCARELLA, Ernest T. Twenty years of research on college students: Lessons for future research. Research in Higher Education, Georgia, USA, v. 32, n. 1, p. 83-92, 1991.
• ZEPKE, Nick. What future for student engagement in neo-liberal times? Higher Education, Georgia, USA, v. 69, n. 4, p. 693-704, 2015.
• ZHAO, Chun-Mei; KUH, George D. Adding value: Learning communities and student engagement. Research in Higher Education, Georgia, USA, v. 45, n. 2, p. 115-138, 2004.

Datas de Publicação

• Publicação nesta coleção
  25 Abr 2019
• Data do Fascículo
  Mar-May 2019

Histórico

• Recebido
  20 Out 2016
• Aceito
  23 Fev 2017