Fatores influentes no desempenho acadêmico de universitários em ações educacionais a distância

Factors that influence students' academic performance in distance learning higher education

Factores influyentes en el rendimiento académico de estudiantes en la enseñanza virtual

Resumo

Ao passo em que a educação a distância assume destaque, são necessárias investigações que atestem a eficácia e aplicabilidade da modalidade, em termos do alcance dos resultados de aprendizagem. Testou-se um modelo para a avaliação de ações educacionais a distância, visando identificar preditores de aprendizagem, incluindo estratégias de aprendizagem, frequência nos recursos da web e reações aos procedimentos instrucionais e ao desempenho do tutor. Foram aplicados os questionários aos alunos das disciplinas semipresenciais Metodologia Científica e Economia, ofertadas a todos os graduandos da universidade privada participante. Através da análise de regressão múltipla padrão, verificou-se que as estratégias de aprendizagem autorregulatórias e a frequência de uso das ferramentas da web explicaram a ocorrência de aprendizagem; as reações favoráveis aos procedimentos instrucionais estiveram negativamente associadas ao desempenho acadêmico dos estudantes. Os resultados empíricos obtidos trazem implicações práticas que podem impactar no aprimoramento do planejamento instrucional e nos efeitos de cursos a distância.

Palavras-chave:
educação a distância; aprendizagem; avaliação

Abstract

As distance education becomes more noticeable, research is necessary to certify its effectiveness and applicability, and verify whether the expected learning outcomes are achieved. This study tested an e-learning assessment model to identify learning predictors, including learning strategies, frequency of use of web tools, and students' reaction to the instructional procedures and to the tutor. The questionnaires were applied to the students of the blended disciplines Scientific Methodology and Economics, offered to all the undergraduates of the private university that participated on this study. Results of multiple regression analysis show that the self-regulatory learning strategies and the frequency of use of web tools explained the occurrence of learning; the favorable reactions to the instructional procedures were negatively associated to the students' academic performance. The empirical results bring practical implications that may impact on the improvement of instructional design and the effects of e-learning programs.

Keywords:
distance education; learning; evaluation

Resumen

En tanto que la enseñanza virtual asume protagonismo, se necesitan investigaciones para certificar su eficacia y aplicabilidad, respecto a los resultados del aprendizaje. Fue probado un modelo para evaluar la enseñanza virtual, visando identificar predictores de aprendizaje, entre las estrategias de aprendizaje, la frecuencia de uso de los recursos web, y las reacciones a los procedimientos de instrucción y al tutor. Fueron administrados cuestionarios a los estudiantes de las disciplinas semipresenciales, Metodología Científica y Economía, ofrecidas a todos los estudiantes de la universidad privada partícipe. A través del análisis de regresión múltiple estándar, se descubrió que las estrategias de aprendizaje de autorregulación y la frecuencia de uso de las herramientas web explicaron la ocurrencia del aprendizaje; las reacciones favorables a los procedimientos de instrucción estuvieron negativamente asociados al rendimiento académico de los estudiantes. Los resultados empíricos traen implicaciones prácticas para mejorar el diseño y los efectos de la enseñanza virtual.

Palabras clave:
enseñanza virtual; aprendizaje; evaluación

A eliminação das barreiras temporais e espaciais, combinada à importância da aprendizagem ao longo da vida ou ao surgimento de novas necessidades formativas, encontram-se na base da transformação dos cenários educacionais tradicionais e na promoção do aparecimento de outros novos (Coll & Monereo, 2010), como os cursos a distância ou híbridos. Neste marco, as Tecnologias da Informação e Comunicação (TICs), as novas tecnologias multimídia e a internet são instrumentos poderosos para uso educacional e para promover a aprendizagem, gerando melhorias de caráter quantitativo e qualitativo.

Contudo, é fundamental manter a preocupação e a discussão sobre como funcionam os processos de aprendizagem em modalidades que se afastam dos formatos convencionais do ensino presencial, as quais exigem cada vez mais que os aprendizes possuam competências autônomas para conduzir e se responsabilizarem pelos próprios processos de aprendizagem. Ao aprofundar os conhecimentos sobre a aprendizagem nos atuais contextos educacionais, como a Educação a Distância (EAD), melhores serão as condições para facilitá-la e, posteriormente, avaliar sua efetividade e resultados alcançados (Zerbini & Abbad, 2010a).

A aprendizagem pode ser definida como um processo psicológico complexo e compartilhado, referente às mudanças ocorridas no comportamento do indivíduo, mediado por interações com o contexto circundante e com os pares; além de ativo, o qual depende da iniciativa e responsabilidade do aluno no seu aprendizado (Abbad & Borges-Andrade, 2004; Oliveira, Boruchovitch, & Santos, 2009). Coll e Monereo (2010) afirmam que os cenários educacionais são constituídos por um conjunto de variáveis que os definem, como atores particulares com papéis e formas de interação estabelecidas, de organização do tempo, do espaço e dos recursos específicos. A entrada das TICs modifica em grande medida cada uma dessas variáveis, facilitando o desenvolvimento de ambientes de ensino e aprendizagem com um caráter menos rígido e de colaboração, inserindo novas condições de estudo aos alunos e formas de interação, que merecem atenção para se refletir sobre as formas de aprender nesses contextos, pois podem influenciar os resultados do evento instrucional (Carvalho & Abbad, 2006), além das mudanças no próprio perfil dos estudantes, que crescem rodeados por tecnologias interativas (Garrison & Vaughan, 2008).

Apesar das vantagens e benefícios amplamente difundidos sobre os cursos a distância, como por exemplo, atendimento simultâneo de várias pessoas, otimização de tempo e corte de gastos, há pouca sistematização em termos dos resultados de aprendizagem atingidos por essas ações (Carvalho & Abbad, 2006). A EAD configura-se como uma modalidade e tendência da educação contemporânea que traz desafios teóricos, metodológicos e práticos que devem ser enfrentados por educadores e pesquisadores; estes devem desenvolver teorias e critérios para medir a sua efetividade de modo sistemático e torná-la um sistema bem-sucedido e eficiente (Özkan, Köseler, & Baykal, 2009).

Nesse sentido, pesquisas têm sido desenvolvidas com o interesse de investigar a EAD e a aprendizagem online. Estudos comparativos buscam checar resultados de aprendizagem alcançados por alunos da modalidade presencial e a distância. No estudo de Ruth e Conners (2010), os alunos do EAD obtiveram melhor desempenho acadêmico comparado aos alunos dos cursos tradicionais em sala de aula. Já o estudo de Carrol e Burke (2010), encontrou pouca diferença nos resultados do exame final ou nas avaliações durante o curso entre os alunos que estudaram virtual e presencialmente. Em cursos semipresenciais, os resultados dos estudos mostram que, em geral, são obtidos rendimentos iguais ao tradicional e reações favoráveis (Lim, Morris, & Kupritz, 2007; Vaughan, 2007).

Há pesquisas que objetivam identificar fatores que possam influenciar a aprendizagem em cursos EAD. Os resultados das investigações têm mostrado que fatores individuais, como idade, sexo ou experiência profissional, não apresentam efeito significativo no processo de aprendizagem via internet e não influenciam o desempenho acadêmico (Halawi, Pires, & McCarthy, 2009; Marks, Sibley, & Arbaugh, 2005). Em contrapartida, Johnson, Gueutal e Falbe (2009) encontraram que a idade, os processos metacognitivos e a confiabilidade da tecnologia relacionam-se ao desempenho no e-learning - um modelo de ensino não presencial apoiado em tecnologias que cria um ambiente de aprendizagem eletrônico para a distribuição online de conteúdos.

Como as competências requeridas para ensinar e aprender em um contexto virtual, provavelmente, diferem daquelas necessárias em um contexto presencial (Wang & Haggerty, 2009), estudos compararam as estratégias de aprendizagem usadas por universitários em diferentes modalidades (Riveiro & Nieto, 2004), com destaque para o maior uso de estratégias comportamentais (busca por ajuda interpessoal) na presencial, e de estratégias cognitivas (e.g., repetição e organização) e autorregulatórias, na virtual ou híbrida.

As estratégias de aprendizagem utilizadas pelos alunos que estudam a distância também têm entrado nos modelos preditivos nas pesquisas em diferentes contextos e amostras. Em treinamentos a distância, as estratégias autorregulatórias de controle da motivação e monitoramento da compreensão explicaram a ocorrência de aprendizagem (Warr & Bunce, 1995); monitoramento da compreensão e elaboração apresentaram contribuição para a explicação de transferência de treinamento (Zerbini & Abbad, 2008). Em cursos técnicos, as estratégias cognitivas (repetição mental e reflexão ativa), comportamentais (busca de ajuda no material escrito e aplicação prática) e autorregulatórias (controle da emoção e controle da motivação) estiveram positivamente relacionadas a mudanças no conhecimento (Warr & Downing, 2000). Em contextos de educação superior, as estratégias de aprendizagem não entraram como variável explicativa de aprendizagem, nem apresentaram correlações significativas com resultados de aprendizagem (Borges-Ferreira, 2005; Silva, 2004).

Dentre as diferentes interações interpessoais (aluno-aluno, aluno-instrutor e aluno-conteúdo) e suas influências na aprendizagem a distância efetiva, a interação instrutor-aluno é a mais importante. Quanto às vantagens da EAD, como flexibilidade no trabalho e conciliação dos estudos com a família, apesar de significativas, são menos importantes que as outras interações consideradas (Marks et al., 2005). No estudo de Halawi et al. (2009), no entanto, a interação com o professor, junto a fatores instrucionais, que incluem a efetividade das ferramentas usadas e facilidade para o uso das tecnologias, não apresentaram efeito significativo no processo de aprendizagem via internet.

Ramos e Yudko (2008) propuseram identificar quais fatores predizem a aprendizagem bem-sucedida em cursos online em termos da frequência de acessos ao ambiente virtual do curso, as discussões enviadas e lidas. Foi analisada a eficácia desses componentes sobre os resultados obtidos pelo aluno - pontuação total do aluno nas provas. O total de acessos à página teve um grande efeito sobre os resultados de aprendizagem e as participações em discussões tiveram pouco ou nenhum efeito sobre o desempenho (notas nos exames).

O estudo de Özkan et al. (2009) tinha o foco na avaliação da satisfação dos alunos com o e-learning, que de modo geral, mostrou-se alta com relação aos aspectos do curso (qualidade do sistema, da informação e do serviço) e também foi favorável às respostas rápidas do instrutor às necessidades do aluno, sua capacidade para solução de problemas e habilidades de comunicação.

A partir dos achados levantados, constatam-se lacunas teórico-metodológicas na área de avaliação de ações educacionais ofertadas a distância pela internet que incluam a medida de aprendizagem em suas análises. São escassas as pesquisas sistemáticas, realizadas por meio de estudos empíricos, com o propósito de identificar fatores preditores do processo de aprendizagem em contextos de EAD; ao contrário, possuem uma ênfase sobretudo nas percepções e satisfação dos usuários com a modalidade, sendo predominantes as medidas de autoavaliação e de natureza perceptual (Grossman & Salas, 2011; Martins & Zerbini, 2014a).

Considerando a crescente inserção e importância da EAD na esfera educacional, são necessárias pesquisas que atestem a eficácia e aplicabilidade dessa modalidade de ensino por meio da realização de estudos empíricos com enfoque inferencial, como este, que apresentam uma temática de relevância social e acadêmica, além de trazer contribuições pertinentes ao planejamento, à implementação e à avaliação desse tipo de ação educacional. O presente estudo pretende contribuir para suprir as lacunas mencionadas ao propor a avaliação da efetividade de disciplinas de graduação ofertadas a distância, em termos de alcance de aprendizagem, combinando simultaneamente a investigação de variáveis antecedentes relacionadas às características da clientela (estratégias de aprendizagem e frequência nos recursos da web) e às reações dos participantes aos procedimentos instrucionais e ao desempenho do tutor, com os resultados (ganhos de aprendizagem).

Modelo de investigação e variáveis de interesse

O modelo de investigação adotado deriva de modelos teóricos previamente apresentados na literatura da área de avaliação de efetividade de ações educacionais (e.g., Borges-Andrade, 2006), os quais priorizam a inclusão e a integração de diversos componentes a serem avaliados, em oposição aos modelos clássicos de avaliação que focalizavam somente os resultados. O modelo é composto pelas seguintes variáveis: 1) Estratégias de Aprendizagem e Frequência nos Recursos da Web, 2) Reações aos Procedimentos Instrucionais e ao Desempenho do Tutor e 3) Aprendizagem.

Estudiosos afirmam que a inserção e a análise das características individuais em pesquisas podem auxiliar na compreensão do processo de aprendizagem em adultos, identificar aquelas que podem melhorar o desempenho em atividades e contribuir para o desenvolvimento de modelos teóricos de treinamento e de avaliação (Warr & Allan, 1998; Warr & Downing, 2000). Além das características mais estudadas como gênero, idade, motivação, ansiedade e autoeficácia, alertam sobre a necessidade de investigar variáveis cognitivo-comportamentais, tais como as estratégias de aprendizagem utilizadas pelos alunos durante ações educacionais de natureza diferentes, uma vez que a maioria delas tem possibilidade de associação positiva com resultados de aprendizagem (Warr & Allan, 1998; Warr & Downing, 2000).

As estratégias de aprendizagem podem ser definidas como um conjunto de capacidades cognitivas, habilidades comportamentais e de autocontrole emocional utilizadas pelo aprendiz de maneira consciente, intencional e adaptado às condições do contexto para controlar os próprios processos psicológicos de aprendizagem - atenção, aquisição, memorização e transferência - e alcançar objetivos de aprendizagem específicos (Beluce & Oliveira, 2012; Warr & Allan, 1998; Warr & Downing, 2000). São consideradas como elementos importantes para a aprendizagem bem-sucedida nos atuais cenários de ensino virtuais (Bjork, Dunlosky, & Kornell, 2013), além de auxiliarem na implementação de programas educacionais e na adoção de meios e estratégias de ensino mais adequadas às características individuais e necessidades do público-alvo.

Tratando-se de cursos ofertados a distância, que utilizam novas tecnologias de ensino como ferramentas computacionais ou da web, deveriam ser levantadas e sanadas possíveis dificuldades dos participantes para usá-las efetivamente, incidindo sobre o bom aproveitamento do curso. Os Recursos da Web são ferramentas eletrônicas para navegação do aluno, como chats, listas ou fóruns de discussão, websites e webpages, que se encontram disponíveis durante todo o período do curso e sua utilização pretende facilitar o acesso aos conteúdos e promover a interação entre os participantes. Além de importantes para os estudos via internet, a familiaridade do participante com tais ferramentas e a frequência que as utiliza, podem ter influência na aprendizagem e nos índices de evasão na EAD (Abbad, 2007). O acesso às informações sobre o padrão e a frequência de uso dessas ferramentas pelos alunos, além das interações sociais proporcionadas pelo ambiente virtual, possibilita traçar um mapa sobre aquelas mais utilizadas e que podem estar relacionadas com a facilitação de aprendizagem.

O componente Reações refere-se à satisfação dos participantes com as características instrucionais do curso (qualidade dos objetivos de ensino, conteúdos, sequência, avaliações de aprendizagem, estratégias e meios, qualidade das ferramentas de interação) e com a qualidade da interação do tutor com os alunos, domínio do conteúdo e uso de estratégias de ensino. Medidas de reação, específicas para cursos a distância, devem considerar as novas competências e habilidades por parte do tutor e o ambiente virtual envolvido (Carvalho & Abbad, 2006; Zerbini & Abbad, 2005). A satisfação pode levar a níveis mais altos de engajamento e aumentar a retenção de aprendizagem dos alunos; pode aprimorar o planejamento instrucional conforme dados sobre a avaliação de efeitos produzidos, e garantir o sucesso na EAD (Long, DuBois, & Faley, 2008; Tien-Chen, 2012; Zerbini & Abbad, 2010b).

A variável critério Aprendizagem foi avaliada segundo o desempenho obtido pelos alunos nas avaliações presenciais parciais e finais propostas durante as disciplinas analisadas, sendo medida em termos da média das notas adquiridas. O fenômeno em questão pode não ser adequadamente alcançado através do desempenho acadêmico, sendo importante relativizar a medida de aprendizagem, que é frágil e pouco complexa, mas as notas ainda são o mecanismo mais usual e comumente utilizado em instituições de ensino para medir a aprendizagem dos estudantes e, consequentemente, nas pesquisas sobre o tema, como estudos comparativos sobre EAD e como preditoras de sucesso acadêmico (Borges-Ferreira, 2005; Carrol & Burke, 2010; Ramos & Yudko, 2008).

Método

Participantes

A universidade parceira, localizada no interior paulista e da rede privada, oferece desde 2008 cursos superiores a distância via internet, sendo as disciplinas semipresenciais, semestrais e obrigatórias, Metodologia Científica e Economia, ofertadas a todos os graduandos da instituição, inclusive àqueles que realizam seus cursos presencialmente.

Os dados demográficos dos 343 alunos respondentes (52,2% "Economia" e 47,8% "Metodologia Científica") apontam que 62,7% são do sexo "feminino", 87,5% são "solteiros", 91,3% "não têm filhos" e 89,5% residem na região "sudeste". A média de idade é de 23 anos (DP = 7,26) - faixa etária preponderante entre 17 e 20 anos (46,6%) - e 65,9% possuem o "Ensino Superior Incompleto". A maioria dos alunos "apenas estuda" (62,1%), mas 35,3% "trabalham além de estudar". Em 40,5% dos casos, a renda concentra-se entre "2 e 3 salários mínimos". Quanto à "experiência anterior no uso da internet", 87,5% dos alunos declararam possui-la para utilizar ferramentas e recursos da web.

Instrumentos de Medida

Anteriormente à coleta de dados, os instrumentos Estratégias de aprendizagem (Zerbini & Abbad, 2008), Reação ao desempenho do tutor (Zerbini & Abbad, 2009a) e Reação aos procedimentos instrucionais (Zerbini & Abbad, 2009b) sofreram modificações para se adequarem às especificidades dos contextos de ensino superior, tendo passado por processos de validação teórica (semântica e/ou por juízes) e estatística - verificação de evidências de validade (análises fatoriais exploratórias) e confiabilidade (Alfa de Cronbach). As escalas apresentam evidências de validade de conteúdo e da estrutura interna (Martins & Zerbini, 2014b; Martins & Zerbini, 2015): 1) Estratégias de aprendizagem: "Estratégias cognitivas" (15 itens, α = 0,90); "Controle da emoção" (quatro itens, α = 0,77); "Estratégias autorregulatórias" (sete itens, α=0,86); e "Busca de ajuda interpessoal" (três itens, α = 0,68); 2) Reação aos procedimentos instrucionais: "Procedimentos Instrucionais em EAD" (17 itens, α = 0,96); e 3) Reação ao desempenho do tutor: "Desempenho do Tutor" (27 itens, α = 0,98).

Procedimentos de Coleta e de Análise de Dados

A coleta de dados ocorreu em três momentos distintos com vistas a aumentar o índice de retorno de respostas aos questionários - os dois primeiros, a distância, com a digitalização e disponibilização dos instrumentos no ambiente virtual de aprendizagem (AVA); e o terceiro, presencial, com a aplicação em papel dos questionários, sendo a participação voluntária e todos os demais aspectos éticos respeitados. Os instrumentos foram disponibilizados três vezes aos alunos das disciplinas da universidade parceira (N = 1.349) na tentativa de inteirar um número suficiente de casos para a realização das análises previstas. Embora tenham sido utilizadas duas formas distintas de coleta de dados (virtual e presencial), não há diferenças amostrais que justificassem o tratamento separado dos dados obtidos, uma vez que se trata exatamente dos mesmos alunos, que não haviam respondido em um primeiro momento à pesquisa pelo AVA, mas depois responderam ao questionário impresso, na presença da pesquisadora na universidade.

As respostas aos questionários integraram o arquivo de dados no SPSS 17.0 (Statistical Package for the Social Science) para que fossem feitas as análises. No total, obteve-se um índice de retorno de 22,2% (n = 300) para o questionário de Estratégias de aprendizagem; 21,4% (n = 289) para o de Reação aos procedimentos instrucionais e 20% (n = 271) para o de Reação ao desempenho do tutor. Foram também coletadas as médias finais obtidas em avaliações de aprendizagem e a frequência de uso dos recursos da web pelos alunos (frequência de acessos ao AVA e troca de mensagens) - a solicitação de autorização para o levantamento e a utilização desses dados foi concedida mediante a firma de um convênio acadêmico que estabelecia a cooperação na área de pesquisa entre as Universidades partícipes, viabilizando a sua execução.

O arquivo de dados completo, contendo o modelo multivariado com as variáveis pareadas, foi submetido a análises exploratórias e avaliaram-se os pressupostos para a análise fatorial (Hair, Anderson, Tatham, & Black, 2005; Tabachnick & Fidell, 2007). Posteriormente à realização das análises fatoriais exploratórias dos instrumentos (Principal Components e Principal Axis Factoring), foram produzidos os escores fatoriais a partir da média das variáveis originais dos fatores para serem utilizados nas análises de regressão múltipla padrão, com o método enter, devido ao número insuficiente de casos amostrais para utilizar o método stepwise (razão de 40 casos para cada variável antecedente) como previsto. As decisões sobre os critérios de inclusão para a análise de regressão foram tomadas conforme recomendações de Tabachnick e Fidell (2007): amostra maior ou igual a 50 casos mais oito vezes o número de variáveis antecedentes (N ≥ 50 + 8m) para testar correlações múltiplas, e N ≥ 104 + m, para testar preditores individuais. A amostra considerada atende a ambos critérios mencionados.

Resultados

O arquivo de dados ficou com 257 casos válidos após a exclusão dos casos extremos uni (4) e multivariados (8), tratamento dos dados omissos pelo método listwise e identificadas relações lineares entre as variáveis, sem singularidade, nem multicolinearidade.

Para a testagem do modelo de predição (Figura 1), foram incluídas simultaneamente nas análises de regressão as seguintes variáveis antecedentes: número de acessos ao ambiente virtual de aprendizagem (AVA); número de mensagens enviadas pelos alunos (Msg); média das respostas aos itens do fator único do instrumento Reação aos Procedimentos Instrucionais (RP); média das respostas aos itens do fator único do instrumento Reação ao Desempenho do Tutor (RT); média das respostas aos itens dos quatro fatores do instrumento Estratégias de Aprendizagem: EA1 (estratégias cognitivas), EA2 (controle da emoção), EA3 (estratégias autorregulatórias) e EA4 (busca de ajuda interpessoal). A variável critério, Aprendizagem, configura a média das notas obtidas pelos alunos nas avaliações de aprendizagem (parciais e finais) nas disciplinas.

Figura 1
Modelo de Análise de Predição de Aprendizagem.

A Tabela 1 sintetiza informações sobre os coeficientes de correlação múltipla e de regressão entre a variável critério e as variáveis antecedentes.

Tabela 1
Regressão Múltipla Padrão para o Modelo de Investigação Proposto.

Variável	Aprend. (VD)	AVA	Msg	RP	RT	EA1	EA2	EA3	EA4
AVA	0,32*
Msg	0,29*	0,55*
RP	-0,50	0,06	0,09
RT	0,01	0,05	0,05	0,73*
EA1	0,07	0,19*	0,09	0,36*	0,28*
EA2	-0,01	0,01	-0,06	0,26*	0,25*	0,37*
EA3	0,16*	0,17*	0,07	0,34*	0,23*	0,68*	0,36*
EA4	0,11	0,06	0,08	0,24*	0,21*	0,42*	0,20*	0,33*
B		0,27*	0,24*	-0,20*	0,11	-0,11	-0,02	0,23*	0,05
β		0,20	0,17	-0,22	0,13	-0,11	-0,03	0,22	0,09
Sr2		0,18	0,15	-0,15	0,09	-0,08	-0,03	0,17	0,09
Média	6,57	259,49	28,72	7,43	7,80	6,76	6,54	7,53	5,42
Desvio-padrão	1,56	143,49	22,22	1,70	1,74	1,55	1,85	1,46	2,46
Constante = 4,47 R2 = 0,17*R2 (ajustado) = 0,13*R= 0,41*

• ^*
  p < 0,05

O coeficiente de regressão múltipla R foi significativamente diferente de zero, F(8, 257) = 4,95, < 0,001, com limite de confiança de 95%. As variáveis antecedentes que contribuíram significativamente para a explicação de aprendizagem, tendo considerado o intervalo de confiança de 95%, foram: AVA (β = 0,20), Msg (β = 0,17), RP (β = -0,22) e EA3 (β = 0,22). Agrupadas, as oito variáveis iniciais, explicaram R²=17% (R² ajustado=13%) da variabilidade de aprendizagem; e as quatro variáveis que contribuíram significativamente com a explicação da variável critério explicaram, somadas suas contribuições individuais (β), cerca de 8% da variabilidade de aprendizagem. Dentre as variáveis com participação preditiva significativa, observa-se que a variável reação aos procedimentos instrucionais possui um efeito negativo sobre a variável critério e as demais, relações positivas. Quanto às correlações significativas com Aprendizagem, em ordem crescente, o acesso ao AVA foi a mais forte, seguida da troca de mensagens e das estratégias autorregulatórias.

Os alunos que obtiveram as melhores médias em avaliações de aprendizagem realizadas durante as disciplinas foram aqueles que mais acessaram o ambiente virtual de aprendizagem, trocaram maior número de mensagens entre pares e tutores e usaram com frequência as estratégias de aprendizagem autorregulatórias, que auxiliam no processo de autogerenciamento e autorregulação da aprendizagem. Contrário ao que se esperava, as avaliações favoráveis dos participantes com os procedimentos instrucionais das disciplinas avaliadas não estiveram positivamente relacionadas aos ganhos de aprendizagem.

Discussão

O modelo de avaliação de ações educacionais a distância testado foi composto por variáveis individuais e de reações, visando identificar quais apresentavam maior poder preditivo e mensurar aquelas com contribuições significativas na explicação da variável critério: Aprendizagem. As variáveis que apresentaram relação de predição significativa com Aprendizagem foram as estratégias de aprendizagem autorregulatórias, as reações aos procedimentos instrucionais, os acessos ao AVA e a troca de mensagens.

A variável Estratégias autorregulatórias contribuiu para a explicação da ocorrência de aprendizagem, apontando que o controle da motivação, ansiedade e atenção pelos alunos no momento de estudo, junto à avaliação do próprio processo de aquisição de aprendizagem (monitoramento da compreensão) durante o decorrer das disciplinas, tiveram influência sobre os resultados nas avaliações de aprendizagem. Esses resultados corroboram os achados de Warr e Bunce (1995), nos quais, igualmente, as estratégias autorregulatórias de controle da motivação e monitoramento da compreensão explicaram em conjunto a ocorrência de aprendizagem. Outros estudos na área da educação, no nível fundamental de ensino, comprovaram que o uso das estratégias de aprendizagem, principalmente as cognitivas e autorregulatórias, denominadas também como metacognitivas, facilita a aprendizagem e fomenta o bom desempenho acadêmico (Oliveira et al., 2009). Johnson et al. (2009) também encontraram que os processos metacognitivos, junto à idade e confiabilidade da tecnologia, estiveram relacionados ao desempenho no curso online avaliado.

Nos modelos de aprendizagem testados por Borges-Ferreira (2005), nenhuma das estratégias de aprendizagem entrou como variável explicativa; do mesmo modo, Silva (2004) não encontrou correlações significativas entre estratégias de aprendizagem e resultados de aprendizagem, medida em termos de menção final. Na pesquisa realizada em contexto de cursos técnicos por Warr e Downing (2000), em contrapartida, de todas as estratégias, apenas busca por ajuda interpessoal e monitoramento da compreensão não foram positivamente relacionadas a mudanças no conhecimento - no caso do presente estudo, justamente as estratégias de monitoramento da compreensão e controle da motivação tiveram poder preditivo sobre aprendizagem.

Conhecer as estratégias de aprendizagem mais eficazes, que influenciam o processo de aprendizagem, pode auxiliar tutores/instrutores a orientar e incentivar os alunos a usar as estratégias mais adequadas e identificar as malsucedidas, reconsiderando, quando necessário, as medidas a serem tomadas para o alcance de resultados positivos. O uso de procedimentos e comportamentos facilitadores, como as estratégias de autogerenciamento do aprendizado, mostram-se como diferenciais importantes para se obter bons resultados em contextos virtuais, podendo potencializar o desempenho acadêmico. O desenho do curso em si também deve ter em conta as estratégias de sucesso e facilitar a sua utilização, através do planejamento instrucional, exercícios propostos, etc.

Oposto ao esperado, a variável Reação aos procedimentos instrucionais mostrou uma associação negativa significativa com as médias nas avaliações de aprendizagem. Diferentemente, Borges-Ferreira (2005) encontrou que essa variável explicou parte da variabilidade das médias finais obtidas por alunos de disciplinas de curso técnico profissionalizante a distância, além de entrar como preditora em estudos sobre "transferência de treinamento" ou "impacto do treinamento no trabalho" (Carvalho & Abbad, 2006; Zerbini & Abbad, 2005). No estudo de Halawi et al. (2009), os fatores instrucionais, que incluem a efetividade das ferramentas usadas, interação com o professor e facilidade para o uso das tecnologias, não tiveram efeito significativo no e-learning. E em Özkan et al. (2009), a qualidade do sistema, da informação e do serviço influenciaram positivamente a satisfação do aluno.

Apesar das Reações ao desempenho do tutor não terem entrado como preditores de aprendizagem, considera-se que a avaliação da satisfação dos alunos com o papel, atividade docente e prática pedagógica do tutor deva permanecer nos modelos para testar relacionamento entre variáveis em contextos de EAD, pois resultados de pesquisas mostraram que a interação instrutor-aluno tem influências para a efetividade da aprendizagem a distância (Marks et al., 2005), além do grau de satisfação dos alunos com o e-learning estar positivamente relacionado à atuação profissional do tutor (Özkan et al., 2009).

Provavelmente, a forte e positiva correlação entre as variáveis "Reação ao desempenho do tutor" e "Reação aos procedimentos instrucionais" na equação (r=0,73; p < 0,05) acarretou no momento da análise estatística de regressão, que a variável antecedente com maior correlação com a variável critério tivesse prioridade e se sobrepusesse àquela com segunda maior correlação, retirando ou ocultando seu poder explicativo. Nos casos em que há variância compartilhada entre duas variáveis antecedentes, a entrada da primeira oculta o poder explicativo da segunda, ocasionando que esta não apareça como preditora.

No entanto, como há evidências empíricas que comprovam o poder explicativo das reações e sua contribuição sobre o processo de aprendizagem, deve-se seguir coletando informações relevantes ao aprimoramento de ações educacionais no que diz respeito aos aspectos instrucionais existentes, uma vez que a satisfação com os mesmos influi positivamente sobre os resultados e o sucesso acadêmico em ambientes de aprendizagem online.

A Frequência de uso das ferramentas da web esteve positivamente relacionada a ganhos de aprendizagem, mostrando o papel e a influência bastante importante do AVA, principal meio de entrega e de estudo utilizado em EAD, bem como das trocas de mensagens, para a obtenção de bons resultados em cursos à distância. Resultado semelhante foi encontrado por Ramos e Yudko (2008), em que o total de acessos ao ambiente virtual do curso influenciou de forma significativa os resultados de aprendizagem (pontuação total do aluno nas provas).

O recorrente acesso ao AVA e a constante troca de mensagens entre alunos e tutores explicaram a ocorrência de aprendizagem, ou seja, o alcance pelos alunos de melhores médias finais nas disciplinas. Este resultado é surpreendente no sentido de que alunos de cursos presenciais que realizam apenas algumas disciplinas a distância, possivelmente, utilizariam pouco ou teriam dificuldades para se adaptar aos recursos da web - o que não significa necessariamente que não o tiveram; mas indica o papel fundamental do planejamento instrucional (organização, desenho e leiaute do AVA; disponibilização e sequência dos conteúdos; objetivos educacionais e exercícios propostos, etc.) e das interações interpessoais (trocas mútuas de entendimento de conteúdos, solução de dúvidas, ajuda recíproca entre pares, etc.) para a aprendizagem bem-sucedida. Além disso, mostra que os alunos contemporâneos apresentam facilidade na busca por informações hospedadas na web. São alunos acostumados a usar o computador e, apesar de não terem escolhido a modalidade a distância como forma integral de realizarem seus estudos na graduação, saíram-se bem no uso do AVA e, este, teve impacto significativo no bom desempenho acadêmico dos mesmos.

A predição de aprendizagem explicada pelo acesso ao AVA e troca de mensagens mostra a importância dos estudos na área de EAD incluírem essas variáveis nos modelos e, principalmente, investimentos devem ser feitos para aprimorar cada vez mais o ambiente virtual de aprendizagem, incentivar o seu uso pelos alunos e estimular as interações interpessoais mediadas pelas TICs durante uma ação educacional a distância.

Os resultados obtidos trazem implicações práticas que se referem ao uso das medidas de avaliação de cursos a distância em instituições de ensino e também em organizações de trabalho que oferecem ações educacionais EAD. Por meio da avaliação desses programas, podem-se compilar informações pertinentes ao aprimoramento do planejamento instrucional adotado e, consequentemente, dos efeitos produzidos. O aperfeiçoamento de cursos a distância contribui para que a modalidade possa ser vista como uma alternativa educacional disponível, com aplicabilidade atestada por meio de pesquisas científicas. Estas podem fornecer conhecimentos e discussões acerca dos elementos necessários para que a modalidade não caia no descrédito e esteja constantemente à revelia de preconceitos e comentários depreciativos sobre a sua qualidade e eficácia, fornecendo subsídios às instituições de ensino superior que necessitam, muitas vezes, de orientação especializada para a implementação e acompanhamento dos cursos EAD.

Além disso, a avaliação e a melhoria de cursos a distância podem resultar na elaboração de objetivos educacionais mais complexos, impactando diretamente no delineamento de estratégias de ensino e avaliações de aprendizagem compatíveis aos mesmos. Habilidades complexas cobradas nos cursos avaliados favorecem o desenvolvimento de pesquisas com metodologias de avaliação mais consistentes e que possam avançar na busca por (outros) preditores de resultados de aprendizagem. Sobre esse respeito, os baixos coeficientes de determinação do modelo de regressão múltipla encontrados indicam a existência de outras variáveis, não abordadas neste estudo, que explicam grande parcela da variabilidade de aprendizagem. Em estudos futuros, portanto, será necessária a inclusão de novas variáveis explicativas no modelo de avaliação de aprendizagem como, por exemplo, variáveis motivacionais e de autoeficácia, apontadas como boas preditoras de desempenho e de resultados de aprendizagem (Grossman & Salas, 2011).

Dentre as principais contribuições deste estudo, destacam-se: ampla revisão da literatura na área de avaliação de ações educacionais a distância em diferentes campos do conhecimento, com o levantamento de resultados de pesquisa empíricos sobre a temática de interesse e apoiando o embasamento teórico do estudo; adaptação e validação teórica e estatística dos instrumentos utilizados na coleta de dados, que podem ser aplicados em instituições de ensino ou organizações de trabalho que ofertam cursos EAD, tanto em pesquisas como em avaliações em geral; inclusão de variáveis menos exploradas na literatura no modelo de investigação (e.g., aprendizagem, estratégias de aprendizagem); coleta de dados em um contexto de ensino superior a distância; aprimoramento dos procedimentos de coleta de dados pela internet em comparação a estudos anteriores (Zerbini & Abbad, 2005).

Quanto às limitações, destaca-se principalmente o baixo índice de devolução dos questionários nos momentos de coleta de dados realizados a distância, indicando que as pesquisas futuras realizadas em contexto universitário na modalidade EAD deverão despender ainda mais esforços para aperfeiçoar os meios de coleta de dados pela internet, buscando aumentar os índices de retorno. Exemplo disso deve ser o investimento nos contatos com as instituições de ensino superior (IES) participantes, os quais devem ser esclarecedores dos procedimentos e objetivos da pesquisa, argumentando sobre a importância da avaliação do curso ao fornecer retornos positivos para o aprimoramento do mesmo.

Por fim, espera-se que a presente investigação tenha contribuído com a área de avaliação de cursos a distância, especialmente, para a análise de modelos de avaliação de aprendizagem em contexto de IES.

Referências

• Abbad, G. (2007). Educação a distância: o estado da arte e o futuro necessário. Revista do Serviço Público, 58, 100-110. doi: org/10.21874/rsp.v58i3.178
• Abbad, G., & Borges-Andrade, J. E. (2004). Aprendizagem humana em organizações de trabalho. In J. C. Zanelli, J. E. Borges-Andrade, & A.V. B. Bastos (Orgs.), Psicologia, organizações e trabalho no Brasil (pp. 237-275). Porto Alegre: Artmed.
• Beluce, A. C., & Oliveira, K. L. (2012). Ambientes virtuais de aprendizagem: das estratégias de ensino às estratégias de aprendizagem. In IX ANPED SUL, 1-14. Recuperado de http://www.ucs.br/etc/conferencias/index.php/anpedsul/9anpedsul/paper/viewFile/3006/904
  » http://www.ucs.br/etc/conferencias/index.php/anpedsul/9anpedsul/paper/viewFile/3006/904
• Bjork, R. A., Dunlosky, J., & Kornell, N. (2013). Self-regulated learning: beliefs, techniques, and illusions. Annual Review of Psychology, 64, 417-444. doi: org/10.1146/annurev-psych-113011-143823
• Borges-Andrade, J. E. (2006). Avaliação integrada e somativa em TD&E. In J. E. Borges-Andrade, G. Abbad, & L. Mourão (Orgs.), Treinamento, desenvolvimento e educação em organizações e trabalho: fundamentos para a gestão de pessoas (pp. 343-358). Porto Alegre: Artmed.
• Borges-Ferreira, M. F. (2005). Avaliação de reações e aprendizagem em disciplinas de curso técnico profissionalizante oferecidas a distância (Dissertação de Mestrado não publicada). Instituto de Psicologia, Universidade de Brasília, Brasília.
• Carrol, N., & Burke, M. (2010). Learning effectiveness using different teaching modalities. American Journal of Business Education, 3(12), 65-76. doi: org/10.19030/ajbe.v3i12.966
• Carvalho, R. S., & Abbad, G. (2006). Avaliação de treinamento a distância: reação, suporte à transferência e impactos no trabalho. Revista de Administração Contemporânea, 10(1), 95-116. doi:10.1590/S1415-65552006000100006
  » https://doi.org/10.1590/S1415-65552006000100006
• Coll, C., & Monereo, C. (Orgs.). (2010). Psicologia da Educação virtual - Aprender e ensinar com as tecnologias da informação e da comunicação.Porto Alegre: Artmed.
• Garrison, D. R., & Vaughan, N. D. (2008). Blended learning in higher education: Framework, principles and guidelines. São Francisco: Jossey-Bass. doi: org/10.1002/9781118269558
• Grossman, R., & Salas, E. (2011). The transfer of training: what really matters. International Journal of Training and Development, 15(2), 103-120. doi: org/10.1111/j.1468-2419.2011.00373.x
• Hair, J. F., Anderson, R. L., Tatham, R. L., & Black, W. C. (2005). Análise multivariada de dados (5ª ed.). Porto Alegre: Bookman.
• Halawi, L. A., Pires, S., & McCarthy, R. V. (2009). An evaluation of e-learning on the basis of Bloom's taxonomy: an exploratory study. Journal of Education for Business, 84(6), 374-380. doi: org/10.3200/JOEB.84.6.374-380
• Johnson, R. D., Gueutal, H., & Falbe, C. M. (2009). Technology, trainees, metacognitive activity and e-learning effectiveness. Journal of Managerial Psychology, 24(6), 545-566. doi: org/10.1108/02683940910974125
• Lim, D. H., Morris, M. L., & Kupritz, V. W. (2007). Online vs. blended learning: differences in instructional outcomes and learner satisfaction. Journal of Asynchronous Learning Networks, 11(2), 27-42. Recuperado de http://onlinelearningconsortium.org/read/journal-issues/
  » http://onlinelearningconsortium.org/read/journal-issues/
• Long, L. K., DuBois, C. Z., & Faley, R. H. (2008). Online training: the value of capturing trainee reactions. Journal of Workplace Learning, 20(1), 21-37. doi: org/10.1108/13665620810843629
• Marks, R. B., Sibley, S. D., & Arbaugh, J. B. (2005). A structural equation model of predictors for effective online learning. Journal of Management Education, 29(4), 531-563. doi: org/10.1177/1052562904271199
• Martins, L. B., & Zerbini, T. (2014a). Educação a distância em instituições de ensino superior: uma revisão das pesquisas. Revista Psicologia: Organizações e Trabalho, 14(3), 271-282. Recuperado de http://pepsic.bvsalud.org/scielo.php?script=sci_arttext&pid=S1984-66572014000300003&lng=pt&tlng=pt
  » http://pepsic.bvsalud.org/scielo.php?script=sci_arttext&pid=S1984-66572014000300003&lng=pt&tlng=pt
• Martins, L. B., & Zerbini, T. (2014b). Escala de estratégias de aprendizagem: evidências de validade em contexto universitário híbrido. Psico-USF, 19(2), 317-328. doi: 10.1590/1413-82712014019002007
  » https://doi.org/10.1590/1413-82712014019002007
• Martins, L. B., & Zerbini, T. (2015). Evidências de validade de instrumentos de reações no ensino superior a distância. Estudos e Pesquisas em Psicologia, 15(1), 116-134. Recuperado de http://www.e-publicacoes.uerj.br/index.php/revispsi/article/view/16064/12086
  » http://www.e-publicacoes.uerj.br/index.php/revispsi/article/view/16064/12086
• Oliveira, K. C., Boruchovitch, E., & Santos, A. A. A. (2009). Estratégias de aprendizagem e desempenho acadêmico: evidências de validade. Psicologia: Teoria e Pesquisa, 25(4), 531-536. doi: 10.1590/S0102-37722009000400008
  » https://doi.org/10.1590/S0102-37722009000400008
• Özkan, S., Köseler, R., & Baykal, N. (2009). Evaluating learning management systems: adoption of hexagonal e-learning assessment model in higher education. Transforming Government: People, Process and Policy, 3(2), 111-130. doi: 10.1108/17506160910960522
  » https://doi.org/10.1108/17506160910960522
• Ramos, C., & Yudko, E. (2008). "Hits" (not "discussion posts") predict student success in online courses: a double cross-validation study. Computers & Education, 50(4), 1174-1182. doi: org/10.1016/j.compedu.2006.11.003
• Riveiro, J. M. S., & Nieto, D. A. (2004). Educación a distancia y presencial: diferencias en los componentes cognitivo y motivacional de estudiantes universitarios. Revista Iberoamericana de Educación a Distancia, 7(1/2), 65-75. doi: 10.5944/ried.7.1-2.1075
  » https://doi.org/10.5944/ried.7.1-2.1075
• Ruth, D., & Conners, S. E. (2010). Distance learning in a core business class: determinants of success in learning outcomes and post-course performance. Allied Academies International Conference. Academy of Educational Leadership, 15(1), 50-56.
• Silva, A. (2004). Avaliação de uma disciplina semipresencial de graduação ofertada por meio da internet pela Universidade de Brasília (Dissertação de Mestrado não publicada). Instituto de Psicologia, Universidade de Brasília, Brasília.
• Tabachnick, B. G., & Fidell, L. S. (2007). Using multivariate statistics Nova Iorque: Harper-Collins College Publishers.
• Tien-Chen, C. (2012). Computer self-efficacy and factors influencing e-learning effectiveness. European Journal of Training and Development, 36(7), 670-686. doi: org/10.1108/03090591211255539
• Vaughan, N. (2007). Perspectives on blended learning in higher education. International Journal on E-learning, 6(1), 81-94.
• Wang, Y., & Haggerty, N. (2009). Knowledge transfer in virtual settings: the role of individual virtual competency. Information Systems Journal, 19(6), 571-593. doi: org/10.1111/j.1365-2575.2008.00318.x
• Warr, P., & Allan, C. (1998). Learning strategies and occupational training. International Review of Industrial and Organizational Psychology, 13, 83-121.
• Warr, P., & Bunce, D. (1995). Trainee characteristics and outcomes of open learning. Personnel Psychology, 48, 347-375. doi: 10.1111/j.1744-6570.1995.tb01761.x
  » https://doi.org/10.1111/j.1744-6570.1995.tb01761.x
• Warr, P., & Downing, J. (2000). Learning strategies, learning anxiety and knowledge acquisition. British Journal Psychology, 91(3), 311-333. doi: 10.1348/000712600161853
  » https://doi.org/10.1348/000712600161853
• Zerbini, T., & Abbad, G. (2005). Impacto de treinamento no trabalho via internet. Revista de Administração de Empresas - RAE- eletrônica, 4(2), 1-21. doi: 10.1590/S1676-56482005000200001
  » https://doi.org/10.1590/S1676-56482005000200001
• Zerbini, T., & Abbad, G. (2008). Estratégias de aprendizagem em curso a distância: validação de uma escala. Psico-USF, 13, 177-187. doi: 10.1590/S1413-82712008000200005
  » https://doi.org/10.1590/S1413-82712008000200005
• Zerbini, T., & Abbad, G. (2009a). Reação ao desempenho do tutor em um curso a distância - validação de uma escala. Estudos e Pesquisas em Psicologia, 9, 447-463. Recuperado de http://www.e-publicacoes.uerj.br/index.php/revispsi/article/view/9114/7496
  » http://www.e-publicacoes.uerj.br/index.php/revispsi/article/view/9114/7496
• Zerbini, T., & Abbad, G. (2009b). Reação aos procedimentos instrucionais de um curso via internet: validação de uma escala. Estudos de Psicologia, 26(3), 363-371. doi: 10.1590/S0103-166X2009000300009
  » https://doi.org/10.1590/S0103-166X2009000300009
• Zerbini, T., & Abbad, G. (2010a). Aprendizagem induzida pela instrução em contexto de organizações e trabalho: uma análise crítica da literatura. Cadernos de Psicologia Social e do Trabalho, 13(2), 177-193. doi: 11606/issn.1981-0490.v13i2p177-193
• Zerbini, T., & Abbad, G. (2010b). Reações em cursos a distância: revisão da literatura. Revista PSICO, 41, 192-200. Recuperado de http://revistaseletronicas.pucrs.br/ojs/index.php/revistapsico/article/view/5354
  » http://revistaseletronicas.pucrs.br/ojs/index.php/revistapsico/article/view/5354

Datas de Publicação

• Publicação nesta coleção
  Jul-Sep 2016

Histórico

• Recebido
  12 Ago 2015
• Revisado
  26 Abr 2016
• Aceito
  17 Out 2016