Rendimiento académico e interacción sociocognitiva de estudiantes en un entorno virtual^I

Academic achievement and sociocognitive student interaction in a virtual environment^I

Resumen

El objetivo de este estudio fue el análisis del rendimiento académico vinculado con las características de interacción sociocognitiva en un entorno virtual, en un curso con diseño híbrido o blended learning de nivel universitario. El caso sostuvo un diseño multi-método basado en una estrategia ecológica observacional y un cuestionamiento a mediciones tradicionales de rendimiento académico. Se analizaron los clics –entradas en distintas zonas del entorno- realizados en la plataforma para navegar en el entorno, los mensajes escritos en foros, las respuestas a un cuestionario sobre hábitos y opiniones y las calificaciones obtenidas en exámenes regulares. Los tres ejes de análisis fueron: 1) relación entre uso de la plataforma con calificaciones académicas, opiniones y hábitos; 2) construcción de perfiles de sujetos a partir de análisis de clases en relación a las variables anteriores; 3) características de los mensajes escritos en foros de cinco sujetos con alto y bajo rendimiento académico general. Los resultados muestran que 1) hubo diferencias significativas en las calificaciones y el agrado por utilizar la plataforma; 2) se distinguieron tres clases: uso bajo, medio y alto de plataforma con preferencias distintas en recursos, agrado al utilizarla, entre otros; 3) hubo diferencias notables en el contenido de los mensajes, especialmente en lo no estrictamente cognitivo.

Rendimiento académico; Entorno digital; Interacción sociocognitiva; Nivel universitario

Abstract

This study aimed to analyze academic achievement associated with characteristics of sociocognitive interaction in a virtual environment in a blended learning university course. We performed a multi-method design based on ecological observations challenging the traditional measures of academic performance. We analyzed the number of clicks in different environment areas, written messages in forums, responses to a questionnaire about habits and opinions, and grades in regular examinations. The three analyses performed were: (i) relationship between platform use and academic grades, opinions and habits; (ii) student profiles with class analysis in relation to the previous variables; (iii) characteristics of messages written by five students with high and low academic performance. The results showed: (1) significant differences in grades and the pleasure to use the platform; (2) three different classes of platform use – low, medium and high use – with different preferences regarding resources, pleasure to use, among others; (3) significant differences in the content of messages, especially in non-cognitive aspects.

Academic performance; Virtual environment; Sociocognitive interaction; University level

Introducción

Actualmente, los avances tecnológicos aplicados en educación constituyen un eje de investigación fundamental para quienes se dedican a la docencia e investigación educativa para encontrar mejoras aplicables a dichos ámbitos.

Desde perspectivas neovigotskianas y neopiagetianas, la elaboración del conocimiento no es un hecho abstracto llevado a cabo en mentes únicamente cognitivas y aisladas, sino que los alumnos desempeñan roles en un microsistema social en procesos de influencia mutua. El análisis de la construcción social de conocimientos permite un acceso empírico a procesos psicológicos que son tanto cognitivos como sociales (o sociocognitivos). Esto implica que los sujetos son activos frente al objeto de conocimiento y que el proceso de construcción del objeto (y de sí mismos) se realiza a través de la interacción con otros. De este modo, la actividad colaborativa y el producto cognitivo generado pueden ser entendidos como un sistema cognitivo y social en sí mismo (ROSELLI, 2011).

Conceptualizado de esta manera, el contexto cobra relevancia en el análisis científico ya que cuando los sujetos actúan en su entorno están relacionándose con otros tanto directa como indirectamente debido a que la interacción se produce en un entorno socialmente construido. El trabajo que aquí se presenta retoma el interés por conocer las posibles relaciones entre interacción sociocognitiva en una plataforma virtual y rendimiento o desempeño académico. Se trata de un estudio con impronta exploratoria y ex post facto, cuyos resultados mostrarán aspectos que exceden estos dos ejes. Es decir que, si bien la indagación realizada excede el análisis de la participación y el rendimiento académico ampliándose a aspectos generales relativos al contexto específico de la materia, condiciones de los estudiantes relativos al estudio, al uso de la computadora y de internet, los objetivos principales de la investigación sobre las que se redacta el presente manuscrito y la búsqueda de literatura se centraron en estos dos puntos principales considerados ejes del análisis.

Interacción entre participantes y con el entorno virtual

Los estudiantes en una plataforma educativa virtual interaccionan con los demás participantes y con el entorno, pudiéndose entender este último como sociocognitivo ya que fue diseñado intencionalmente para que interactuando con otros y con el entorno se logren aprender contenidos. Por tanto, participar o usar el entorno implicaría estar presentes como interacción social y cognitiva.

En este sentido, la experiencia educativa en las comunidades virtuales tiene múltiples dimensiones. Para Garrison (2007) está conformada por la presencia cognitiva, social y docente (Figura 1), pudiéndose entender esta idea de presencia aspectos diferentes de la interacción propuesta en los entornos virtuales. Lo cognitivo alude al desarrollo progresivo desde la exploración hasta la resolución relativos al contenido; las expresiones motivacionales constituyen presencia social que da lugar al apoyo socioemocional que cohesiona al grupo y la presencia docente es entendida como diseño, facilitación e instrucción directa.

Figura 1
Presencia social, cognitiva y docente en la experiencia educativa en entornos virtuales

Si bien enseñar es una función habitualmente atribuida a quienes se encuentran formalmente a cargo de este rol, la presencia docente, cuyo objetivo sería la interacción sostenida desde la instrucción, puede distribuirse entre distintos participantes de un entorno virtual dada la horizontalidad permitida en los diálogos. Coll, Bustos y Engel (2011) analizan cómo se distribuye la presencia docente de alumnos de posgrado en su participación en un foro. Las medidas que toman los autores son relativas al acceso al entorno, las contribuciones y la lectura de contribuciones de otros en relación a ideales establecidos de modo teórico. Encontraron perfiles de participación diferenciados en los registros de actividad y las contribuciones realizadas en un foro de conversación. Hallaron que los grupos de participantes cuyo perfil estaba más próximo al que establecieron como perfil de participación idóneo, tenían un mejor ejercicio de la presencia docente en el contenido de sus contribuciones. Coll, Engel y Bustos (2009) establecieron también que los participantes que obtuvieron perfiles de participación más cercanos al ideal para ejercer presencia docente fueron los más asociados a la comunicación recíproca.

Para poder participar más activamente en el entorno virtual, los estudiantes necesitarían percibir su presencia allí como satisfactoria, útil y al entorno como accesible. Joo, Lim y Kim (2011) estudiaron a través de cuestionarios la relación entre enseñanza, presencia social y cognitiva, utilidad percibida, facilidad de uso, satisfacción del alumno y persistencia en un entorno virtual con estudiantes de tiempo parcial. Hallaron que la presencia docente tuvo un efecto significativo tanto en la presencia social como cognitiva de los estudiantes. Asimismo, describieron que la enseñanza y la presencia de tipo cognitiva, la percepción de utilidad y facilidad de uso del entorno mostraron efectos positivos sobre la satisfacción del alumno.

Al no encontrarse presentes la gestualidad y tonos de voz para interactuar con los demás, la presencia en los entornos virtuales requiere acciones visibles que quedan registradas. Coll, Bustos y Engel (2011) sostienen que en el caso de las redes asíncronas de aprendizaje, ofrecer y recibir ayudas quedan condicionados al cumplimiento de ciertas exigencias de participación. Por ello, los participantes debieran leer las contribuciones de los demás y escribir contribuciones con una cierta frecuencia y periodicidad. Los entornos virtuales como Moodle permiten analizar el desarrollo de la interacción con otros dando, por ejemplo, una visualización simple de las participaciones a través de contribuciones iniciales y posteriores ramificaciones provenientes de mensajes de respuesta de otros sujetos (COLL; ENGEL; BUSTOS., 2009), permitiendo un análisis de contenido asociado a la interacción registrada por la plataforma.

Si bien son posibles ciertos registros objetivos con instrumentos propios de las plataformas, el contenido de las contribuciones realizadas requiere un trabajo de tipo cualitativo. Roselli, Dominino y Peralta (2010) se preguntaron acerca del contenido de mensajes escritos vía chat en seis tareas colaborativas (tres lógicas y tres abiertas). En todas las tareas hallaron que los mensajes cognitivos (concernientes a la elaboración propiamente cognitiva de la tarea) fueron los más abundantes respecto a los organizativos (procedimentales) y los socioemocionales (aspectos puramente expresivos). En las tareas que requerían mayor consenso (abiertas), los mensajes socioemocionales y las preguntas aumentaban. Esto mostraría que el contenido cognitivo, el más esperable en un entorno educativo, varía proporcionalmente de acuerdo al tipo y contexto en el que se halla la tarea.

Se conocen medidas de interacción en los entornos virtuales en sus diferentes formas, tanto objetivamente como a través del análisis del contenido de las contribuciones, que muestran características de interacción (entre estudiantes y con el entorno) acerca de qué podría ser esperable en estos entornos educativos. En este escrito se intenta hacer un aporte a este campo, analizando, a su vez, el rendimiento académico asociado a la interacción en estos entornos, información de relevancia para intervenciones adecuadas concordantes con los objetivos perseguidos por los docentes en sus diseños pedagógicos.

Rendimiento académico y entornos virtuales

Si bien en este trabajo intentamos analizar posibles relaciones entre uso del entorno virtual y rendimiento académico (RA), consideramos importante reconocer que el RA, considerado tradicionalmente como la capacidad de los estudiantes de aprobar los cursos o programas de estudio, tiene múltiples aristas de análisis como la evaluación misma. El RA, según Zimmerman (1990), se asocia al uso sistemático de estrategias metacognitivas, motivacionales y conductuales.

García-Jiménez, Alvarado-Izquierdo y Jiménez-Blanco (2000) plantean que al operativizar el rendimiento suele tenderse a cierto reduccionismo en el que la mayor parte de las investigaciones toman dos tipos de medidas: las pruebas objetivas y calificaciones del profesorado. Confirman en sus análisis que el mejor predictor de desempeño académico futuro es el rendimiento anterior, como así también evidencian la importancia de la participación y la asistencia en la predicción del rendimiento en cursos tradicionales.

Los estudios que abordan específicamente relaciones entre RA y uso de TIC (tecnologías de la información y la comunicación) son variados y numerosos. Sin intención de ser exhaustivos en la clasificación, reconocemos algunos que relacionan RA con percepciones de los estudiantes o con medidas objetivas proporcionadas por los entornos virtuales.

En cuanto a las percepciones de los sujetos, Barker y Gossman (2013) hallaron, a partir de un cuestionario aplicado a estudiantes, que el uso de Moodle produce mejoras en el aprendizaje y motivación. Lee et al., (2011) examinaron la relación existente entre la percepción que tienen los estudiantes acerca del apoyo, la satisfacción relativa al curso virtual y su RA. Encontraron que los estudiantes se consideraban más satisfechos cuando el curso había constituido un soporte importante para su aprendizaje. También encontraron que la percepción de los estudiantes en relación al andamiaje brindado no estaba asociado directamente con sus calificaciones finales mientras que la satisfacción relativa al curso sí lo estaba.

Los resultados de un estudio longitudinal reportado por Najmul-Islam (2013) muestran que quienes perciben que Moodle es útil (aunque no fácil de usar), aprecian que son asistidos en su aprendizaje y ayudan al desarrollo de la comunidad, necesaria para mejorar los resultados académicos en un entorno virtual. Además, los estudiantes que sentían que el uso del sistema estaba contribuyendo a su proceso de aprendizaje positivamente se reflejaba en su RA.

Algunos autores muestran que medidas objetivas pueden ser relacionadas con el RA. Sael, Marzak y Behja (2013) hallaron los estudiantes que más tiempo tuvieron sus sesiones abiertas obtuvieron puntuaciones buenas, aunque los autores sostienen que el tiempo de las sesiones no parece reflejar las puntuaciones en forma directa. Romero et al. (2013b), utilizando bases de datos de los cursos de Moodle en función de predecir las calificaciones que obtendrían, desarrollaron una herramienta específica integrada al sistema para facilitar la ejecución de algoritmos de datos para usuarios no expertos (como docentes) y usuarios expertos (investigadores especializados). Llegaron a la conclusión de que la precisión obtenida no es muy alta (del orden del 65%) dado que predecir las calificaciones finales de los alumnos a partir de los datos de uso del web representa una tarea difícil.

Una dificultad hallada por Romero et al. (2013a) en el análisis de foros online con el objetivo de predecir RA es que los mensajes o preguntas enviados a un foro de discusión a menudo abarcan varias oraciones, son incoherentes (en el sentido computacional) e incluyen contenido extra (informal). Los resultados indican que la mayor parte de los estudiantes que aprobaron el curso fueron quienes más activamente participaron en el foro tanto cuantitativa como cualitativamente. Sin embargo, los autores puntúan que la relación de causalidad entre la participación y resultados de aprendizaje es un fenómeno complejo y, por lo tanto, corregir los errores (desde la computación) requeriría una mayor intervención del docente.

Los hallazgos no siempre prueban un aumento del RA en relación directa con la incorporación de entornos digitales en la educación superior. Schirmer-Prieto (2010), por ejemplo, en un análisis longitudinal desde la incorporación de cursos híbridos no encontraron cambios significativos en el RA de los primeros cuatro años, aunque sí en las competencias docentes del equipo que los permitiría en un futuro cercano. Resultados como este indicarían como necesario continuar explorando esta relación entre RA y uso de entornos virtuales.

Si bien existen tendencias que muestran relación entre RA y uso de entornos virtuales, los resultados aún no parecen suficientemente concluyentes. Como se dijo, el RA constituye un tema de difícil estudio por su alta vinculación al contexto, cuando en este contexto se incorporan TIC, la complejidad en el análisis aumenta y ese es el desafío del presente trabajo.

El estudio que aquí se presenta se basó en una lógica de construcción compleja/dialéctica partiendo de información disponible hacia una análisis interpretativo, desintegrando e integrando el material, ampliando y contextualizando con descripciones progresivamente integrativas (ACHILLI, 2005). El carácter del enfoque así concebido implicó partir de objetivos amplios de investigación cuyos resultados pueden concebirse como hipótesis para posibles nuevas indagaciones.

Materiales y métodos

El diseño general de la investigación fue ex post facto en relación a un curso ya concluido. Este estudio se encuentra en el cruce de debates epistemológico-metodológicos en el uso de plataformas educativas en educación. Por un lado, sostenemos la importancia de generar modelos analíticos con aproximaciones metodológicas que recuperen dimensiones de análisis grupales e individuales (ARVAJA et al., 2007). A su vez, se alinea con estudios Computer Supported Collaborative Learning (CSCL, aprendizaje colaborativo mediado por computadora) que históricamente han generado datos cualitativos y cuantitativos sobre aprendizaje mediado y percepciones de los actores respecto del proceso de aprendizaje (CABRERA-MURCIA, 2003). Asimismo, si bien las plataformas proporcionan algunos detalles exactos de la interacción, se hace necesario profundizar en el análisis del contenido discursivo para evaluar el conocimiento construido (SCHIRE, 2006).

Objetivos

Desde una lógica compleja/dialéctica, se plantearon objetivos iniciales que dieron lugar a nuevos objetivos de indagación posteriores. Así, el objetivo del primer análisis exploró diferencias entre los sujetos que habían usado más y menos la plataforma a partir de la información que disponíamos: actividad de los estudiantes en la plataforma y un cuestionario sobre opiniones acerca de la materia, fuentes de estudio, hábitos y uso de internet, computadora y Moodle, entre otros. Dado que los resultados mostraron importantes diferencias en torno a algunos aspectos indagados, el objetivo del segundo análisis fue la construcción integral de perfiles de sujetos utilizando análisis multivariado exploratorio, es decir, intentando superar el análisis bivariado clásico. Teniendo en cuenta medidas relativas a las calificaciones en exámenes y a la participación de los sujetos en la plataforma, resultados de relevancia en las primeras indagaciones, el último de los análisis tuvo como objetivo conocer las características fundamentalmente cualitativas entre los mensajes escritos por sujetos que integralmente hubiesen tenido alto y bajo rendimiento académico, intentando superar medidas reduccionistas y profundizando en el análisis del contenido de los escritos.

Participantes

Participaron 127 estudiantes universitarios de primer año de la carrera de Psicopedagogía de una universidad privada argentina. La mayoría eran mujeres (sólo participaron 6 varones, composición habitual en la carrera), la edad media era de 21 años (entre 17 y 44 años, con un desvío de 6). Los contenidos de la materia cuatrimestral versaban sobre Biología. Trabajaron con los estudiantes cuatro docentes, tres a cargo de los trabajos prácticos en el aula regular de clases y uno a cargo de las clases teóricas presenciales, teniendo todos ellos acceso a la plataforma. El diseño de contenidos y actividades online estuvo a cargo de la profesora responsable de la asignatura aunque todos tenían derechos de modificación.

Los datos incluyen sólo a aquellos estudiantes que rindieron el examen, es decir, fueron descartados aquellos sujetos que no completaron el curso o no rindieron el examen en la primera instancia para descartar posibles variables extrañas en el análisis. Quienes no aprobaron ese examen, tuvieron un recuperatorio o segunda instancia para aprobar de la materia.

Características del curso

El cursado se realizó de forma combinada con actividades presenciales y en la plataforma Moodle (diseño híbrido o blended learning) en catorce semanas. Cuatro horas semanales eran presenciales en aulas tradicionales y luego se realizaba un trabajo práctico semanal sobre el mismo tema dado en clases en la plataforma a través de foros, cuestionario, glosario o chat. Los trabajos prácticos online se consideraban obligatorios.

Inicialmente, en forma presencial y con cañón multimedia, se explicó el uso general de la plataforma. Asimismo, se realizaron dos foros introductorios para familiarizar a los estudiantes con su uso. Los docentes no contaron con apoyo especializado técnico en el uso de la plataforma. Sólo uno de ellos contaba con formación específica y fue quien coordinó la experiencia.

Procedimiento, recogida y análisis de datos

Se registró la participación de cada sujeto en la plataforma, tanto el número de contribuciones o mensajes escritos en los foros como el número de entradas realizadas (clics). También se utilizó el texto completo de 107 mensajes en foros.

Se utilizaron las calificaciones obtenidas por los estudiantes en un examen regular de la materia que constaba de sesenta preguntas de opción múltiple y dos preguntas abiertas de desarrollo evaluado por los docentes a cargo de cada comisión de trabajos prácticos.

Finalmente, a través de un cuestionario ad hoc (ver Anexo), se indagaron temas variados y amplios que permitirían conocer los perfiles de los sujetos: percepciones generales sobre la materia, fuentes de las que estudió para el examen, hábitos en relación a internet, opiniones sobre Moodle y preferencias de actividades o recursos. Con el total de ítems Lickert de la escala se obtuvo un α de Cronbach de 0,621. La eliminación de cualquiera de las preguntas no modificaba significativamente la fiabilidad final. Las preferencias de actividades tenían opción múltiple de acuerdo con las utilizadas en el curso.

Todos los participantes fueron informados acerca de la investigación, accediendo a participar voluntariamente siguiendo las normas de ética vigentes en la institución en la que se realizó el estudio.

De acuerdo a los objetivos planteados, el análisis de los datos se estructuró en tres partes. En una primera parte comparativa, se estudiaron las diferencias en sujetos con bajo y alto uso de la plataforma.

En la segunda parte se realizó un análisis multidimensional inscripto en la corriente francesa del análisis de datos (BENZÉCRI, 1976), basado en técnicas cuantitativas para el tratamiento de datos de encuestas que permiten el análisis de la estructura de la información, analizando todas las variables simultáneamente sin una especificación previa de modelos estadísticos (MOSCOLONI, 2005) e imposibilitando resaltar sólo una variable por sobre otras.

En la tercera parte, se analizaron las características de los mensajes escritos en foros por sujetos con el más alto y el más bajo rendimiento académico integral en cuanto a su construcción y tipo de foro en el que fueron escritos.

A partir de los datos proporcionados por la plataforma, para medir la participación, se construyeron índices que oscilaban entre 0 y 1. Para la confección del índice de entradas (IE), se dividió la cantidad de clics realizados por cada participante sobre el máximo registrado por un individuo en el grupo. Para el índice de mensajes (IM), se dividió la cantidad de de mensajes escritos por cada sujeto en los foros sobre el máximo número presentado por un individuo. Asimismo, se construyó un índice general de rendimiento académico (IGRA) promediando participación de los sujetos en las actividades propuestas en la plataforma (IE e IM) y la calificación obtenida en un examen regular de la materia. Las tres medidas fueron llevadas a oscilar entre 0 y 10 para que los promedios sean calculados sobre un criterio común y equiparable. Este indicador de RA incorpora el uso de la plataforma debido al interés del proyecto de incluir variables vinculadas a la actividad de los estudiantes como proceso y no únicamente como un corte transversal en el tiempo.

Comparación entre sujetos con alto y bajo uso de la plataforma. Con el objetivo de explorar diferencias en sujetos con bajo y alto uso de la plataforma, se compararon las características de uso, calificaciones obtenidas y las respuestas al cuestionario aplicado (Anexo). Para ello, se dividió a los sujetos en dos grupos dependiendo si los mismos estaban por debajo o superaban la media de uso de la plataforma en su respectivo grupo de pertenencia (IE). Así, se constituyeron dos grupos: Grupo 1 (G1, n=75) y Grupo 2 (G2, n=52). Se analizaron las diferencias de medias (con U de Mann-Whitney tratándose las variables como continuas) entre ambos grupos respecto a las calificaciones obtenidas en el examen (tal como fueron evaluados por los docentes), los mensajes y entradas de los sujetos a la plataforma y las respuestas al cuestionario.

La exploración inicial de los datos indicó que la mayoría de las variables estudiadas no cumplen el supuesto de normalidad (prueba de Z de Kolmogorov-Smirnov), a excepción de Calificaciones en examen (z=1,180, p=.124) e Índice de entradas (z=1,279, p=.076). Aún así, estas dos últimas variables no presentaron el supuesto de homogeneidad entre varianzas (respectivamente, F=8,251, p=.005 y F=40,384, p=.000, prueba de Levene). Por lo dicho, para este análisis se utilizó la prueba no paramétrica U de Mann-Whitney.

Exploración de perfiles de usuarios. Con el objetivo de describir perfiles de usuarios en el curso, se utilizó análisis de correspondencias múltiples (ACM) con clasificación sobre coordenadas factoriales con selección de variables activas e ilustrativas (MOSCOLONI, 2005). A los efectos de considerar todas las variables simultáneamente, se aplicó ACM, por tanto, todas las variables continuas fueron transformadas en ordinales. Las respuestas al cuestionario fueron consignadas como 1-Mucho, 2-Bastante, 3-Algo, 4-Poco y 5-Nada. Las variables activas seleccionadas de acuerdo a los análisis previos fueron: IE e IM bajos (de 0 a 0,33), medios (de 0,34 a 0,66) y altos (de 0,67 a 1), calificaciones obtenidas en el examen regular (debajo de seis: Aprobó en recuperatorio o segunda instancia, encima de seis: No necesitó recuperatorio), uso (declarado) de Moodle y agrado por utilizar la plataforma. Las variables ilustrativas fueron todas las demás respuestas al cuestionario. Se procesó mediante SPAD© 4.5.

Análisis de contenido de los mensajes de sujetos con alto y bajo rendimiento general. Finalmente, con el objetivo de analizar el contenido de los mensajes de sujetos con alto y bajo rendimiento general, se evaluaron las características de todos los mensajes (n=107) de los cinco sujetos con más alto y los cinco con más bajo IGRA. En foros asincrónicos cada mensaje tiene cierta independencia de los demás dado que el mismo es escrito en un tiempo discontinuo respecto de los demás mensajes, por lo que cada mensaje fue clasificado por separado y de manera dicotómica. Tomándose el modelo de Roselli, Dominino y Peralta (2010), se evaluó el contenido cognitivo-académico (definiciones, conceptos, etc.), socioafectivo (con saludos, emoticones, etc.) y organizativo (con alusiones directas a la consigna dada por los docentes); se registró si los mensajes contenían preguntas, si usaron primera persona y si había elaboración o sólo se trataba de copia de otro texto. Para analizar la interacción explícita entre estudiantes formalmente registrada en la plataforma, observamos si los mensajes estaban anidados (escritos como respuesta o con respuesta de algún compañero, descartándose las contribuciones de los docentes). Finalmente, se consignó si el mensaje se encontraba en un foro obligatorio u optativo. La codificación de mensajes se realizó a partir del acuerdo de dos jueces y se solicitó la intervención de un tercero en caso de desacuerdo. Las diferencias entre ambos grupos se analizaron con prueba de chi-cuadrado dado que se trataba de opciones dicotómicas (utilizándose la prueba exacta de Fisher por la presencia de casillas con frecuencia inferior a 5).

Resultados

Comparación entre sujetos con alto y bajo uso de la plataforma

Los resultados obtenidos (Tabla 1) muestran que los sujetos que utilizaron la plataforma por encima de la media grupal (G2) tuvieron calificaciones promedio significativamente superiores a las de quienes lo hicieron más escasamente (z=-3,85 p<.001). Asimismo, admitieron usar más el entorno (z=-5,56, p<.001), les agradó más utilizarlo (z=-3,26, p<.001), lo utilizaron más como fuente de estudio (z=-2,53, p<.05), consideraron a los trabajos prácticos como de mejor calidad (z=-2,34, p<.05), encontraron más fáciles las preguntas de desarrollo del examen (z=-3,05, p<.05), evaluaron a la plataforma como menos compleja (z=-2,43, p<.05) y declararon haber dispuesto de más tiempo para usarla (z=-2,95, p<.05). Como era de esperarse debido al criterio de división de los grupos, se hallaron diferencias significativas en las medidas de participación: IE (z=-9,56 p<.001) e IM (z=-6,58, p<.001). No se hallaron diferencias significativas de medias en las otras respuestas al cuestionario.

Tabla 1
Diferencias entre grupos con alto y bajo uso de la plataforma

		Presentan diferencias significativas*	Grupo1 (n=75)	Grupo2 (n=52)
			M(DE)	M(DE)
Rendimiento académico	Calificaciones en examen	Sí (p<.001)	6,34(2,24)	7,88(1,55)
Medidas de participación	Índice de entradas	Sí (p<.001)	0,22(0,01)	0,57(0,19)
	Índice de mensajes	Sí (p<.001)	0,17(0,11)	0,40(0,23)
Respuestas al cuestionario	Explicaciones docentes	No	1,78(0,69)	1,69(0,64)
	Cantidad de ejercitación	No	2,40(0,85)	2,48(0,85)
	Calidad de la ejercitación	Sí (p<.05)	1,93(0,67)	1,79(0,54)
	Agrado por la materia	No	2,23(0,84)	2,08(0,72)
	Carpeta como fuente de estudio	No	1,88(0,96)	1,96(0,97)
	Páginas de Internet como fuente de estudio	No	4,35(1,02)	4,09(1,21)
	Moodle como fuente de estudio	Sí (p<.05)	3,34(1,26)	2,71(1,01)
	Textos del programa como fuente de estudio	No	1,75(0,82)	1,50(0,58)
	Dificultad percibida preguntas de desarrollo	Sí (p<.05)	3,58(0,98)	4,22(1,27)
	Dificultad percibida preguntas de elección múltiple	No	3,51(0,89)	3,55(1,03)
	Uso internet en domicilio	No	1,97(1,13)	1,90(1,18)
	Uso internet en la Facultad o locutorio	No	4,67(0,68)	4,62(0,81)
	Uso de correo electrónico	No	2,76(1,25)	2,31(1,04)
	Uso de redes sociales (e.g.facebook)	No	1,97(1,16)	1,81(1,14)
	Uso de computadora con fines académicos	No	2,83(0,98)	2,45(1,06)
	Complejidad percibida en el uso de la plataforma	Sí (p<.05)	2,99(1,02)	3,53(1,05)
	Uso declarado de la plataforma	Sí (p<.001)	2,82(1,01)	1,71(0,83)
	Disposición de tiempo para utilizar la plataforma	Sí (p<.05)	3,08(1,08)	2,53(0,97)
	Diseño amigable	No	2,10(0,93)	1,82(0,62)
	Agrado por utilizar la plataforma	Sí (p<.05)	2,79(1,24)	1,96(0,89)
	Dificultad percibida en los temas desarrollados	No	2,71(0,78)	2,81(0,69)

• Nota: Las calificaciones oscilaban entre 0 y 10. * Se utilizó la prueba no paramétrica U de Mann-Whitney (las diferencias se sostienen utilizando t de Student)
• Fuente: Elaborado para la presente investigación.

Exploración de perfiles de usuarios

A partir del análisis de correspondencias múltiples y la clasificación sobre las coordenadas factoriales se generaron tres clases. El eje factorial principal estuvo determinado por las categorías Bajo y Alto de las variables activas IE e IM. En conjunto con el extremo asociado a IE e IM bajos se asoció con Aprobó en recuperatorio y en extremo opuesto, asociado a IE e IM altos, se halló la categoría No necesitó recuperatorio, entre otras. Oponiéndose mejor rendimiento y alto uso del entorno con peor rendimiento y bajo uso del mismo.

En la Figura 2 puede apreciarse la distribución de los sujetos y las clases a las que pertenecen. Las categorías características de cada clase ilustran los perfiles típicos de los sujetos reunidos en cada una a partir del valor del test estadístico que otorga el programa. Es importante destacar que una clase se distingue de otra por la predominancia de determinadas categorías de variables pero esto no significa la ausencia de dichas variables en las otras clases, sino que están presentes en menor medida.

Figura 2
Proyección de los sujetos identificados por su número de clase en el primer plano factorial

Clase 1. Representa al 40,16% de los participantes (51 sujetos) que se caracterizaron por tener los IE (índice de entradas) e IM (índices de mensajes) más bajos, porque les agradó escasamente utilizar la plataforma, entre nada y algo. Este grupo, sostuvo usar poco la computadora con fines académicos y manifestó no haber utilizado o haber utilizado poco el entorno para estudiar para el examen. En coincidencia con los resultados relativos al IE e IM, declararon haber utilizado en el entorno poco o algo aunque consideraron que el diseño del mismo era algo amigable. Finalmente, consideraron que el recurso mejor diseñado por los docentes fueron los foros.

Clase 2. Este grupo de estudiantes es el más amplio, representando al 48,82% de la muestra (62 sujetos). Si bien les agradó bastante o mucho utilizar la plataforma, estos estudiantes se caracterizaron por haber obtenido IE e IM medios. Declararon utilizar bastante la plataforma, especialmente dijeron haberla utilizado mucho para estudiar para el examen. Puntuaron con el máximo puntaje al diseño de la plataforma en cuanto a lo agradable y consideraron que el recurso mejor diseñado por los docentes fue el cuestionario.

Clase 3. Esta es la clase más pequeña, representa un 11,02% de los estudiantes (14 sujetos). Este grupo se definió por utilizar ampliamente la plataforma, tanto por haber declarado utilizarla mucho como por obtener los índices más altos (tanto IM como IE) en relación al uso. Estos estudiantes puntuaron la categoría más alta a las explicaciones dadas por los docentes, considerándolas como muy claras.

Análisis de contenido de los mensajes de sujetos con alto y bajo rendimiento general

En cuanto al análisis de los mensajes escritos por sujetos con bajo y alto rendimiento general (IGRA), las diferencias más notorias (véase Tabla 2) entre ambos grupos fueron la cantidad de mensajes escritos por los sujetos con rendimiento más alto y más bajo (93 y 14, respectivamente), así como los máximos y mínimos presentados por cada grupo, presentando mayor variedad en este aspecto el grupo con alto IGRA.

Tabla 2
Características de los mensajes de los sujetos con más alto y bajo IGRA

		Sujetos con alto IGRA (n=5)				Sujetos con bajo IGRA (n=5)
		Mínimo	Máximo	f	%	Mínimo	Máximo	f	%
Contenido del mensaje	Sí cognitivo-académico	9	18	73	78,5	2	3	14	100
	No cognitivo-académico	1	9	20	21,5	-	-	-	-
	Sí socio-afectivo	4	16	48	51,6	-	1	2	14,3
	No socio-afectivo	6	11	45	48,4	2	3	12	85,7
	Sí organizativo	1	14	33	35,5	-	-	-	-
	No organizativo	9	13	60	64,5	2	3	14	100
	Con pregunta	1	5	13	14	-	-	-	-
	Sin pregunta	11	22	80	86	2	3	14	100
	Con uso de primera persona	2	9	26	28	-	1	1	7,1
	Sin uso de primera persona	7	19	67	72	2	3	13	92,9
	Copia textual	1	25	11	11,8	-	2	3	21,4
	Con elaboración	2	20	82	88,2	1	3	11	78,6
Interacción explícita ente estudiantes	Sí anidado	8	16	64	68,8	-	2	4	28,6
	No anidado	4	11	29	31,2	1	3	10	71,4
Tipo de foro	Obligatorio	10	23	76	81,7	2	3	14	100
	Optativo	1	5	17	18,3	-	-	-	-
Total de mensajes		12	27	93	100	2	3	14	100

• Nota: Cantidad de mensajes=107. IGRA (Índice General de Rendimiento Académico).
• Fuente: Elaborado para la presente investigación.

Se muestran diferencias significativas de acuerdo la prueba chi-cuadrado respecto a aquellos mensajes con y sin contenido socioafectivo (X²=6,81; p=.008), con y sin contenido organizativo (X²=7,18; =.004) y anidados o no anidados (X²=8,51; p =.005). Sólo algunos sujetos con rendimiento alto escriben en los foros optativos y usan primera persona en sus respuestas.

Discusión y conclusiones

El estudio propuso la integración de dimensiones teóricas relevantes como son la interacción sociocognitiva en un entorno virtual y el rendimiento académico (ROSELLI, 2011; SCHRIRE, 2006). Además, la investigación se enfocó en dos formas de integración metodológica desde una lógica compleja de indagación (ACHILLI, 2005). Por un lado, se combinaron métodos analíticos de carácter individual y grupal (ARVAJA et al., 2007) y, por otro, aproximaciones cualitativas y cuantitativas (CABRERA-MURCIA, 2003).

Entendiendo que una interacción sociocognitiva adecuada requiere una participación alta en el entorno (COLL; BUSTOS, ENGEL, 2011), realizamos una comparación entre dos grupos de sujetos, uno con alto y otro con bajo uso de la plataforma. Este análisis mostró que las mayores diferencias de medias entre quienes utilizaron la plataforma por debajo (G1) y por encima (G2) de la media grupal estuvieron asociadas a las calificaciones obtenidas, al agrado por utilizar la plataforma y a la cantidad de mensajes escritos en foros. Estos aspectos fueron los introducidos como variables activas en el análisis multivariado para la exploración de perfiles de usuarios.

Al mismo tiempo, se distinguieron tres clases de perfiles de estudiantes cuyas características distintivas estuvieron fundamentalmente relacionadas con el uso de la plataforma. El primer grupo (Clase 1) se destacó por utilizar poco la computadora con fines académicos (incluyendo el entorno digital) y por considerar que los foros fueron los recursos mejor diseñados. A partir de este resultado, podemos hipotetizar que los foros serían intuitivamente los más simples de manejar y, por ello, los preferidos por estos sujetos. El segundo grupo (Clase 2), que representa la mayor parte de los estudiantes del caso, utilizó la plataforma en grado medio aunque preferentemente para estudiar para los exámenes. Estos sujetos destacaron el diseño de los cuestionarios al igual que la mayor parte del grupo-clase. Este resultado podría generar cierta preocupación ya que implicaría que casi la mitad de los estudiantes prefieren el cuestionario como recurso, siendo el que requiere el menor grado de interacción directa con otros sujetos. Cabe destacar, siendo el grupo más numeroso de estudiantes, que los mismos hicieron evaluaciones positivas de la plataforma. Esto último nos permitiría pensar que la misma tiene una alta aceptación como parte del cursado a pesar de que por experiencia conocemos que en nuestro entorno su uso es escaso. La Clase 3, la más pequeña en número de sujetos, se destacó por utilizar la plataforma en mayor medida. Estos sujetos afirmaron que las explicaciones de los docentes eran muy claras. Una hipótesis posible es que, al utilizar más la plataforma, se encontrarían más familiarizados que sus compañeros con los términos específicos utilizados en clases para las explicaciones y, por ello, probablemente les resulten claras.

Estudios anteriores muestran que las calificaciones finales no estarían relacionadas directamente con la percepción de los estudiantes en relación al andamiaje percibido de parte de los docentes, aunque sí con la satisfacción respecto al curso (LEE et al., 2011). Najmul-Islam (2013) encontró una relación positiva entre utilidad percibida de Moodle, asistencia en su aprendizaje y ayuda al desarrollo de la comunidad, como así también entre quienes consideraban que el uso del sistema contribuía a sus proceso de aprendizaje y RA. Si bien no medimos percepción de andamiaje, encontramos que las personas que más interactuaron en el entorno virtual (perfil asociado a la Clase 3) fueron quienes consideraron a las explicaciones docentes como más claras, medida que podría estar asociada al andamiaje docente.

Joo, Lim y Kim (2011) describieron efectos positivos de enseñanza, presencia cognitiva, percepción de utilidad y facilidad de uso del entorno sobre satisfacción del alumno. En consonancia, nuestros estudios mostraron que, en general, quienes más utilizaron la plataforma (G2) también fueron los que más les agradó usarla y también quienes la encontraron menos compleja.

De acuerdo a la literatura, los estudiantes perciben que el uso de entornos virtuales produce mejoras en sus aprendizajes (BARKER; GOSSMAN, 2013). Sin embargo, medidas objetivas de uso obtenidas desde los mismos entornos virtuales -como el tiempo de sesión utilizada por los estudiantes estudiada por Sael, Marzak y Behja (2013) o la participación en foros analizada por Romero et al. (2013a)- muestran que la relación entre participación y RA sigue ameritando estudios debido a que los resultados aún no son concluyentes. Por nuestra parte, encontramos diferencias importantes al comparar estudiantes que utilizaron más (G2) y menos (G1) la plataforma en cuanto a las calificaciones obtenidas. Asimismo, el eje factor principal en el estudio con análisis multivariado opuso a los sujetos con las mejores calificaciones y alto uso del entorno virtual a los sujetos con peores calificaciones y bajo uso, asociando así participación en el entorno (medida relativa a la interacción) y calificaciones. Sin embargo, en la constitución de los perfiles en las tres clases, el RA en sentido tradicional (calificaciones de exámenes) no resultó determinante como categoría principal en ninguna de las clases. Esto nos llevó a un tercer estudio en el que analizáramos los escritos de sujetos que calificaran alto en participación (IE e IM) y en el examen.

Esta medida integral del rendimiento académico (IGRA) cuestiona el reduccionismo clásico (GARCÍA-JIMÉNEZ; ALVARADO-IZQUIERDO; JIMÉNEZ-BLANCO, 2000), teniendo en cuenta medidas de participación como evaluación aportando una mirada más amplia. Si bien son medidas que se relacionan entre sí (participación, asistencia y RA), aquí intentamos mostrar diferencias cualitativas presentadas por los sujetos luego de presentar cierta asociación entre ellas. El análisis de contenido de los mensajes de sujetos con alto y bajo IGRA mostró tres aspectos diferenciados: anidados o no con mensajes de otros compañeros y presencia-ausencia de contenido socioafectivo y organizativo. Asimismo, sólo algunos sujetos con alto IGRA escribieron en foros optativos, hicieron preguntas y usaron primera persona en sus respuestas. Estos resultados permitirían hipotetizar que existiría un mayor compromiso con los demás y apropiación del espacio de interacción en los estudiantes con mayor desempeño académico.

Tal como demostraron Roselli, Dominino y Peralta (2010), y como es de esperarse en un entorno destinado a la construcción de conocimientos, el contenido cognitivo fue el más frecuente en los mensajes escritos. Ellos mostraron que varía proporcionalmente de acuerdo al tipo y contexto en el que se halla la tarea y aquí hemos presentado que variaría también de acuerdo al RA de los sujetos.

Otros estudios previos muestran asociación entre los distintos tipos de presencia (docente, social y cognitiva) en los entornos virtuales (COLL; ENGEL; BUSTOS, 2009, 2011, GARRISSON, 2007; JOO; LIM; KIM, 2011). Si bien en este caso no se tomó como eje la presencia docente, se mostró que existen aún en primer año (media: 21 años) tendencias de algunos estudiantes a poder ejercer esta presencia ya que, por ejemplo, utilizan contenido socioafectivo y organizativo, usan preguntas, mensajes anidados, entre otros. En este sentido, Coll, Bustos y Engel (2011) destacan que la frecuencia y periodicidad es necesaria para la interacción y aquí mostramos que quienes presentaron mayor IGRA, tuvieron, a su vez, características en su interacción diferentes.

Los estudios que abordan la relación entre RA e interacción en los entornos virtuales presentes en la literatura son variados. Muchos de ellos se relacionan con medidas subjetivas (como percepciones de los participantes), mientras que otros analizan la relación con medidas objetivas (como tiempo de sesión, participación, etc.). Este estudio de caso sostuvo un diseño multi-método basado en una estrategia ecológica observacional con las limitaciones a la generalización de resultados que ello conlleva. Intentos como los de Romero et al. (2013b) muestran la dificultad de predecir RA a partir herramientas automáticas, por lo que sostenemos la necesidad de este tipo de estudios. Incluso el contenido incoherente o informal puede ser desestimable en algunos enfoques (ROMERO et al., 2013a) o, por el contrario, demostrar relevancia como en el caso estudiado aquí.

Desde los objetivos planteados y luego de exponer los principales aportes específicos, entendemos que este artículo presenta dos aportes. Por un lado, las hipótesis explicativas de los resultados podrían constituirse en nuevas preguntas para estudios posteriores. Por otro lado, como aporte a debates metodológicos, muestra distintas formas de explorar los mismos datos, complementando análisis y generando nuevas formas de indagación alternativas.

Si bien la originalidad en los análisis puede considerarse un aporte, al tratarse de un estudio ex post facto basado en una lógica de construcción compleja, podría presentar dificultades para posibles réplicas. Por ello, requirió uso de espacio amplio para la explicación de procedimientos y métodos, acotándose explicaciones alternativas y uso de literatura.

Finalmente, y a modo de síntesis del conjunto de análisis realizado, consideramos que el principal aporte de esta investigación fue ratificar la importancia de lo social en las interacciones sociocognitivas (ROSELLI, 2011) mediadas en un entorno virtual mostrando posibles relaciones con el RA, y cuestionando, a su vez, las medidas reduccionistas que lo abordan.

Referencias

• ACHILLI, Elena Libia. Investigar en la antropología social: los desafíos de transmitir un oficio. Rosario: Laborde, 2005.
• ARVAJA, Maarit et al. Combining individual and group-level perspectives for studying collaborative knowledge construction in context. Learning and Instruction, Amsterdan, v. 17, p. 448-459, abr. 2007.
• BARKER, Jenny; GOSSMAN, Peter. The learning impact of a virtual learning environment: students’ views. Teacher Education, Washington, v. 5, n. 2, p.19-38, jul. 2013.
• BENZÉCRI, Jean Paul. L´Analyse des données. París: Dunod, 1976. v. 1. La taxonomie. v. 2. L´analyse des correspondances.
• CABRERA-MURCIA, Elsa Piedad. Aprendizaje colaborativo soportado por computador (CSCL): su estado actual. Revista Iberoamérica de Educación, Madrid, v. 33, n. 6, p. 2-11, 2003.
• COLL, César; BUSTOS, Alfonso; ENGEL, Anna. Perfiles de participación y presencia docente distribuida en redes asíncronas de aprendizaje: la articulación del análisis estructural y de contenido. Revista de Educación, Madrid, v. 354, p. 657-688, jan./abr. 2011.
• COLL, César; ENGEL, Anna; BUSTOS, Alfonso. Distributed teaching presence and participants’ activity profiles: a theoretical approach to the structural analysis of Asynchronous Learning Networks. European Journal of Education, Malden, v. 44, n. 4, p. 521-538, dez. 2009.
• GARCÍA-JIMÉNEZ, María Visitación; ALVARADO-IZQUIERDO, Jesús María; JIMÉNEZ-BLANCO, Amelia. La predicción del rendimiento académico: regresión lineal versus regresión logística. Psicothema, Oviedo, v. 12., n. 2, p. 248-252. 2000.
• GARRISSON, D. Randy. Online community of inquiry review: social, cognitive, and teaching presence issues. Journal of Asynchronous Learning Networks, Newburyport, v. 11, n. 1, p. 61-72, abr. 2007.
• JOO, Young Ju; LIM, Kyu Yon; KIM, Eun Kyung. Online university students’ satisfaction and persistence: examining perceived level of presence, usefulness and ease of use as predictors in a structural model. Computers & Education, Amsterdan, v. 57, n. 1, p.1654-1664, fev. 2011.
• LEE, Sang Joon et al. Examining the relationship among student perception of support, course satisfaction, and learning outcomes in online learning. Internet and Higher Education, Amsterdan, v. 14, n. 1, p.158-163, abr. 2011.
• MOSCOLONI, Nora. Las nubes de datos: métodos para analizar la complejidad. Rosario: UNR, 2005.
• NAJMUL-ISLAM, Asadul K. M. Investigating e-learning system usage outcomes in the university context. Computers & Education, Amsterdan, v. 69, p. 387-399, jul. 2013.
• ROMERO, Cristóbal et al. Predicting students’ final performance from participation in on-line discussion forums. Computers & Education, Amsterdan, v. 68, p. 458-472, jun. 2013a.
• ROMERO, Cristóbal et al. Web usage mining for predicting final marks of students that use moodle courses. Computer Applications in Engineering Education, Hoboken, v. 21, n. 1, p. 135-146, maio 2013b.
• ROSELLI, Néstor Daniel. Teoría del aprendizaje colaborativo y teoría de la representación social: convergencias y posibles articulaciones. Revista Colombiana de Ciencias Sociales, Medellín, v. 2, n. 2, p. 173-191, out. 2011.
• ROSELLI, Néstor Daniel; DOMININO, Martín; PERALTA, Nadia Soledad. Influencia del tipo de tarea sobre la interacción colaborativa en equipos virtuales. Revista de Psicología General y Aplicada, v. 63, p. 97-119, jan./abr. 2010.
• SAEL, Nawal; MARZAK, Abdelaziz; BEHJA, Hicham. Web usage mining data preprocessing and multi level analysis on moodle. International Journal of Computer Science Issues, Doolar Lane, v. 10, n. 2, p. 347-354, mar. 2013.
• SCHIRMER-PRIETO, Arnold. Modelo de enseñanza de asignaturas b-learning en Universidad Tecnológica de Chile-INACAP Concepción-Talcahuano. Resultados académicos de 4 años de experiencia. Revista de Estudios y Experiencias en Educación, Concepción, v. 9, n. 18, p. 137-155, jun. 2010.
• SCHRIRE, Sarah. Knowledge building in asynchronous discussion groups: going beyond quantitative analysis. Computers & Education, Amsterdan, v. 46, p. 49-70, abr. 2006.
• ZIMMERMAN, Barry.Self-regulated learning and academic achievement: an overview. Educational Psychologist, Mahwah, v. 25, n. 1, p. 3-17, jun. 1990.

• I
  - El trabajo ha sido realizado en el marco de un proyecto de investigación financiado por la Agencia Nacional de Promoción Científica y Tecnológica (PICT2013-17). Los autores agradecemos al Dr. Mariano Castellaro, a la Dra. Nora Moscoloni y a la Dra. Nadia Soledad Peralta por los aportes metodológicos, el asesoramiento experto en el análisis muldimensional de datos y la revisión del artículo.

Fechas de Publicación

• Publicación en esta colección
  Apr-Jun 2016

Histórico

• Recibido
  02 Dic 2014
• Acepto
  01 Set 2015