Cuestionario SEEQ: instrumento de información para la mejora del proceso de enseñanza-aprendizaje

SEEQ questionnaire: a feedback instrument for the improvement of the teaching-learning process

Resumen:

El presente artículo tiene como objetivo primordial analizar las propiedades métricas de la percepción que tienen los estudiantes acerca de la actividad docente en educación superior mediante la aplicación del cuestionario validado “Student Evaluation of Educational Quality” en la asignatura de Dirección Estratégica del Grado en Relaciones Laborales y Recursos Humanos de la Universidad de Extremadura. El estudio se realiza mediante un análisis cuantitativo analizando las métricas del cuestionario basado en la opinión de los estudiantes. De las ocho dimensiones analizadas destaca la dimensión de “Actitud Personal” con un valor de 4,85 sobre 5, lo que se traduce en la importancia de la predisposición del docente tanto de cara al aumento del rendimiento académico del estudiante, así como de los beneficios sociales en el aula. Los resultados muestran la satisfacción general que tienen los estudiantes con el equipo docente mediante esta técnica de aprendizaje. Finalmente, con la correlación de Spearman entre dimensiones, se demuestra que la opinión que reflejan los estudiantes en el cuestionario no está condicionada por las notas que obtienen en los exámenes.

Palabras clave:
Evaluación del profesor; Educación Superior; Instrumento de información; SEEQ

Abstract:

The main objective of this article is to analyze the metric properties of students’ perception about the teaching activity in higher education through the application of the validated questionnaire “Student Evaluation of Educational Quality”, in of Strategic Management of the Degree in Labour Relations and Human Resources subject, at the University of Extremadura. This study is carried out by means of a quantitative analysis, analyzing the metrics of the questionnaire based on the opinion of the students. Of the eight dimensions analyzed, the “Personal Attitude” dimension stands out with a value of 4.85 out of 5, which translates into the importance of the teacher’s predisposition, both in terms of increasing the student’s academic performance, as well as the social benefits in the classroom. The results show the general satisfaction that students have with the teaching crew through this learning technique. Finally, with the Spearman correlation between dimensions, it is shown that the opinion reflected by the students, in the questionnaire, is not conditioned by the marks they obtain in the exams.

Keywords:
Teacher evaluation; Higher education; Information instrument; SEEQ

Introducción

La evaluación del desempeño docente es sumamente importante actualmente en el ámbito educativo puesto que, según Stroebe (2016), tiene como objetivo ayudar a los profesores a mejorar su enseñanza. En este sentido, es importante distinguir entre evaluación sumativa y formativa. Según Rosales (2014), la evaluación sumativa tiene por objetivo establecer balances fiables de los resultados obtenidos al final del proceso de enseñanza-aprendizaje. Sin embargo, para Scriven, Tyler y Gagne (1967) la evaluación formativa debe hacerse durante el desarrollo del proceso de enseñanza-aprendizaje para localizar las deficiencias cuando aún se está en posibilidad de remediarlas.

El cuestionario Students’ Evaluation of Educational Quality (SEEQ), fue creado por Marsh y Roche (1970), y posteriormente actualizado por Marsh (1982). Este cuestionario utiliza una serie de dimensiones para analizar la eficiencia de la enseñanza. Cada dimensión consta de varias preguntas valoradas en una escala Likert (Maldonado, 2012) de 5 opciones (totalmente en desacuerdo, en desacuerdo, ni de acuerdo ni en desacuerdo, de acuerdo y totalmente de acuerdo). A partir de este cuestionario han surgido muchos otros que han sido validados y utilizados para evaluar la docencia. Entre ellos, en la revisión de la literatura se pueden encontrar algunos como Course Experience Questionnaire (CEQ), desarrollado inicialmente por Ramsden (1991) y revisado posteriormente por Wilson, Lizzio y Ramsden (1997); además, se analiza el posible uso del Student Course Experience Questionnaire (SCEQ) de Ginns, Prosser y Barrie (2007). En todos ellos, el objetivo común es permitir al docente tener un instrumento de información para analizar y mejorar su práctica docente (Balam; Shannon, 2010). No obstante, se ha generalizado su uso con la incorporación rutinaria para la acreditación del profesorado universitario, así como en la evaluación de los sistemas de calidad de la enseñanza universitaria.

Seguidamente se muestra el cuestionario usado en esta investigación:

El objetivo de esta encuesta es recoger información que puede ser de gran ayuda para la mejora de esta asignatura en futuras ediciones.

Por favor, indica tu grado de acuerdo, según la escala de la derecha, con cada una de las afirmaciones relativas a la asignatura, y deja la respuesta en blanco si la afirmación no es relevante, teniendo en cuenta que la escala es:

1. Totalmente en desacuerdo

2. En desacuerdo

3. Ni de acuerdo ni en desacuerdo

4. De acuerdo

5. Totalmente de acuerdo

Aprendizaje 1 2 3 4 5 A1. La asignatura me ha parecido intelectualmente motivadora y estimulante A2. He aprendido cosas que considero valiosas A3. Mi interés en la materia ha aumentado como consecuencia asignatura A4. He aprendido y comprendido los contenidos de esta asignatura Entusiasmo 1 2 3 4 5 B5. El profesor ha mostrado entusiasmo impartiendo esta asignatura B6 El profesor ha sido dinámico y activo guiando esta asignatura B7. El profesor ha mejorado sus clases con su sentido del humor B8. Con su forma de presentar la materia, el profesor ha conseguido mantener mi interés durante toda la clase Organización 1 2 3 4 5 C9. Las explicaciones del profesor han sido claras C10.El material de esta asignatura ha estado bien preparado y se ha explicado cuidadosamente. C11. Los objetivos anunciados han coincidido con lo realmente enseñado, de manera que siempre he sabido hacia dónde iba la asignatura C12. La forma en que este profesor ha expuesto la materia me ha facilitado la toma de apuntes Interacción con el grupo 1 2 3 4 5 D13. En esta asignatura se ha animado a los estudiantes a participar en las discusiones de clase D14. Se ha invitado a los estudiantes a compartir sus conocimientos e ideas D15.Se ha animado a los estudiantes a preguntar y se les han dado respuestas satisfactorias D16. Se ha animado a los estudiantes a expresar sus propias ideas y a poner en cuestión las expresadas por el profesor Actitud personal 1 2 3 4 5 E17. El profesor se ha mostrado amistoso en el trato individual a los estudiantes E18. El profesor me ha hecho sentir cómodo cuando le pedía ayuda o consejo dentro o fuera de las horas de clase E19. El profesor ha tenido verdadero interés por cada uno de sus estudiantes E20. El profesor ha estado adecuadamente disponible para los estudiantes fuera de las horas de clase E21. El profesor ha analizado, cuando procedía, las implicaciones de planteamientos alternativos a las teorías expuestas E22. El profesor ha presentado el origen o fundamento de las ideas o conceptos desarrollados en clase E23. El profesor ha presentado puntos de vista diferentes a los suyos, cuando procedía E24. El profesor ha discutido adecuadamente los avances actuales en la materia Exámenes 1 2 3 4 5 F25. Los comentarios del profesor sobre los exámenes y otros trabajos evaluados han sido de mucha ayuda F26. Los métodos de evaluación de esta asignatura han sido justos y adecuados F27. Los contenidos de los exámenes y otros trabajos evaluados se han correspondido con los contenidos de la asignatura y con el énfasis que ha puesto el profesor en cada tema Bibliografía 1 2 3 4 5 G28. La bibliografía y el material recomendados han sido completos y adecuados G29. La bibliografía, el material adicional, los trabajos de la asignatura, etc., han contribuido a mejorar la valoración y la comprensión de la materia Visión General 1 2 3 4 5 H30. Esta asignatura es mejor que la mayoría de los que he hecho en esta universidad H31. Este profesor es mejor que la mayoría de los que he tenido en esta universidad. H32. En una valoración global, calificaría a este profesor con Comentarios Finales I33.Por favor, indica a continuación cuáles son las características de este profesor o de la asignatura que te han ayudado más en tu proceso de aprendizaje ___________________________________________________________________ ___________________________________________________________________ ___________________________________________________________________ I34. Por favor, indica a continuación cuáles son las características de este profesor o de la asignatura que deberían mejorarse de forma prioritaria (especialmente, aspectos no considerados en preguntas anteriores). ___________________________________________________________________ ___________________________________________________________________ ___________________________________________________________________ I35. Por favor, utiliza el siguiente espacio para clarificar cualquiera de tus respuestas anteriores o para añadir cualquier comentario complementario ___________________________________________________________________ ___________________________________________________________________ J36. Selecciona la Nota Media Actual que llevas en la asignatura: No presentadoSuspensoAprobado (5 a 6,99)Notable (7 a 8,99)Sobresaliente (9-10) Fuente: Marsh y Roche (1970), posteriormente actualizado por Marsh (1982).

Aprendizaje	1	2	3	4	5
A1. La asignatura me ha parecido intelectualmente motivadora y estimulante
A2. He aprendido cosas que considero valiosas
A3. Mi interés en la materia ha aumentado como consecuencia asignatura
A4. He aprendido y comprendido los contenidos de esta asignatura
Entusiasmo	1	2	3	4	5
B5. El profesor ha mostrado entusiasmo impartiendo esta asignatura
B6 El profesor ha sido dinámico y activo guiando esta asignatura
B7. El profesor ha mejorado sus clases con su sentido del humor
B8. Con su forma de presentar la materia, el profesor ha conseguido mantener mi interés durante toda la clase
Organización	1	2	3	4	5
C9. Las explicaciones del profesor han sido claras
C10.El material de esta asignatura ha estado bien preparado y se ha explicado cuidadosamente.
C11. Los objetivos anunciados han coincidido con lo realmente enseñado, de manera que siempre he sabido hacia dónde iba la asignatura
C12. La forma en que este profesor ha expuesto la materia me ha facilitado la toma de apuntes
Interacción con el grupo	1	2	3	4	5
D13. En esta asignatura se ha animado a los estudiantes a participar en las discusiones de clase
D14. Se ha invitado a los estudiantes a compartir sus conocimientos e ideas
D15.Se ha animado a los estudiantes a preguntar y se les han dado respuestas satisfactorias
D16. Se ha animado a los estudiantes a expresar sus propias ideas y a poner en cuestión las expresadas por el profesor
Actitud personal	1	2	3	4	5
E17. El profesor se ha mostrado amistoso en el trato individual a los estudiantes
E18. El profesor me ha hecho sentir cómodo cuando le pedía ayuda o consejo dentro o fuera de las horas de clase
E19. El profesor ha tenido verdadero interés por cada uno de sus estudiantes
E20. El profesor ha estado adecuadamente disponible para los estudiantes fuera de las horas de clase
E21. El profesor ha analizado, cuando procedía, las implicaciones de planteamientos alternativos a las teorías expuestas
E22. El profesor ha presentado el origen o fundamento de las ideas o conceptos desarrollados en clase
E23. El profesor ha presentado puntos de vista diferentes a los suyos, cuando procedía
E24. El profesor ha discutido adecuadamente los avances actuales en la materia
Exámenes	1	2	3	4	5
F25. Los comentarios del profesor sobre los exámenes y otros trabajos evaluados han sido de mucha ayuda
F26. Los métodos de evaluación de esta asignatura han sido justos y adecuados
F27. Los contenidos de los exámenes y otros trabajos evaluados se han correspondido con los contenidos de la asignatura y con el énfasis que ha puesto el profesor en cada tema
Bibliografía	1	2	3	4	5
G28. La bibliografía y el material recomendados han sido completos y adecuados
G29. La bibliografía, el material adicional, los trabajos de la asignatura, etc., han contribuido a mejorar la valoración y la comprensión de la materia
Visión General	1	2	3	4	5
H30. Esta asignatura es mejor que la mayoría de los que he hecho en esta universidad
H31. Este profesor es mejor que la mayoría de los que he tenido en esta universidad.
H32. En una valoración global, calificaría a este profesor con
Comentarios Finales
I33.Por favor, indica a continuación cuáles son las características de este profesor o de la asignatura que te han ayudado más en tu proceso de aprendizaje ___________________________________________________________________ ___________________________________________________________________ ___________________________________________________________________
I34. Por favor, indica a continuación cuáles son las características de este profesor o de la asignatura que deberían mejorarse de forma prioritaria (especialmente, aspectos no considerados en preguntas anteriores). ___________________________________________________________________ ___________________________________________________________________ ___________________________________________________________________
I35. Por favor, utiliza el siguiente espacio para clarificar cualquiera de tus respuestas anteriores o para añadir cualquier comentario complementario ___________________________________________________________________ ___________________________________________________________________
J36. Selecciona la Nota Media Actual que llevas en la asignatura: No presentado Suspenso Aprobado (5 a 6,99) Notable (7 a 8,99) Sobresaliente (9-10)

• Fuente: Marsh y Roche (1970), posteriormente actualizado por Marsh (1982).

Objetivos

En el presente estudio, los datos se han recogido de la opinión de los estudiantes del Grado de Relaciones Laborales y Recursos Humanos de la Universidad de Extremadura para la asignatura Dirección Estratégica. El primer objetivo de esta investigación es determinar la percepción que tienen los estudiantes de educación superior del proceso de enseñanza-aprendizaje. A partir de los resultados, será posible evolucionar o cambiar aquellos puntos débiles detectados para conseguir la mejora del proceso. Un segundo objetivo es analizar la existencia de asociaciones entre las dimensiones propuestas en el SEEQ. Por último, el tercer y último objetivo relacionado con los anteriores, consiste en determinar si existe una relación de la opinión de los estudiantes según sus notas de las pruebas de conceptos y sus respuestas en el cuestionario.

Procedimientos Metodológicos

Para la elección del cuestionario SEEQ se ha partido de las ventajas que Matés y Bouzada (2010) describen en su comunicación y cuyas propiedades psicométricas están reflejadas en Marsh (1984); donde se indica que la confiabilidad promedio del cuestionario SEEQ de un grupo de estudiantes depende del número que contesta al cuestionario, concretamente los datos que dan son de 0,95 para la respuesta promedio de 50 estudiantes, 0,90 para 25 estudiantes, 0,74 para 10 estudiantes y 0,60 para 5 estudiantes, siendo, en nuestro caso, 22 los estudiantes los cuales han contestado, cercano, por tanto, al 90. Además, es un cuestionario de amplia utilización en universidades de todo el mundo y, en consecuencia, donde hay una gran cantidad de material existente para el perfeccionamiento de cada una de las variables analizadas. Antes de construir el cuestionario definitivo por el psicólogo educativo y experto en psicometría Herbert Marsh, se realizaron estudios preliminares durante 10 años (1976-1986) con casi 500.000 participantes, matriculados en 20.000 asignaturas, que representaban más de 50 departamentos académicos de la Universidad de California-Los Ángeles (Silveira; Teixeira da Rocha, 2017).

Los datos han sido obtenidos de los estudiantes de la asignatura Dirección Estratégica en el curso 2021-22 en el mes de marzo de 2022. La participación fue de 22 estudiantes, que de los 40 que tiene matriculados la asignatura, representan un 55% del total. En la asignatura de Dirección Estratégica se contempla la Estrategia y la Dirección Estratégica de dos formas distintas: por un lado, como un proceso de análisis y planificación y, por otro, como un proceso de toma de decisiones en un contexto cultural y político. La asignatura parte de la necesidad de la integración de la empresa en el entorno en el cual desarrolla su actividad y se plantean varias preguntas esenciales que es necesario responder. Primero, ¿Cómo es el entorno?, ¿cuáles son las amenazas y oportunidades que presenta? Segundo, ¿Con qué contamos en la empresa para afrontar los retos del entorno?, ¿cuáles son nuestras fortalezas y debilidades, nuestros recursos y capacidades? Sobre la base de estas dos preguntas y sus respuestas, los empresarios y directivos podrán definir los pertinentes cauces de actuación que lleven a la empresa a cumplir sus objetivos con éxito. En esta asignatura, por tanto, los estudiantes tratan de analizar las anteriores preguntas estructurándolas en dos grandes bloques: Análisis estratégico y Formulación de Estrategias Competitivas.

Esta asignatura, aparentemente teórica, se ha expuesto en el aula con una metodología muy dinámica. Esto se debe a que los sistemas tradicionales de impartir una clase magistral resultan poco didácticos, es por ello por lo que se pretende promover la participación de los estudiantes. El docente ha utilizado múltiples actividades interactivas en las cuales los estudiantes pueden responder a preguntas lanzadas por él. La clave con la que se ha alcanzado el éxito en esta asignatura ha consistido en la aplicación de un sistema de respuesta en el aula, Kahoot y, fuera de ella, en Telegram (https://web.telegram.org/k/). El primero de ellos permite convertir el aula en una competición (Roig-Vila et al., 2018). De esta forma, estudiante y profesor conocen los ítems en los que deben profundizar, el estudiante debe contestar de forma rápida a las preguntas lanzadas por la plataforma Kahoot, y competir con el resto de sus compañeros para conseguir ser el que más preguntas responda y más rápido. Además, el docente conoce aquellos apartados de la materia en los que los estudiantes tienen más dificultades y debe hacer más hincapié. Como sistema de respuesta fuera del aula se ha utilizado la aplicación Telegram. Esta permite realizar grupos con personas sin la necesidad de mostrar el teléfono personal de cada uno y así poder conservar el anonimato. Gracias a ella, el profesor ha estado en contacto constante con los estudiantes con la intención de conseguir dos objetivos. Como objetivo principal, se ha potenciado la realización de ejercicios fuera del aula “premiados”. De esta forma, el docente mandaba actividades las cuales llevaban un premio para los 2 o 3 estudiantes que las tuvieran correctas en el menor tiempo posible. Los premios han sido variados, desde la asignación de puntuación extra en el examen, hasta la posibilidad de preguntar la respuesta a una pregunta durante la realización del examen o, de eliminar una de las cuestiones del mismo. Además, como objetivo secundario se ha utilizado como un medio para recordar tareas, cambios en el horario de las clases o cualquier otra notificación. Además, como competencia transversal de la asignatura, el docente ha mostrado en todo momento su preocupación por las competencias digitales del alumnado. Es tanto así, que se han realizado cuestionarios para poder evaluar su dominio en esta área con el objetivo de mejorar en cursos posteriores. Estos cuestionarios han dado lugar a la publicación de artículos (Abelaira; Redondo, 2022) con los resultados de investigaciones en esta área.

El instrumento usado es el cuestionario SEEQ, que valora la efectividad del proceso de enseñanza-aprendizaje basado en la percepción de los estudiantes y se encuentra formado por 31 preguntas valoradas en una escala de Likert y agrupadas en 8 dimensiones:

• Aprendizaje: Mide si los estudiantes encontraron las clases estimulantes y sus intereses aumentaron en la asignatura.

• Entusiasmo: Evalúa la actitud del profesor y su habilidad para atraer la atención de los estudiantes con la pedagogía usada en clase.

• Organización: Mide si el docente alinea los objetivos con los materiales de la asignatura y si están preparados y presentados apropiadamente.

• Interacción con los estudiantes: Evalúa la habilidad del profesor para motivar a los estudiantes a participar de discusiones en clase.

• Actitud personal: Mide la habilidad del profesor para relacionarse con los estudiantes a través de buenas técnicas de relación social y ser accesible durante las horas de clase y después de estas.

• Evaluación: Mide si el método de evaluación es justo, apropiado y alineado con los contenidos y si el docente realiza retroalimentaciones.

• Bibliografía: Evalúa la habilidad del profesor para proveer lecturas y tareas que contribuyan a entender la asignatura.

• Valoración general: Evalúa al profesor y la asignatura de manera integral.

Entre las diferentes preguntas del cuestionario SEEQ, se destacan cuatro que corresponden con las preguntas de la categoría o dimensión Entusiasmo. Estas preguntas son respondidas por los estudiantes en una escala Likert (1-5) donde 1 es totalmente en desacuerdo y 5 es totalmente de acuerdo, a saber:

• El profesor ha mostrado entusiasmo impartiendo esta asignatura.

• El profesor ha sido dinámico y activo explicando esta asignatura.

• El profesor ha mejorado sus clases con su sentido del humor.

• Con su forma de presentar la materia el profesor ha conseguido mantener mi interés durante toda la clase.

Una vez recogida toda la información, las respuestas fueron exportadas al formato Comma Separated Values (CSV) e importadas seguidamente al paquete estadístico Statistical Package for the Social Sciences (SPSS) (Nie; Bent; Hull, 1970), en su versión 27. Posteriormente, fueron creadas nuevas variables a partir de las preguntas del cuestionario bajo la agrupación de las categorías definidas. Las preguntas abiertas de valoración general con respuestas de texto se estudiarán en futuras líneas de interés al necesitar éstas una evaluación estadística cualitativa.

Consistencia interna de las preguntas

En primer lugar, es necesario demostrar la consistencia interna de las puntuaciones del instrumento de medida. Así, es necesario combinar las respuestas de los estudiantes sumando sus valores y obteniendo una puntuación total del instrumento. Ahora bien, para poder agrupar las preguntas en categorías es necesario demostrar previamente que existe consistencia interna entre dichas preguntas y, por tanto, es correcto sumar los resultados de las preguntas para definirlo como puntuación total. Haciendo esto, se dio a conocer que las puntuaciones de la muestra son fiables desde el punto de vista de la consistencia interna de sus respuestas. En definitiva, se trata de que exista homogeneidad entre las preguntas que forman una dimensión (Guix, 2005).

Una de las ventajas del Alfa de Cronbach es la posibilidad de evaluar cuánto mejoraría (o empeoraría) la fiabilidad de la prueba si se excluyera un determinado ítem o pregunta (George; Mallery, 2019). En el presente estudio, se analizó el Alfa de Cronbach completo a las 31 preguntas del cuestionario y para las respuestas de los 22 estudiantes. El valor es del Alfa de Cronbach es de 0,941, por tanto, podemos decir que tiene una consistencia interna “excelente”. Según Sánchez Meca y López Pina (2008) se puede decir que “la fiabilidad de las puntuaciones de la escala en la muestra es de 0,941”.

Resultados

El primer paso para analizar los resultados de la evaluación con SEEQ es agrupar las preguntas en base a la dimensión a la que pertenecen. A partir de dicha agrupación se realizaron los cálculos previstos en el análisis para la consecución de los objetivos planteados.

Consistencia interna de las dimensiones

Una vez agrupados los datos y estratificados en las dimensiones correspondientes, se procedió a validar la consistencia interna de cada una de las dimensiones. Según Pallás et al. (2019) como norma general, el valor del Alfa de Cronbach debe ser mayor de 0,70 para que pueda ser considerado un instrumento que tenga buena consistencia interna. En nuestro caso, el Alfa de Cronbach para las 8 dimensiones consideradas es de 0,887. Este valor está considerado como “bueno” según George y Mallery (2019). En la Tabla 1, aparecen detalladas los diferentes Alfa de Cronbach para cada una de las dimensiones de forma independiente. Solo la supresión de la dimensión “Aprendizaje” haría subir la consistencia interna de una clasificación de “bueno” a “excelente”. Sin embargo, dado que el nivel de “bueno” es muy válido, se mantienen todas las dimensiones.

Tabla 1.
Alfa de Cronbach para cada una de las 8 dimensiones del cuestionario SEEQ.

Dimensiones	Media de escala si el elemento se ha suprimido	Varianza de escala si el elemento se ha suprimido	Correlación total de elementos corregida	Alfa de Cronbach si el elemento se ha suprimido
V_A_Aprendizaje	30,44	9,556	0,291	0,909
V_B_Entusiasmo	29,89	8,810	0,861	0,863
V_C_Organizacion	29,94	8,173	0,780	0,861
V_D_Interaccion	31,33	7,529	0,758	0,864
V_E_Actitud	29,89	8,810	0,861	0,863
V_F_Evaluacion	30,11	8,105	0,706	0,868
V_H_ValoracionGeneral	31,44	8,379	0,664	0,873
V_G_Bibliografia	30,00	8,588	0,594	0,880

• Fuente: Elaborado por los autores (2022).

En la Figura 1 se muestran los porcentajes de cada una de las categorías. Ninguna dimensión tiene valores “totalmente en desacuerdo”. El valor de “en desacuerdo” se da en la dimensión de “Valoración general” con un 4,5% y la dimensión de “Interacción con los estudiantes” y en un porcentaje de 9,1. Para el valor “neutro” también se encuentran porcentajes bajos en las dimensiones de “Aprendizaje”, “Organización”, Evaluación” y “Bibliografía”. Sin embargo, sí tienen valores altos las dimensiones de “Interacción con los estudiantes” y “Valoración general”. Para los valores de “de acuerdo” y “totalmente de acuerdo” con puntuación alta en todas las dimensiones, destaca la dimensión de “Actitud personal” con un 77,3%.

Figura 1.
Porcentajes de cada una de las dimensiones del SEEQ.

En cuanto a la media de cada dimensión, las dimensiones más bajas son la de “Valoración general” e “Interacción con los estudiantes”. Ambas están aprobadas, tienen más de un 3 sobre 5, pero es necesario llevar a cabo un análisis más detallado de estas dos dimensiones, con el objetivo de determinar cuáles son los puntos débiles, si los hubiera, e intentar corregirlos. Por otro lado, destaca la dimensión “Actitud personal” con un 4,85 sobre 5. Recordemos que esta dimensión mide “la habilidad del profesor para relacionarse con los estudiantes a través de buenas técnicas de relación social y ser accesible durante las horas de clase y después de clase”. Le sigue la dimensión de “Entusiasmo” con un 4,71 (media también muy alta), que “evalúa la actitud del profesor y su habilidad para atraer la atención de los estudiantes con la pedagogía usada en clase”.

Determinación de puntos débiles en “Valoración general”

La dimensión “Valoración general” está constituida por 3 preguntas de las cuales una consiste en la valoración sobre la asignatura y las otras dos son valoraciones sobre el profesor en comparación con el resto de la universidad. Al hacer un análisis más exhaustivo de la dimensión “Valoración general”, observando la media de las respuestas de los estudiantes a cada una de las preguntas comprobamos que la pregunta más específica sobre la valoración general del profesor tiene una media de 4,48 sobre 5, valor muy alto y que está en el rango de “de acuerdo” y “totalmente de acuerdo”. Sin embargo, el valor bajo lo tiene la pregunta que relaciona la asignatura con el resto de las asignaturas, con un valor de 3,77 que, si bien está cerca del “de acuerdo”, es efectivamente más bajo que el resto de las preguntas, que tienen un valor superior, pero que, al unir las tres preguntas en la misma categoría, hace que la categoría “Valoración general” tenga el valor de 3,24.

Determinación de puntos débiles en “Interacción con los estudiantes”

La dimensión de “Interacción con el grupo” o “Interacción con los estudiantes”, está formada por las siguientes cuatro preguntas (valoradas en la escala Likert del 1 al 5):

• D13. En esta asignatura se ha animado a los estudiantes a participar en las discusiones de clase.

• D14. Se ha invitado a los estudiantes a compartir sus conocimientos e ideas.

• D15. Se ha animado a los estudiantes a preguntar y se les han dado respuestas satisfactorias.

• D16. Se ha animado a los estudiantes a expresar sus propias ideas y a poner en cuestión las expresadas por el profesor.

La media de las respuestas a estas preguntas muestra cómo el valor más bajo está en la pregunta D14 y el más alto en la D15. Siendo esta última la que nos indica que los estudiantes están satisfechos con las respuestas que el profesorado les da ante sus preguntas.

Asociaciones entre dimensiones

Las pruebas paramétricas según Montgomery y Runger (2010) son métodos que realizan inferencias en relación a los parámetros de la población y se formulan suposiciones restrictivas sobre poblaciones de donde se obtiene la muestra representativa. Sin embargo, uno de los requisitos básicos para poder aplicar pruebas paramétricas es el tamaño de la población. Esta ha de ser no inferior a 30, con lo cual en nuestro caso no se cumple. Por tanto, debemos aplicar pruebas no paramétricas que, según Lind, Marchal y Samuel (2008), son técnicas que han sido desarrolladas recientemente y que especifican métodos en los que no es necesario llevar a cabo la hipótesis acerca de su distribución normal.

En nuestro caso, al tener solo una muestra de 22 elementos se llevarán a cabo pruebas no paramétricas y, para ver la asociación entre las dimensiones, usaremos la correlación de Spearman que nos permite examinar la intensidad de asociación entre dos variables cuantitativas (Pérez-Tejada, 2008). Este coeficiente denominado “Rho de Spearman” es muy útil cuando el número de pares de sujetos (n) que se desea asociar es muy pequeño (menor de 30). Además de conocer el grado de asociación entre dos variables, se puede también determinar la dependencia o independencia de dos variables aleatorias. A la hora de formular la Hipótesis Nula (H₀) y la Hipótesis Alternativa (H₁), éstas serían:

H₀: Los valores de la correlación entre las dos dimensiones son iguales a 0. No hay correlación;

H₁: Los valores de la correlación son distintos de 0. Hay correlación.

La Tabla 2 contiene la tabla de salida en SPSS al aplicar la correlación de Spearman y las celdas sombreadas corresponden a correlaciones donde se acepta la hipótesis Nula, indicando que no hay correlación entre las dos dimensiones que se están correlacionando. Todo ello, en función del valor de significación de 0,05 o 0,01 según los resultados del programa SPSS.

Tabla 2.
Coeficientes de correlación de Spearman entre dimensiones del cuestionario SEEQ.

Correlaciones
Dimensiones			V_A_Aprendizaje	V_B_Entusiasmo	V_C_Organizacion	V_D_Interaccion	V_E_Actitud	V_F_Evaluacion	V_G_ Bibliografia	V_H_Valoracion General
Rho de Spearman	V_A_ Aprendizaje	Coeficiente de correlación	1,000	0,264	0,234	0,281	0,169	0,338	0,136	0,309
		Sig. (bilateral)		0,248	0,295	0,217	0,476	0,124	0,547	0,173
		N	22	21	22	21	20	22	22	21
	V_B_ Entusiasmo	Coeficiente de correlación	0,264	1,000	0,988**	0,467*	0,839**	0,749**	0,551**	0,467*
		Sig. (bilateral)	0,248		0,000	0,038	0,000	0,000	0,010	0,038
		N	21	21	21	20	19	21	21	20
	V_C_ Organizacion	Coeficiente de correlación	0,234	0,988**	1,000	,436*	,800**	,760**	,586**	0,467*
		Sig. (bilateral)	0,295	0,000		0,048	0,000	0,000	0,004	0,033
		N	22	21	22	21	20	22	22	21
	V_D_Interaccion	Coeficiente de correlación	0,281	0,467*	,436*	1,000	,597**	0,432	,540*	,624*
		Sig. (bilateral)	0,217	0,038	0,048		0,007	0,050	0,012	0,003
		N	21	20	21	21	19	21	21	20
	V_E_Actitud	Coeficiente de correlación	0,169	0,839**	0,800**	0,597**	1,000	0,624**	0,450*	0,421
		Sig. (bilateral)	0,476	0,000	0,000	0,007		0,003	0,047	0,065
		N	20	19	20	19	20	20	20	20
	V_F_Evaluacion	Coeficiente de correlación	0,338	0,749**	0,760**	0,432	0,624**	1,000	0,374	0,581**
		Sig. (bilateral)	0,124	0,000	0,000	0,050	0,003		0,086	0,006
		N	22	21	22	21	20	22	22	21
	V_G_Bibliografia	Coeficiente de correlación	0,136	0,551**	0,586**	0,540*	0,450*	0,374	1,000	0,437*
		Sig. (bilateral)	0,547	0,010	0,004	0,012	0,047	0,086		0,048
		N	22	21	22	21	20	22	22	21
	V_H_Valoracion General	Coeficiente de correlación	0,309	0,467*	0,467*	0,624**	0,421	0,581**	0,437*	1,000
		Sig. (bilateral)	0,173	0,038	0,033	0,003	0,065	0,006	0,048
		N	21	20	21	20	20	21	21	21

• Fuente: Elaborado por los autores (2022).

En los casos en que se rechaza la hipótesis nula y, por tanto, ha de ser aceptada la hipótesis alternativa, el valor de correlación tiene distintos valores. Estos valores pueden ser interpretados según Hernández Sampieri y Fernández Collado (1998) como “Correlación positiva fuerte” para valores desde “+0,76 a +0,90” y como “Correlación positiva perfecta” para valores de “+0,91 a +1,00”. Por tanto, en la Figura 2 mostramos aquellas dimensiones para las cuales existe una correlación “positiva perfecta” y también se han añadido las correlaciones “positivas fuertes”.

Figura 2.
Dimensiones con correlación de Spearman “positiva fuerte” y “perfecta”.

Hay una dimensión que se destaca por su falta de relación con el resto, se trata de la dimensión “Aprendizaje”, que en todas las correlaciones con el resto de dimensiones ha de ser aceptada la hipótesis nula, es decir, no existe correlación entre la dimensión “Aprendizaje” y ninguna de las otras siete. Por otro lado, la dimensión “Interacción” sí tiene relación con el resto de dimensiones (se rechaza la hipótesis nula, al tener un valor de significación inferior al valor “alfa” considerado de 0,05 o 0,01, según los casos) menos la de “Aprendizaje”. Sin embargo, el valor de correlación según la escala de Hernández Sampieri y Fernández Collado (1998) el rango de +0,11 a +0,50 está considerado como “correlación positiva media”. Incluso alguna como la correlación con “Bibliografía” y “Valoración general” estaría en el rango de +0,51 a +0,75 que es estimado como “correlación positiva considerable”.

Correlación entre opinión y notas

En este estudio se ha añadido una pregunta adicional al cuestionario SEEQ. Se trata de una pregunta que permite agrupar a los estudiantes según la nota media que tienen en ese momento del curso, en base a los exámenes parciales que llevan realizados. Esta pregunta se ha hecho para conseguir contestar al objetivo tercero de determinar si las respuestas de los estudiantes están o no condicionadas en función de la nota de los exámenes. Los resultados a esta pregunta es que el 68,1% de estudiantes llevan aprobada la asignatura, pero hay un porcentaje inferior (un 31,8%) de estudiantes que de momento están suspensos.

El objetivo planteado es determinar si la opinión que reflejan los estudiantes en el cuestionario está o no condicionado por las notas que tienen en los exámenes. Para ello, vamos a analizar la correlación de Spearman (Pérez-Tejada, 2008) entre la pregunta sobre la nota y el resto de las dimensiones que tiene el cuestionario. Para ello, se puede formular las siguientes hipótesis:

• H₀: Los valores de la correlación entre la pregunta “Nota” y el resto de las dimensiones es 0. No hay correlación.

• H₁: Los valores de la correlación son distintos de 0. Hay correlación.

Al ejecutar el análisis en SPSS, el cálculo del coeficiente de correlación de Spearman para las variables que han de ser comparadas (pregunta nota y el resto de las dimensiones) se obtiene el resultado de que solo en el caso de la categoría “Bibliografía” se puede rechazar la hipótesis Nula. En el resto de los casos debemos aceptarla y, por tanto, no hay relación entre la nota que tienen los estudiantes y lo que opinan en las preguntas del cuestionario.

Dado que es solo una dimensión es la que se rechaza la hipótesis Nula, podemos hacer un análisis más pormenorizado de qué relación hay entre la pregunta de “Nota” y las preguntas de la dimensión “Bibliografía”. El resultado de ese análisis lo podemos ver en la Tabla 3 donde la pregunta G28 se rechaza la hipótesis nula y en la G29 se acepta. Por tanto, es posible concluir que sólo hay relación entre la nota que tienen los estudiantes y valorar si las recomendaciones bibliográficas han sido completas y adecuadas. Sin embargo, la pregunta de “si ha contribuido o no a la comprensión de la materia la bibliografía recomendada”, el resultado es que no hay una relación significativa. Además, en el caso de la relación entre la pregunta de “Nota” y la pregunta G28 la relación es de -0,44, que según la escala de Hernández Sampieri y Fernández Collado (1998) puede ser considerada como una correlación “negativa media”.

Tabla 3.
Coeficientes de correlación de Spearman la pregunta “Nota” y las preguntas referentes a la dimensión “Bibliografía”.

Correlaciones
		J_Nota	G28. La bibliografía y el material recomendados han sido completos y adecuados	G29. La bibliografía, el material adicional, los trabajos de la asignatura, etc., han contribuido a mejorar la valoración y la comprensión de la materia
J_Nota	Coeficiente de correlación	1,000	-,441*	-0,400
	Sig. (bilateral)		0,040	0,065
	N	22	22	22

• Nota: * La correlación es significativa en el nivel 0,05 (bilateral).
• Fuente: Elaborado por los autores (2022).

Discusión

Aplicar estos instrumentos para evaluar la actividad docente basado en la participación del discente es muy importante por parte de los docentes. Por otro lado, también es importante implementar otras acciones que permitan valorar el proceso de enseñanza del profesorado resaltando puntos fuertes y débiles, y que los resultados puedan servir a los tres protagonistas universitarios, que son: (1) a los estudiantes que serán partícipes de modelos de evaluación con fines de mejorar el proceso de formación, (2) gestores universitarios para analizar la calidad de la enseñanza, organizar planes de innovación, etc. y (3) los docentes, como insumos que puedan hacer una autorreflexión de su actividad.

A raíz de lo anterior, consideramos importante implementar otras acciones que permitan valorar el proceso de enseñanza del profesorado en la Universidad de Extremadura como es el Programa de Evaluación de la Actividad Docente del Profesorado de la Universidad de Extremadura conocido como Programa Docentia-UEX, puesto que uno de los aspectos más novedosos y claves que introduce la adaptación al EEES es la obligación de garantizar la calidad de los procesos de aprendizaje y, para ello, es necesario evaluar periódicamente la actividad docente del profesorado. Su finalidad es ser la principal fuente para obtener información acerca de la situación de la docencia en la UEx, las recomendaciones para la mejora y el reconocimiento de las buenas prácticas docentes. Un elemento fundamental, aunque no exclusivo, de este proceso de evaluación es la Encuesta de Satisfacción del Estudiante con la Actividad Docente, que se encarga de realizar la Unidad Técnica de Evaluación y Calidad.

Los resultados de esta investigación para con la asignatura de Dirección Estratégica muestran que es la dimensión de “Actitud personal”, la mejor valorada por los estudiantes, con un 4,85 de media sobre un máximo de 5 puntos. De ellos, el 77,3% se muestra “totalmente de acuerdo” y el resto (13,6%) se muestran “de acuerdo”. La siguiente dimensión mejor valorada es la de “Entusiasmo” con un 4,71 de media. Estando todos los valores en la puntuación de “de acuerdo” y “totalmente de acuerdo”, con valores de 27,3% y 68,2%, respectivamente. El resto de las dimensiones, como ya hemos analizado en el apartado de resultados, tienen una valoración aceptable. Además, el sistema nos ha permitido hacer un análisis más pormenorizado de las dimensiones donde la calificación es inferior donde se ha podido observar que bajan los resultados al preguntar la valoración de los estudiantes sobre la asignatura, no sobre el equipo docente, como hemos demostrado al analizar los resultados de las preguntas etiquetadas como H30, H31 y H32.

Conclusiones

La primera conclusión a partir de los resultados encontrados es que éstos coinciden con los presentados en otras investigaciones donde se ha usado el cuestionario SEEQ como instrumento de información validado en otras asignaturas de la Universidad de Extremadura como se puede ver en Arias-Masa et al. (2017). Así mismo, se revisó la fiabilidad del cuestionario SEEQ aplicado mediante la consistencia interna, cuya estimación se calculó con un Alfa de Cronbach a cada una de las preguntas de 0.94 que según George y Mallery (2019) puede ser clasificado como “excelente”.

A partir del análisis de los resultados obtenidos se ha posibilitado conseguir el primer objetivo que es conocer la percepción que los estudiantes tienen de la actividad docente. A su vez, este objetivo nos posibilita poder iniciar una mejora continuada, que obviamente dependerá del equipo docente. Sin embargo, sí está claro que a partir de los resultados obtenidos sí es posible comenzar a cumplir ese objetivo.

En cuanto al segundo objetivo, donde se trataba de determinar la existencia de relaciones entre las dimensiones del cuestionario, se ha usado la correlación de Spearman y se ha podido detectar una relación “positiva perfecta” entre la dimensión de “Organización” y “Entusiasmo”. Al ampliar el rango a las relaciones “positivas fuertes”, estas tienen lugar entre las dimensiones de “Actitud” con “Entusiasmo” y “Organización”. E igual ocurre entre “Evaluación” y “Organización”. En todos los casos de relaciones “positivas fuertes” y “positivas perfectas” son dobles de las que se han comentado pues son relaciones simétricas, es decir, si la dimensión A está relacionada con la dimensión B, la dimensión B también está relacionada con la A.

En cuanto al tercer objetivo, se puede concluir que no hay una relación estadísticamente significativa entre las notas que tienen los estudiantes en los exámenes y la opinión que expresan en el cuestionario SEEQ y, por tanto, en la opinión que dan de la asignatura y del equipo docente. A raíz de ello se puede decir que la opinión no está condicionada por los exámenes y sus resultados. Quizás uno de los motivos por los que la dimensión de “Actitud personal” es tan bien evaluada por los estudiantes, se debe a las metodologías dinámicas e interactivas realizadas por el equipo docente dentro del aula.

Referencias

• Abelaira, T. A.; Redondo, B. M. Labour Relations and Human Resources: Students’ Perceptions of Their Training in Digital Competences. International Journal of Research in E-Learning, v. 8, n. 2, p. 1-24, 2022. https://doi.org/10.31261/IJREL.2022.8.2.04.
  » https://doi.org/https://doi.org/10.31261/IJREL.2022.8.2.04
• Arias-Masa, J. et al The SEEQ questionnaire for validating the teaching improvement when introducing digital storytelling in higher education. 201712th Iberian Conference on Information Systems and Technologies (CISTI), p. 1-6, 2017. Doi: https://doi.org/10.23919/CISTI.2017.7975713.
  » https://doi.org/https://doi.org/10.23919/CISTI.2017.7975713
• Balam, E. M.; Shannon, D. M. Student ratings of college teaching: A comparison of faculty and their students. Assessment & Evaluation in Higher Education, v. 35, n. 2, p. 209-221, 2010. Doi: https://doi.org/10.1080/02602930902795901.
  » https://doi.org/https://doi.org/10.1080/02602930902795901
• Pérez-Tejada, H. Estadística para las ciencias sociales, del comportamiento y de la salud [CD]. México: Cengage learning, 2008.
• George, D.; Mallery, P. IBM SPSS statistics 26 step by step: a simple guide and reference. New York: Routledge, 2019. Doi: https://doi.org/10.4324/9780429056765.
  » https://doi.org/https://doi.org/10.4324/9780429056765
• Ginns, P.; Prosser, M.; Barrie, S. Students’ perceptions of teaching quality in higher education: The perspective of currently enrolled students. Studies in Higher Education, v. 32, n. 5, p. 603-615, 2007. Doi: https://doi.org/10.1080/03075070701573773.
  » https://doi.org/https://doi.org/10.1080/03075070701573773
• Guix, J. Dimensionando los hechos: la encuesta (II). Revista de Calidad Asistencial, v. 20, n. 3, p. 154-160, 2005.Doi: https://doi.org/10.1016/S1134-282X(08)74741-9.
  » https://doi.org/https://doi.org/10.1016/S1134-282X(08)74741-9
• Hernández Sampieri, R.; Fernández Collado, C. Metodología de la investigación México: MacGraw-Hill, 1998.
• Lind, D. A. Marchal, W.; Samuel A. Estadística aplicada a los negocios y la economía México: MacGraw-Hill, 2008.
• Maldonado, L. S. M. Manual práctico para el diseño de la Escala Likert. Xihmai, v. 2, 2012. Doi: https://doi.org/10.37646/xihmai.v2i4.101
  » https://doi.org/https://doi.org/10.37646/xihmai.v2i4.101
• Marsh, H.; Roche, L. SEEQ Students’ Evaluation of Educational Quality: multiple dimensions of university teacher self-concept. Instructional Science, v. 8, n. 5, p. 439-469, 1970. Doi: https://doi.org/10.1023/A:1026576404113
  » https://doi.org/https://doi.org/10.1023/A:1026576404113
• Marsh, H. W. SEEQ: a reliable, valid, and useful instrument for collecting students’evaluations of university teaching. British Journal of Educational Psychology, v. 52, n. 1, p. 77-95, 1982. Doi: https://doi.org/10.1111/j.2044-8279.1982.tb02505.x
  » https://doi.org/https://doi.org/10.1111/j.2044-8279.1982.tb02505.x
• Marsh, H. W. Students’ evaluations of university teaching: Dimensionality, reliability, validity, potential baises, and utility. Journal of Educational Psychology, v. 76, n. 5, p. 707, 1984. Doi: https://doi.org/10.1007/1-4020-5742-3_9
  » https://doi.org/https://doi.org/10.1007/1-4020-5742-3_9
• Matés, M. V. V.; Bouzada, M. I. C. Valoración de la enseñanza: SEEQ. Revista de Formación e Innovación Educativa Universitaria, v. 3, n. 4, p. 182-193, 2010.
• Montgomery, D. C.; Runger, G. C. Applied statistics and probability for engineers Estados Unidos de América: John Wiley & Sons, 2010.
• Nie, N. H.; Bent, D. H.; Hull, C. H. SPSS: Statistical package for the social sciences. Michigan: McGraw-Hill, 1970.
• Pallás, J. M. A. et al Métodos cuantitativos para la administración pública: técnicas y aplicaciones. Virginia: Brooks Cole Publishing Company, 2019.
• Ramsden, P. A performance indicator of teaching quality in higher education: The Course Experience Questionnaire. Studies in Higher Education, v. 16, n. 2, p. 129-150, 1991. https://doi.org/10.1080/03075079112331382944.
  » https://doi.org/https://doi.org/10.1080/03075079112331382944
• Roig-Vila, R. et al La Aplicación Kahoot! para Motivar la Participación Activa en el Aula. Redes de Investigación En Docencia Universitaria, n. 1, p. 342-352, 2018. Disponible en: Disponible en: http://rua.ua.es/dspace/handle/10045/85010 Acceso en: 8 sept. 2022.
  » http://rua.ua.es/dspace/handle/10045/85010
• Rosales, M. Proceso evaluativo: evaluación sumativa, evaluación formativa y Assesment su impacto en la educación actual. Congreso Iberoamericano de Ciencia, Tecnología, Innovación y Educación, n. 4, p. 662, 2014. Doi: https://doi.org/10.15366/riee2017.10.1.009
  » https://doi.org/https://doi.org/10.15366/riee2017.10.1.009
• Sánchez Meca, J.; López Pina, J. A. El enfoque meta-analítico de generalización de la fiabilidad, 2008. Doi: https://doi.org/10.1016/j.ft.2009.05.005
  » https://doi.org/https://doi.org/10.1016/j.ft.2009.05.005
• Scriven, M.; Tyler, R.; Gagne, R. M. Perspectives of curriculum evaluation. The Methodology of Evaluation, p. 39-83, 1967.
• Silveira, J. T.; Teixeira da Rocha, J. B. Tradução e ferramenta de validação de conteúdo de avaliação do ensino pelos alunos. Revista Iberoamericana de Evaluación Educativa, v. 10, n. 2, 2017. Doi: https://doi.org/10.15366/riee2017.10.2.003
  » https://doi.org/https://doi.org/10.15366/riee2017.10.2.003
• Stroebe, W. Student evaluations of teaching: no measure for the TEF. Times Higher Education, 2016 Recuperado de: https://www.timeshighereducation.com/Comment/Student-Evaluations-Teaching-No-Measure-Tef
  » https://www.timeshighereducation.com/Comment/Student-Evaluations-Teaching-No-Measure-Tef
• Wilson, K. L; Lizzio, A.; Ramsden, P. The development, validation and application of the Course Experience Questionnaire. Studies in Higher Education, v. 22, n. 1, p. 33-53, 1997. Doi: https://doi.org/10.1080/03075079712331381121.
  » https://doi.org/https://doi.org/10.1080/03075079712331381121

Editor

• César Pereira

• Como citar este artigo/How to cite this article: Arias-Abelaira, T. et al. Cuestionario SEEQ: instrumento de información para la mejora del proceso de enseñanza- aprendizaje. Transinformação, v. 36, e 237386, 2023. https://doi.org/10.1590/2318-0889202335e237386

Fechas de Publicación

• Publicación en esta colección
  08 Dic 2023
• Fecha del número
  2023

Histórico

• Recibido
  07 Feb 2023
• Revisado
  15 Abr 2023
• Acepto
  31 Mayo 2023