Acessibilidade / Reportar erro

Examen colegiado y predictores de éxito en los estudiantes de álgebra lineal

Collegiate Examination and Predictors of Success in Linear Algebra Students

Resumen

Esta investigación se centra en el análisis del examen colegiado de álgebra lineal de una universidad pública de México en los ciclos escolares 2018-2 y 2019-1 a un total de 1209 estudiantes de primer semestre. Dicha investigación comprende la evaluación del examen y la identificación de predictores de éxito en los estudiantes. El examen colegiado está alineado al currículo, es criterial y de opción múltiple. El análisis del examen se compone del cálculo de índices de dificultad, índices de discriminación y coeficientes de correlación, así como de la actividad cognitiva, clasificación del contenido, registro inicial y final de cada reactivo. Los resultados permiten observar que el examen es una prueba confiable y con poder de discriminación satisfactorio, y que entre los reactivos predictores del éxito de los estudiantes se encuentra la resolución de operaciones con números complejos en su forma rectangular, el producto de matrices, la regla de Cramer y el espacio generado por vectores.

Álgebra; Dificultad; Evaluación colegiada; Índices; Matemáticas

Abstract

This research focuses on the analysis of a collegiate linear algebra examination from a public university in Mexico in the 2018-2 and 2019-1 school cycles to a total of 1209 first semester students. This research includes evaluating the test and identifying successful predictors in students. The collegiate test is aligned to the curriculum, it is criterial and offers multiple choice. The analysis of the test consists of the calculation of difficulty indexes, discrimination rates, and correlation coefficients, as well as cognitive activity, content classification, initial and final registration of each reagent. The results show that it is a reliable test with satisfactory discrimination power, and that among the reagents predictors of student success is the resolution of operations with complex numbers in their rectangular shape, the matrix product, the Cramer rule, and the space generated by vectors.

Algebra; Difficulty; Collegiate test; Indicator; Math

1 Introducción

La evaluación del rendimiento académico de los estudiantes es importante ya que de él se derivan otros procesos de verificación, como la evaluación a profesores, programas, recursos humanos, así como demás aspectos que intervienen en el proceso de enseñanza-aprendizaje, y por lo que debe ser cuidadosamente planeada para que la información que proporcione sea objetiva, válida y confiable (BORREGO; RUIZ; VÉLEZ, 2004). Si a esta evaluación se le une la calidad del proceso educativo y por consecuencia formativo, se vuelve de gran importancia para mejorar el aprovechamiento en los estudiantes y lograr índices de eficiencia terminal, con egresados exitosos que brinden respuestas a las demandas de la sociedad (RUIZ; ROMANO; VALENZUELA, 2006).

Los exámenes colegiados o departamentales son una forma de evaluación a gran escala que tiene como objetivo propiciar el establecimiento de estándares de calidad y reorientar, en su caso, la actividad de los docentes hacia las competencias de aprendizaje, resolución de problemas, desarrollo de habilidades de pensamiento, de cálculo y de comprensión de conceptos (AMARO et al ., 2015).

En una investigación reciente (DE LAS FUENTES-LARA; AGUILAR-SALINAS; JUSTO-LÓPEZ, 2021) realizada en una universidad se encontró que durante los ciclos lectivos 2018-2 y 2019-1 apenas el 29% de un total de 3751 estudiantes de primer semestre de ingeniería obtuvieron una calificación igual o superior a 60 (en la escala de 0 a 100) con la que acreditan el examen departamental de cálculo diferencial, lo cual puede motivar el rezago y el abandono escolar. Un examen colegiado propicia estándares de ejecución comunes como base para estimar la calidad en el aprendizaje, la generación de prácticas innovadoras por parte de los profesores en temas críticos y responsabiliza al estudiante de su propio aprendizaje (ENCINAS; RIVERA; DE LAS FUENTES, 2007).

Debido al alto índice de reprobación que se observa en esta área, es necesario formular estrategias, tanto correctivas como preventivas, para detectar a los alumnos que se encuentran en esta situación, por lo cual surge el interés por implementar los exámenes departamentales como una estrategia para homogeneizar y reducir la variabilidad de los índices de aprobación en el área de matemáticas (VILLALÓN et al. , 2016).

Para los docentes del área de las matemáticas es un reto mostrar la influencia que tienen las matemáticas en el perfil profesional desde el comienzo de una clase, por ello, entre los estudiantes surge, habitualmente, la interrogante: ¿para qué me sirve este contenido?, lo cual genera desmotivación en los estudiantes que cursan asignaturas de esta área (VARGAS; PÉREZ; FABIÁN, 2017).

En el proceso de la enseñanza y el aprendizaje de las matemáticas algunos investigadores (HASHEMI et al ., 2014) han encontrado un desequilibrio importante entre el conocimiento operacional y el conceptual, en virtud de que los estudiantes de matemáticas y sus profesores privilegian el enfoque procedimental, para los investigadores esta situación es un factor trascendente en la calidad del aprendizaje.

Las dificultades de comprensión de los conceptos matemáticos por parte de los estudiantes universitarios, ha propiciado que los docentes permanezcan en una búsqueda constante para encontrar la mejor estrategia didáctica que permita superarlas ( VALDIVÉ; ESCOBAR, 2011VALDIVÉ , C. ; ESCOBAR , H. Estudio de los polinomios en contexto . Journal of Chemical Information and Modeling , Washington , v. 53 , n. 1 , p. 1689 - 1699 , 2011 . ), que mejore la calidad del aprendizaje y la disminución de los índices de reprobación. En consecuencia, es trascendente detectar los temas o contenidos en los que los estudiantes tienen mayor dificultad.

El álgebra lineal es una de las grandes ramas de la matemática que se utiliza prácticamente en todas las profesiones por la posibilidad de aplicación en problemas muy diversos ( OKTAÇ; TRIGUEROS, 2010OKTAÇ , A. ; TRIGUEROS , M. ¿Cómo se aprenden los conceptos de álgebra lineal? Revista Latinoamericana de Investigación en Matemática Educativa , Ciudad de México , v. 13 , n. 4 , p. 373 - 385 , 2010 . ). Por esta razón, es necesario reorientar el proceso de enseñanza-aprendizaje del álgebra lineal para que los estudiantes de las carreras de ingeniería logren comprender la trascendencia de la matemática para el desarrollo del pensamiento y la creatividad, así como, también, el valor que tienen para analizar, modelar, resolver e interpretar situaciones que se les pueden presentar en su vida profesional. Entre los principales aspectos que pueden obstaculizar el aprendizaje del álgebra lineal se encuentran: la falta de bases de matemáticas y la poca capacidad de abstracción, falta de contextualización y su deficiente relación con otros cursos; estos aspectos contribuyen al bajo interés y desmotivación de los estudiantes quienes consideran estas asignaturas sin importancia para su trayectoria académica (UZURIAGA; ARIAS; MANCO, 2010).

En razón de lo anteriormente expuesto y para contribuir en la mejora del proceso de la enseñanza y el aprendizaje de la matemática, particularmente del álgebra lineal, se optó por investigar la calidad de un examen colegiado, de gran escala, que se aplica desde el año 2012 y del cual no se tiene registro publicado sobre su calidad, sobre los temas o tópicos con mayores dificultades para los estudiantes o de los reactivos que predicen su éxito en el desempeño del ECAL. Esta información permitirá reorientar las actividades docentes para mejorar la calidad del proceso de la enseñanza y aprendizaje de la matemática, principalmente en la asignatura de álgebra lineal.

A partir de este objetivo general y para organizar la información derivada del análisis, se establecieron los siguientes objetivos específicos: (1) presentar el examen colegiado de álgebra lineal (ECAL) de opción múltiple, criterial, alineado con el currículo y de gran escala; (2) demostrar que el ECAL es un instrumento de evaluación válido, confiable y con poder de discriminación aceptable; (3) realizar un análisis de los resultados obtenidos por los estudiantes en el ECAL en cuanto a conceptos y procedimiento; (4) presentar los temas específicos que tienen mayor dificultad para los estudiantes y aquellos que predicen su éxito.

2 Marco Teórico

En la enseñanza y el aprendizaje de la matemática para ingeniería es común diferenciar entre los conocimientos teóricos y prácticos, además de contar con información matemática en sus diferentes representaciones, en este sentido se consideran y adicionan los siguientes lineamientos teóricos.

2.1 Dualidad estructural-operacional de los conceptos

Una perspectiva de los conceptos matemáticos es la dualidad estructural- operacional, aunque no son excluyentes, pero si complementarias, se describen de manera separada. Para Contreras y Backhoff (2004)CONTRERAS , L. ; BACKHOFF , E. Metodología para elaborar exámenes criteriales alineados al currículo . In: CASTAÑEDA , S. ( ed ) . Educación, aprendizaje y cognición, teoría en la práctica . Manual Moderno , 2004 . p. 298 - 323 . la visión estructural se refiere a las características, atributos ontológicos y definición del propio concepto, se discrimina, también, por una regularidad, mientras que para Sfard (1991)SFARD , A. On the Dual Nature of Mathematical Conceptions: Reflections on processes and objects as different sides of the same coin, Educational Studies in Mathematics , Dordrecht , v. 22 , n. 1 , p. 1 - 36 , 1991 . esta misma visión se caracteriza por un ente que posee rasgos propios, es instantánea, integradora y estática, evoluciona de la concepción operacional y facilita los procesos de aprendizaje y solución de problemas. Solicitar al estudiante que identifique las características fundamentales de un concepto o diferenciar entre ejemplos y contraejemplos, así como la definición misma del concepto son elementos a evaluar en este tipo de contenido. Para Mora (2006)MORA , H. Concepción proceso-objeto de función en la comprensión del teorema fundamental del cálculo . 2008 . 183 f. Tesis (Maestría en Ciencias en Matemática Educativa) – Instituto Politécnico Nacional, CICATA, Unidad Legaria , 2006 . indicadores de una concepción estructural es la existencia de una coordinación entre el concepto y sus propiedades, la posibilidad de alternar diferentes representaciones del concepto, según el contexto, y definir nuevos conceptos a partir del concepto en cuestión.

La visión operacional o procedimental se refiere al dominio de las fases que implica la secuencia de operaciones involucradas y la utilización de algoritmos ( CONTRERAS; BACKHOFF, 2004CONTRERAS , L. ; BACKHOFF , E. Metodología para elaborar exámenes criteriales alineados al currículo . In: CASTAÑEDA , S. ( ed ) . Educación, aprendizaje y cognición, teoría en la práctica . Manual Moderno , 2004 . p. 298 - 323 . ). La exploración del dominio que tiene el estudiante sobre los requisitos teóricos y prácticos de una operación o procedimiento, la ejecución de un algoritmo, las condiciones para utilizar un procedimiento, son ejemplos de tareas que se pueden evaluar para este tipo de contenido. Para Sfard (1991)SFARD , A. On the Dual Nature of Mathematical Conceptions: Reflections on processes and objects as different sides of the same coin, Educational Studies in Mathematics , Dordrecht , v. 22 , n. 1 , p. 1 - 36 , 1991 . la concepción operacional se desarrolla en la primera etapa de formación del concepto, y es necesario, pero no suficiente para el aprendizaje y la resolución de problemas. Según Mora (2006)MORA , H. Concepción proceso-objeto de función en la comprensión del teorema fundamental del cálculo . 2008 . 183 f. Tesis (Maestría en Ciencias en Matemática Educativa) – Instituto Politécnico Nacional, CICATA, Unidad Legaria , 2006 . la visión operacional es dinámica y secuencial, prevalece la existencia de un solo sistema de representación del concepto y no se percibe la integración entre el concepto y sus propiedades.

2.2 Teoría de las representaciones semióticas

Desde la perspectiva de la teoría de representaciones semióticas de Raymond Duval (2000DUVAL , R. Representación, visión y visualización: funciones cognitivas en el pensamiento matemático , Boulogne/Lille : Universitedu Littoral Cote-d’Opale/Centre IUFMNord Pas-de Calais , 2000 . , 2006aDUVAL , R. A Cognitive Analysis of Problems of Comprehension in a Learning of Mathematics, Journal of Educational Studies in Mathematic , Switzerland , v. 61 , n. 1-2 , p. 103 - 131 , 2006a . , 2006bDUVAL , R. Quelle Semiotique Pour L’Analyse de L’Activite et des productions mathematiques , Revista Latinoamericana de Investigación en Matemática Educativa , Ciudad de México , número especial , número especial, p. 45 - 81 , 2006b . , 2006cDUVAL , R. Un tema crucial en la educación matemática: la habilidad para cambiar de registro de representación , La Gaceta de la Real Sociedad Matemática Española , Madrid , v. 9 , n. 1 , p. 143 - 168 , 2006c . ), los objetos matemáticos no son directamente accesibles a la percepción, de manera que para su estudio y tratamiento se requiere contar con representaciones de corte geométrico, algebraico y numérico. Son precisamente estas representaciones las que permiten el acceso al estudio y tratamiento del objeto matemático. La actividad cognitiva de formación de una representación es un conjunto de marcas que se perciben y se pueden identificar respecto a un objeto matemático, el tratamiento es la transformación de la representación dentro del mismo registro y depende de convenciones o reglas matemáticas de ejecución; y la conversión es la transformación de la representación en otra representación de un registro diferente al original, pero conserva su esencia.

3 Metodología

La metodología utilizada es preponderantemente cuantitativa, por la inclusión de los análisis estadísticos realizados a partir de la información recabada durante los periodos de estudio y los comparativos realizados con los rangos que establecen los especialistas respecto a la confiabilidad, índice de dificultad, índice de discriminación y coeficiente de correlación biserial; también, es de corte cualitativo ya que se consideran algunas apreciaciones para describir y explicar las dificultades que los estudiantes experimentan respecto a los tópicos que se tratan en la asignatura de álgebra lineal.

La metodología comprende la muestra utilizada para el análisis, la descripción del instrumento, así como, también, el procedimiento de recolección y análisis de datos.

3.1 Población y Muestra

La muestra está compuesta por 1209 estudiantes del campus de ingeniería Mexicali que cursaron, de manera formal, el primer semestre en una universidad pública de México. La muestra está basada en la totalidad de estudiantes que presentaron el ECAL en los ciclos escolares 2018-2 y 2019-1, corresponden 635 del ciclo escolar 2018-2 y 574 del 2019-1. Si bien es cierto este examen se aplica desde 2012, es de estos ciclos lectivos que se cuenta con la información completa para realizar un análisis minucioso de los resultados.

3.2 Instrumento

El ECAL cuenta con tres versiones y cincuenta reactivos cada una, se aplica desde el año 2012. El examen es criterial, ya que tiene el propósito de evaluar el aprendizaje informando que puede hacer o no el estudiante, está alineado al currículo, ya que se desprende de una actividad para identificar lo esencial de éste y evaluarlo, es de opción múltiple, ya que permite al estudiante elegir la respuesta correcta de entre cuatro que se ofrecen y es de gran escala, ya que su aplicación corresponde a cientos o miles de estudiantes (CONTRERAS; BACKHOFF; LARRAZOLO, 2004). La evidencia física (minutas) proporcionada por la universidad muestra que, en el diseño y construcción del ECAL, participaron doce profesores representantes de todos los campus (Mexicali, Tijuana, Tecate, Valle de las Palmas y Ensenada) en dónde se imparte la asignatura de álgebra lineal. En su construcción se utilizaron los modelos de Nitko (1994)NITKO , A. J. A Model for Developing Curriculum-Driven Criterion-Referenced and Norm-Referenced National Examinations for Certification and Selection of Students . In: CONFERENCIA INTERNACIONAL SOBRE EVALUACIÓN Y MEDICIÓN EDUCATIVAS 2 ., 1994 , Pretoria . Anales… Pretoria : Asociación para el Estudio de la Evaluación Educativa en Sudáfrica , 1994 . P. 1 - 29 . Disponible en: https://files.eric.ed.gov/fulltext/ED377200.pdf . Acceso en: 9 mayo 2023 .
https://files.eric.ed.gov/fulltext/ED377...
y Popham (1990)POPHAM , J. Modern educational Measurement: a practitioner’s perspective . Boston : Prentice Hall , 1990 . para desarrollar exámenes orientados al currículo, complementados con la metodología para la construcción de test criterales y con algunas aportaciones metodológicas y operativas de Contreras (2000)CONTRERAS , L.A. Desarrollo y pilotaje de un examen de español para la educación primaria en Baja California . 135 f. Tesis (Maestría en Ciencias Educativas) – Instituto de Ingeniería, Universidad Autónoma de Baja California , Ensenada , 2000 . .

El ECAL contiene cuatro unidades básicas del conocimiento del álgebra lineal y está alineado al programa de la unidad de aprendizaje. El número de reactivos para cada unidad se especifica en el Cuadro 1 .

Cuadro 1
Competencia y reactivos del ECAL

Esta metodología de construcción de exámenes colegiados implicó la integración de tres comités con tareas específicas, el primer comité desarrolló el contenido a nivel micro, la retícula de la unidad de aprendizaje, la justificación de los contenidos que formarían parte del ECAL ( Figura 1 ) y la tabla de especificaciones que resume los contenidos involucrados y el número de especificaciones y reactivos a diseñar para el examen.

Figura 1
Ejemplo de justificación de contenido del contenido micro definición de combinación lineal del ECAL

El segundo comité diseñó las especificaciones técnicas de los reactivos. Las especificaciones técnicas de los reactivos tienen el propósito principal de proporcionar a los diseñadores de los reactivos el contenido específico que deberá ser evaluado por el reactivo y los detalles técnicos necesarios para la generación de reactivos efectivos, así como, también, de comunicar a los docentes y estudiantes lo que mide el reactivo en términos de cobertura y alcance de las competencias evaluadas ( Figura 2 ).

Figura 2
Ejemplo de la especificación técnica para los reactivos 47 y 48 del ECAL

La especificación consta de una sección de datos de identificación del contenido a evaluar (número de reactivo, curso, unidad, tema y subtema o contenido micro a evaluar), una interpretación de su sentido (contenido, competencia, indicador de logro, tipo de contenido conceptual o procedimental y el grado de dificultad, reproducción, conexión o reflexión), las características de los estímulos que el reactivo presentará al examinado (instrucciones para responder, base del reactivo, distractores, respuesta correcta, tablas o figuras de apoyo, etc.), así como un reactivo muestra que ilustra la aplicación de dichas normas de diseño del reactivo.

En las Figuras 3 y 4 se aprecian reactivos muestra de las especificaciones 29 y 47, los cuales están considerados como de carácter conceptual, toda vez que el estudiante requiere conocer el concepto requerido para realizar el cálculo del área de un paralelogramo, y consecuentemente la del triángulo, mientras que para el reactivo 47 el estudiante debe conocer cuando un par de vectores son linealmente dependientes o independientes y su relación con la generación de planos vectoriales, en ambos casos no se trata de un procedimiento aislado, se trata de la elección del concepto y los algoritmos asociados para su respectiva resolución.

Figura 3
Ejemplo de reactivo muestra de la especificación técnica 29 del ECAL

Figura 4
Ejemplo de reactivo muestra de la especificación técnica 47 del ECAL

El tercer comité diseñó los reactivos a partir de las especificaciones técnicas y, en conjunto con el segundo comité, se revisó la congruencia entre el reactivo, la especificación y el contenido a evaluar.

3.3 Procedimiento de recolección y análisis de datos

La información empleada en esta investigación corresponde a los resultados obtenidos por 1209 estudiantes durante la aplicación del ECAL en los ciclos escolares 2018-2 y 2019-1 del campus Mexicali. La aplicación del examen se realizó en los laboratorios de cómputo de la misma universidad y tuvo una duración máxima de dos horas, las respuestas de los estudiantes fueron registradas al instante y procesadas por medio de la plataforma de evaluación QuestionMark.

Se realizó un análisis de confiabilidad mediante el coeficiente de Kuder-Richarson (KR-20), el cual permite obtener la confiabilidad de un instrumento a partir de los datos obtenidos en una sola aplicación ( CORRAL, 2009CORRAL , Y . Validez y confiabilidad de los instrumentos de investigación para la recolección de datos . Revista Ciencias de la Educación , Valencia , v. 19 , n. 33 , p. 228 - 247 , 2009 . ), si el coeficiente es mayor que 0.80 es aceptable ( KEHOE, 1995KEHOE , J. Basic item analysis for multiple-choice tests . Practical Assessment, Research y Evaluation , Massachusetts , v. 4 , n. 10 , p. 1 - 3 , 1995 . ; CONTRERAS; BACKHOFF; LARRAZOLO, 2004; MUÑOZ; MATO, 2008MUÑOZ , J. ; MATO D. Análisis de las actitudes respecto a las matemáticas en alumnos de ESO . Revista de Investigación Educativa , Murcia , v. 26 , n. 1 , p. 209 - 226 , 2008 . ; DING et al ., 2006). De manera adicional se calculó el coeficiente delta de Ferguson que mide el poder de discriminación de una prueba completa, el rango de dicho coeficiente es [0, 1] y es satisfactorio cuando es mayor que 0.90 (DING et al ., 2006).

El índice de dificultad (ID) está relacionado con la proporción de estudiantes que resuelven correctamente un reactivo, y se calcula de acuerdo a Crocker y Algina (1986)CROCKER , L. ; ALGINA , J. Introduction to Classical and Modern Test Theory . New York : Holt, Rinehart and Winston , 1986 . . La escala de tal índice es de 0 a 1 y un valor de dificultad cercano a 0 lo hace difícil, mientras que un índice cercano al 1 lo hace más fácil. Existen parámetros para la aceptación de un reactivo de acuerdo con su nivel de dificultad, el establecido por Contreras, Backhoff y Larrazolo (2004), el cual establece que debe ser mayor que 0.05 y menor que 0.95. Para Engelhardt (2009)ENGELHARDT , P. An Introduction to Classical Test Theory as Applied to Conceptual Multiple-Choice Tests . In: HENDERSON , C. ; HARPER , K. ( ed ) . Getting Started in PER 2 . College Park : American Association of Physics , 2009 . P. 1 - 40 . el promedio de este índice en la prueba debe ser 0.5 para maximizar la discriminación. De acuerdo a Backhoff, Larrazolo y Rosas (2000) el nivel medio de dificultad del instrumento debe oscilar entre 0.5 y 0.6, distribuyéndose los valores del índice de dificultad de la manera siguiente: 5% de reactivos altamente fáciles (0.87 < ID < 1), 20% medianamente fáciles (0.74 < ID < 0.86), 50% con una dificultad media (0.53 < ID < 0.73), 20% medianamente difíciles (0.33 < ID < 0.52) y 5% altamente difíciles (ID < 0.32).

El índice de discriminación (IDC) del reactivo permite diferenciar (discriminar) entre aquellos estudiantes que obtuvieron buenas calificaciones en la prueba y aquellos que obtuvieron bajo puntaje, el cual está relacionado con la posibilidad alta de responder correctamente el reactivo en aquellos estudiantes con un desempeño en general sobresaliente en la prueba, situación opuesta para el caso de los estudiantes con un desempeño deficiente. Para Contreras Backhoff y Larrazolo (2004) el valor discriminativo del reactivo se considera apropiado si es mayor que 0.2. La escala del IDC de acuerdo a Backhoff, Larrazolo y Rosas (2000) es: malo (IDC < 0.20), regular (0.20 < IDC < 0.30), bueno (0.30 < IDC < 0.40) y excelente (IDC > 0.40).

También se calculó el coeficiente de correlación del punto biserial (rpbis). Para algunos investigadores ( HENRYSSON, 1971HENRYSSON , S. Gathering, Analysing, and Using Data on Teste Items . In: THORNDIKE , R.L. ( ed .) , Educational Measurement . Washington : American Council on Education , 1971 , p. 299 - 321 . ; MOLINA et al ., 2015) este coeficiente es un indicador de validez predictiva, en donde se relaciona la respuesta a un reactivo por un estudiante y el resultado que obtuvo de la prueba, este indicador psicométrico se calcula de acuerdo al modelo de Backhoff, Larrazolo y Rosas (2000) y la escala de valores de este indicador es: discrimina pobremente (rpbis < 0.14), regularmente (0.15 < rpbis < 0.25), buen poder discriminativo (0.26 < rpbis < 0.35) y excelente nivel de discriminación (rpbis > 0.35). Para Ding et al . (2006), el rpbis debe ser mayor a 0.2 aunque solo unos cuantos reactivos de la prueba podrían no cumplir con esta condición.

La base de datos generada por la plataforma de evaluación QuestionMark contiene la respuesta a cada reactivo por estudiante, valorando las respuestas correctas con 1 (uno) y las incorrectas con 0 (cero). Los resultados del ECAL fueron analizados y tratados a partir del programa IBM SPSS Statistic y Microsoft® Office Excel , cuyo tratamiento permite obtener los índices de dificultad, discriminación, el coeficiente de correlación del punto biserial, la confiabilidad de la prueba por el método de Kuder Richardson (KR-20) y delta Ferguson.

Se clasificó cada reactivo en cuanto a su registro inicial, final (lenguaje natural, numérico, algebraico y gráfico), la actividad cognitiva (formación, tratamiento y conversión) que se requieren para obtener la solución del reactivo y su carácter conceptual o procedimental establecida en las especificaciones técnicas de los reactivos.

Finalmente, se realizó un análisis de varianza mediante la prueba post-hoc de Tukey para observar las diferencias significativas, si es que existen entre los grupos y dentro de los mismos.

4 Resultados y discusión

Respecto del diseño y construcción del ECAL existe documentación física como: el contenido a nivel macro, meso y micro, la retícula de la materia con los tres niveles de contenido, la justificación de los contenidos que forman parte de la evaluación y que incluye el contenido a evaluar, la relevancia asignada y las razones que justifican la decisión de la inclusión, la tabla de especificaciones técnicas y especificaciones de los reactivos.

Esta definición y análisis de dominio del currículum permite evidenciar la selección de indicadores adecuados y la validez de los reactivos a través del juicio de expertos ( ALSINA; CORONATA, 2014ALSINA , A. ; CORONATA , C. Los procesos matemáticos en las prácticas docentes: diseño, construcción y validación de un instrumento de evaluación . Edma 0-6: Educación Matemática en la Infancia, Valladolid , v. 3 , n. 2 , p. 23 – 36 , 2014 . ).

La validez de contenido se garantizó por medio de jueces expertos, en los que se encontraban maestros de la asignatura de álgebra lineal con experiencia docente mínima de cinco años y métodos de consenso grupal ( CORRAL, 2009CORRAL , Y . Validez y confiabilidad de los instrumentos de investigación para la recolección de datos . Revista Ciencias de la Educación , Valencia , v. 19 , n. 33 , p. 228 - 247 , 2009 . ). Los profesores del segundo y tercer comité fueron, precisamente, los encargados de la validación de los temas, analizaron la coherencia de los reactivos con los que se desea evaluar, la complejidad y la habilidad cognitiva ( BARRAZA, 2007BARRAZA , A. La consulta a expertos como estrategia para la recolección de evidencias de validez basadas en contenido . Investigación Educativa Duranguense , Durango , v. 7 , s. n., p. 5 - 14 , 2007 . ), así como la suficiencia y pertinencia de los reactivos, siempre considerando los aspectos del constructo que son relevantes, así como las competencias y los indicadores (CISNEROS; JORQUERA; AGUILAR, 2012).

El coeficiente de confiabilidad calculado mediante KR-20 es r = 0.88, lo cual se considera apropiado cuando es mayor a 0.85 en el caso de instrumentos estandarizados y de gran escala (CONTRERAS; BACKHOFF; LARRAZOLO, 2004; MUÑOZ; MATO, 2008MUÑOZ , J. ; MATO D. Análisis de las actitudes respecto a las matemáticas en alumnos de ESO . Revista de Investigación Educativa , Murcia , v. 26 , n. 1 , p. 209 - 226 , 2008 . ) o mayor de 0.80 en el caso de los exámenes con más de 50 reactivos (DING et al ., 2006).

La distribución de los puntajes finales se calculó mediante la prueba delta de Ferguson y se obtuvo 0.99 lo que satisface ampliamente el criterio establecido (DING et al ., 2006; ENGELHARDT, 2009ENGELHARDT , P. An Introduction to Classical Test Theory as Applied to Conceptual Multiple-Choice Tests . In: HENDERSON , C. ; HARPER , K. ( ed ) . Getting Started in PER 2 . College Park : American Association of Physics , 2009 . P. 1 - 40 . ).

El promedio del índice de dificultad es de 0.63 ± 0.17 (media ± desviación estándar), el cual resulta un nivel medio de dificultad y adecuado (BACKHOFF; LARRASOLO; ROSAS, 2000; DING et al ., 2006; ENGELHARDT, 2009ENGELHARDT , P. An Introduction to Classical Test Theory as Applied to Conceptual Multiple-Choice Tests . In: HENDERSON , C. ; HARPER , K. ( ed ) . Getting Started in PER 2 . College Park : American Association of Physics , 2009 . P. 1 - 40 . ). La distribución porcentual del ID ( Figura 5 ) quedó constituida por el 8% de reactivos catalogados como altamente fáciles (cuatro reactivos), 22% de reactivos medianamente fáciles (once reactivos), 36% de reactivos con dificultad media (dieciocho reactivos), 34% de reactivos medianamente difíciles (diecisiete reactivos) y 0% de reactivos altamente difíciles (cero reactivos).

Figura 5
Comparativo entre la dificultad del ECAL y el referente teórico

En cuanto a la distribución de la dificultad el ECAL evidencia diferencias importantes con respecto al referente teórico.

A continuación, se describe en la Tabla 1 , las características del reactivo más difícil y el más fácil de acuerdo al ID encontrados en el examen, tomando en cuenta que no se tiene en el ECAL reactivos clasificados como altamente difíciles. Ambos reactivos se encuentran dentro del criterio de dificultad expuesto por Contreras et al . (2004).

Tabla 1
Características de los reactivos

De la misma manera se calculó el IDC, quedando en promedio de 0.41 ± 0.13 (media ± desviación estándar) clasificado como excelente según el criterio de Backhoff, Larrasolo y Rosas (2000), cumpliendo, a su vez, con el criterio establecido por Ding et al . (2006), en el que el IDC promedio es mayor a 0.3. Dentro del ECAL se cuenta con el 56% de reactivos con discriminación excelente (28 reactivos), 28% con discriminación buena (catorce reactivos), 10% con discriminación regular (cinco reactivos) y solamente 6% con discriminación mala (tres reactivos).

Al realizar un comparativo de medias por medio de la prueba post-hoc de Tukey a un nivel de significancia de 5%, se observó que no hay diferencias significativas entre las unidades que conforman el examen. Los promedios de IDC para las cuatro unidades son: 0.45 para la unidad 1 (sistemas de numeración), 0.40 para la unidad 2 (polinomios), 0.38 para la unidad 3 (vectores y matrices) y 0.45 para la unidad 4 (sistemas de ecuaciones y determinantes). Se identifica el mayor poder de discriminación en la unidad 1 y 4, y un menor poder de discriminación en las unidades 2 y 3. Sin embargo, la diferencia porcentual entre las unidades es muy poca, lo que indica que el examen se discrimina homogéneamente entre las unidades.

Se identificaron tres reactivos con un IDC menor a 0.20 los cuales se describen en la Tabla 2 y que, de acuerdo a los criterios psicométricos, son reactivos que sugieren sean revisados en cuanto edición, distractores deficientes, redacción o complejidad.

En cuanto a los coeficientes de correlación biserial del ECAL, se encontró un promedio de 0.38 ± 0.09 (media ± desviación estándar) los cuales cumplen con las condiciones recomendadas por los especialistas (DING et al ., 2006; ENGELHARDT, 2009ENGELHARDT , P. An Introduction to Classical Test Theory as Applied to Conceptual Multiple-Choice Tests . In: HENDERSON , C. ; HARPER , K. ( ed ) . Getting Started in PER 2 . College Park : American Association of Physics , 2009 . P. 1 - 40 . ). El análisis muestra que el 60% tiene una discriminación excelente (treinta reactivos), 30% discriminación buena (quince reactivos), 10% discriminación regular (cinco reactivos) y 0% pobremente discriminado (cero reactivos).

Tabla 2
Reactivos con IDC menor a 0.20

En la Figura 6 se observa la distribución de los valores promedio del índice de dificultad, índice de discriminación y coeficiente de correlación biserial por cada una de las unidades que conforman el ECAL. Todas las unidades cuentan con dificultad media (0.53 < ID < 0.73), La discriminación es excelente (IDC > 0.40), salvo la unidad 3 que cae en la categoría de buena discriminación, el coeficiente de correlación biserial conserva nivel excelente (rpbis > 0.35) en todas las unidades. Los resultados de las pruebas realizadas exhiben que el ECAL es una prueba confiable y con poder de discriminación satisfactorio.

Figura 6
Comparativo por unidad entre el ID, IDC y el rpbis

En cuanto a los resultados obtenidos por los estudiantes en el ECAL, se obtuvo un promedio de 31 de 50 puntos posibles, que corresponde a un ID promedio de 0.63.

Por medio de la prueba de Kolmogorov-Smirnov y Shapiro-Wilk para una muestra se concluye que la cantidad de aciertos de los estudiantes en el examen no llevan una distribución normal (Kolmogorov-Smirnov, D (1209) = 0.04, p < 0.01; Shapiro-Wilk, W (1209) = 0.99, p < 0.01). La asimetría de la distribución del número de reactivos correctos es -0.11 (Desviación = 0.70), la curtosis de la distribución es -0.58 (Desviación = 0.14). Por el tipo de distribución se adicionan las medidas de tendencia central y de dispersión, mediana de 31, moda de 32, el cuartil 1 con percentil 25 es de 25, el cuartil 2 con percentil de 50 es de 31 y el cuartil 3 con percentil de 75 es de 38.

Los estudiantes tuvieron dificultad básicamente con diecinueve reactivos del total de cincuenta, estos diecinueve reactivos se clasifican como medianamente difíciles (0.33 < ID < 0.52) y de dificultad media (0.53 < ID < 0.73), el valor de la asimetría (negativa) evidencia a la moda en la parte derecha con una sutil diferencia (uno reactivo) de la media, por eso más del 50% de los estudiantes obtuvieron una calificación igual o superior a 60 (en la escala de 0 a 100) con la que acreditan el ECAL, es decir, de los 1209 estudiantes que aplicaron el ECAL, 709 de ellos lo aprobaron. De acuerdo al ID promedio, el ECAL se clasifica como de dificultad media.

Una prueba post-hoc de Tukey entre las unidades de reactivos y el ID mostró que no hay diferencias significativas entre las unidades, sin embargo, la unidad más fácil es la unidad 1 (sistemas de numeración) con un ID promedio de 0.67 y la unidad más difícil es la 4 (sistemas de ecuaciones y determinantes) con un ID promedio de 0.57, la cual contiene solo reactivos clasificados como medianamente difíciles y de dificultad media.

En la unidad 4 se le solicita al estudiante aplicar diferentes métodos de solución de sistemas de ecuaciones lineales mediante técnicas y herramientas para la resolución de problemas. En ésta, el estudiante mediante sistemas de ecuaciones lineales, transforma y resuelve problemas basados en ecuaciones simultáneas con dos o tres incógnitas, que serán satisfechas por el mismo grupo de valores. Cuando el problema requiere modelarse matemáticamente a través de una función, hay que considerar que el texto sintáctico tiene estructura propia, informa sobre que se desconoce y la importancia que tiene el llegar a saberlo, aquí se une el texto del problema con datos y preguntas que las ubican en un contexto determinado (GALLEGO et al ., 2007), se introduce al estudiante a la modelación matemática ( CARDONA, 2007CARDONA , N. Desarrollando el pensamiento algebraico en alumnos de octavo grado del CIIE a través de resolución de problemas . 2012 . 141 f. Tesis (Maestría en Matemática Educativa) - Universidad Pedagógica Nacional Francisco Morazán , Honduras , 2007 . ) y se convierte el modelado en la temática del álgebra que más se le dificulta ( BEDNARZ; GUZMAN, 2000BEDNARZ , N. ; GUZMÁN , J. ¿Cómo abordan los estudiantes de secundaria la resolución de problemas antes de ser introducidos al álgebra? Ciudad de México : Comité Editorial de Matemática Educativa , 2000 . ).

Considerando que el ECAL no cuenta con reactivos altamente difíciles, se presentan en la Tabla 3 algunos reactivos medianamente difíciles considerados como aquellos que pueden causar una amenaza para el éxito de los estudiantes en la asignatura de álgebra lineal.

Tabla 3
Los diez reactivos más difíciles del ECAL

Las operaciones con vectores como el producto punto (producto escalar) y el producto cruz (cruz vectorial), resultaron ser los reactivos con mayor dificultad para los estudiantes (reactivos 28, 29 y 21). En el reactivo 28 se pretende que el estudiante pueda calcular el ángulo entre dos vectores por medio de la utilización del producto punto, cuyo desconocimiento u olvido de la fórmula ha provocado que sea catalogado como un reactivo medianamente difícil. Según Barniol y Zavala (2014)BARNIOL , P. ; ZAVALA , G. Evaluación del entendimiento de los estudiantes en la representación vectorial utilizando un test con opciones múltiples en español . Revista Mexicana de Física E , Ciudad de México , v. 60 , n. 2 , p. 86 - 102 , 2014 . , el error más frecuente en este tema es calcular la magnitud del producto cruz de los dos vectores, en vez del cálculo del producto punto de dos vectores que forman un ángulo específico, otros errores adicionales son el uso del seno inverso en vez del coseno inverso y el cálculo deficiente de las magnitudes de los vectores. También, se determinó en los reactivos 21 y 29 la dificultad del cálculo del producto cruz, lo cual puede deberse a errores en el cálculo del mismo, o a la dificultad para generar el área del triángulo y del paralelogramo a partir de coordenadas y/o vectores.

La descomposición en fracciones parciales fue el segundo tema con mayor dificultad, principalmente en los casos de cuadráticos irreducibles distintos (reactivo 19) y lineales repetidos (reactivos 16 y 17), cuyo método más común se denomina, método de coeficientes indeterminados, el cual es un método que confunde a los estudiantes ( DÍAZ, 2019DÍAZ , J. L. Técnicas alternativas para el cálculo de fracciones parciales. El cálculo y su enseñanza, Enseñanza de las Ciencias y la Matemática , Ciudad de México , v. 9 , n. 1 , p. 24 - 41 , 2019 . ), es tedioso ( HUANG, 1991HUANG , X. C. A shortcut in partial fractions . The College Mathematics Journal , Colorado Springs , v. 22 , n. 5 , p. 413 - 415 , 1991 . ) y una fuente de complicadas identidades algebraicas ( CHRYSTAL, 1961CHRYSTAL , G. Textbook of Algebra . Mineola : Dover Publications , 1961 . ).

La resolución de sistemas de ecuaciones lineales mediante la regla de Cramer y eliminación Gaussiana, también se encontraron dentro de los diez reactivos (42 y 43) más difíciles del ECAL, los citados reactivos son estrictamente algebraicos y numéricos. Para Echeverri y Sombredero (2014)ECHEVERRI , G. ; SOMBREDERO , N. A. Dificultades en el aprendizaje de los métodos de solución de sistemas de ecuaciones lineales enseñados en noveno grado . 2014 . 105 f. Tesis (Licenciatura en Educación Básica con énfasis en Matemáticas) - Universidad del Valle , Cali , 2014 . , es importante que, al abordar los sistemas de ecuaciones lineales en el aula, se utilice problemas contextualizados que le permitan al estudiante desarrollar sus diferentes tipos de pensamiento, tomando en cuenta los diferentes tipos de procesos y no solamente la formulación, tratamiento y resolución de problemas.

Otro de los temas encontrados con mayor dificultad, es el cálculo de la inversa de una matriz (reactivo 45 y 46), debido a que, para su resolución en sistemas de ecuaciones lineales, se requiere de otro método, como: Gauss-Jordan o Determinantes. Uno de los cálculos para una matriz inversa es utilizando una matriz aumentada por medio de una matriz identidad del mismo tamaño y la utilización de una eliminación Gauss-Jordan, en este caso el proceso de resolución de pivoteo puede ser confuso para los estudiantes, por otra parte, el método de la adjunta, provoca el cálculo de determinantes de matrices menores, por lo que, al aumentar el tamaño de la matriz, aumenta también su complejidad de resolución.

Se calcularon, también, los promedios del coeficiente de correlación biserial por unidad y se ordenaron de mayor a menor, de manera que pudiera observarse cuales unidades eran mayormente predictoras de una buena calificación en el ECAL, los resultados son los siguientes: sistemas de numeración (unidad 1, rpbis = 0.41), sistemas de ecuaciones y determinantes (unidad 4, rpbis = 0.40), polinomios (unidad 2, rpbis = 0.37) y, vectores y matrices (unidad 3, rpbis = 0.36).

Una prueba post-hoc de Tukey entre las unidades de reactivos y el rpbis mostró que no existen diferencias significativas entre las unidades por medio de la correlación biserial, ni entre los reactivos de cada una de estas unidades. Sin embargo, aquellos reactivos con mayor rpbis son predictores de la acreditación de dicho examen. En la Tabla 4 , se describen los diez reactivos con mayor rpbis, es decir, los reactivos e indicadores de logro que predicen en el ECAL su éxito, se incluye el ID y el IDC.

Tabla 4
Reactivos predictores del éxito de los estudiantes en el ECAL

Los estudiantes obtienen buenas calificaciones en el ECAL cuando tienen habilidades básicas del álgebra, como lo son: la suma, la resta y la multiplicación, así como, cuando reconocen términos semejantes en las operaciones (reactivo 4, 31 y 33), conocen y realizan las diferentes operaciones que se desarrollan con matrices, como lo son: suma, resta, multiplicación por un escalar, producto, transpuesta e inversa (reactivos 35, 36, 31 y 33), resuelven sistemas de ecuaciones mediante regla de Cramer (reactivo 41), determinan combinaciones lineales entre vectores (reactivo 47), identifican las distintas representaciones de los números complejos (reactivo 7) y la aplicación de algunos teoremas en estos (reactivos 6 y 11).

Cada reactivo muestra ( Figura 7 ) se clasificó de acuerdo a su actividad cognitiva, registro de representación inicial y final, con el propósito de indagar si alguno de estos elementos o su composición causa mayor dificultad o éxito al estudiante en el ECAL.

Figura 7
– Clasificación del reactivo muestra 5, de acuerdo a su actividad cognitiva y sus registros de representación inicial y final

En cuanto a la actividad cognitiva de cada reactivo, se encontró que el 14% (siete reactivos) son de formación de una representación, el 70% (35 reactivos) son de tratamiento y 16% (ocho reactivos) de conversión para su resolución. El promedio calculado respecto del ID por cada actividad cognitiva es de 0.73 ± 0.15 (media ± desviación estándar) para la actividad de formación, 0.59 ± 0.16 para la actividad de tratamiento y 0.70 ± 0.17 para la actividad de conversión. Al realizar sobre la actividad cognitiva y el ID promedio un ANOVA con la prueba post-hoc de Tukey, se demostró que no hay diferencias significativas entre los diferentes tipos de actividad cognitiva, sin embargo, se observa que la actividad cognitiva de tratamiento es la que se les dificulta mayormente a los estudiantes cuya dificultad se califica como dificultad media.

En cuanto al registro inicial de cada uno de los reactivos, se encontró el 16% (ocho reactivos) con lenguaje natural, 80% (cuarenta reactivos) algebraico y 4% (dos reactivos) gráfico, cuyos promedios de ID quedaron de la siguiente manera: 0.63 ± 0.16 (media ± desviación estándar) para los reactivos con registro inicial de lenguaje natural, 0.61 ± 0.17 para los reactivos con registro inicial algebraico y 0.90 ± 0.07 para los gráficos. La prueba post-hoc de Tukey encontró diferencias significativas (p = 0.05) entre reactivos con registro inicial gráfico y registro de lenguaje natural y algebraico. El registro gráfico es considerado como altamente fácil y los registros de lenguaje natural y algebraico como medianamente difíciles. En la Figura 8 se cuenta como ejemplo con el reactivo muestra número 2, el cual se caracteriza por un registro inicial gráfico, de acuerdo al índice de dificultad es altamente fácil (0.87 < ID < 1), malo (IDC < 0.20) a partir del índice de discriminación y predice el éxito del estudiante de forma regular (0.15 < rpbis < 0.25). Los reactivos con registro inicial gráfico requieren del estudiante, para su resolución, de la actividad cognitiva de formación de una representación toda vez que esta constituye una marca o un conjunto de marcas perceptibles e identificables respecto de un objeto matemático. En el ECAL se detectó que los reactivos de mayor dificultad para los estudiantes son aquellos cuyo registro inicial es el lenguaje natural y algebraico, en los que para su resolución se requiere, preponderantemente, de las actividades cognitivas de tratamiento y conversión.

Figura 8
Reactivo muestra 2, con registro inicial gráfico

El registro final de los reactivos, quedó agrupado con 6% (tres reactivos) para el lenguaje natural, 20% (diez reactivos) para el numérico, 66% (33 reactivos) para el algebraico y 8% (cuatro reactivos) para el gráfico. Los promedios del ID para los registros finales son: 0.78 ± 0.04, 0.59 ± 0.17, 0.62 ± 0.17 y 0.66 ± 0.19 (media ± desviación estándar), respectivamente. Mediante una prueba post-hoc de Tukey se observó que no existen diferencias significativas en el ID promedio entre los diferentes tipos de registros finales.

No existe evidencia en la literatura que permita la predicción del éxito de los estudiantes en un examen basado en los distintos tipos de representación en los registros tanto iniciales como finales de los reactivos, por lo que no hay punto de comparación con lo documentado en esta investigación.

En el ECAL se cuenta con el 30% (quince reactivos) de tipo conceptual y 70% (35 reactivos) de tipo procedimental. Los promedios del ID para cada clasificación del contenido es de 0.63 ± 0.17 (media ± desviación estándar) para los reactivos de tipo conceptual y 0.63 ± 0.17 (media ± desviación estándar) para los reactivos procedimentales. Se realizó una prueba T de muestras independientes (p = 0.001) y se confirmó que en este examen no hay diferencias significativas entre los ID promedio para los reactivos de corte conceptual y procedimental, por lo que se puede concluir que la clasificación del tipo de contenido no es predictor del éxito de los estudiantes en el ECAL, se coincide con Rittle-Johnson y Alibali (1999)RITTLE-JOHNSON , B. ; ALIBALI , M. Conceptual and procedural knowledge of mathematics: Does one lead to the other? Journal of Educational Psychology , Washington , v. 91 , n. 1 , p. 175 , 1999 . que mencionan que los conocimientos conceptuales y procedimentales están relacionados y no se desarrollan independientemente, mediante relaciones bidireccionales entre estos.

En este mismo sentido, una investigación reciente (WILLINER; ENGLER; LAVALLE, 2019) asume que una persona que adquiere sólo una concepción operacional no puede llegar a resolver situaciones más complejas, en contraste, también se encontró que puntuaciones altas, en ambas concepciones, por los estudiantes, incidió en la resolución de problemas de optimización. Lo anterior con el propósito de fortalecer la discusión de los resultados.

5 Conclusiones

El análisis realizado permite afirmar que el ECAL es una prueba válida, con poder de discriminación satisfactorio y confiable, con un coeficiente r = 0.88 según la prueba de KR-20, la cual la hace aceptable para exámenes con más de cincuenta reactivos y cuya distribución de puntajes satisface el criterio establecido por medio de la prueba delta de Ferguson de 0.99.

El promedio de dificultad de los reactivos fue de 0.63 ± 0.17 (media ± desviación estándar) clasificando al examen en un nivel medio de dificultad y acreditado por el 59% de los estudiantes.

Dentro de los criterios de dificultad aceptables, se encontró que el reactivo más difícil de contestar por los estudiantes se encuentra en la unidad 3, con el tema de operaciones con vectores, principalmente en las operaciones de producto punto y producto cruz, y el reactivo más fácil, en la unidad 1, con el tema de conversión de un número complejo de la forma gráfica a representación rectangular.

Se determinó un IDC promedio para el ECAL de 0.41 ± 0.13 (media ± desviación estándar), clasificado como excelente y dentro de los criterios establecidos. Sin embargo, se encontraron tres reactivos que necesitan ser revisados, ya que tienen un IDC menor a 0.20, lo que indica una discriminación pobre, estos reactivos están relacionados con la conversión de un número complejo de su forma gráfica a su representación rectangular, representación gráfica de un vector de dos dimensiones a partir de su notación vectorial y el desarrollo de operaciones con vectores.

El coeficiente de correlación biserial tuvo en promedio 0.38 ± 0.09 (media ± desviación estándar) y cumple cabalmente con los criterios establecidos por los especialistas. Se determinó que los tópicos de la unidad 1, sistemas de numeración y la unidad 4, determinantes y sistemas de ecuaciones, son mayormente predictores de una buena calificación en el ECAL, particularmente los temas de operaciones de números complejos en su forma rectangular, producto de dos matrices, regla de Cramer y espacio vectorial generado.

Por medio de la prueba de Kolmogorov-Smirnov y Shapiro-Wilk para una muestra, se observó que los puntajes de los estudiantes en ECAL no tienen una distribución normal, su asimetría es negativa y no cuenta con reactivos altamente difíciles. Así mismo, se realizó un análisis de varianza con una prueba post-hoc de Tukey en la que se demostró no haber diferencias significativas respecto a la dificultad entre las unidades que componen el examen.

Con lo que respecta a las actividades cognitivas de formación, tratamiento y conversión a la que pertenecen los reactivos, no se encontró diferencia significativa entre tales actividades cognitivas, ni entre los registros finales, pero se evidenció que los reactivos con actividad cognitiva de tratamiento y registro final numérico resultaron de mayor dificultad para los estudiantes.

En cuanto al carácter del contenido del reactivo como conceptual y procedimental, no se encontró indicios de predecir el éxito de los estudiantes en el ECAL. Sin embargo, el hecho de que el ECAL esté constituido por el 30% de los reactivos de carácter conceptual y en el 72% de los reactivos prevalezca el tratamiento como actividad cognitiva, es evidencia de un esquema de enseñanza del álgebra lineal con preponderancia operacional o procedimental que conserva el desequilibrio en los tipos de contenido.

Los reactivos donde se aplican las operaciones con vectores se han identificado como de mayor dificultad para el estudiante, ya que incluyen el cálculo de un producto punto o un producto cruz. En este tipo de reactivos, es necesario que el estudiante identifique el concepto y los algoritmos asociados a cada uno de ellos, tomando conciencia del porqué y cuando se pueden utilizar. Un ejemplo de este problema, es el cálculo del ángulo entre dos vectores por medio del producto punto, ya que es una de las aplicaciones que causan una mayor dificultad por parte de los estudiantes, toda vez que es necesario conocer un método específico o fórmula para su resolución.

El segundo tema en orden de dificultad son las fracciones parciales, debido a que primeramente hay que determinar si la fracción parcial es propia o impropia, para empezar a desarrollar el procedimiento, el cual involucra el cálculo del cociente de dos polinomios. Una vez superado esta operación, el siguiente paso es la factorización del término del denominador, en donde el estudiante debe recurrir a sus habilidades y conocimientos previos, dentro de los cuales se encuentran los productos notables, división sintética, regla de Ruffini, teorema del residuo, división de polinomios, entre otras.

El tercer tema con mayor dificultad fue el correspondiente a las operaciones relacionadas con la matriz inversa, que, para desarrollarla con éxito, es necesario conocer alguno de los métodos para su resolución: eliminación Gauss-Jordan o matriz adjunta. Para desarrollar cualquiera de los dos métodos, es necesario adicionar el conocimiento de la aplicación de operaciones por renglones, para el caso de Gauss-Jordan o del cálculo de determinantes, para la matriz adjunta.

En cuanto a los reactivos predictores del éxito del ECAL, se pudo identificar que aquellos mayormente predictores, son reactivos que no han sido estudiados en un nivel educativo previo, como los números complejos, los cuales pueden ser visualizados como binomios y que se presentan para las operaciones de suma, resta, multiplicación y división, operaciones comunes a los polinomios, como la suma o resta de términos semejantes, multiplicación de polinomios y productos notables.

En el caso del producto de dos matrices, este involucra que el estudiante resuelva de manera algebraica todos los productos puntos involucrados en el proceso de la multiplicación de las dos matrices. En cuanto al uso de la regla de Cramer, es necesario que el estudiante haya adquirido las habilidades para el cálculo de determinantes.

Cabe mencionar que el tema de productos notables, producto punto y cálculo de determinantes, también se encontraron dentro de los reactivos catalogados como de mayor dificultad para los estudiantes.

Este análisis podría servir de base para posteriores investigaciones en el campo del álgebra lineal, ya que permitirá hacer consideraciones sobre las dificultades de los estudiantes en cada una de las unidades de la asignatura y, a su vez, buscar estrategias y métodos alternativos que promuevan la comprensión de los estudiantes en los temas considerados como difíciles para ellos.

En razón de lo anteriormente expuesto, los autores sugieren las siguientes acciones respecto del ECAL: promoción en el instrumento de un equilibrio entre los contenidos conceptuales y procedimentales, revisión y ajuste del ID de los reactivos para mejorar la distribución de tal indicador psicométrico de acuerdo al referente teórico y, la actualización y ampliación del banco de reactivos.

Se ha presentado un análisis de calidad exhaustivo de una prueba criterial de álgebra lineal que se aplica a gran escala en una Universidad Pública de México, los indicadores psicométricos asociados, los referentes teóricos involucrados y los resultados obtenidos permiten emitir las siguientes consideraciones:

Se identificaron los tópicos de álgebra lineal con mayor dificultad para los estudiantes de las carreras de ingeniería, a su vez, los resultados de esta investigación aportan a investigadores y docentes elementos para la creación o modificación de materiales didácticos que ayuden a mejorar el entendimiento de los estudiantes en los temas de mayor dificultad.

Promover en el aula una orientación más conceptual en la enseñanza del álgebra lineal e incluir en el diseño instruccional el análisis e interpretación de las representaciones gráficas asociadas a los conceptos del álgebra lineal.

Motivar en los cursos de álgebra lineal un equilibrio en la utilización de los diferentes registros de representación e incluir aplicaciones, programas o simuladores con el fin de permitir al estudiante observar o visualizar conceptos en sus distintos registros de representación, de manera que se fortalezcan las actividades cognitivas de tratamiento y conversión.

Referencias

  • ALSINA , A. ; CORONATA , C. Los procesos matemáticos en las prácticas docentes: diseño, construcción y validación de un instrumento de evaluación . Edma 0-6: Educación Matemática en la Infancia, Valladolid , v. 3 , n. 2 , p. 23 – 36 , 2014 .
  • AMARO , C. ; MATA , V. ; NAVARRO , A. ; DÍAZ , J. M. Exámenes colegiados de circuitos eléctricos como un medio para elevar la calidad en el proceso enseñanza aprendizaje evaluación . Revista Iberoamericana de Producción Académica y Gestión Educativa , Ciudad de México , v. 2 , n. 3 , p. 1 - 9 , 2015 .
  • BACKHOFF , E. ; LARRAZOLO , N. ; ROSAS , M. Nivel de dificultad y poder de discriminación del examen de habilidades y conocimientos básicos (EXHCOBA ). Revista Electrónica de Investigación Educativa , Ensenada , v. 2 , n. 1 , p. 1 - 19 , 2000 .
  • BARNIOL , P. ; ZAVALA , G. Evaluación del entendimiento de los estudiantes en la representación vectorial utilizando un test con opciones múltiples en español . Revista Mexicana de Física E , Ciudad de México , v. 60 , n. 2 , p. 86 - 102 , 2014 .
  • BARRAZA , A. La consulta a expertos como estrategia para la recolección de evidencias de validez basadas en contenido . Investigación Educativa Duranguense , Durango , v. 7 , s. n., p. 5 - 14 , 2007 .
  • BEDNARZ , N. ; GUZMÁN , J. ¿Cómo abordan los estudiantes de secundaria la resolución de problemas antes de ser introducidos al álgebra? Ciudad de México : Comité Editorial de Matemática Educativa , 2000 .
  • BORREGO , P. P. ; RUIZ , L. C. ; VÉLEZ , L. C. Los exámenes departamentales como instrumento de evaluación del Plan Único de Especializaciones Médicas (PUEM) de la Facultad de Medicina, UNAM . RevFacMed UNAM , Ciudad de México , v. 47 , n. 1 , p. 13 - 15 , 2004 .
  • CARDONA , N. Desarrollando el pensamiento algebraico en alumnos de octavo grado del CIIE a través de resolución de problemas . 2012 . 141 f. Tesis (Maestría en Matemática Educativa) - Universidad Pedagógica Nacional Francisco Morazán , Honduras , 2007 .
  • CISNEROS , E. ; JORQUERA , M. ; AGUILAR , A. Validación de instrumentos de evaluación docente en el contexto de una universidad española . Voces y Silencios: Revista Latinoamericana de Educación , Bogotá , v. 3 , n. 1 , p. 41 - 55 , 2012 .
  • CHRYSTAL , G. Textbook of Algebra . Mineola : Dover Publications , 1961 .
  • CONTRERAS , L.A. Desarrollo y pilotaje de un examen de español para la educación primaria en Baja California . 135 f. Tesis (Maestría en Ciencias Educativas) – Instituto de Ingeniería, Universidad Autónoma de Baja California , Ensenada , 2000 .
  • CONTRERAS , L. ; BACKHOFF , E. Metodología para elaborar exámenes criteriales alineados al currículo . In: CASTAÑEDA , S. ( ed ) . Educación, aprendizaje y cognición, teoría en la práctica . Manual Moderno , 2004 . p. 298 - 323 .
  • CONTRERAS , L. ; BACKHOFF , E. ; LARRAZOLO , N. Educación, aprendizaje y cognición. Teoría en la práctica . Ciudad de México : Manual moderno , 2004 .
  • CORRAL , Y . Validez y confiabilidad de los instrumentos de investigación para la recolección de datos . Revista Ciencias de la Educación , Valencia , v. 19 , n. 33 , p. 228 - 247 , 2009 .
  • CROCKER , L. ; ALGINA , J. Introduction to Classical and Modern Test Theory . New York : Holt, Rinehart and Winston , 1986 .
  • DE LAS FUENTES-LARA , M. ; AGUILAR-SALINAS , W ; JUSLO-LÓPEZ , A. Examen colegiado de cálculo diferencial . Perfiles Educativos , Ciudad de México , v. 43 , n. 172 , p. 124 - 171 , 2021 .
  • DÍAZ , J. L. Técnicas alternativas para el cálculo de fracciones parciales. El cálculo y su enseñanza, Enseñanza de las Ciencias y la Matemática , Ciudad de México , v. 9 , n. 1 , p. 24 - 41 , 2019 .
  • DING , L. ; CHABAY , R. ; SHERWOOD , B. ; BEICHNER R. Evaluating an electricity and magnetism assessment tool: Brief electricity and magnetism assessment . Physical Review Special Topics - Physics Education Research , United States , v. 2 , n. 1 , p. 1 - 7 , 2006 .
  • DUVAL , R. Representación, visión y visualización: funciones cognitivas en el pensamiento matemático , Boulogne/Lille : Universitedu Littoral Cote-d’Opale/Centre IUFMNord Pas-de Calais , 2000 .
  • DUVAL , R. A Cognitive Analysis of Problems of Comprehension in a Learning of Mathematics, Journal of Educational Studies in Mathematic , Switzerland , v. 61 , n. 1-2 , p. 103 - 131 , 2006a .
  • DUVAL , R. Quelle Semiotique Pour L’Analyse de L’Activite et des productions mathematiques , Revista Latinoamericana de Investigación en Matemática Educativa , Ciudad de México , número especial , número especial, p. 45 - 81 , 2006b .
  • DUVAL , R. Un tema crucial en la educación matemática: la habilidad para cambiar de registro de representación , La Gaceta de la Real Sociedad Matemática Española , Madrid , v. 9 , n. 1 , p. 143 - 168 , 2006c .
  • ECHEVERRI , G. ; SOMBREDERO , N. A. Dificultades en el aprendizaje de los métodos de solución de sistemas de ecuaciones lineales enseñados en noveno grado . 2014 . 105 f. Tesis (Licenciatura en Educación Básica con énfasis en Matemáticas) - Universidad del Valle , Cali , 2014 .
  • ENCINAS , J. A. ; RIVERA , R. ; DE LAS FUENTES , M. Construcción colegiada y aplicación de un examen criterial alineado con el currículo para evaluar a gran escala un curso de cálculo diferencial . Acta Latinoamericana de Matemática Educativa , Ciudad de México , v. 20 , s. n. 192 - 197 , 2007 .
  • ENGELHARDT , P. An Introduction to Classical Test Theory as Applied to Conceptual Multiple-Choice Tests . In: HENDERSON , C. ; HARPER , K. ( ed ) . Getting Started in PER 2 . College Park : American Association of Physics , 2009 . P. 1 - 40 .
  • GALLEGO , A. C. ; PONS , M. ; ALEMANY , C. ; BARCELÓ , M. ; GUERRA , M. ; ORFILA , M. ; PONS , C. ; PONS , F. ; PONS , F. C. ; PONS , I. ; TRIAY , N. Repensar el Aprendizaje de las Matemáticas . Barcelona : Graó Educación , 2007 .
  • HASHEMI , N. ; ABU , M. S. ; KASHEFI , H. ; RAHIMI , K. Undergraduate Students’ Difficulties in Conceptual Understanding of Derivation . Procedia – Social and Behavioral Sciences , Países Bajos ., v. 143 , s. n., p. 358 - 366 , 2014 .
  • HENRYSSON , S. Gathering, Analysing, and Using Data on Teste Items . In: THORNDIKE , R.L. ( ed .) , Educational Measurement . Washington : American Council on Education , 1971 , p. 299 - 321 .
  • HUANG , X. C. A shortcut in partial fractions . The College Mathematics Journal , Colorado Springs , v. 22 , n. 5 , p. 413 - 415 , 1991 .
  • KEHOE , J. Basic item analysis for multiple-choice tests . Practical Assessment, Research y Evaluation , Massachusetts , v. 4 , n. 10 , p. 1 - 3 , 1995 .
  • MOLINA , A. I. ; WIZNER , A. L. ; LACAVE , C. ; GALLARDO , J. Una Herramienta de diseño y análisis de instrumentos de evaluación e indagación docente . In: JORNADAS DE LA ENSEÑANZA UNIVERSITARIA DE LA INFORMÁTICA, 21 , 2015 , Andorra la Vella . Actas del simposio-taller sobre estrategias y herramientas para el aprendizaje y la evaluación: JENUI 2015 : Andorra La Vella , 7 de julio de 2015: Universitat Oberta La Salle ed., 2015 . P. 144 - 151 . Disponible en: https://dialnet.unirioja.es/servlet/articulo?codigo=8870620 Acceso en: 26 junio 2023 .
    » https://dialnet.unirioja.es/servlet/articulo?codigo=8870620
  • MORA , H. Concepción proceso-objeto de función en la comprensión del teorema fundamental del cálculo . 2008 . 183 f. Tesis (Maestría en Ciencias en Matemática Educativa) – Instituto Politécnico Nacional, CICATA, Unidad Legaria , 2006 .
  • MUÑOZ , J. ; MATO D. Análisis de las actitudes respecto a las matemáticas en alumnos de ESO . Revista de Investigación Educativa , Murcia , v. 26 , n. 1 , p. 209 - 226 , 2008 .
  • NITKO , A. J. A Model for Developing Curriculum-Driven Criterion-Referenced and Norm-Referenced National Examinations for Certification and Selection of Students . In: CONFERENCIA INTERNACIONAL SOBRE EVALUACIÓN Y MEDICIÓN EDUCATIVAS 2 ., 1994 , Pretoria . Anales… Pretoria : Asociación para el Estudio de la Evaluación Educativa en Sudáfrica , 1994 . P. 1 - 29 . Disponible en: https://files.eric.ed.gov/fulltext/ED377200.pdf . Acceso en: 9 mayo 2023 .
    » https://files.eric.ed.gov/fulltext/ED377200.pdf
  • OKTAÇ , A. ; TRIGUEROS , M. ¿Cómo se aprenden los conceptos de álgebra lineal? Revista Latinoamericana de Investigación en Matemática Educativa , Ciudad de México , v. 13 , n. 4 , p. 373 - 385 , 2010 .
  • POPHAM , J. Modern educational Measurement: a practitioner’s perspective . Boston : Prentice Hall , 1990 .
  • RITTLE-JOHNSON , B. ; ALIBALI , M. Conceptual and procedural knowledge of mathematics: Does one lead to the other? Journal of Educational Psychology , Washington , v. 91 , n. 1 , p. 175 , 1999 .
  • RUIZ , N. , ROMANO , C. , Y VALENZUELA , G. Causas de reprobación vinculadas a las características de los estudiantes de la Licenciatura de Filosofía de la BUAP . Graffylia , Puebla , v. 4 , n. 6 , p. 150 - 155 , 2006 .
  • SFARD , A. On the Dual Nature of Mathematical Conceptions: Reflections on processes and objects as different sides of the same coin, Educational Studies in Mathematics , Dordrecht , v. 22 , n. 1 , p. 1 - 36 , 1991 .
  • UZURIAGA , V. L. ; ARIAS , J. J. ; MANCO , D. G. Diagnóstico y análisis de algunas causas que dificultan el aprendizaje del álgebra lineal en estudiantes de ingeniería . Scienthia et Technica , Colombia , v. 16 , n. 44 , p. 286 - 291 , 2010 .
  • VALDIVÉ , C. ; ESCOBAR , H. Estudio de los polinomios en contexto . Journal of Chemical Information and Modeling , Washington , v. 53 , n. 1 , p. 1689 - 1699 , 2011 .
  • VARGAS , A. ; PÉREZ , O. L. ; FABIÁN , Y. Actividades para la integración del Álgebra Lineal y la Programación en el primer año en la carrera de Informática . Acta Latinoamericana de Matemática Educativa , Ciudad de México , v. 30 , s. n., p. 1180 - 1189 , 2017 .
  • VILLALÓN , M. T. ; PALMA , A. M. ; MEDINA , M. G. ; SILLERO , J. A. Exámenes departamentales como estrategia para reducir la variabilidad en los índices de aprobación . Pistas Educativas , Celaya , v. 121 , s. n., p. 232 - 235 , 2016 .
  • WILLINER , B. ; ENGLER , A. ; LAVALLE , A. La Comprensión a través de las Concepciones Proceso-Objeto. Un Estudio sobre de los Conceptos que Intervienen en la Resolución de Problemas de Optimización . Bolema , Rio Claro , v. 33 , n. 65 , p. 1549 - 1569 , 2019 .

Fechas de Publicación

  • Publicación en esta colección
    01 Set 2023
  • Fecha del número
    May-Aug 2023

Histórico

  • Recibido
    29 Mar 2021
  • Acepto
    13 Feb 2023
UNESP - Universidade Estadual Paulista, Pró-Reitoria de Pesquisa, Programa de Pós-Graduação em Educação Matemática Avenida 24-A, 1515, Caixa Postal 178, 13506-900 Rio Claro - SP Brasil - Rio Claro - SP - Brazil
E-mail: bolema.contato@gmail.com