Explorando los errores conceptuales de ingresantes a la Facultad de Ingeniería

Investigating conceptual misunderstandings of junior students at the School of Engineering

PESQUISA EM ENSINO DE FÍSICA

Explorando los errores conceptuales de ingresantes a la Facultad de Ingeniería

Investigating conceptual misunderstandings of junior students at the School of Engineering

Sandra Kahan^I,1; Ernesto Blanco^I; Karina Curione^II; Marina Miguez^II

^IInstituto de Física, Universidad de la República Oriental del Uruguay, Uruguay

^IIUnidad de Enseñanza, Facultad de Ingeniería, Universidad de la República, Uruguay

RESUMEN

Este trabajo presenta los resultados cualitativos y cuantitativos de tres preguntas de física de la Herramienta Diagnóstica al Ingreso (HDI), que se aplica a los estudiantes que ingresan a la Facultad de Ingeniería de la Universidad de la República. El análisis se basa en la Teoría de Respuesta al Item (TRI). Las mismas preguntas fueron aplicadas a tres generaciones consecutivas, con pequeñas modificaciones, con el objetivo de caracterizar a los estudiantes que han mostrado no tener las competencias cognitivas y actitudinales requeridas por la institución y, entonces, planificar acciones educativas que les permitan mejorar sus aprendizajes.

Palabras-clave: teoría de respuesta al item, diagnóstico, competencias.

ABSTRACT

This work presents quantitative and qualitative results about three physics questions of a Diagnostic Tool at Arrival that is applied to junior students at School of Engineering of Universidad de la Republica. The analysis is based on the Item Response Theory. The same questions were given with small changes to three consecutive generations, aiming to characterize the students that have shown no cognitive and attitudinal competences required by the institution and, in turn, proposing educational actions in order to improve their learnings.

Keywords: item response theory, diagnostic tools, learning improvement.

1. Introducción

La investigación en educación de la física contribuye a mejorar nuestra actividad como docentes. Las pruebas diagnósticas permiten determinar qué clase de errores conceptuales presentan los estudiantes al ingresar a la Universidad para tomar acciones en los cursos introductorios de física.

Diferentes autores han desarrollado investigaciones en relación a los errores conceptuales que tienen los estudiantes antes y después de asistir a cursos introductorios de física en la Universidad. Son bien conocidos los tests "Force Concept Inventory" (FCI) [1-2], Mechanics Baseline Test (MBT) [3] y "Mechanics Diagnostic Test" (MDT) [4], como instrumentos de evaluación en temas relacionados con la cinemática y la dinámica del punto. Menos investigadas son las dificultades conceptuales en el área del electromagnetismo o circuitos eléctricos las cuales, persisten aún en estudiantes universitarios avanzados [5-6].

Los porcentajes de respuesta correcta miden la dificultad de la pregunta y permiten identificar a los estudiantes que tienen las competencias necesarias como para iniciar una carrera universitaria. Los porcentajes de respuesta incorrecta miden la eficiencia de los distractores y son índices importantes en la evaluación de la eficacia de una pregunta a la hora de medir qué clase de errores conceptuales tienen los estudiantes en determinado tema. La Teoría de Respuesta al Ítem (TRI) [7] complementa esa información indicando los índices de respuesta de cada pregunta en relación a un índice de competencia global que permite ejercer acciones educativas sobre determinado grupo en particular, dentro de la heterogénea población ingresante.

En la sección 2 se describe el procedimiento de selección de las preguntas y los distractores de la Herramienta Diagnóstica al Ingreso (HDI) de la Facultad de Ingeniería de la Universidad de la República, así como las características generales de las evaluaciones aplicadas entre el año 2005 y 2007, justificando por qué el resultado global (RG) de esta prueba ha sido elegido como índice de competencia.

En la sección 3, se describe cómo la TRI permite evaluar el carácter predictivo de cada una de las preguntas, así como sentar las bases cuantitativas de un análisis de los errores conceptuales de los estudiantes, en relación al RG de la HDI. También se explica cómo la aplicación de la TRI permitió modificar respuestas y distractores en sucesivas ediciones de la prueba, en el entendido de que la construcción de una prueba diagnóstica es un proceso iterativo [8].

En la última sección se consideran las acciones que se tomaron a la luz de los resultados de la investigación para mejorar los aprendizajes de los estudiantes en el curso Física General 1 y las metas de trabajo en el futuro. El Apéndice contiene las preguntas cuyos resultados analizamos en este artículo.

2. Herramienta Diagnóstica al Ingreso (HDI)

En la Facultad de Ingeniería de la Universidad de la República, de libre acceso a todos los egresados de la Enseñanza Media que completaron su bachillerato en áreas científico-tecnológicas, se aplica una Herramienta Diagnóstica al Ingreso (HDI) que incluye (en formato múltiple opción) preguntas de física, matemática, química y comprensión lectora, además de otras componentes (expresión escrita, motivación, estrategias de aprendizaje y estilos cognitivos) que profundizan en una línea de investigación de diagnóstico de las características de la población ingresante.

Cada pregunta de opción múltiple se evalúa de acuerdo a 4 niveles de desempeño (Nivel 1: adquisición de información; Nivel 2: interpretación de la información; Nivel 3: análisis de información y realización de inferencias; Nivel 4: estrategias de investigación científica) [9]. La selección de estos desempeños (y no otros) implicó una opción teórica sobre modelos de aprendizaje en la enseñanza de las ciencias.

La objetividad de una prueba está en relación directa con el grado de acuerdo alcanzado entre los especialistas al juzgar las preguntas. Cuando se trata de pruebas constituidas por preguntas de opción múltiple, como es el caso aquí presentado, el grado de acuerdo es alto y por lo tanto la prueba puede ser considerada objetiva. Esta condición fue contemplada en el proceso de elaboración de las pruebas. Existieron varias triangulaciones entre docentes provenientes de distintas Facultades e incluso de la Educación Media. Las predicciones de los docentes se hacen en función de los perfiles de ingreso a la Facultad de Ingeniería y de egreso de la Enseñanza Media.

La Tabla 1 muestra algunos datos de las pruebas de ingreso de los últimos tres años.

La Facultad de Ingeniería desea mejorar los aprendizajes de todos sus estudiantes. La prueba diagnóstica ha establecido que la gran mayoría de los estudiantes (aprox. 80%) no satisface los requerimientos de ingreso a la institución (RG > 0,60). Entendemos que la caracterización entre ingresantes que cumplen o no con esa condición es insuficiente a la hora de hacer recomendaciones curriculares a docentes y estudiantes. En otras palabras, se desea caracterizar a la población ingresante, estableciendo la existencia de patrones de respuesta comunes a diferentes perfiles académicos y actitudinales.

Para cumplir el objetivo, se estudiaron los errores conceptuales y cuáles eran las actitudes de los estudiantes frente a los distractores en algunas preguntas de física. Haciendo la hipótesis de que los estudiantes que ingresan poseen las mismas características de un año para otro, la investigación consistió en modificar esas preguntas año a año, durante tres pruebas consecutivas, en función de los resultados de la Teoría de Respuesta al Item (TRI). Para ello fue necesario definir un índice de competencia.

El promedio general de las pruebas y el coeficiente Alfa de Cronbach [10] demuestran que esas modificaciones no afectaron grandemente la confiabilidad de las tres pruebas propuestas de donde se extrajeron las preguntas que se analizan en la siguiente sección.

El procedimiento de selección de las preguntas, la diversidad de componentes del HDI (física, matemática, química y comprensión lectora) y su confiabilidad interna se conjugan para elegir el resultado global (RG) de la HDI como índice de competencia del análisis TRI de las preguntas de física.

3. Resultados de la Teoría de Respuesta al Item (TRI)

Los índices de respuesta correcta y los distractores son una herramienta útil a la hora de evaluar la dificultad de una pregunta y la eficiencia de los distractores.

La Tabla 2 muestra esos porcentajes para las preguntas de física que se analizan en esta sección (P2, P3 y P6, ver Apéndice). Se eliminó de la muestra a aquellos estudiantes que no respondieron estas preguntas.

El índice de respuesta correcta de la mayoría de ellas es bajo porque evalúan, en general, la aplicación de dos temas de física concatenados. Fueron calificadas por los docentes como de Nivel 3 el análisis de información y la realización de inferencias. La respuesta correcta se identifica con negritas.

Esa primera evaluación de la eficacia de una pregunta puede complementarse aplicando la TRI. Según esta teoría, una pregunta logra su máxima capacidad de predicción de las competencias de los estudiantes cuando, al graficar los porcentajes de respuestas correctas en función de un indicador de competencia, se obtiene una función escalón con un 100% de acierto entre los estudiantes cuyo indicador está por encima de la media y un 0% entre los estudiantes cuyo indicador está por debajo de la media.

En un test real, una respuesta correcta logra predecir las competencias de los estudiantes, cuando verifica una función logística con parámetro positivo, mientras los distractores verifican una función logística con parámetro negativo [11].

Aún cuando una pregunta no presente un carácter predictivo muy fuerte, la TRI permite hacer un análisis cuantitativo más minucioso de las respuestas a efectos de detectar si existe una relación entre el indicador de competencia y el abandono de determinado error conceptual.

Para ello se dividieron a los estudiantes en diferentes grupos de acuerdo a su RG. Los grupos fueron elegidos de forma tal de que contengan los resultados estadísticos de entre 50 y 95 estudiantes. El número mínimo de individuos por grupo está motivado por la validez estadística de la medida; el número máximo de individuos es el número de veces que se repite un mismo RG del HDI, dentro de un mismo grupo. Se optó por no utilizar un segundo criterio de ordenamiento que permitiera reducir ese número.

Para ilustrar la potencia de la TRI, la Fig. 1 muestra los resultados de una misma pregunta (P2, acerca del radio de la trayectoria de una carga en un campo magnético transversal) en sucesivas ediciones de la HDI. En la edición 2005, los distractores tuvieron un relativamente alto índice de respuesta; pero en ninguno de los grupos superan a la respuesta correcta, lo cual indica que esa pregunta no sería un buen predictor [11]. Sin embargo, se observa que los estudiantes con RG: 0,38 < RG < 0,59 tienen uníndice de respuesta correcta muy similar (en promedio: 50%), debido a que ha disminuido la frecuencia de respuesta de dos de los distractores (opciones a y c). En la edición 2006, la respuesta correcta define también tres regiones, mientras los distractores van decreciendo por tramos en frecuencia, a medida que el RG crece. El índice de respuesta correcta es más alto que el de los distractores sólo en los grupos de estudiantes con RG > 0,59. Cuando RG < 0,47 la respuesta correcta compite con dos distractores (opciones b y d).

En el año 2007 se modificó la pregunta con el objetivo de verificar que el distractor más frecuente es aquel que implica considerar una relación directa entre la variable que cambia y la respuesta, con independencia del concepto físico involucrado. La frecuencia del distractor (opción d) tiene un valor máximo de 44% cuando RG = 0,48 y es de 18% en estudiantes con RG máximo de 0,86, lo cual indica que el pre-concepto errado también persiste en los estudiantes con alto índice de competencia. Los estudiantes más vulnerables a este distractor son los estudiantes que tienen 0,39 < RG < 0,51.

De la lectura de estos datos (resumidos en la Tabla 3) se puede observar que existe una población con 0,4 <RG< 0,6 (aprox.) que es vulnerable, en diferentes grados, a los distractores que se proponen con el objetivo de profundizar en la evaluación de los conceptos.

La Fig. 2 muestra los resultados de otra pregunta (P6, sobre cantidad de movimiento y conservación de energía) en sucesivas ediciones de la HDI.

En el año 2005, uno de los distractores (opción d, que implica al ángulo de inclinación del plano) acaparó la atención de los estudiantes (aún de aquellos que tienen RG 0,7) e idéntico comportamiento se observó en la edición 2007. En el año 2005 la respuesta correcta compite también con la opción c (correspondiente a confundir la energía potencial con la cantidad de movimiento, cuando RG < 0,55. En la edición 2006, al eliminar el distractor (opción d del año 2005), queda más claro aún que esos estudiantes no reconocen la definición de cantidad de movimiento fuera del contexto específico de las colisiones [12], observándose un crecimiento del índice de respuesta correcto entre estudiantes con 0,39 < RG < 0,55.

En el año 2007, la pregunta fue modificada con la intención de centrar la evaluación en el concepto de conservación de la energía. Comparando los gráficos del 2005 y 2007, ese cambio provocó un aumento en el índice de respuesta correcta entre estudiantes con 0,39 < RG < 0,66. La ausencia de un distractor que reflejara una relación familiar en el contexto del problema planteado (opción c de la edición 2005) provocó un aumento del índice de respuesta del distractor (opción d) entre estudiantes con RG < 0,50.

La respuesta correcta implica el empleo de una estrategia de resolución. En el contexto de la conservación de la energía esa estrategia es simple pero está condicionada por el concepto de energía potencial [5]. En el contexto de la cinemática en dos dimensiones la estrategia es compleja porque incluye tomar la iniciativa de definir un ángulo de inclinación para determinar que la respuesta es independiente de ese ángulo. Por el contrario, la elección de los distractores (opción c y d) no implican el uso de una estrategia. En el caso del distractor c, la respuesta se elige por empatía con la relación en el contexto del problema planteado. En el caso del distractor d, la respuesta se elige como primer paso de una estrategia de resolución en el contexto de la cinemática o simplemente porque el estudiante necesita que los problemas con planos inclinados definan la inclinación del plano. En ambos casos, se observa que los ingresantes que no verifican los requerimientos de la institución (RG < 0,6) son vulnerables a los distractores que no implican una estrategia de resolución. las mejoras en el índice de respuesta de los estudiantes con RG > 0,4, vuelven a identificar un grupo con características propias y diferenciadas de los que tienen menor o mayor RG. La Tabla 4 resume los rangos de RG en los que se observaron cambios.

La Fig. 3 muestra los resultados de la TRI de una tercer pregunta (P3, referida a fuerzas entre cargas eléctricas) en sucesivas ediciones de la prueba. En este caso, la respuesta correcta presenta (al menos, para el año 2005) un gráfico que puede aproximarse por una función logística por lo que la pregunta tendría una capacidad de discriminación mayor que las anteriores. En todas las ediciones de la prueba, la respuesta correcta cambia su pendiente en RG 0,4 y RG 0,6, definiendo nuevamente un comportamiento particular entre los estudiantes que demuestran tener ese rango de competencias. En el año 2005 la respuesta correcta de los estudiantes del rango supera el índice del distractor que implica que no se producen cambios (opción b) pero no supera elíndice del distractor más frecuente que implica considerar sólo el signo de las cargas (opción a). En el año 2006 se decidió dar información adicional, observándose que los estudiantes que presentan un 0,4 < RG < 0,6 modifican el índice de respuesta correcta y por lo tanto, el estudiante de RG medio puede resolver correctamente una relación múltiple cuando se la explicitan. Agregarle información a la propuesta, los pudo haber inducido a mayor precisión matemática porque advierten que se exige una solución cuantitativa más rigurosa.

Habiéndose obtenido en el 2006 mejores resultados, en el año 2007 se cambió el distractor (c) a efectos de evaluar si los estudiantes logran distinguir con mayor precisión el cambio cuantitativo en la dirección de la fuerza. El índice de respuesta de este distractor fue bajo. Eso indicaría que una vez que el estudiante comprende el grado de exigencia de esta pregunta, no tiene dificultades para dar respuesta satisfactoria. La Tabla 5 muestra en qué rangos de RG se observan cambios en los índices de respuesta de esta pregunta

4. Conclusiones

El análisis TRI se ha mostrado como un excelente complemento del análisis de los índices de respuesta de las preguntas en los test de diagnóstico que realizamos en la Facultad de Ingeniería, dado que permite estudiar qué tipo de distractores eligen los estudiantes, según el RG del HDI.

El análisis TRI de las preguntas que presentan mayor dificultad a los estudiantes, demuestra que existe la posibilidad de identificar un rango de valores de RG (aproximadamente entre 0,40 y 0,60) para el cual los estudiantes han logrado descartar todos los distractores excepto uno, el cual compite con la respuesta correcta. Y la información adicional, provoca mejoras en el índice de respuesta correcta de estos estudiantes; no así entre los estudiantes con RG por debajo de 0,40 que se afilian a dos o tres distractores o persisten en sus errores conceptuales.

Preguntas de pruebas anteriores u otras preguntas de las pruebas aquí estudiadas tienen un comportamiento similar, comenzando a confirmar las conclusiones expuestas: las preguntas que resultan difíciles para los estudiantes, son aquellas que permiten caracterizar un segmento de la población ingresante que, aunque no satisface los requerimientos de la institución, tiene características propias que la distinguen de los estudiantes que tiene un RG menor o mayor.

El hecho de que las preguntas de electromagnetismo tengan un índice de respuesta tan por debajo de lo esperado, pese a ser un tema que los estudiantes han estudiado recientemente, sugiere que es posible que el estudiante haya memorizado los conocimientos asociados a esos temas para rendir sus pruebas finales de bachillerato pero no se ha apropiado de ellos. Eso marcaría el uso de estrategias que, al decir de J.Alonso Tapia: "tienen implicaciones negativas sobre la comprensión y la adquisición de competencias realmente útiles" [13] y nos advierte de la posible resistencia del estudiante a cambiar esas estrategias, durante los primeros semestres de su formación universitaria.

El rango de RG determinado, podría constituir la población objetivo de acciones didácticas a llevar adelante en los cursos de física general. Para ello, es necesario profundizar en la investigación de la capacidad de predicción del RG del HDI en relación al resultado del curso FG1.

Los primeros datos indican que el rendimiento (por grupos) de los estudiantes que tienen 0,4 < RG < 0,6 ha mejorado con las siguientes experiencias, llevadas a cabo en el año 2007, cuyos resultados estamos procesando: a) un proyecto (de participación voluntaria) donde los estudiantes resuelven detalladamente una situación problemática planteada por los docentes y exponen su trabajo en la página WEB del curso desarrollando, además, competencias lingüísticas. b) un curso de FG1 en el segundo semestre lectivo para los estudiantes que reprobaron el curso en ediciones anteriores, con especial interés en la reflexión acerca de las estrategias de resolución de problemas. Los datos de estas experiencias aún se están procesando.

La TRI demostró ser una herramienta útil para producir y mejorar continuamente los sistemas de evaluación de opción múltiple porque permite discriminar qué items evalúan lo que efectivamente deseamos evaluar de aquellos que no lo hacen (o lo hacen mal), y determinar cuáles efectivamente son los mejores distractores acerca a un modo más riguroso de evaluar conocimientos en las distintas disciplinas que los docentes imparten y por tanto a la mejora continua de las prácticas de enseñanza y aprendizaje. En esta misma dirección construir instrumentos de evaluación más poderosos permite un acercamiento más ajustado a los conceptos previos de los estudiantes lo cual permite construir estrategias didácticas constructivas para el cambio conceptual.

Referencias

[1] D. Hammer, Am. J. Phys. 64, 1316 (1996).

[2] R.R. Hake, Am. J. Phys. 66, 64 (1998).

[3] D. Hestenes, M. Wells and G.Swackhamer, Phys.Teach. 30, 141 (1992); D. Hestenes, M. Wells and G. Swackhamer, Phys. Teach. 30, 159 (1992).

[4] I.A. Halloun and D. Hestenes, Am. J. Phys. 53, 1043 (1985).

[5] S. Velazco e J. Salinas, Revista Brasileira de Ensino de Física 23, 308 (2001).

[6] F. Solano, J. Gil, A.L. Pérez e M.I. Suero, Revista Brasileira de Ensino de Física 24, 460 (2002).

[7] F.B. Baker, Item Response Theory (Ed. Marcel Dekker, Inc., Nova York, 2004).

[8] R.J. Beichner, Am. J. Phys. 62, 750 (2000).

[9] Informe Herramienta Diagnóstica al Ingreso, Facultad de Ingeniería, Universidad de la República, Montevideo (2005). http://www.fing.edu.uy/uni_ens/

[10] L.J. Cronbach, Psycometrica 16, 297 (1951).

[11] G.A. Morris, L. Branum-Martin, N. Harshman, S.D. Baker, E. Mazur, S. Dutta, T. Mzoughi and V. Mc-Cauley, Am. J. Phys. 74, 449 (2006).

[12] C. Singh and D. Rosengrant, Am. J. Phys. 71, 607 (2003).

[13] J. Alonso Tapia, Didáctica Universitaria (Ed. La Muralla, Madrid, 2001).

Recebido em 30/11/2007; Revisado em 22/4/2008; Aceito em 21/7/2008; Publicado em 27/2/2009

Apéndice

Preguntas del HDI analizas en este artículo.

Pregunta 6 (Año 2005): se deja deslizar un objeto de masa m, partiendo del reposo, por un plano inclinado (despreciar los efectos del rozamiento). Luego de haber descendido una altura vertical h, la cantidad de movimiento p del objeto es:

a) p =

b) p = 0

c) p = mgh

d) p no se puede calcular si no se conoce el ángulo de inclinación del plano.

Pregunta 6 (Año 2006): idem pero cambiando el distractor D.

a) p =

b) p = 0

c) p = mgh

c)p =

Pregunta 6 (Año 2007): se pregunta acerca de la velocidad de la partícula, con las siguientes respuestas:

a) v =

b) v = 0

c) v = gh

d) No se puede determinar porque no se conoce el ángulo de inclinación del plano

Pregunta 2 (Año 2005): un electrón penetra en un campo magnético uniforme con un ángulo de 90º respecto a la dirección del mismo. Una fuerza magnética F actúa sobre el electrón determinando que éste adquiera un movimiento circular de radio R. Si el electrón penetrara en el mismo campo, pero con menor velocidad, ¿cómo sería la magnitud de la nueva fuerza magnética F' y el nuevo radio R', en relación a las magnitudes anteriores?

a) F' > F; R' < R.

b) F' < F; R' < R.

c) F'= F; R' = R.

d) F' < F; R' > R.

Pregunta 2 (Año 2006): una partícula de masa m y carga q penetra en un campo magnético uniforme con un ángulo de 90º respecto a la dirección del mismo. Una fuerza magnética F actúa sobre la partícula determinando que ésta adquiera un movimiento circular de radio R. Si una segunda partícula de masa igual a la anterior y carga q' > q penetrara en el mismo campo, pero con mayor velocidad, ¿cómo sería la magnitud del nuevo radio R', en relación al radio anterior?

a) No hay datos suficientes.

b) R' < R.

c) R' = R.

d) R' > R.

Pregunta 2 (Año 2007): una partícula de masa m y carga q penetra en un campo magnético uniforme con un ángulo de 90º respecto a la dirección del mismo. Una fuerza magnética F actúa sobre la partícula determinando que ésta adquiera un movimiento circular de radio R.

Si una segunda partícula de masa igual a la anterior y carga q' > q penetrara en el mismo campo, con la misma velocidad, ¿cómo sería la magnitud del nuevo radio R', en relación al radio anterior?

a) No hay datos suficientes.

b) R' < R.

c) R' = R.

d) R' > R.

Pregunta 3 (Año 2005): la figura de la derecha muestra tres cargas q₁, q₂ y q₀ en posiciones X, Y y O, respectivamente. La distancia entre X y O es mayor que la distancia entre Y y O. El vector suma de las fuerzas eléctricas en la carga q₀ está señalada como F. Ahora se intercambian las cargas q₁ y q₂. ¿Cuál de los siguientes diagramas representa mejor el nuevo vector suma de las fuerzas eléctricas que actúan sobre la carga q₀?

Pregunta 3 (Año 2006): idem con el siguiente agregado: nota: Te recordamos que la Ley de Coulomb establece que la fuerza eléctrica que ejerce la carga q₁ sobre la carga q₀ está dada por: , siendo d la distancia entre ambas cargas.

Pregunta 3 (Año 2007): idem anterior con las siguientes respuestas que cambia el distractor (c) por un nuevo distractor:

Fechas de Publicación

• Publicación en esta colección
  23 Mar 2009
• Fecha del número
  Dic 2008

Histórico

• Acepto
  21 Jul 2008
• Revisado
  22 Abr 2008
• Recibido
  30 Nov 2007