Herramienta tecnológica de evaluación de la comprensión de un texto argumentativo de español lengua materna

Ferramenta tecnológica para avaliar a compreensão de um texto argumentativo na língua materna espanhola

Technological tool for reading comprehension assessment of an argumentative text in Spanish as a native language

Resumen

El procedimiento cloze, que se emplea habitualmente como herramienta tecnológica para evaluar la comprensión lectora de segundas lenguas, no suele usarse con lenguas maternas. Los motivos que descartan este instrumento con hablantes nativos se basan en que solo detecta el reconocimiento de información y habilidades lingüísticas microestructurales, y no mide la comprensión global ni inferencial del texto. En esta investigación se cuestiona esta idea y, con el fin de dilucidar el valor procedimental, se creó una herramienta de prueba basada en el modelo de exámenes DELE (nivel B2) y se aplicó a estudiantes universitarios españoles (N = 125) con dos objetivos: 1) medir la comprensión lectora de un texto argumentativo; 2) valorar la comprensión de la coherencia y cohesión discursivas a partir del uso de conectores. La herramienta fue diseñada en Moodle y ejecutada presencialmente. Se midió estadísticamente el índice de acierto y error de cada frase y conector y se aplicaron el test Chi-cuadrado de homogeneidad y el test de Cochran para valorar la significatividad de la confusión entre conectores y nociones argumentales. Los resultados muestran argumentos y conectores más transparentes y patrones de confusión argumental. Se demuestra que esta herramienta basada en el cloze mide la comprensión de textos argumentativos en lengua materna y puede ser un instrumento tecnológico replicable.

Palabras clave:
Evaluación; Comprensión; Lengua materna; Test de cloze; Argumentación

Resumo

O procedimento cloze, comumente utilizado como ferramenta tecnológica para avaliar a compreensão de leitura em segundas línguas, raramente é utilizado com línguas maternas. As razões para descartar esse instrumento com falantes nativos baseiam-se no fato de que ele apenas detecta o reconhecimento de informações e habilidades linguísticas microestruturais, e não mede a compreensão global ou inferencial do texto. Nesta pesquisa, essa ideia é questionada e, para elucidar o valor processual, uma ferramenta de teste baseada no modelo de exame DELE (nível B2) foi criada e aplicada a estudantes universitários espanhóis (N = 125) com dois objetivos: 1 ) medir a compreensão de leitura de um texto argumentativo; 2) avaliar a compreensão da coerência e coesão discursiva a partir do uso de conectores. A ferramenta foi projetada no Moodle e executada presencialmente. A taxa de acertos e erros de cada sentença e conector foi medida estatisticamente e o teste de homogeneidade Qui-quadrado e o teste de Cochran foram aplicados para avaliar a significância da confusão entre conectores e noções de enredo. Os resultados mostram argumentos e conectores mais transparentes e padrões de confusão de argumentos. Mostra-se que essa ferramenta baseada em cloze mede a compreensão de textos argumentativos na língua materna e pode ser um instrumento tecnológico replicável.

Palavras-chave:
Avaliação; Compreensão; Língua materna; Procedimento cloze; Argumentação

Abstract

The cloze procedure, technological tool commonly used to assess reading comprehension in second languages, is not usually used with native speakers. The reasons that rule out this technique with native speakers are based on the fact that it only detects information recognition and microstructural linguistic skills and does not measure global or inferential comprehension of the text. This research questions this idea and, in order to elucidate its procedural value, a tool based on the DELE exam model (level B2) was created and applied to Spanish university students (N = 125) with two objectives: 1) to measure the reading comprehension of an argumentative text; 2) to assess the comprehension of discourse coherence and cohesion based on the use of linking words. The tool was designed in Moodle and executed in the classroom. The hit and miss rate of each sentence and connector was measured statistically and the Chi-square test of homogeneity and Cochran’s test were applied to assess the significance of the confusion between linking words and argumentative notions. The results show more transparent arguments and linking words and patterns of argumental confusion. It is shown that this cloze-based tool measures the comprehension of argumentative texts in the native language and can be a replicable technological instrument.

Keywords:
Evaluation; Comprehension; Mother tongue; Cloze procedure; Argumentation

1 Introducción

Los bajos niveles de comprensión lectora en la lengua materna no solo se constatan de manera recurrente en el ámbito escolar (pruebas del Programa para la Evaluación Internacional de Estudiantes, PISA, realizadas en más de ochenta países al término de la Educación Secundaria Obligatoria), sino que parece que se perpetúan en la edad adulta según los resultados del primer ciclo del Programa para la Evaluación Internacional de las Competencias de los Adultos ( Ministerio de Educación, Cultura y Deporte 2013 los resultados del segundo ciclo se publicarán en 2024) y otras investigaciones ( Gatti, Tagliani, and Monasterio 2020; Duche et al. 2022). La dificultad para entender textos densos, identificar argumentos complejos, integrar e interpretar la información… son algunos de los rasgos destacables de estos informes, que reflejan la necesidad de aplicar mejoras educativas dada la asociación evidente entre esta competencia cognitiva y el éxito académico, laboral y social. Consecuentemente, se han desarrollado muchas investigaciones para medir la comprensión lectora de distintos tipos de textos y desde las administraciones educativas se han promovido un sinfín de planes para el fomento lector y el desarrollo de la lectura comprensiva. Pero, a tenor de resultados empíricos actuales, no parecen haber tenido gran efecto en términos generales ( Robledo Ramón, Fidalgo Redondo, and Mónica Méndez del Rı́o 2019; Cabrera-Pommiez, Lara-Inostroza, and Puga-Larraı́n 2021; Canquiz-Rincón, Mayorga-Sulbarán, and Sandoval-Fontalvo 2021).

La delimitación conceptual del proceso de comprensión es, en sí misma, muy compleja ( Solé 2012; Cisneros-Estupiñán, Olave-Arias, and Rojas-Garcı́a 2012; Guerra-Garcı́a and Guevara Benı́tez 2017), de manera que establecer niveles en función de los múltiples tipos de textos, grupos e individuos sometidos a evaluación resulta un trabajo prolífico en investigaciones y sin resultados concluyentes ( Scott et al. 2018; Garcı́a-Martı́n and Garcı́a-Sánchez 2020). La evaluación de la comprensión ha sido la base sobre la que se han sustentado muchos estudios psicopedagógicos para diseñar e implementar de manera experimental estrategias didácticas que les permitieran medir su efectividad. Los instrumentos de evaluación utilizados se basan en test y cuestionarios con preguntas de distinto nivel de profundidad donde los estudiantes identifican información, realizan inferencias conectando ideas, sintetizan ideas globales o secundarias, conectan la información explícita del texto con sus conocimientos previos… (por ejemplo, Vidal-Abarca et al. ( 2007; Guerra-Garcı́a and Benı́tez 2013; Felipe Morales and Villanueva Roa 2018); o las pruebas de PISA y PIAAC, aplicadas internacionalmente). Estos instrumentos de evaluación son similares en su configuración básica.

En la presente investigación se plantea, como primer aspecto novedoso, la introducción de un modelo instrumental para la evaluación de la comprensión en lengua materna basado en cloze procedure, un prototipo tipificado desde hace décadas en la evaluación de segundas lenguas ( Oller 1973; Sadeghi 2021) y, concretamente en el caso del español, fijado en una de las pruebas de comprensión del DELE (Diploma de Español como Lengua Extranjera, Instituto Cervantes). Los beneficios de medición de esta técnica de evaluación aplicada a la comprensión lectora han sido probados en segundas lenguas ( Jonz 1991; Felice et al. 2022), pero el procedimiento cloze no se ha aplicado habitualmente en lengua materna porque se ha considerado, por una parte, que mide habilidades lingüísticas microestructurales que los hablantes nativos dominan y, por otra parte, que no permite medir en su totalidad la comprensión global de un texto ( Grundin et al. 1981). Sin embargo, Alderson ( 1980) demuestra que los dos grupos de participantes en su muestra, hablantes nativos de inglés y no nativos, tienen un rendimiento similar en las pruebas cloze que aplica, por lo que no hay razón para pensar que esta técnica mida solo aspectos básicos de la comprensión literal y no pueda ser válida para hablantes nativos. Y en la misma línea, Trace ( 2020) confirma que la técnica de cloze puede medir la comprensión tanto en el nivel de la frase como del discurso completo y tanto en pruebas de lengua materna como de segundas lenguas. De aquí parte el primer objetivo de la presente investigación: demostrar, mediante la aplicación de un modelo instrumental basado en el cloze procedure, si es posible medir la comprensión lectora de hablantes nativos de español.

El segundo objetivo que se plantea, derivado de la aplicación del cloze procedure y de la discusión presentada anteriormente, es probar qué información aporta la prueba de evaluación con el fin de poder establecer un modelo instrumental. En este sentido, la investigación se focaliza en las propiedades de coherencia y cohesión que otorgan sentido unitario al texto y permiten comprender, en la terminología clásica vandijkiana, la microestructura (relación de conexión entre proposiciones) y la superestructura (identificación de la organización textual) como estadios previos al desarrollo de inferencias ( Echevarrı́a Martı́nez 2006). Así, se ha diseñado una prueba cloze de inserción de oraciones para detectar la comprensión de la coherencia (de la relación lógico-semántica entre las ideas secuenciadas del texto) y de la cohesión (de los indicadores textuales que sirven de nexo entre las oraciones). Son muchos los mecanismos lingüísticos que se usan para cohesionar un texto, pero para la medición de la prueba se han considerado solo los conectores discursivos más trabajados en procesos de composición textual que en comprensión lectora y con un cometido fundamental en el discurso, pues establecen relaciones entre enunciados, orientan el procesamiento de la información y facilitan la comprensión ( Martı́n Zorraquino and Portolés Lázaro 1999).

2 Método

2.1 Participantes

El tamaño muestral fue de 125 participantes, todos ellos estudiantes del segundo curso del grado en Maestro de Educación Infantil de la Universidad de Salamanca. Se optó por una muestra homogénea de estudiantes universitarios, con la misma formación académica previa (en todos los casos cursaban su primer grado universitario) y con las características de nivel formativo supuestamente similares que puede tener un grupo de estudiantes del mismo grado y curso.

En relación con las demás variables sociodemográficas que se tuvieron en cuenta, la edad mayoritaria de los encuestados estuvo comprendida entre los 19 y los 21 años (87%), seguida de los 22 a los 23 años (9,2%). Los alumnos restantes contaban con más de 24 años (3,8%) en el momento de la recogida de datos. Como es frecuente en las titulaciones de Ciencias de la Educación y particularmente en el grado de Educación Infantil, la mayoría de las informantes fueron de género femenino (89,6%).

2.2 Instrumento

Se decidió realizar el ejercicio de medición de la comprensión lectora de un texto argumentativo, pues su propia naturaleza los hace más propicios a mostrar más explícitamente los marcadores discursivos que otras tipologías textuales y son, además, junto con los expositivos, los más numerosos en el ámbito académico ( Martı́n-Macho-Harrison and Faya-Cerqueiro 2022). Se tuvieron en cuenta dos aspectos constructivos importantes en el momento del diseño del texto:

1. que tuviera una estructura deductiva prototípica descrita como “opinión + argumentos posibles en contra + argumentos con los que nos defendemos + conclusión y cierre” ( Martı́nez-Sánchez 2011) y

2. que, aunque los argumentos defiendan una opinión y, como es consustancial a su tipología, estén destinados a convencer al lector, el texto no tuviera una carga ideológica muy marcada que pudiera sensibilizar a los participantes.

Adoptamos como modelo de ejercicio una de las pruebas que constituyen la Comprensión Lectora del Diploma de Español como Lengua Extranjera (DELE) de nivel B2 ( Cervantes 2014), pues las características de la propia tarea de medición de capacidades de comprensión lectora basada en la reconstrucción discursiva a nivel cohesivo-semántico sobre un texto argumentativo y el hecho de ser un instrumento de evaluación ampliamente validado a través de las convocatorias anuales que se realizan desde el año 2013 a nivel mundial nos ofrecían la seguridad de estar ante un instrumento fiable. Según el Cervantes ( 2014), por medio de esta tarea se evalúa la capacidad de reconstruir la estructura de un texto e identificar la relación entre las ideas. Para ello, el candidato debe leer un texto incompleto (de entre 400 y 450 palabras) e identificar, de entre ocho fragmentos posibles, los que corresponden a seis espacios en el texto (se pueden ver ejemplos de exámenes en https://examenes.cervantes.es/es/dele/preparar-prueba).

En el proceso de diseño de la prueba se tuvieron en cuenta de forma escrupulosa todas las indicaciones que el Instituto Cervantes marca para que esta tarea sea considerada válida y se incluya en sus exámenes como instrumento de evaluación. En primer lugar, se realizó una búsqueda de un texto adecuado dentro de los ámbitos público, educativo o profesional que, modalmente, correspondiese con un artículo de opinión para, una vez seleccionado, proceder a su adaptación tanto en extensión como en contenidos. Los criterios adicionales que se tuvieron en cuenta para elegir el texto fueron temáticos (se buscaba que los contenidos pudieran resultar interesantes a los grupos que iban a realizar la tarea) y estructurales (el texto elegido debía ser un texto claramente argumentativo en el que se encontrasen varios tipos de conectores o que, al menos, fuese susceptible de poder incluirlos en la adaptación). En este caso no fue necesario adaptar ni el léxico ni las estructuras sintácticas a los contenidos que el Plan Curricular del Instituto Cervantes ( Cervantes 2006) marca como prototípicos del nivel B2, pues el ejercicio iba dirigido a hablantes nativos universitarios y se presuponía en ellos un dominio alto de vocabulario y estructuras lingüísticas de carácter culto. La intervención que se realizó al texto elegido estuvo dirigida, principalmente, a reducir la carga político-ideológica y a conseguir un texto de 450 palabras que condensase las ideas principales del texto original por medio de una redacción coherente y bien cohesionada.

El siguiente paso fue determinar cuáles eran los fragmentos que se iban a extraer del texto, teniendo en cuenta que, según las especificaciones de la tarea que se estaba creando, estos debían tener una extensión de entre dieciséis y veinte palabras y formar frases independientes con sentido pleno. Asimismo, se valoró cuál era la relación semántico-pragmática que se establecía entre cada uno de esos fragmentos y su contexto lingüístico previo y posterior, y si esa relación se hacía explícita o no por medio de marcadores discursivos. En los casos en que no aparecía ningún marcador se incluyó el que se consideró más adecuado.

Siguiendo la categorización de marcadores del discurso que ofrece el PCIC en su apartado de Tácticas y estrategias pragmáticas ( Cervantes 2006), en los fragmentos que finalmente se seleccionaron para la prueba, aparecen representados los marcadores discursivos contraargumentativos de introducción de ideas ( no obstante) y de contraste entre los miembros de la relación ( en cambio), los aditivos ( más aún), los recapituladores ( en definitiva), los rectificativos ( más bien) y los de refuerzo argumental ( desde luego).

La última fase de creación de la prueba fue la redacción de los dos distractores. Además de tener una apariencia de validez por su similitud temática con el texto en general y con varios párrafos en particular, se decidió que debían estar introducidos, en la medida de lo posible, por marcadores discursivos de categorías diferentes a las que ya representaban los de los fragmentos extraídos del texto. Teniendo en cuenta la tipología de relaciones semántico-pragmáticas entre ideas esperables en un texto argumentativo, se decidió incluir un conector consecutivo ( así pues) y un marcador discursivo recapitulador ( en suma).

El producto de diseño fue un texto con seis espacios intercalados que debían ser completados con seis de las ocho frases que se presentaban como opciones de relleno ordenadas aleatoriamente ( Figura 1). Este texto de prueba se validó mediante un juicio de expertos ( Escobar-Pérez and Cuervo-Martı́nez 2008): tres profesionales con amplia experiencia en la elaboración de la misma prueba de evaluación para el DELE de Cursos Internacionales de la Universidad de Salamanca. A partir de su valoración, se realizaron pequeñas modificaciones relacionadas principalmente con el contenido temático de uno de los distractores. De este modo, se dio por terminado el proceso de creación de la prueba y se procedió a su administración.

2.3 Procedimiento y plan de análisis de datos

La prueba se adaptó a la herramienta tecnológica de cuestionario de la plataforma moodle Studium (campus virtual de la Universidad de Salamanca), de uso habitual en la docencia, que permite la visualización del texto con sus huecos y el uso de bloques móviles con las frases para completar que se sitúan en la parte inferior de la pantalla ordenadas para cada participante de manera aleatoria ( Figura 1). La digitalización del texto fue perfecta para el desarrollo de la prueba. El alumno no recibía ningún feedback de acierto o error y podía cambiar las seis opciones elegidas cuantas veces quisiera en el tiempo establecido para el desarrollo del ejercicio, 20 minutos como máximo. La prueba se realizó en el aula de forma síncrona y en presencia de la profesora durante el curso 2022-2023. El tiempo de realización osciló entre los 13 minutos y los 19’15’’.

Figura 1.
Herramienta cloze

El análisis estadístico de los resultados de evaluación se llevó a cabo mediante el programa informático SPSS (versión 25). Las técnicas y test aplicados fueron los siguientes: 1) Las variables cualitativas se han descrito mediante tablas de frecuencias, proporciones y porcentajes. 2) La significación de las diferencias entre variables dicotómicas medidas en una misma muestra de sujetos participantes se ha analizado mediante el Test de Cochran. Y 3) se ha aplicado el Test de homogeneidad de Chi-cuadrado para determinar las posibles diferencias entre las opciones de respuesta de variables categóricas. El objetivo ha sido, por una parte, medir estadísticamente el índice de acierto y error de cada frase y su conector, y hacer una valoración de significación de diferencias en los resultados obtenidos entre los seis casos. Por otra parte, mediante el Test de Cochran, se ha valorado qué impacto tiene un determinado uso erróneo de un conector (con su frase) en lugar del conector correcto y, dentro de cada variable correcta, si hay un uso de la frase con el conector erróneo que se utiliza significativamente más que otras frases también incorrectas.

Hemos focalizado los aciertos y errores en el uso de conectores, pese a ser conscientes de que esos conectores forman parte de oraciones donde el conjunto de elementos léxicos constituyen la coherencia discursiva. Pero, en todos los casos, el peso argumentativo decisivo en las opciones correctas para completar el texto dependía del conector discursivo. Por esta razón, como se ha explicado (cf. 2.2), el diseño del instrumento fue un proceso costoso hasta su validación.

3 Resultados

El objetivo de investigación es conocer hasta qué punto este grupo homogéneo de hablantes nativos de español, con una formación académica, son capaces de conectar ideas en textos argumentativos apoyándose en los conectores. Por eso, el análisis de resultados se basa en el uso acertado de conectores y en el uso erróneo ( Tabla 1). Por una parte, se ha observado qué conectores (ideas) identifican mejor o peor y, por otra, qué conectores (y nociones argumentales) confunden de manera significativa.

Tabla 1.
Uso acertado/incorrecto de conectores

Conector	Erros	Acertantes	% Acierto	Média	Desv. Est.
No obstante	26	99	79.2%	0.79	0.41
Más bien	37	88	70.4%	0.70	0.49
Desde luego	48	77	61.6%	0.62	0.50
En definitiva	49	76	60.8%	0.61	0.49
Más aún	50	75	60.0%	0.60	0.46
En cambio	55	70	56.0%	0.56	0.49

Fuente: Elaboración propia

3.1 Uso correcto de conectores

La Figura 2 presenta la proporción de acertantes. Se puede apreciar que, sobre un porcentaje medio de aciertos del 65%, solo dos de ellos, las frases que incluyen los conectores no obstante y más bien, superan este valor y destacan sobre los demás con más de un 70% de usos correctos, siendo esta diferencia altamente significativa con \( p <.0001\) (Cochran: \( Q=26.14\); \( \text{P-valor}=.00008\)) respecto a las frases con los otros cuatro conectores, que se han usado adecuadamente en una proporción menor y, además, muy similar entre sí (de 56% al 62%, sin diferencias significativas entre ellos: \( Q=1.26\); \( \text{P-valor}=.738\)). La diferencia de aciertos entre las frases con los dos conectores con más acertantes (79% vs. 70%) está muy cerca de ser significativa también, \( p <.10\) ( \( Q=3.67\); \( \text{P-valor}=.056\)). Esto parece indicar que la argumentación que liga el conector no obstante es la más transparente en la comprensión de forma significativa en nuestra muestra. La contraargumentación y la rectificación de argumentos expresada mediante los conectores no obstante y más bien se identifican mejor que otras nociones semántico-pragmáticas del texto argumentativo como el refuerzo argumental ( desde luego), la recapitulación ( en definitiva), la adición ( aún más) y la contrastiva ( en cambio).

Figura 2.
Proporción de aciertos en el uso de los conectores

Es destacable que las frases que incluyen los dos nexos contraargumentativos ( no obstante y en cambio) se encuentren en los extremos de mayor-menor acierto ( Figura 2). Las diferencias entre ambos conectores no son fáciles de definir ( Marchante-Chueca 2021): oposición vs. contraste de argumentos. Sí parece claro, según los resultados de esta investigación, que el argumento de contraste marcado por en cambio se ha entendido mucho menos que la noción contraargumentativa de oposición expresada con no obstante. Si ligamos estos resultados a la frecuencia de aparición de los conectores en el Corpus de Referencia del Español Actual ( Real Academia Española 2021) vemos cierta correspondencia ( Tabla 2) acorde con el nivel decreciente de aciertos en nuestra prueba; la correlación de resultados solo se altera en el caso de en cambio, que es el segundo más usado en CREA después de no obstante y el que presenta más fallos en nuestra prueba de comprensión. En cualquier caso, dada la diferencia de uso tan grande entre los dos conectores contraargumentativos ( Tabla 2), sí se puede afirmar que la frecuencia de uso de los conectores sea un factor que favorece la comprensión.

Tabla 2.
Tokens en el Corpus de Referencia del Español Actual, CREA

Conector	Tokens
No obstante	132.061
Más bien	9.649
Desde luego	6.391
En definitiva	3.508
Más aún	1.891
En cambio	10.076

Fuente: Elaboración propia

Considerar con estos resultados que hay nociones argumentativas más transparentes que otras y, por tanto, más comprensibles, podría orientar la didáctica del texto al estudio de las relaciones conceptuales con mayor déficit en la comprensión. Según estos datos ( Table 3), dadas las diferencias significativas en el porcentaje de aciertos de cada conector, deberían trabajarse más aquellas relaciones conceptuales entre argumentos que se comprenden peor.

Tabla 3.
Comprensión de conectores y nociones semánticas Conectores No obstante Más bien Desde luego

Conector	No obstante	Más bien	Desde luego	En definitiva	Más aún	En cambio
Nociones semánticas	oposición	rectificación	refuerzo	recapitulación	adición	contraste
	mejor	←−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−→				peor

3.2 Uso incorrecto de conectores

En total ha habido 265 errores en el uso de conectores, que da una media de 2.12 por participante, cifra no muy elevada (sobre un máximo de 6) (aunque es reseñable que solo 28 sujetos no cometieron ningún error, 48 tuvieron 3 o más errores y 5 cometieron 6 errores). Esos 265 errores totales, que suponen un 35.3% sobre el total de las respuestas emitidas ( \( 750=125 \times 6\)), se reparten entre los conectores según se indica en la tabla 4. El test de homogeneidad nos indica que hay diferencias altamente significativas ( \( p <.001\)) en cuanto a la frecuencia de uso de cada uno de ellos. Los más usados de forma incorrecta son, sin duda, los dos distractores: así pues 57 veces y en suma 65 veces, que suponen el 21.5% y el 24.5% sobre el total de errores. En los 6 restantes, que se han usado erróneamente entre 18 ( más bien) y 36 veces ( desde luego), no se han detectado diferencias significativas ( \( Chi^2=8.85; P-valor=.117\)), es decir, ningún uso erróneo destaca significativamente sobre el resto.

A continuación, se estudió, con el objetivo de determinar si hay un patrón definido de uso, si, para cada uno de los conectores, los errores se distribuyen de forma homogénea o no ( Tabla 5). Se ha comprobado que en 5 de los 6 conectores hay usos incorrectos de algún otro conector que son más frecuentes que otros. El único donde no ocurre esto es en desde luego ( \( p>.05\)), donde no hay un error que destaque sobre los demás y, por tanto, no se encuentra el patrón buscado. Por su parte, sí aparece en los restantes:

Tabla 4.
Distribución del uso incorrecto total de los conectores (N=125; 750 respuestas)

	Conectores									Test Homogeneidad
	Nº total	No obstante	Más bien	Desde luego	En definitiva	Más aún	En cambio	Así pues	En suma	Valor	P-valor
Nº total de errores	265	22	18	36	19	23	25	57	65	69.88	.0000

Fuente: Elaboración propia

1. Donde se debería haber usado no obstante, los errores más frecuentes de forma muy significativa ( \( p <.01\)) son en cambio y así pues.

2. Donde se debería haber usado más bien, los errores más frecuentes con significación estadística ( \( p <.05\)) son en definitiva y así pues.

3. Donde se debería haber usado en definitiva los errores más frecuentes con significación estadística ( \( p <.05\)) son en suma, así pues y, en menor medida, desde luego.

4. Donde se debería haber usado más aún, los errores más frecuentes de manera muy altamente significativa ( \( p <.001\)) son en suma y así pues.

5. Y donde se debería haber usado en cambio, el error más frecuente de forma muy significativa ( \( p <.01\)) es desde luego, seguido en menor medida de en suma.

Tabla 5.
Distribución del uso incorrecto de cada uno de los conectores

	Conectores									Test Homogeneidad
Conector	Total de errores	No obstante	Más bien	Desde luego	En definitiva	Más aún	En cambio	Así pues	En suma	Valor	P-valor
No obstante	26		3	1	-	2	12	7	1	22.00	.0007
Más bien	37	-		4	11	3	2	11	6	12.78	.0260
Desde luego	48	12	6		8	6	5	5	6	5.38	.5150
En definitiva	49	-	-	10		3	4	15	17	16.20	.0028
Más aún	50	5	3	2	-		2	14	24	47.68	.0000
En cambio	55	5	6	19	-	9		5	11	15.80	.0075

Si se interpreta esta confusión en clave argumental, se establecen las siguientes conclusiones:

1. Se confunde la contraargumentación que introduce ideas ( no obstante) con la contrastiva ( en cambio) y la consecutiva ( así pues).

2. Se confunde el argumento de rectificación (introducido por más bien) con el recapitulador ( en definitiva) y el que muestra consecuencia ( así pues).

3. Se confunde el argumento que recapitula ( en definitiva) con el reformulador ( en suma) y el consecutivo ( así pues), principalmente.

4. Se confunde el argumento de adición ( más aún), con el reformulador ( en suma) y el consecutivo ( así pues).

5. Se confunde la contraargumentación contrastiva de ideas ( en cambio), con el refuerzo argumental ( desde luego).

La confusión entre los dos nexos contraargumentativos (1) es previsible, pues los matices semánticos son sutiles. Sin embargo, sí es llamativa la confusión entre una contraargumentación y una consecuencia, pues se trata de argumentaciones opuestas. La confusión (2) es igualmente en todos sus elementos previsible, pues un argumento de consecuencia puede asociarse a otro anterior como reformulador o recapitulador. Y del mismo modo, la confusión de conectores en (4) es predecible hasta el punto de que en algunas clasificaciones el reformulador en suma se señala como aditivo. Encaja menos dentro de la lógica semántica la confusión de argumentos de (2) y (5): rectificar y recapitular ideas son procesos discursivos distintos, igual que contrastar argumentos y reforzarlos.

Los resultados de esta investigación promueven una orientación didáctica de la comprensión textual basada en la conexión semántica y formal entre argumentos. El mal uso de los conectores indica confusión entre las nociones argumentales que unen. Por este motivo, la didáctica debería centrarse en aquellos argumentos dispares que se confunden por falta de comprensión ( Table 6). Es decir, la medición de la comprensión de un texto argumentativo a través de una prueba como la llevada a cabo en esta investigación conduce a resultados que focalizan el centro de atención didáctico en la conexión de argumentos, pues, a pesar de que todos los hablantes son nativos de español y conocen los conectores, se ha demostrado que no comprenden las relaciones semántico-discursivas que enlazan.

Tabla 6.
Confusión de conectores y nociones semánticas

Conectores	No obstante vs. Así pues	Más bien vs. En definitiva	Desde luego vs. En cambio
Nociones semánticas	Contraargumentar vs. Consecuencia	Rectificar vs. Recapitular	Reforzar vs. Contraargumentar

Las confusiones más significativas y no predecibles entre conectores y nociones semánticas ( Tabla 6) se corresponden con los mismos niveles de comprensión ( Tabla 3). Los tres conectores ( no obstante, más bien y desde luego) y las tres nociones (contraargumentación, rectificación y refuerzo de argumento) que mejor se reconocen según los resultados de esta investigación no se confunden entre ellas de manera significativa ( Tabla 3). Son los conectores usados como distractores en la prueba ( así pues y en definitiva) los que producen más errores significativos con todos los conectores excepto con desde luego. En este caso, desde luego se confunde con todos los conectores sin ningún patrón destacable, pero en cambio sí es suplantado en el texto erróneamente por desde luego de manera significativa (19 respuestas vs. 5 en dirección inversa). La transparencia del refuerzo argumentativo es mejor en términos generales que la de una contraargumentación contrastiva ( Figura 2, Tabla 3) y apenas hay casos erróneos que usen en cambio por desde luego (5 usos); sin embargo, la contraargumentación que liga en cambio sí está marcada por la confusión con desde luego (19 usos). Estos ejemplos merecen una atención especial por la distancia conceptual de los argumentos que conectan, lo que muestra que no es el desconocimiento de los conectores el máximo problema para la comprensión, sino el desconocimiento de los argumentos oracionales.

4 Discusión y conclusiones

La comprensión lectora de todo tipo de textos es un tema preocupante en la etapa escolar ( Martı́n-Ruiz and González-Valenzuela 2022; Caracas Sánchez and Ornelas Hernández 2019). Los resultados obtenidos en las pruebas de competencia lectora según los informes de PISA ( Ministerio de Educación y Formación Profesional 2020) son muy bajos. Además, investigaciones como la presente, llevadas a cabo con estudiantes universitarios, muestran igualmente que los índices bajos de comprensión se extienden a contextos de distintas etapas de la edad adulta ( Gatti, Tagliani, and Monasterio 2020; Duche et al. 2022; Guerra-Garcı́a et al. 2022).

En los últimos años se han realizado estudios metacognitivos que han desarrollado instrumentos para evaluar estrategias de comprensión lectora de textos expositivos ( Lopez-Escribano et al. 2013; Madariaga-Orbea and Villabeitia 2010; Soriano-Ferrer et al. 2013) y narrativos ( Larrañaga and Yubero 2015) que pueden redundar en la didáctica. También se ha estudiado el proceso de comprensión del texto argumentativo, de mayor complejidad estructural, experimentando cómo la escritura de textos es una estrategia que favorece la comprensión ( Dolz 1995) o no ( Gárate et al. 2007), aplicando el modelo dialogal ( Álvarez and Garcı́a 2017) o el enfoque del entorno de aprendizaje constructivista ( Mühlen et al. 2019), por señalar solo algunos ejemplos significativos de intervenciones diferentes. Los distintos estudios han buscado diagnosticar problemas concretos en la comprensión de este tipo de textos con el objetivo de poder diseñar intervenciones para su mejora. Y se han centrado en la complejidad del proceso de comprensión patente en los textos argumentativos debido a su estructura (exposición de una tesis, relación de argumentos para su defensa y refutación de ideas contrarias, y conclusión a partir del razonamiento lógico derivado de los argumentos precedentes) más que en las propiedades textuales de adecuación, coherencia y cohesión, muy específicas en los textos argumentativos.

El uso de conectores discursivos en los textos argumentativos es muy superior al de otro tipo de textos porque se defienden ideas mediante argumentos con el objetivo, generalmente, de convencer. De este modo, los conectores se usan como elementos de cohesión entre argumentos permitiendo que el razonamiento siga un orden lógico; estos indicadores discursivos dan unidad y sentido global al texto estableciendo relaciones argumentales de oposición, consecuencia, recapitulación etc. Sin embargo, siendo destacables en la cohesión de los textos argumentativos, no se han tenido en cuenta en estudios precedentes como posibles predictores de una deficiente comprensión de los textos. Martı́n-Macho-Harrison and Faya-Cerqueiro ( 2022) estudian el uso de los conectores de inicio de párrafo en textos argumentativos redactados por hablantes españoles en su lengua materna (L1) y en inglés (L2) con el objetivo de observar una posible transferencia entre lenguas y concluyen que hay una deficiencia general en el uso de conectores que se detecta en el paralelismo en las producciones en ambas lenguas. No ahondan en el tema de la comprensión de los textos (se basan en redacciones de los participantes), pero sí perciben una pobre competencia discursiva basándose en el escaso y poco variado uso de conectores.

En la presente investigación, se ha trabajado la comprensión de textos argumentativos a partir de una herramienta de evaluación cloze centrada en los conectores. Hemos trabajado con ocho conectores de distinta tipología: contraargumentativos de introducción de ideas ( no obstante) y de contraste ( en cambio), aditivo ( más aún), recapitulador ( en definitiva), rectificativo ( más bien), refuerzo argumental ( desde luego), consecutivo ( así pues) y recapitulador ( en suma). Solo seis conectores tenían un uso correcto en el texto; los otros dos, así pues y en suma, se utilizaron como distractores. El ejercicio diseñado para la evaluación de la comprensión es muy completo porque, para introducir el fragmento adecuado en los huecos del texto, los participantes han de entender el discurso precedente y el posterior, la relación argumental que establece el conector de la frase omitida y la noción semántica que esta introduce como contraargumento, contraste, adición, recapitulación… De este modo, se ha podido evaluar la comprensión del texto mediante la coherencia progresiva de argumentos introducidos por sus conectores.

Este modelo instrumental ( Figura 3) sirve para valorar la comprensión global y fragmentaria del texto argumentativo, de manera que la contabilización de aciertos, errores y cruces de confusiones permite diagnosticar qué tipos de argumentos son más complejos en su comprensión, dónde residen las dificultades más frecuentes y cuál ha de ser la orientación metalingüística que favorezca didácticamente la intervención mediante ejercicios de entrenamiento.

Figura 3.
Herramienta modelo de evaluación de textos argumentativos.

La aplicación del instrumento de evaluación y el posterior proceso de reflexión metalingüística en el aula a partir de los resultados del ejercicio valorativo suponen una transformación metodológica para el desarrollo de la comprensión de textos argumentativos, pues, en su complementación, se diagnostican los problemas y se resuelven desde el razonamiento y el ejercicio práctico. A su vez, el modelo instrumental que se ha diseñado en esta investigación se puede replicar adaptado a alumnos de distintas edades, niveles educativos y madurez discursiva, así como a textos argumentativos de mayor o menor complejidad. En este caso, se han introducido ocho conectores diversos para indagar patrones posibles de confusión que pudieran especificar problemas concretos en la comprensión de la cohesión argumentativa. En función de los destinatarios, la prueba debe adaptarse simplificando el texto: reduciendo su longitud total y la de cada oración, reduciendo el número de nociones argumentales y también la tipología de conectores. De hecho, la originalidad del procedimiento cloze, como se ha expuesto, se debe a las pruebas DELE, que evalúan la comprensión lectora en los distintos niveles señalados en el Marco Común Europeo de Referencia para las Lenguas ( Consejo de Europa 2002). Por tanto, la posibilidad de adaptar el instrumento a los distintos niveles de madurez lingüística en la lengua materna es perfectamente viable.

Los resultados de nuestra investigación muestran que:

1. hay diferencias estadísticamente significativas en la proporción de aciertos (y, por tanto, dominio y comprensión) entre conectores y nociones argumentales; esto indica dónde hay que focalizar la intervención didáctica;

2. existe una correspondencia casi exacta (excepto en un conector) entre la proporcionalidad de aciertos y su frecuencia de uso según el corpus CREA; esto significa que lo más frecuente en el uso acaba siendo más transparente semánticamente para los hablantes (acorde con los principios de la Teoría Natural, Dressler ( 1985) y la semiótica discursiva, Kress, Leeuwen, and Garcı́a ( 2000), por ejemplo);

3. el análisis de errores muestra patrones de confusión entre ciertos conectores que son indicadores de los focos problemáticos en la comprensión; de este modo, las diferencias entre los conectores y los argumentos que ligan otorgando la cohesión al discurso deben tratarse mediante ejercicios de reflexión metalingüística contextualizados. En esta muestra ( \( N=125\)), de manera especialmente significativa se confunden no obstante (contraargumentación) y así pues (consecuencia), más bien (rectificación) y en definitiva (recapitulación) y desde luego (reforzamiento) y en cambio (contraargumentación). La intervención didáctica se tendría que enfocar, con esta muestra de participantes, en estos conectores y argumentos.

No se pueden elevar a categoría universal estos resultados, que pueden variar con un cambio de muestra. Pero el objetivo e interés de la investigación ha sido ver, por una parte, si el procedimiento cloze para medir la comprensión lectora en ELE funcionaba también con la lengua materna y, por otra parte, comprobar qué información aportan los resultados más allá del déficit en la comprensión con el propósito de otorgar a la prueba el valor de modelo instrumental de evaluación. Como en otras investigaciones empíricas ( Álvarez and Garcı́a 2017), se ha probado que la dificultad de la comprensión en este tipo de textos está en el reconocimiento de argumentos, pero se llega a esta conclusión por las confusiones significativas en el uso de conectores (confusiones no bidireccionales de en cambio y desde luego). El modelo cloze de evaluación de la comprensión de los textos argumentales apoyado en los conectores valora la cohesión discursiva global del texto y permite detectar dónde están los principales problemas de comprensión. A partir de los resultados de la aplicación de este modelo, avalado en el ámbito de evaluación de ELE, debería diseñarse la intervención didáctica motivando la conciencia metalingüística de los estudiantes y comprobando posteriormente, los progresos del proceso didáctico. Es decir, la prueba diagnostica dónde radica la comprensión deficiente y es a partir de la evaluación cuando deberá modelarse la intervención didáctica focalizada en los aspectos deficitarios. La evaluación forma parte del proceso formativo y el modelo instrumental de evaluación, como hemos visto en este caso, es clave para avanzar en el desarrollo de la comprensión textual.

Investigación financiada dentro del proyecto I+D+i PID 2020-116110GB-100, concedido por el Ministerio de Ciencia e Innovación de España, con referencia MCIN/AEI/10.13039/501100011033.

• 5 Financiación

  Investigación financiada dentro del proyecto I+D+i PID 2020-116110GB-100, concedido por el Ministerio de Ciencia e Innovación de España, con referencia MCIN/AEI/10.13039/501100011033.

Referencias

• OLLER, John W. Cloze tests of second language proficiency and what they measure. Language Learning. A Journal of Research in Language Studies, v. 23, n. 1, p. 105-118, jun. 1973. DOI: 10.1111/j.1467-1770.1973.tb00100.x. Disponible en: < https://onlinelibrary.wiley.com/doi/10.1111/j.1467-1770.1973.tb00100.x>.
  » https://doi.org/10.1111/j.1467-1770.1973.tb00100.x
• ALDERSON, J. Charles. Native and nonnative speaker performance on cloze tests. en. Language Learning. A Journal of Research in Language Studies, v. 30, n. 1, p. 59-76, jun. 1980. DOI: 10.1111/j.1467-1770.1980.tb00151.x. Disponible en: < https://onlinelibrary.wiley.com/doi/10.1111/j.1467-1770.1980.tb00151.x >. Acceso en: 9 ago. 2023.
  » https://doi.org/10.1111/j.1467-1770.1980.tb00151.x
• GRUNDIN, Hans U. et al. Cloze procedure and comprehension: an exploratory study across three languages. Journal of Research in Reading, v. 4, n. 2, p. 104-122, sep. 1981. DOI: 10.1111/j.1467-9817.1981.tb00226.x. Disponible en: < https://onlinelibrary.wiley.com/doi/10.1111/j.1467-9817.1981.tb00226.x>.
  » https://doi.org/10.1111/j.1467-9817.1981.tb00226.x
• DRESSLER, Wolfgang U. Morphonology, the dynamics of derivation. Ann Arbor: Karoma Publishers Inc, 1985.
• JONZ, Jon. Cloze item types and second language comprehension. Language Testing, v. 8, n. 1, p. 1-22, jun. 1991. DOI: 10.1177/026553229100800102. Disponible en: < http://journals.sagepub.com/doi/10.1177/026553229100800102>.
  » https://doi.org/10.1177/026553229100800102
• DOLZ, Joaquim. Writing argumentative texts to improve their comprehension. Comunicación, Lenguaje y Educación, v. 7, n. 2, p. 65-77, ene. 1995. DOI: 10.1174/021470395321340448. Disponible en: < https://www.tandfonline.com/doi/full/10.1174/021470395321340448>.
  » https://doi.org/10.1174/021470395321340448
• MARTÍN ZORRAQUINO, M. A. y PORTOLÉS LÁZARO, J. Los marcadores del discurso. In: BOSQUE, I. y DEMONTE, V. (Ed.). Gramat́ica descriptiva del espanõl, 3, Entre oracioń y discurso. Morfologiá. Madrid: Espasa-Calpe, 1999. P. 4051-4213.
• KRESS, Gunther; LEEUWEN, Theo van y GARCÍA, Regina Leite. Semiótica discursiva. In: VAN DIJK, T. A. EL discurso como estructura y proceso. Barcelona: Gedisa, 2000. P. 373-416.
• CONSEJO DE EUROPA. Marco común europeo de referencia para las lenguas: aprendizaje, enseñanza, evaluación. Centro Virtual Cervantes, MCDE y Anaya, Madrid, 2002.
• ECHEVARRÍA MARTÍNEZ, María Ángeles. ¿Enseñar a leer en la Universidad? Una intervención para mejorar la comprensión de textos complejos al comienzo de la educación superior. Revista de Psicodidáctica, Universidad del País Vasco/Euskal Herriko Unibertsitatea, v. 11, n. 2, p. 169-188, 2006.
• CERVANTES, Instituto. Plan curricular del Instituto Cervantes: Niveles de referencia para el español. Madrid: Biblioteca Nueva, 2006.
• VIDAL-ABARCA, E et al. Test de Estrategias de Comprensión (TEC). Madrid: Instituto Calasanz de Ciencias de la Educación, 2007.
• GÁRATE, Milagros et al. Written argumentative abilities of 4th grade students of Compulsory Secondary Education: An integrated educational intervention. Journal for the Study of Education, v. 30, n. 4, p. 589-602, ene. 2007. DOI: 10.1174/021037007782334346. Disponible en: < https://www.tandfonline.com/doi/full/10.1174/021037007782334346>.
  » https://doi.org/10.1174/021037007782334346
• ESCOBAR-PÉREZ, Jazmine y CUERVO-MARTÍNEZ, Ángela. Validez de contenido y juicio de expertos: una aproximación a su utilización. Avances en medición, v. 6, n. 1, p. 27-36, 2008.
• MADARIAGA-ORBEA, José María y VILLABEITIA, Estibaliz Martínez. The teaching of reading comprehension and metacomprehension strategies. A program implemented by teaching staff. A program implemented by teaching staff. Anales de Psicología, v. 26, n. 1, p. 112-122, 2010.
• MARTÍNEZ-SÁNCHEZ, Roser. Conectores textuales argumentativos: Guía y actividades didácticas para su uso eficaz en ELE. Barcelona: Octaedro, 2011.
• CISNEROS-ESTUPIÑÁN, Mireya; OLAVE-ARIAS, Giohanny y ROJAS-GARCÍA, Ilene. Cómo mejorar la capacidad inferencial en estudiantes universitarios. Educación y Educadores, v. 15, n. 1, p. 45-61, abr. 2012. DOI: 10.5294/edu.2012.15.1.3. Disponible en: < http://educacionyeducadores.unisabana.edu.co/index.php/eye/article/view/2130/2713 >.
  » https://doi.org/10.5294/edu.2012.15.1.3» http://educacionyeducadores.unisabana.edu.co/index.php/eye/article/view/2130/2713
• SOLÉ, Isabel. Competencia lectora y aprendizaje. Revista Iberoamericana de Educación, v. 59, p. 43-61, mayo 2012. DOI: 10.35362/rie590456. Disponible en: < https://rieoei.org/RIE/article/view/456 >.
  » https://doi.org/10.35362/rie590456» https://rieoei.org/RIE/article/view/456
• GUERRA-GARCÍA, Jorge y BENÍTEZ, Yolanda Guevara. Validación de un instrumento para medir comprensión lectora en alumnos universitarios mexicanos. Enseñanza e investigación en Psicologia, Consejo Nacional para la Enseñanza en Investigación en Psicología AC, v. 18, n. 2, p. 277-291, 2013.
• MINISTERIO DE EDUCACIÓN, CULTURA Y DEPORTE. Programa para la Evaluación Internacional de las Competencias de los Adultos (PIAAC). Madrid: Secretaría General Técnica. España: Subdirección General de Documentación y Publicaciones, 2013.
• LOPEZ-ESCRIBANO, Carmen et al. A predictive study of reading comprehension in third-grade Spanish students. Psicothema, n. 25, p. 199-205, feb. 2013. DOI: 10.7334/psicothema2012.175. Disponible en: < https://doi.org/10.7334/psicothema2012.175>.
  » https://doi.org/10.7334/psicothema2012.175
• SORIANO-FERRER, Manuel et al. Instrucción en estrategias de comprensión lectora mediante enseñanza recíproca: Efectos del agrupamiento de los estudiantes. Anales de Psicología / Annals of Psychology, v. 29, n. 3, p. 848-854, sep. 2013. DOI: 10.6018/analesps.29.3.158401. Disponible en: < https://revistas.um.es/analesps/article/view/analesps.29.3.158401 >.
  » https://doi.org/10.6018/analesps.29.3.158401» https://revistas.um.es/analesps/article/view/analesps.29.3.158401
• CERVANTES, Instituto. Guía del examen DELE B2. Madrid: Instituto Cervantes, 2014.
• LARRAÑAGA, Elisa y YUBERO, Santiago. Evaluación de las estrategias metacognitivas de comprensión de textos narrativos. Ocnos. Revista de estudios sobre lectura, n. 14, p. 18-27, nov. 2015. DOI: 10.18239/ocnos\_2015.14.02. Disponible en: < https://www.revistaocnos.com/index.php/ocnos/article/view/ocnos\_2015.14.02 >.
  » https://doi.org/10.18239/ocnos\_2015.14.02» https://www.revistaocnos.com/index.php/ocnos/article/view/ocnos\_2015.14.02
• ÁLVAREZ, Guadalupe y GARCÍA, Mónica Beatriz. Dificultades de estudiantes universitarios en la comprensión de textos argumentativos. Educación y Humanismo, v. 19, n. 32, p. 18-30, ene. 2017. DOI: 10.17081/eduhum.19.32.2529. Disponible en: < https://revistas.unisimon.edu.co/index.php/educacion/article/view/2529 >.
  » https://doi.org/10.17081/eduhum.19.32.2529» https://revistas.unisimon.edu.co/index.php/educacion/article/view/2529
• GUERRA-GARCÍA, Jorge y GUEVARA BENÍTEZ, Carmen Yolanda. Variables académicas, comprensión lectora, estrategias y motivación en estudiantes universitarios. Revista Electrónica de Investigación Educativa, v. 19, n. 2, p. 78-90, abr. 2017. DOI: 10.24320/redie.2017.19.2.1125. Disponible en: < ht https://redie.uabc.mx/redie/article/view/1125 >.
  » https://doi.org/10.24320/redie.2017.19.2.1125» https://redie.uabc.mx/redie/article/view/1125
• FELIPE MORALES, Andrea y VILLANUEVA ROA, Juan De Dios. Diseño y validación de una prueba piloto para la evaluación de la competencia lectora de estudiantes universitarios. Investigaciones Sobre Lectura, n. 10, p. 95-117, 2018. DOI: 10.37132/isl.v0i10.258. Disponible en: < http://www.comprensionlectora.es/revistaisl/index.php/revistaISL/article/view/258 >.
  » https://doi.org/10.37132/isl.v0i10.258» http://www.comprensionlectora.es/revistaisl/index.php/revistaISL/article/view/258
• SCOTT, Chyllis E. et al. The what, when, and how of preservice teachers and literacy across the disciplines: A systematic literature review of nearly 50 years of research. Teaching and Teacher Education, v. 73, p. 1-13, jul. 2018. DOI: 10.1016/j.tate.2018.03.010. Disponible en: < https://linkinghub.elsevier.com/retrieve/pii/S0742051X17310855 >.
  » https://doi.org/10.1016/j.tate.2018.03.010» https://linkinghub.elsevier.com/retrieve/pii/S0742051X17310855
• CARACAS SÁNCHEZ, Bianca P. y ORNELAS HERNÁNDEZ, Moisés. La evaluación de la comprensión lectora en México: El caso de las pruebas EXCALE, PLANEA y PISA. Perfiles Educativos, v. 41, n. 164, p. 8-27, abr. 2019. DOI: 10.22201/iisue.24486167e.2019.164.59087. Disponible en: < http://servicioseditoriales.unam.mx/perfiles\_ojs3308/index.php/perfiles/article/view/59087 >.
  » https://doi.org/10.22201/iisue.24486167e.2019.164.59087» http://servicioseditoriales.unam.mx/perfiles\_ojs3308/index.php/perfiles/article/view/59087
• MÜHLEN, Sarah von der et al. How to improve argumentation comprehension in university students: experimental test of a training approach. Instructional Science, v. 47, n. 2, p. 215-237, abr. 2019. DOI: 10.1007/s11251-018-9471-3. Disponible en: < http://link.springer.com/10.1007/s11251-018-9471-3>.
  » https://doi.org/10.1007/s11251-018-9471-3
• ROBLEDO RAMÓN, Patricia; FIDALGO REDONDO, Raquel y MÓNICA MÉNDEZ DEL RÍO, Mónica. Evaluación de la comprensión lectora a partir del análisis de la práctica del Profesorado y la Interacción Docente-Estudiante. Revista de Educación, v. 384, n. 2, p. 97-120, 2019. DOI: 10.4438/1988-592X-RE-2019-384-414. Disponible en: < https://doi.org/10.4438/1988-592X-RE-2019-384-414>.
  » https://doi.org/10.4438/1988-592X-RE-2019-384-414
• GATTI, Alberto; TAGLIANI, Silvia y MONASTERIO, Irma. Comprensión lectora y estructura textual. Alfabetización académica y lectura crítica. Revista de Psicología y Psicopedagogía, v. 5, p. 3-16, 2020.
• MINISTERIO DE EDUCACIÓN Y FORMACIÓN PROFESIONAL. Pisa 2018. Resultados de lectura en España. Madrid: Secretaría General Técnica. Subdirección General de Atención al Ciudadano, Documentación y Publicaciones, 2020.
• GARCÍA-MARTÍN, Judit y GARCÍA-SÁNCHEZ, Jesús-Nicasio. Metodologías utilizadas por los profesores universitarios en la docencia y evaluación de la comprensión lectora. Ocnos. Revista de estudios sobre lectura, v. 19, n. 3, p. 55-71, nov. 2020. ISSN 2254-9099, 1885-446X. DOI: 10.18239/ocnos\_2020.19.3.2378. Disponible en: < https://www.revistaocnos.com/index.php/ocnos/article/view/170 >.
  » https://doi.org/10.18239/ocnos\_2020.19.3.2378» https://www.revistaocnos.com/index.php/ocnos/article/view/170
• TRACE, Jonathan. Clozing the gap: How far do cloze items measure? Language Testing, v. 37, n. 2, p. 235-253, abr. 2020. DOI: 10.1177/0265532219888617. Disponible en: < http://journals.sagepub.com/doi/10.1177/0265532219888617>.
  » https://doi.org/10.1177/0265532219888617
• MARCHANTE-CHUECA, M. P. Contribución al estudio de los conectores discursivos contraargumentativos en español, y de su aplicación metodológica en ELE. (Con referencia a los signos en cambio, por el contrario; sin embargo, no obstante; ahora bien, con todo y eso sí, y con aplicación al método Nuevo Prisma). 2021. Tesis (Doctorado) – Universidad de Zaragoza. Disponible en: < https://zaguan.unizar.es/record/106278\# >. Acceso en: 22 ago. 2023.
  » https://zaguan.unizar.es/record/106278\#
• REAL ACADEMIA ESPAÑOLA. Banco de datos (CREA). Corpus de Referencia del Español Actual. 2021. Disponible en: < https://corpus.rae.es/creanet.html >. Acceso en: 15 sep. 2022.
  » https://corpus.rae.es/creanet.html
• SADEGHI, Karim. Assessing second language reading: Insights from cloze tests. New York: Springer, 2021.
• CABRERA-POMMIEZ, Marcela; LARA-INOSTROZA, Francia y PUGA-LARRAÍN, Juana. Evaluación de la lectura académica en estudiantes que ingresan a la Educación Superior. Ocnos. Revista de estudios sobre lectura, v. 20, n. 3, p. 1-18, nov. 2021. DOI: 10.18239/ocnos\_2021.20.3.2614. Disponible en: < https://www.revistaocnos.com/index.php/ocnos/article/view/196 >.
  » https://doi.org/10.18239/ocnos\_2021.20.3.2614» https://www.revistaocnos.com/index.php/ocnos/article/view/196
• CANQUIZ-RINCÓN, Liliana; MAYORGA-SULBARÁN, Denis y SANDOVAL-FONTALVO, Cynthia. Planeación didáctica para el desarrollo de la comprensión lectora. Ocnos. Revista de estudios sobre lectura, v. 20, n. 2, p. 96-106, jun. 2021. ISSN 2254-9099, 1885-446X. DOI: 10.18239/ocnos\_2021.20.2.2404. Disponible en: < https://www.revistaocnos.com/index.php/ocnos/article/view/183 >.
  » https://doi.org/10.18239/ocnos\_2021.20.2.2404» https://www.revistaocnos.com/index.php/ocnos/article/view/183
• FELICE, M et al. CEPOC: The Cambridge Exams Publishing Open Cloze dataset. In: CALZOLARI, Nicoletta et al. (Ed.). Proceedings of the Thirteenth Language Resources and Evaluation Conference. [S.l.: s.n.], 2022. P. 4285-4290.
• GUERRA-GARCÍA, Jorge; DÍAZ-RUBIO, Zaira Itzel et al. Evaluación de la comprensión lectora en alumnos universitarios mexicanos de matemáticas aplicadas y computación: Assessment of Reading Comprehension in Mexican University Students’ of Applied Mathematics and Computing. PAPELES, v. 14, n. 28, 2022.
• DUCHE, A. et al. Comprensión lectora inferencial en estudiantes universitarios. Revista de Ciencias Sociales, v. XXVIII, p. 181-198, sep. 2022. DOI: 10.31876/rcs.v28i.38831. Disponible en: < https://produccioncientificaluz.org/index.php/rcs/article/view/38831 >.
  » https://doi.org/10.31876/rcs.v28i.38831» https://produccioncientificaluz.org/index.php/rcs/article/view/38831
• MARTÍN-MACHO-HARRISON, Ana y FAYA-CERQUEIRO, Fátima. Uso de conectores en la redacción de textos argumentativos: Comparación entre L1 y L2. Ocnos. Revista de estudios sobre lectura, v. 21, n. 2, jul. 2022. DOI: 10.18239/ocnos\_2022.21.2.2882. Disponible en: < https://www.revistaocnos.com/index.php/ocnos/article/view/223 >.
  » https://doi.org/10.18239/ocnos\_2022.21.2.2882» https://www.revistaocnos.com/index.php/ocnos/article/view/223
• MARTÍN-RUIZ, Isaías y GONZÁLEZ-VALENZUELA, María-José. Análisis de la comprensión lectora y sus dificultades en adolescentes. Anales de Psicología, v. 38, n. 2, p. 251-258, abr. 2022. DOI: 10.6018/analesps.419111. Disponible en: < https://revistas.um.es/analesps/article/view/419111 >.
  » https://doi.org/10.6018/analesps.419111» https://revistas.um.es/analesps/article/view/419111

Editado por

Editor de sección:

Hugo Heredia Ponce

Editor de maquetación:

Thaís Coutinho

Fechas de Publicación

• Publicación en esta colección
  23 Oct 2023
• Fecha del número
  2023

Histórico

• Recibido
  06 Jun 2023
• Acepto
  12 Jul 2023
• Revisado
  22 Ago 2023