SciELO - Scientific Electronic Library Online

 
vol.43 número4Processos tradutórios na pesquisa em educação: o Projeto EscrileiturasPerception and knowledge of university professors about university research: a case study índice de autoresíndice de assuntospesquisa de artigos
Home Pagelista alfabética de periódicos  

Serviços Personalizados

Journal

Artigo

Indicadores

Links relacionados

Compartilhar


Educação e Pesquisa

versão impressa ISSN 1517-9702versão On-line ISSN 1678-4634

Educ. Pesqui. vol.43 no.4 São Paulo out./dez. 2017  Epub 12-Jan-2017

http://dx.doi.org/10.1590/s1517-9702201612149283 

Artigos

Actitudes docentes hacia los ejercicios de la Prueba de Acceso a la Universidad informatizadaI

Teachers’ attitudes toward exercise typologies in the computer-based university entrance examinationI

Ana Sevilla-PavónII 

Ana Gimeno-SanzIII 

Jesús García-LabordaIV 

II-Universidad de Valencia, Valencia, España. Contacto: ana.m.sevilla@uv.es

III- Universidad Politécnica de Valencia, Valencia, España. Contacto: agimeno@upv.es

IV- Universidad de Alcalá, Madrid, España. Contacto: jesus.garcialaborda@uah.es

Resumen

El presente artículo forma parte de la investigación desarrollada en el proyecto Paulex Universitas con la intención de obtener información sobre los ítems más aceptados por los profesores de 2º de Bachillerato de cara al inicio de la fase de pruebas para examinar la viabilidad de la puesta en funcionamiento de la Prueba de Acceso a la Universidad (PAU) asistida por ordenador en España y, más específicamente, los siguientes aspectos: la posibilidad de automatización de la prueba, las tipologías de ejercicios más populares entre los profesores y la relación entre las mismas. Un total de 214 profesores respondieron a un cuestionario diseñado según el método Delphi, destinado a averiguar la tipología de ejercicios preferida en relación a las destrezas a evaluar. En lo referente a la automatización de la prueba, los datos obtenidos muestran la aceptación de una nueva versión del test de inglés de la PAU por parte de los profesores. En cuanto a las tipologías de ejercicios, las preferidas por los docentes son ejercicios de respuesta abierta y ejercicios de selección múltiple. Por su parte, en lo que respecta a la relación entre las distintas tipologías de ejercicios, no se aprecia una tendencia clara acerca de las las tareas: si deben ser comunicativas o, por el contrario, si deben ir dirigidas hacia la obtención de información objetiva. Por último, a pesar de sus reservas, los profesores consideran que la utilización de ordenadores sería un buen sistema para realizar el examen en su conjunto, independientemente del tipo de destrezas que se evalúen.

Palabras-clave: Actitudes de los profesores; Prueba de Acceso a la Universidad (PAU); Evaluación asistida por ordenador; Inglés como lengua extranjera; Tipología de ejercicios

Abstract

This article stems from research carried out within the Paulex Universitas Project in order to gather relevant information regarding 2nd year baccalaureate professors’ preferences in terms of exercise typology with a view to analysing the feasibility of implementing a computer-based foreign language exam within the University Entrance Examination in Spain and, more specifically, the suitability of exam automation, professors’ preferred exercise typologies and the relationship between them. A total of 214 professors completed a questionnaire, administered in accordance with the Delphi method, enquiring about the typologies they preferred in relation to the language skills to be assessed. Regarding test automation, there was evidence that professors clearly accepted the proposed computer-based language exam. As for exercise typology, professors preferred open answer/input and multiple-choice exercises. With regard to the relationship between exercise typologies, there appears to be no visible marked tendency toward a specific type of task, as it is unclear whether communicative tasks or objective information tasks are preferred. Findings also showed that, despite some reservations, teachers consider computer use an overall good system for exam delivery regardless of the language skill being assessed.

Key words: Teachers’ attitudes; Spanish University Entrance Examination (PAU); Computer-Assisted Testing; English as a Foreign Language; Exercise typology

Introducción

Es evidente y destacable la influencia que los ordenadores y la tecnología han tenido en la enseñanza de lenguas en los últimos veinte años, influencia que se ve reflejada en el hecho de que entre los objetivos prioritarios de la Unión Europea y de la UNESCO se encuentre mejorar la calidad del sistema educativo y de formación mediante el fomento de una preparación adecuada de los ciudadanos. Así, dichos organismos pretenden capacitar a los ciudadanos para vivir y desenvolverse en una nueva sociedad del conocimiento en que el acceso de todos a las tecnologías de la información y la comunicación (TIC) habrá de estar garantizado (ESPAÑA, 2013).

Actualmente, además, vivimos una época en la que los exámenes de lenguas extranjeras tienden a generalizarse (OCKEY, 2009) y es cada vez más frecuente que dichos exámenes se realicen en formato informatizado o, incluso, a través de internet. Las razones por las que el formato informatizado es cada vez más común son la economía y practicidad para las administraciones encargadas de los mismos y la capacidad, cada vez mayor, de realizar tareas de evaluación de manera rápida y eficiente (CHAPELLE; DOUGLAS, 2006; CHAPELLE; ENRIGHT; JAMIESON, 2007; WANG, 2007), difícilmente realizables de otra manera (CHOI; KIM; BOO, 2003; IN’NAMI; KOIZUMI, 2009) y sin que la seguridad del sistema empleado se vea comprometida. Uno de los aspectos más destacados es la versatilidad que el software de evaluación del conocimiento de una lengua extranjera ha alcanzado en los últimos cinco años (DOOEY, 2008), en parte gracias al hecho de que se pueda realizar cierto tipo pruebas de evaluación de manera eficiente y a costes reducidos (por ejemplo, ciertas tareas orales), factores que han dado lugar a la necesidad del uso de la informática en la evaluación (DE SIQUEIRA et al., 2011; MARTÍN MONJE, 2010; 2012; 2013). Adicionalmente, la informática permite que las tareas de corrección, provisión de resultados e información sobre la actuación del candidato sean gestionadas también más rápidamente que a través del sistema tradicional de listas y exposición pública o privada (CHAPELLE; ENRIGHT; JAMIESON, 2007).

Todo ello hace que no sea de extrañar que en España ya hayan surgido, como en muchos otros países, iniciativas para informatizar exámenes de gran importancia e impacto social, como puede ser la Prueba de Acceso a la Universidad (PAU), destacando iniciativas para tal fin en Cataluña, la Comunidad de Madrid y la Comunidad Valenciana, cada una de ellas aplicada de manera diferente. En la Comunidad de Madrid para el bachillerato LOE se ofrece la asignatura Ampliación de lengua extranjera: comprensión y expresión oral y se prevé la incorporación de las TIC para la evaluación de las competencias orales (MARTÍN MONJE, 2012), lo cual permitirá que las respuestas a las diferentes tareas de expresión oral queden grabadas en soporte electrónico (COMUNIDAD DE MADRID, 2008). Por su parte, mientras que en Cataluña se trabaja hacia un examen de diagnóstico y evaluación del catalán basado en la teoría de respuesta al ítem de tipo normativo, en Valencia se hace de manera criterial (JORNET MELIÁ; GONZÁLEZ SUCH, 2009). Es decir, en Cataluña se trata de ordenar a los alumnos por nivel de conocimiento de la lengua, mientras que en Valencia el objetivo esencial es observar si los alumnos serán capaces de superar ciertos criterios o exigencias en una lengua extranjera para alcanzar objetivos concretos. En el caso de la evaluación criterial aplicada a la evaluación del inglés, se podría pensar que se debe exigir que un alumno que supere el examen de inglés, dentro de la PAU, sea capaz de realizar las tareas necesarias para poder utilizar el inglés tanto en un contexto cotidiano como en el ámbito de sus estudios universitarios. De este modo, ese examen criterial trataría de observar y mostrar las evidencias que permitieran inferir y, en la medida de lo posible, garantizar el éxito de un alumno en la universidad (WEIR, 2005). En cada uno de los dos casos, el tipo de ítem varía en cuanto a la medida o, al menos, el procedimiento para obtener los indicadores de conocimientos que posee un alumno (SOLANO-FLORES, 2008). En otras palabras, los tipos de tareas incluidos en un examen deben cumplir con una validez en su diseño y en su significación en la inferencia de resultados (MCNAMARA, 2006; WINKE; AQUIL, 2006). Además, deben reflejar lo que sus usuarios entienden por medidas de garantía en la realización del examen, es decir, los profesores tienen que confiar en los instrumentos de evaluación y, asimismo, ser capaces de utilizarlos (LABI, 2006).

Siendo así, parece natural tratar de identificar los tipos de ítems que respondan a los conocimientos y criterios que los profesores consideren necesarios y útiles de cara a los cambios que se introducirán a raíz de la implantación de la nueva PAU. Dichos cambios van orientados, en gran medida, a la inclusión de la evaluación de las destrezas orales e, incluso, a la propia informatización de la prueba. El cuanto a la evaluación de las destrezas orales en la prueba de lengua extranjera, cabe señalar que la inclusión de dicha evaluación ya se había previsto, según Real Decreto, para la PAU del curso 2011-2012, pero fue aplazada en dos ocasiones: en junio de 2012, en que se anunció el aplazamiento hasta el curso 2013-2014; y en julio de 2013, en que el Consejo de Ministros aprobó un nuevo aplazamiento para el presente curso 2015-2016.

Este artículo explora los resultados obtenidos a través de una encuesta realizada con 214 profesores de segundo curso de Bachillerato en la Comunidad Valenciana, el cual fue desarrollado tomando en consideración el método Delphi (GARCÍA LABORDA; GIMENO SANZ; DE SIQUEIRA, 2011). Dicho método consiste en utilizar como fuente de información un grupo de personas a las que se les supone un nivel de conocimiento alto en relación con los diferentes puntos tratados en el cuestionario. Los investigadores, en colaboración con los coordinadores de la materia inglés de las cinco universidades públicas de la Comunidad Valenciana, distribuyeron el cuestionario en una reunión de coordinación de la PAU con el fin de recabar las opiniones de los profesores de 2º de bachillerato en relación con los ítems que consideraban más oportunos y necesarios para su posible introducción en el nuevo examen de inglés. Los coordinadores de cada centro se encargaron de repartir los cuestionarios entre los profesores de sus respectivos centros y de devolvérselos a los investigadores. Debe tomarse en consideración que estas pruebas de acceso se organizan a nivel autonómico aunque siguiendo las directrices ministeriales, las cuales prevén la inclusión en el examen de tareas tanto de comprensión como de expresión oral. El estudio concluye que, aunque los profesores reconocen la necesidad de incorporar pruebas orales, sus ideas sobre el examen idóneo se ajustan a modelos actuales que podrían no ser tan comunicativos como cabría esperar de una PAU que requiere y experimentará cambios importantes en los próximos años, tal y como anunciaba la Ley Orgánica para la mejora de la calidad educativa - LOMCE (ESPAÑA, 2013).

A pesar de que el enfoque pedagógico de partida a la hora de plantear la tipología de exámenes más adecuada para la informatización de la PAU en España está más allá del ámbito del presente artículo, se ha de tener en cuenta que toda opción evaluativa es tributaria de una determinada opción pedagógica, motivo por el cual cabe señalar que, en el contexto específico del alumnado de educación secundaria en España, el enfoque que cabría, a partir de las modificaciones de la PAU, sería un método eminentemente comunicativo en que el uso de la lengua se produjera en contexto y que estuviera basado en competencias relacionadas con tareas comunicativas del mundo real (NUNAN, 1988), en cuyo centro se situaría al alumno (JONES, 2007; VYGOTSKY, 1978) y el fortalecimiento de las diferentes destrezas (LEVY; STOCKWELL, 2006) -comprensión y expresión orales y escritas, junto con el uso del inglés, esto es, gramática y vocabulario- desde una perspectiva socioconstructivista (VYGOTSKY, 1978) del aprendizaje basado en tareas o TBL - Task-Based Learning (WILLIS, 1996; RICHARDS; RODGERS, 2014; SKEHAN, 2003a; 2003b).

Fase experimental

Participantes

Para el desarrollo de la fase experimental se distribuyó entre los profesores de 2º de bachillerato un cuestionario sencillo ordenado por destrezas lingüísticas. Como se ha mencionado anteriormente, el número total de profesores que respondieron al cuestionario fue de 214. Se calcula que dichos profesores, según datos oficiales aportados por la Consejería de Educación de la Generalitat Valenciana, imparten clase a cerca de 25.500 estudiantes de segundo curso de Bachillerato (último curso del ciclo que precede a la PAU), lo que representaría un amplio porcentaje de los alumnos totales de la Comunidad Valenciana, por lo que los resultados pueden ser considerados fiables.

Método

El cuestionario empleado contaba con cuatro secciones ordenadas de acuerdo con las cuatro destrezas básicas; comprensión y expresión escritas, y comprensión y expresión orales. Cada una de estas secciones contaba con seis ítems diferentes. Para la elaboración del cuestionario, se tuvieron en cuenta el modelo actual del examen y los cambios que se mencionan en las nuevas directrices, que establecen que “en el proceso de aprendizaje de lengua extranjera (…) se priorizarán la comprensión y expresión oral” (ESPAÑA, 2013, p. 97871), lo cual se añade a lo ya establecido por el Real Decreto 1892/2008: “el tercer ejercicio será de lengua extranjera y tendrá como objetivo valorar la comprensión oral y lectora y la expresión oral y escrita. El ejercicio presentará dos opciones diferentes entre las que el estudiante deberá elegir una” (ESPAÑA, 2008, p. 46934).

Para poder desarrollar el cuestionario, se realizó una valoración de posibles tipologías de ejercicios que podrían incorporarse en el nuevo examen de inglés. Para recabar los ítems integrados en el cuestionario, se llevó a cabo una fase preliminar de estudio y análisis de las tipologías de ejercicios que son más comunes y recurrentes dentro de cada destreza en los libros de texto y en otros métodos educativos destinados a la enseñanza y el aprendizaje de segundas lenguas, entre los que cabe destacar el aula virtual basada en Moodle que EducaMadrid ofrece a los alumnos de inglés de bachillerato como apoyo a las clases presenciales (MARTÍN MONJE, 2010; 2012; 2013). De este modo, se incluyeron seis posibles ejercicios para cada una de las destrezas que se evaluarán en el nuevo examen de lengua extranjera de la PAU. Con el fin de poder recabar las opiniones de los profesores, se les pidió que se posicionaran en relación a las diferentes opciones planteadas en el cuestionario, calificándolas con una puntuación de 1 a 6 (inicialmente de 2 a 12, tomadas de dos en dos con el fin de que los profesores pudieran posicionarse con mayor exactitud a través de una mayor percepción de las diferencias de puntuación que otorgarían a una opción u otra). De este modo, los profesores debían puntuar con un 2 (1), un 4 (2), un 6 (3), un 8 (4), un 10 (5) o un 12 (6) los ejercicios que se planteaban dentro de cada destreza. Así, recibía la máxima puntuación aquella tipología que los profesores consideraban como la más apta o adecuada, discriminatoria y significativa, y la puntuación mínima aquella tipología que se consideraba como lo contrario dentro de cada destreza. El requisito era que se emplearan las 6 puntuaciones dentro de cada una de las destrezas de tal manera que todos los ejercicios recibieran una puntuación concreta que permitiera visualizar las tendencias y valoraciones de los profesores.

La validación del cuestionario se estableció atendiendo al método Delphi. Dicho método, muy común en el diseño de cuestionarios de investigación en torno a la tecnología aplicada a la educación, se basa en un sistema de diseño del cuestionario por expertos y la subsiguiente validación por otros expertos a través de una hoja de comentarios. Por tanto, después de diseñarse el cuestionario inicial por el grupo de investigadores del proyecto Paulex Universitas, en colaboración con los coordinadores de inglés de la PAU de la Comunidad Valenciana, se envió a seis expertos en el campo de la medición y la evaluación de idiomas para su estudio, análisis y recogida de feedback.

Para el análisis cualitativo se utilizó una combinación del método de análisis de texto tradicional (MORRIS, 1985) y el método Alceste (REINERT, 1995; KRONBERGER; WAGNER, 2000), ya que este último permite ver el análisis del texto en su contexto, mientras que el método de análisis de texto tradicional no permite la obtención de datos contextuales que tan importantes son en cualquier estudio dinámico sobre evoluciones y transformaciones educativas.

Análisis

Tras el análisis de las respuestas en cada uno de los apartados del cuestionario podemos afirmar que, en general, los profesores de 2º de bachillerato tienden hacia dos opciones en cada uno de los apartados. Con el fin de simplificar el análisis, hemos procedido a la misma división por destrezas lingüísticas que en el cuestionario. Además, nos apropiamos de los comentarios y afirmaciones de los profesores entrevistados, los cuales aparecen entrecomillados. A continuación, comentamos los resultados obtenidos.

Comprensión escrita

Como se observa en la figura 1, el 21,8% de los encuestados otorgaron la puntuación más alta a la opción C (respuestas de unas 3 líneas, evitando la repetición de estructuras), seguida de cerca por la opción B (selección múltiple), preferida por el 72 % de los encuestados, y a continuación la A (aseveraciones verdaderas o falsas), preferida por el 18,94 %.

Leyenda: A: aseveraciones verdaderas o falsas; B: selección múltiple. C: respuestas de unas 3 líneas, evitando la repetición de estructuras. D: resumen de 50 palabras. E: reordenar un texto de alrededor de 5 párrafos. F: reordenar unas ideas referidas al texto en función del orden en que aparecen en el mismo.

Fuente: Elaboración propia.

Figura 1 Preferencias de los profesores en cuanto a la tipología de ejercicios de comprensión escrita. 

Algunos profesores manifestaron en el apartado de comentarios su preocupación por la falta de tiempo, pidiendo menos palabras para el texto y un aumento del tiempo de duración de la prueba. Además, se criticaron las opciones en que se evaluaría también la expresión escrita, como la opción C y la D. A pesar de ello, la opción C fue la preferida por la mayoría de los profesores. Asimismo, algunos de ellos sugirieron que los criterios de corrección de redacciones en este apartado estuvieran lo suficientemente claros para el alumno y que hubieran sido previamente consensuados.

En lo referente al análisis cualitativo de las respuestas abiertas, observamos que los profesores consideraron doscientas palabras como una medida estándar adecuada para la sección de evaluación de la comprensión y expresión escritas, que consiste en el análisis de un texto de nivel intermedio-alto, de una duración total de una hora y media. No obstante, los profesores insistieron en la necesidad de crear un examen equilibrado que evitara “el tipo de ejercicios en los que el alumno pueda contestar al azar”, proponiendo “hacer un examen que combine varios tipos de pregunta en lugar de 6 u 8 del mismo tipo” aunque, para algunos de ellos, esto implicase aumentar el tiempo destinado para la prueba.

Expresión escrita

En este apartado, la opción B fue la favorita entre los profesores (escribir un texto de 200 palabras sobre uno de los temas propuestos), recibiendo un 23,03 % de los votos (Figura 2), seguida por la opción A (escribir una carta o correo electrónico de unas 150 palabras como respuesta a una parte introductoria), que fue la segunda más votada, con un 19,93 %.

Leyenda: A: escribir una carta o correo electrónico de unas 150 palabras como respuesta a una parte introductoria. B: escribir un texto a modo de artículo, ensayo o historia de unas 200 palabras sobre un tema concreto elegido por de entre tres temas posibles. C: escribir un texto de 200 palabras sobre uno de los temas propuestos. D: indicar y corregir errores. E: completar un texto con preposiciones, conectores, verbos, conjunciones, adverbios, etc. F: rellenar huecos en blanco de un listado de selección múltiple.

Fuente: Elaboración propia.

Figura 2 Preferencias de los profesores en cuanto a la tipología de ejercicios de expresión escrita. 

Las opciones menos votadas en este apartado fueron, en primer lugar, la F (rellenar huecos en blanco de un listado de selección múltiple), con un 13,8 % de los votos, seguida por la opción D (indicar y corregir errores), con un 13,28 %. Por último, la opción E (completar un texto con preposiciones, conectores, verbos, conjunciones, adverbios, etc.) fue la menos votada de todas, con un 12,82 %.

Entre los comentarios más frecuentes figuraban los de los profesores que consideraban que no se deberían incluir en este apartado ejercicios de rellenar huecos con palabras sueltas, ni tampoco aquellos en que sería difícil evaluar la coherencia, cohesión, ideas plasmadas e impresión general. Hubo opiniones dispares en cuanto a si Use of English y Expresión escrita deberían ser dos categorías separadas o no. Y lo mismo ocurrió en cuanto a si el tiempo asignado para la realización de la prueba era adecuado o si debería aumentarse para que esta destreza no saliera perjudicada. Además, los profesores mostraron un gran interés por las preferencias de los alumnos, tanto en los temas a elegir (que habrían de ser atractivos para los alumnos) como en cuanto a los libros de texto, pues coincidían en pedir que lo que se enseñe en los libros coincida con lo que se examina (gramática, vocabulario, etc.). Asimismo, hubo una gran cantidad de propuestas en relación a que algunas de las actividades fueran parecidas a las que figuran en los exámenes de castellano y valenciano, con una extensión no inferior a las 150 palabras.

Las opiniones manifestadas parecen indicar que los profesores optarían por “separar en dos partes este apartado, uno para Use of English y otro para Expresión escrita”, pues “la expresión escrita debería centrarse en un ejercicio de redacción sobre un tema y no en ejercicios que no muestran un todo en el que observar la cohesión, coherencia, ideas plasmadas e impresión general de la producción”. A pesar de todo, de acuerdo con la mayoría de los profesores encuestados, los ejercicios relacionados con el uso del inglés “deberían estar relacionados con el texto de la parte de comprensión escrita”.

Adicionalmente, de las recomendaciones de los profesores en los comentarios abiertos se puede deducir que hay circunstancias asociadas a la rúbrica o instrucciones generales del examen que los administradores deberían considerar, tales como:

  • “Extensión no inferior a 150 palabras”.

  • “Los ejercicios de rellenar huecos deberían evitarse en la medida de lo posible”.

  • “Se podría incluir algún tipo de actividad de producción escrita que también aparezca de un modo parecido a los exámenes de castellano y valenciano.”

  • “Es imposible hacer producción escrita y comprensión lectora en 45 minutos. Escribir no significa corregir errores o completar huecos con palabras sueltas. Esta (la expresión escrita) será la gran destreza perjudicada”.

Asimismo, los profesores consideran que la familiaridad con los temas escritos es fundamental. Así, podría tratarse de temas generales planteados en su educación secundaria o bien “temas propuestos […] atractivos para los alumnos”.

Finalmente, hay profesores que manifiestamente prefieren introducir cambios menores o preservar el formato actual; es decir, seguir utilizando exámenes más centrados en la forma que en las ideas presentadas:

  • “Creo que el tipo de prueba que tenemos actualmente es la más idónea”.

  • “Los alumnos se quejan de que los libros de texto que llevan desde la ESO (Educación Secundaria Obligatoria) hasta Bachillerato aportan demasiada gramática y vocabulario, de la que luego no se examinan. Esta parte me parece que puede ser muy beneficiosa”.

Comprensión oral

Para la evaluación de comprensión oral, el 21, 63 % de los profesores encuestados se decantó por la opción C (escuchar un clip de audio de 2 ó 3 minutos y responder a 6 preguntas de selección múltiple), con algo más del 20 % de los votos; la siguiente opción más votada fue la B (escuchar un clip de audio de 2 ó 3 minutos y contestar preguntas de verdadero y falso), con un 20,29 %, siendo la tercera opción la A (6 clips de audio de 30 segundos de duración que se han de asignar a 6 enunciados), que recibió un 16,33 % de los votos (Figura 3).

Leyenda: A: Escuchar 6 clips de 30 segundos y asignar a seis enunciados diferentes en función de la temática. B: Escuchar un clip de entre 2 y 3 minutos e indicar si son verdaderas o falsas 8 aseveraciones. C: Escuchar un clip de entre 2 y 3 minutos y contestar a 6 u 8 preguntas de elección múltiple en relación. D: escuchar un clip de 2 a 3 minutos y responder 6 preguntas abiertas. E: escuchar un clip de 2 minutos y rellenar huecos de un texto relacionado con el clip. F: escuchar un clip de entre 2 y 3 minutos y ordenar una secuencia de 6 ideas de acuerdo con el orden en el que aparecen.

Fuente: Elaboración propia.

Figura 3 Preferencias de los profesores en cuanto a la tipología de ejercicios de comprensión oral. 

Las opciones que ocupan las últimas posiciones respecto a la evaluación de esta destreza según las preferencias de los profesores son, de mayor número de votos a menor, la E, la D y la F. La opción E (escuchar un clip de 2 minutos y rellenar huecos de un texto relacionado con el clip) fue la preferida por un 14,35 % de los profesores, mientras que la opción D (escuchar un clip de 2 a 3 minutos y responder 6 preguntas abiertas), fue votada por el 13,87 %, quedando en último lugar la opción F (escuchar un clip de 2 ó 3 minutos y ordenar una secuencia de 6 ideas de acuerdo con el orden en el que aparecen en el documento de audio), que recibió un 13, 53 % de los votos.

Este apartado fue el que generó más respuestas cualitativas, probablemente debido a que la incorporación de las destrezas orales es una innovación respecto a las versiones anteriores de la PAU, que no incluían ejercicios destinados a evaluar destrezas de comprensión ni de expresión oral. Muchos de los profesores manifestaron sus reservas respecto a esta innovación, alegando posibles dificultades técnicas, que se agravarían por el alto número de alumnos que habrían de examinarse de manera simultánea. Se temían también otras dificultades técnicas, como la baja calidad de sonido o un fallo del sistema provocado por el elevado número de alumnos accediendo al mismo simultáneamente. Un gran número de profesores manifestó su disconformidad con los 30 minutos de tiempo disponible por considerar que no serían suficientes, mientras que otros sugirieron que debería dedicársele menos tiempo. También hubo sugerencias en relación a reducir el número de clips y alargar la duración de cada uno de ellos. Se hizo hincapié en la necesidad de un tipo de ejercicio en que no se evaluara la expresión escrita, y también en el número de veces que se les permitiría a los alumnos escuchar los clips. Se sugirió también que en lugar de audio, se les presentara un vídeo, que fuera una conversación (en lugar de un monólogo), y también que se combinaran varios tipos de ejercicios.

Los profesores no llegaron a un acuerdo sobre qué tipo de preguntas serían más adecuadas para la evaluación y diagnóstico de los conocimientos de los alumnos. Así, se observan varios tipos de respuestas en relación a los siguientes aspectos:

a) Tiempo y cantidad de exposición: hay discrepancias en cuanto al número de clips a incluir y a su duración. Así, algunos profesores consideran que habría que “reducir el número de clips para clarificar la actividad”, mientras que otros ven la necesidad de realizar clips más largos (“30 segundos es una duración muy breve”). Además, algunos manifiestan sus dudas respecto al tiempo dedicado a esta sección (“Considero que no son suficientes 30 minutos para hacer esta prueba. Posiblemente se podría dar más tiempo a la parte 1”), sin que haya unanimidad a este respecto: “[…] dar más tiempo a la producción escrita y reducir los 30 minutos de esta prueba”, “La duración de los clips me parece demasiado corta”. Otras opiniones fueron relativas al aumento de la duración de los clips y a la combinación de varios tipos de ejercicios: “La duración de los clips me parece relativamente corta. Igual un clip con varias situaciones (cotidianas) a contestar y otro clip más largo de duración sería más apropiado (véase en otros exámenes oficiales)”. “Se deberían combinar varios tipos de ejercicios.”

b) Cuestiones técnicas relacionadas con la rúbrica del examen o con la temática de las tareas: entre estas se encuentra “el número de veces en las que el estudiante puede escuchar el clip de audio” e incluso las preferencias en cuanto a los indicios a evaluar: “los ejercicios destinados a evaluar esta destreza deberían tener como objetivo que el alumno fuera capaz de entender la información esencial (the gist), sobre todo teniendo en cuenta que la calidad del sonido puede no ser la idónea para responder a preguntas como un fill in the gaps con palabras concretas”. “Resultaría mucho más complicado para el alumno escuchar diferentes audios en un mismo ejercicio, ya que perderían tiempo y concentración”.

c) Dificultades técnicas y derivadas del gran número de alumnos: muchos profesores plantean este problema ya reconocido en otras investigaciones, señalando la “[…] dificultad técnica de la prueba. Para ser justa deberían existir las mismas condiciones acústicas para todos los alumnos” y “el material de audio tendrá que ser de buena calidad, porque si el sistema no es bueno, y no se escucha con total claridad y nitidez, el alumno sale perjudicado”. Otras opiniones se centran en la cantidad de alumnos que realizan el examen y las condiciones físicas de la sala: “En lugar de audio, podría ser un vídeo; imágenes con conversación o explicación, como un documental, descripciones y, sobre todo, escenas de películas”. “Debido al número tan elevado de alumnos es imposible desarrollar las destrezas de comprensión oral adecuadamente”.

d) Evitar las tareas integradas: la mayoría de los profesores son partidarios de aislar los ejercicios de cada destreza, sugiriendo que “los estudiantes deberían escribir en esta sección lo menos posible para que lo que prime sea la evaluación de sus destrezas orales y no el spelling” y se debería “evitar que se califique la expresión escrita en este apartado.”

Expresión oral

La opción predilecta en este apartado fue la C (entrevista o exposición sobre un tema concreto), votada por un 19,53 % de los profesores encuestados. A continuación, la opción B (descripción de una situación o imagen) obtuvo un 19,06 % de los votos, y la D (responder a una serie de preguntas sobre unas imágenes) un 18,5 % (Figura 4).

Leyenda: A: lectura en voz alta de un texto o frases. B: descripción de una situación o imagen. C: entrevista o exposición sobre un tema concreto. D: responder a una serie de preguntas sobre unas imágenes. E: leer un texto en voz alta y responder a una serie de preguntas sobre el mismo. F: unir términos con imágenes y explicar qué relación guardan entre sí.

Fuente: Elaboración propia.

Figura 4 Preferencias de los profesores en cuanto a la tipología de ejercicios de expresión oral. 

De las tres opciones menos votadas, la E (leer un texto en voz alta y responder a una serie de preguntas sobre el mismo) fue votada por un 17 % de los encuestados, y, a continuación, la opción A (lectura en voz alta de un texto o frases) fue la segunda menos votada, con el 13,28 % de los votos. En último lugar quedó la F (Unir términos con imágenes y explicar por qué), votada por un 12,63 % de los profesores.

Este apartado generó un gran número de comentarios por parte de los profesores, debido a la inquietud que produjo el hecho de que la expresión oral nunca se hubiera examinado antes en la PAU y por considerarse insuficientes para afrontar tal reto el tiempo, las condiciones y los recursos didácticos con que se cuenta en la actualidad. Los profesores se mostraron escépticos respecto a preparar a los alumnos adecuadamente para una prueba oral en la PAU, señalando un gran número de impedimentos, tales como: la falta de horas lectivas, hecho que impediría una correcta preparación para el examen; la necesidad de un amplio espacio de tiempo para adaptar la metodología, los libros, etc. de un modo lógico, gradual y productivo; el elevado número de alumnos en cada aula, que dificultaría la atención personalizada y la corrección y práctica individualizadas; la necesidad de reestructurar las clases y de disponer de profesorado nativo o altamente especializado; y la posible falta de objetividad de la prueba, pues en ocasiones la actuación del alumno podría estar condicionada por el estado en que se encontrara en el momento de realizar dicha prueba. Al respecto del profesorado nativo o altamente especializado, la disposición adicional trigésima séptima “Expertos con dominio de lenguas extranjeras” establece lo siguiente:

Para cada curso escolar, las Administraciones educativas podrán excepcionalmente, mientras exista insuficiencia de personal docente con competencias lingüísticas suficientes, incorporar expertos con dominio de lenguas extranjeras, nacionales o extranjeros, como profesorado en programas bilingües o plurilingües, atendiendo a las necesidades de programación de la enseñanza para el desarrollo del plurilingüismo a que se refiere la disposición final séptima bis de esta Ley Orgánica. Dichos expertos deberán ser habilitados por las Administraciones educativas, que determinarán los requisitos formativos y, en su caso, la experiencia que se consideren necesarios. En cualquier caso, los expertos deberán estar en posesión del título de Doctor, Licenciado, Ingeniero, Arquitecto o el título de Grado correspondiente u otro título equivalente a efectos de docencia.

Disposición adicional trigésima séptima introducida por el apartado noventa y ocho del artículo único de la Ley Orgánica 8/2013 de 9 de diciembre para la mejora de la calidad educativa (ESPAÑA, 2013).

Este apartado de la Ley Orgánica muestra que desde los organismos gubernamentales se prioriza la formación y nivel de competencia del profesorado, lo cual contrasta con la visión de algunos profesores que parecieran identificar profesorado nativo con profesionales altamente cualificados, estableciendo, así, una errónea relación causal entre el ser hablante nativo de una lengua y el estar capacitado para ser profesor de la misma. El posicionamiento del gobierno español en defensa del plurilingüismo y la formación docente encaja perfectamente con la visión actual del profesor de lengua extranjera por parte de los especialistas en la materia. Así, cada vez son más las voces críticas con el mito del hablante nativo como hablante ideal e idealizado (PENNYCOOK, 1994), perteneciente a una estereotipada comunidad de habla homogénea y con atributos que lo convierten en la única fuente válida de input lingüístico (CHOMSKY, 1965) en que el hablante no nativo es visto como “a defective communicator, limited by an underdeveloped communicative competence”1 (FIRTH; WAGNER 1997). Así, tal y como queda patente en los trabajos de académicos de todo el mundo, la enseñanza de lenguas ha de prestar atención a la lengua meta (L2) en lugar de concentrarse principalmente en el hablante nativo, ya que las estrategias y procesos cognitivos utilizados por los hablantes de la L2 son diferentes a los de los hablantes monolingües de la L1, con lo que estos han de considerarse hablantes de pleno derecho en lugar de ser vistos como hablantes fallidos de la L2 (COOK, 1999).

Además de manifestar su preocupación, en algunos casos, y su negativa rotunda a que se incluya la evaluación de la expresión oral en la PAU, en otros, los profesores hacen una serie de sugerencias y comentan el porqué de su elección de una tipología de ejercicios en cada caso en detrimento de las otras. Así, los profesores que se decantan por la opción C alegan que los temas ya fijados facilitarían la tarea. Algunos, además, sugieren que dichos temas coincidan con los posibles temas dentro de la expresión escrita y que se les proporcione a los alumnos dicho temario desde el principio del curso. Asimismo, se defienden diálogos y reflexiones sobre imágenes, por ser más adecuados para medir la expresión de los alumnos y por darles una mayor seguridad, en oposición a los ejercicios de lectura, que son considerados contraproducentes y no aptos para evaluar la expresión oral. También se sugiere que se grabe a los alumnos, para agilizar el proceso en caso de reclamaciones. Por último, en el apartado de observaciones, sugerencias o aportaciones generales, se observa que algunos profesores consideran que sería conveniente encuestar a todos los profesores de secundaria para que pudieran opinar sobre el tema. Algunos de ellos sugieren también que, a la hora de la prueba, se articule todo con DVD y que se sea muy meticuloso en los detalles técnicos, para evitar fallos. Hay, además, sugerencias sobre aumentar el número de factores a tener en cuenta para la evaluación de la prueba, y también sobre la duración del examen que, de acuerdo con los profesores, debería ser la que determinara la tipología de ejercicios a incluir.

En lo referente a las respuestas cualitativas, estas son variadas. Estudios previos (GARCÍA LABORDA et al., 2010) ya habían apuntado que la inmensa mayoría de los profesores de inglés de Bachillerato aprueban la creación de una evaluación oral en la PAU. Los resultados de esta sección muestran que los profesores del estudio aquí descrito tienen, sin embargo, ciertas reservas en cuanto a los siguientes aspectos:

1. Tipo de interacción: en las respuestas abiertas algunos profesores manifiestan su preocupación sobre las diferencias entre la evaluación humano-examinado y ordenador-examinado. Esa preocupación se observa en comentarios como: “a ser posible, lo ideal sería que un tribunal evaluara la capacidad de expresión oral, ya que el sistema informático no apreciaría aspectos de carácter extralingüístico (gestos, mirada, etc.), muy importantes en la situación comunicativa oral” y “sería más fácil contestar a este apartado si supiéramos si el alumno habrá de contestar ante un tribunal o simplemente ante una máquina, porque los dos casos son muy diferentes”.

2. Tipo de tarea: de cualquier manera, encontramos alternativas como el uso de una gran variedad de tareas en el examen, pero siempre ante la presencia de un examinador humano, pues se sugiere “combinar lectura en voz alta, con descripción de fotos, etc. […] evaluación realizada mediante una entrevista guiada por el profesor con preguntas y sugerencias”. El uso del ordenador en este tipo de tareas no sería una novedad, pues ya se realizan de esta manera exámenes como el Simulated Oral Proficiency Interview (SOPI) (MIKHAILOVA; NILSON, 2007; MALABONGA; KENYON; CARPENTER, 2005). De entre la variedad de tareas se eliminarían aquellas que, a priori, pueden parecer más mecánicas y menos comunicativas (“La propuesta A evalúa solamente la pronunciación. Sería una pena, ya que tenemos el examen oral por fin”).

Por otra parte, para algunos de los profesores sería importante que el examen estuviese apoyado por imágenes: “Con respecto a intentar conseguir que los alumnos tengan una capacidad de comunicación en inglés, los ejercicios de lectura ante un tribunal resultan contraproducentes. Diálogos, reflexiones sobre imágenes, relacionar situaciones con imágenes demuestran el dominio del inglés mejor”.

Creo que esta prueba le supone un gran esfuerzo al alumno, ya que cuenta mucho el estado en que se encuentre en ese momento. Por ello, creo que la opción donde el alumno puede describir una imagen le da más seguridad y quizá lo haga mejor y demuestre así sus cualidades y aptitudes con la lengua inglesa. Personalmente creo que es la prueba más sencilla donde perfectamente cualquier profesor puede evaluar las capacidades del alumno. (PROFESOR 1).

Otros profesores sugieren que los temas que incluyan en las tareas sean previamente conocidos o seleccionados de una lista de la que puedan disponer para su preparación: “sería muy importante tener los temas desde el principio de curso” o “Me parece estupendo lo que dice la opción C de este apartado, en cuanto a lo de temas ya fijados en el temario correspondiente, facilitaría muchísimo la tarea”.

3. Dificultades originadas en los alumnos: para ciertos profesores, los alumnos podrían verse obligados a afrontar una serie de dificultades añadidas que solamente conllevarían un aumento en la presión ya existente, lo que incrementaría su ansiedad:

Creo que esta prueba le supone un gran esfuerzo al alumno, ya que cuenta mucho el estado en que se encuentre en ese momento. Por ello, creo que la opción donde el alumno puede describir una imagen le da más seguridad y quizá lo haga mejor y demuestra así sus cualidades y aptitudes con la lengua inglesa. Personalmente creo que es la prueba más sencilla donde perfectamente cualquier profesor puede evaluar las capacidades del alumno. (PROFESOR 1).

4. Dificultades de distinto origen: muchos profesores ven la introducción de tareas orales en la PAU con ciertos reparos relacionados con la preparación específica. Así se desprende de las respuestas de dichos profesores a las preguntas abiertas: “tres horas lectivas a la semana no son suficientes para poder examinar a los alumnos en selectividad de un examen oral. Además, hará falta un tiempo para que la metodología y los libros se adecuen a la nueva selectividad”.

Creo que evaluar la producción oral va a ser muy complicado, aunque estoy completamente de acuerdo en que se haga. Yo la suprimiría y los 15 minutos los añadiría a la comprensión escrita. Me imagino que la inversión necesaria no compensará el resultado. De todas formas, debería ser una práctica habitual en nuestras aulas y una exigencia para que nuestros alumnos aprueben la asignatura en 2º de bachillerato, pero se necesitarían más horas de clase. (PROFESOR 2).

De estas opiniones se deduce que los profesores abogan por un cambio de las condiciones en las que se da la docencia de la asignatura y destacan la necesidad de que los cambios empiecen antes de segundo de Bachillerato, pues “para evaluar así a los alumnos, hay que cambiar libros […] en 1º de ESO para que el cambio sea gradual, lógico y productivo”:

Considero que para realizar un examen oral es necesario reducir drásticamente el número de alumnos en el aula desde la enseñanza secundaria, introducir recursos que ahora no tenemos, como profesorado nativo, y estructurar las horas de clase de otra forma. Es necesario reformar la enseñanza del inglés desde su base para poder afrontar el examen oral adecuadamente. Hoy por hoy es una utopía y un despropósito. (PROFESOR 3).

Parece haber un cierto acuerdo en que “con este sistema educativo, los alumnos no están preparados para hacer una prueba oral” aunque algunos profesores apuntan ciertos aspectos positivos: “grabar supone un ahorro de tiempo en caso de reclamaciones”.

Interpretación de los datos y conclusiones

Este estudio, que se suma a estudios de similares características llevados a cabo en otras comunidades (GARCÍA LABORDA; GIMENO SANZ; DE SIQUEIRA, 2011), muestra las actitudes y las preferencias de los profesores de segundo curso de bachillerato hacia la tipología de ejercicios que se deberían incluir en un hipotético examen de inglés que incluyera la evaluación de las destrezas de comprensión y expresión orales dentro de la PAU. Las respuestas de los 214 profesores encuestados muestran una mayor uniformidad en lo referente a las tareas escritas, tanto receptivas como productivas, mientras que existen mayores discrepancias en cuanto al modo más adecuado de evaluar las destrezas orales o, incluso, respecto a la idoneidad o no de introducir dicha evaluación. En el anexo a este trabajo se muestra la propuesta de una prueba que se ajusta a las preferencias de los profesores encuestados y que podría ser automatizada de inmediato a través de la plataforma InGenio2.

Los datos obtenidos, de esta manera, se pueden agrupar de acuerdo con cuatro aspectos fundamentales: i) la posibilidad de automatización de la prueba, ii) las tipologías de ejercicios más populares entre los profesores, iii) la relación entre las mismas y iv) la tendencia de los profesores hacia el cambio. En lo referente a la automatización de la prueba, son numerosos los estudios en el proyecto Paulex Universitas que han demostrado los beneficios de la posible implementación del examen de lengua extranjera asistida por ordenador dentro de la PAU (DE SIQUEIRA et al., 2010; GARCÍA LABORDA et al., 2010; GARCÍA LABORDA; GIMENO SANZ; DE SIQUEIRA, 2011). A juzgar por las respuestas obtenidas en este estudio, hay dos aproximaciones posibles a la cuestión. Por un lado, los profesores muestran cierta aceptación de una nueva versión del test de inglés de la PAU, incluso en el caso de que incluya ejercicios de expresión oral, pero asumen que este cambio puede conllevar un aumento de la ansiedad y el nerviosismo de los alumnos, tanto antes como durante el examen, por lo que manifiestan reservas. Por ello, convendría analizar de manera separada si las reticencias se deben a una fobia al uso de los ordenadores o simplemente derivan del hecho de que la implantación de una PAU asistida por ordenador supondría un cambio drástico respecto al sistema actual. Mientras que para el sentimiento hostil sería conveniente observar los resultados experimentales con alumnos y analizar la alfabetización digital entre los profesores como posible desencadenante de los sentimientos y actitudes negativas, el aspecto de la incertidumbre sobre el resultado de la evaluación oral-escrita con alumnos debería ser sometido a un profundo estudio.

Al analizar las respuestas en cuanto a las tipologías de ejercicios elegidas mayoritariamente por los profesores, encontramos que estos prefieren, en primer lugar, ejercicios de respuesta abierta y ejercicios de selección múltiple. Aparentemente, este resultado apunta que prima la comunicación escrita junto a la receptiva pasiva aunque, si se considerasen las respuestas de verdadero/falso en las que hay que justificar la respuesta, dicha afirmación quedaría un poco en entredicho, ya que es difícil discernir entre si la expresión escrita de una justificación basada en el texto correspondería a la expresión escrita como procesamiento comprensivo o si consistiría simplemente el parafraseo de lo escrito. En el primer caso, estaríamos ante una respuesta de multitarea, mientras que en el segundo caso sería simplemente comprensiva. Por tanto, la cuestión de la evaluación recaería principalmente en tareas productivas pero convendría ser cautos, ya que son diversas las formas de presentar este tipo de tareas. En lo referente a la expresión escrita, los profesores se decantan por la escritura de textos más o menos largos, parecidos a los que se usan en la práctica en la mayoría de las universidades en el territorio español. En este caso, sorprende la ausencia de contextualización que sugiere la respuesta A (respuesta a un correo electrónico) aunque sea la segunda opción preferida. Otras opciones de contenido más gramatical apenas tienen seguimiento comparadas con las más productivas o, quizás, comunicativas.

Más interesantes resultan las reacciones a las propuestas no existentes en la inmensa mayoría de las comunidades autónomas españolas3: la comprensión y expresión oral. No cabe duda de que estas destrezas han sido consideradas como necesarias desde hace algún tiempo, tanto desde la administración pública como desde la sociedad -envuelta en un proceso de movilidad europea y de fomento del plurilingüismo- y las autoridades académicas nacionales y autonómicas. En lo referente a la comprensión oral, dos opciones aparecen destacadas. Ambas son objetivas, como es el tradicional ejercicio de contestar si una afirmación es verdadera o falsa, o el de selección múltiple. Resulta ciertamente llamativo que los profesores presenten alternativas comunicativas para la lectura y la escritura y que prefieran preguntas objetivas en lo referente a la comprensión oral. En nuestra opinión, podríamos estar ante un caso de temor que se solucionaría mediante la simplificación de la tarea que requiere el procesamiento mental, puesto que los profesores relacionan una mayor simplificación de la tarea con una mayor facilidad para resolver el ejercicio con éxito. También se ha planteado una segunda explicación ligada al hecho de que los profesores crean que la tarea debería medir escuetamente la comprensión oral, aunque dicha respuesta no se justificaría a la luz de las opciones elegidas en las destrezas escritas que, como hemos visto, son mucho más comunicativas.

En lo referente a la expresión oral, encontramos una variedad considerable de respuestas. Llama la atención el que las preferencias vayan desde contestar a repetidas preguntas hasta la narración de un tema. Sin embargo, las diferencias entre las respuestas no pueden ser consideradas suficientemente aclaratorias. No obstante, sí son claros los comentarios adicionales de los profesores, que muestran no pocas reticencias a incorporar la expresión oral como componente del examen de inglés debido, fundamentalmente, a la escasez de tiempo de docencia reglada asignada a la asignatura. Esto justifica, sin embargo, el hecho de que algunos centros hayan implantado o estén planteándose implantar, de forma reglada, clases adicionales de práctica oral.

En lo relativo a la relación entre las distintas tipologías de ejercicios, tal y como se ha mencionado anteriormente, no hay una tendencia clara hacia si las tareas deben ser comunicativas o si, por el contrario, deben ir dirigidas hacia la obtención de información objetiva. Esto puede deberse al hecho de que tradicionalmente la evaluación de la comprensión y la expresión oral no ha formado parte del examen de inglés de la PAU y tampoco se le ha dado la importancia que merece en el aula debido a que el curso que precede al examen se centra en exceso en la preparación de dicha prueba de acceso en lugar de enfatizar el desarrollo de las habilidades comunicativas. Es por ello que la implantación de la valoración de la comprensión y la expresión oral tendría un efecto beneficioso en el aula ya que esta novedad implicará una mayor práctica en el aula de las destrezas orales, lo cual tendría como consecuencia natural la publicación de libros de textos y materiales docentes adecuados para fomentar la comprensión y la expresión oral con fines comunicativos. De todos modos, en el futuro serán necesarios estudios que ayuden a diagnosticar los problemas ya existentes sin perder de vista que, a pesar de las reservas de los profesores, sus respuestas cualitativas apuntan que la utilización de ordenadores se considera un buen sistema para realizar el examen en su conjunto, independientemente del tipo de destrezas que se evalúen.

En conclusión, este estudio representa una primera aproximación a lo que debería ser una serie de estudios relacionados con la puesta en funcionamiento de la nueva prueba de inglés en la PAU, acerca de los efectos que puede tener la reforma de dicha prueba en el aula, la recepción del nuevo formato entre los profesores y los efectos de los trabajos piloto. Por ello, se considera esencial incrementar los trabajos en colaboración, no sólo con autoridades educativas, sino con los distintos estamentos que componen la docencia en la enseñanza secundaria, como son los profesores, los correctores de las pruebas, los alumnos e incluso, aunque en raras ocasiones se les tenga en cuenta, las empresas del sector educativo tales como las editoriales o las empresas informáticas, para posibles transferencias de conocimiento del sector público al privado. La implicación de todos los agentes anteriormente señalados será clave para la mejora de la PAU, lo cual a su vez podría conllevar, gracias al efecto rebote o washback (SAIF, 2006), la mejora de la docencia de las lenguas extranjeras en territorio español, tan necesaria en la sociedad actual y en el contexto en que vivimos, caracterizado por una creciente movilidad europea e internacional y por el fomento del plurilingüismo.

En futuras investigaciones se espera poder enriquecer la visión aportada por el presente estudio mediante una crítica que permita suscitar reflexiones en torno a cuestiones que afectan al campo de los estudios lingüísticos en la actualidad y, más específicamente, la manera en que analizar los datos recabados desde el punto de vista de las tendencias contemporáneas en la evaluación del aprendizaje, en que nociones como validez, fiabilidad y representatividad pasan a ser concebidas desde una perspectiva menos positivista que permita dar cuenta de la complejidad de fenómenos tales como la evaluación masiva de alumnos en que hay mucho en juego, como es el caso del acceso a la universidad de los alumnos en España a través de la realización de la PAU.

Anexo:

Ejemplo de examen de inglés de las PAU según las preferencias mostradas por los profesores de 2º de Bachillerato de la Comunidad Valenciana

Lengua extranjera II: INGLÉS

Duración: 90 minutos

Part A. Reading Comprehension (3 points)

Read the following text:

Why Are We Annoyed by the Sound of Nails on a Chalkboard

Probably a couple of factors combine to make such sounds unpleasant. The first, perhaps unsurprisingly, is the presence of high frequencies. The range between two and four kilohertz—approximately that covered by the highest octave of a standard piano—seems to contribute the most to the nastiness of the sound. It is unclear why people tend to find these frequencies unpleasant, but we know that noise-induced hearing loss most commonly occurs in roughly this region, so it is conceivable that the aversive reaction partly reflects the ear’s vulnerability.

The spectrum of screeching sounds is also much noisier than that of an instrument. The noisiness probably results from the fingernails repeatedly catching on part of the chalkboard surface before sliding forward. This catching and sliding also causes rapid fluctuations in intensity, giving the sound a “rough” character. Roughness is known to be unpleasant, but it’s a bit harder to say why sound roughness is considered unpleasant—as far as we know it is not harmful to the ears.

Some scientists have proposed that screeching sounds are acoustically similar to screams, a sound to which we might plausibly have evolved an aversion. If this hypothesis were true, one might expect to find similar reactions in nonhuman primates, which also produce screams. Thus far only one species of monkey has been tested, and it did not display the same aversive response to screeches that humans have. It may therefore be more appropriate to simply regard screeching sounds as a “perfect storm”—combining two properties that we know to be unpleasant, resulting in a single sound that is awful to listen to.

Josh McDermott, New York University

I. Answer the following questions using your own words but taking into account the information in the text (1 point: 0. 50 each)

a) What are the factors that contribute to make the sound of nails on a chalkboard unpleasant?

b) Why does the author think that the hypothesis that “screeching sounds are acoustically similar to screams, a sound to which we might plausibly have evolved an aversion” might not be true?

II. Are the following statements true (T) or false (F)? Identify the part of the text that supports your answer by copying the exact passage on the answer sheet (0.75 point: 0.25 each)

a) The noise made by the spectrum of screeching sounds is stronger than that of an instrument.

b) Roughness can damage your ear.

c) The response of the monkeys to screeches was similar to the response of humans.

III. Choose a, b, or c, in each question below. Only one choice is correct (0. 75 points: 0. 25 each)

1. Screeching sounds can be considered as a “perfect storm” because...

a) they are unpleasant.

b) their spectrum is much noisier than that of an instrument.

c) they combine roughness and high frequencies.

2. What seems to contribute the most to the nastiness of the sound of nails on a chalkboard is....

the fact that it is similar to the sounds produced by a piano.

its frequency, between two and four kilohertz.

the noise-induced hearing loss that it may cause.

3. What gives the sound its “rough” character is...

a) the fingernails repeatedly catching on part of the chalkboard surface before sliding forward and the consequent fluctuation in intensity.

b) the fingernails repeatedly catching on part of the chalkboard surface before sliding forward and the consequent hearing loss.

c) its spectrum, which is much noisier than that of an instrument.

IV. Find a synonym for each of the four words below from these six options: (0. 50 point: 0.10 each) unpleasant regard plausibly vulnerability display catching

a) reasonably

b) consider

c) susceptibility

d) show

Part B. Composition (130-150 words approximately). Choose one of the following

topics (2 points)

1. Even if people often associate hearing loss with getting old, more and more young people suffer from hearing damage, too. Think about the precautions you can take in your everyday life to protect your hearing.

2. Some scientists have proposed that screeching sounds are acoustically similar to screams. What are the reasons why human beings might have evolved an aversion to the sound of screams?

Part C. Listening comprehension (2 points: 0. 40 each)

Listen to the following clip from Research-TV, “The Dry Valleys of Antarctica”, and choose the correct answer for each question.

Video ‘The Dry Valleys of the Antarctic’4

1. What is the main objective of this international expedition?

a) To find the main causes of global warming.

b) To try to understand what happens underneath volcanic systems.

c) To find a way to predict and avoid eruptions.

d) To see if volcanic activity can be reduced on the Earth’s surface.

2. Why did the researchers choose to go to that particular location –the dry valleys of the Antarctica-?

a) Because of its ideal weather conditions.

b) Because in that place you can find volcanic rocks that can’t be found anywhere else.

c) Because the sedimentary rocks found there help scientists to understand why eruptions are provoked.

d) Because of its bizarre landscape.

3. Why do these scientists have an opportunity of close study that doesn’t exist in other locations?

a) Because here the volcanic shields are completely exposed.

b) Because here there is a different kind of vegetation.

c) Because here there are enough layers of rocks which allow a close study.

d) None of the above.

4. What is there in the top of the waterfall?

a) A shield.

b) Sedimentary rocks.

c) None of the above.

d) Either of the above.

5. Why are crystals contained in volcanic rocks analyzed?

a) In order to establish a record of how the magma was like as the crystal grew.

b) Because they contain information that could be used to heal several diseases.

c) To see in what ways this analysis is similar to the one used when looking at tree rings.

d) Because recent technological advances enable us to re-use those crystals.

Part D. Speaking (2 points). You are going to be interviewed. Choose one of the following topics to prepare the interview. You have 5 minutes to do this.

The interview will last 5 minutes.

Possible topics:

— Environment and ecology

— Health or nutrition

— Consumption

— Mass Media

— Youth life

— Free-time activities and entertainment

— Studying and employment

— Social participation

— Important celebrations and events with a world-wide impact (Olympic Games, etc.)

— Life and anecdotes of celebrities

— Travelling

— Sports

— Home

— Social Organization/Work

— The role of men and of women in society

— Conflict and change

Referencias

CHAPELLE, Carol Ann; DOUGLAS, Dan. Assessing language through computer technology. New York: Cambridge University Press, 2006. [ Links ]

CHAPELLE, Carol Ann; ENRIGHT, Mary; JAMIESON, Joan (Ed.). Building a validity argument for the test of English as a foreign language. London: Routledge, 2007. [ Links ]

CHOI, Inn-Chull; KIM, Kyoung Sung; BOO, Jaeyool. Comparability of a paper-based language test and a computer based language test. Language Testing, New York, v. 20, n. 3, p. 295-320, 2003. [ Links ]

CHOMSKY, Noam. The aspects of theory of syntax. Cambridge: MIT Press, 1965. [ Links ]

COOK, Vivian. Going beyond the Native Speaker in Language Teaching. TESOL Quarterly, Virginia, v. 33, n. 2, p. 185-209, 1999. Disponible en: <http://www.jstor.org/stable/3587717>. Acceso: 17 febr. 2016. [ Links ]

COMUNIDAD de Madrid. Resolución de 7 de julio de 2008, por la que se establecen las materias optativas del bachillerato en la comunidad de Madrid. Boletín Oficial de la Comunidad de Madrid, Madrid, 29 jul. 2008. [ Links ]

DE SIQUEIRA, José Macário et al. Algunos dilemas contemporáneos en torno a las tecnologías de la información y de las comunicaciones en la educación: propuesta para la formación de profesores para la producción y el uso de vídeo en el aula. Revista Latinoamericana de Tecnología Educativa, Cáceres, v. 9, n. 2, p. 21-35, 2010. Disponible en: <http://campusvirtual.unex.es/revistas/index.php?journal=relatec>. Acceso: 18 mzo. 2016. [ Links ]

DE SIQUEIRA, José Macário et al. Developing a web-based system to create, deliver and assess language proficiency within the PAULEX Universitas project. Procedia, Amsterdam, v. 15, p. 662-666, 2011. [ Links ]

DOOEY, Patricia. Language testing and technology: Problems of transition to a new era. ReCALL, Cambridge, v. 20, n. 1, p. 21-34, 2008. [ Links ]

ESPAÑA. Ley Orgánica 8/2013 de 9 de diciembre para la mejora de la calidad educativa. Boletín Oficial de Estado, Madrid, n. 295.8/2013, 10 dic. 2013, p. 97858-97921, 2013. [ Links ]

ESPAÑA. Real Decreto 1892/2008, de 14 de noviembre, por el que se regulan las condiciones para el acceso a las enseñanzas universitarias oficiales de grado y los procedimientos de admisión a las universidades públicas españolas. Boletín Oficial de Estado, Madrid, n. 283, 24 nov. 2008, p. 46932-46946, 2008. [ Links ]

FIRTH, Alan; WAGNER, Johannes. On discourse, communication, and (some) fundamental concepts in SLA research. Modern Language Journal, v. 81, n. 3, p. 285-300, 1997. [ Links ]

GARCÍA LABORDA, Jesús et al. Ergonomics factors in English as a foreign language testing: the case of PLEVALEX. Computers & Education, Amsterdam, v. 54, n. 2, p. 384-391, 2010. [ Links ]

GARCÍA LABORDA, Jesús; GIMENO SANZ, Ana; DE SIQUEIRA, José Macário. Experimentación de las soluciones tecnológicas del proyecto PAULEX para optimizar la prueba de inglés del examen de acceso a la universidad en España. ETD, Campinas, v. 12, n. 1, p. 1-11, 2011. [ Links ]

IN’NAMI, Yo; Y KOIZUMI, Rie. A meta-analysis of test format effects on reading and listening test performance: focus on multiple-choice and open-ended formats. Language Testing, New York, v. 26, n. 2, p. 219-244, 2009. [ Links ]

JONES, Leo. The student-centered classroom. Cambridge: Cambridge University Press, 2007. [ Links ]

JORNET MELIÁ, Jesús; GONZÁLEZ SUCH, José. Evaluación criterial: determinación de estándares de interpretación (EE) para pruebas de rendimiento educativo. ESE, La Rioja, v. 16, 103-123, 2009. [ Links ]

KRONBERGER, Nicole; WAGNER, Wolfgang. Keywords in context: statistical analysis of text features. In: BAUER, Martin; GASKELL; George (Ed.). Qualitative researching with text, image and sound: a practical handbook. London: Sage, 2000. p. 299-317. [ Links ]

LABI, Aisha. European educators predict chaos if ETS expands internet-based English test to 100 countries. Chronicle of Higher Education, Washington, v. 52, n. 22, p. 47-48, 2006. Disponible en: <http://chronicle.com/article/European-Educators-Predict/11510>. Acceso en: 10 ag. 2016. [ Links ]

LEVY, Mike; STOCKWELL, Glenn. CALL Dimensions: Options and Issues in Computer Assisted Language Learning. Mahwah: Lawrence Erlbaum, 2006. [ Links ]

MALABONGA, Valerie; KENYON, Dorry; CARPENTER, Helen. Self-assessment, preparation and response time on a computerized oral proficiency test. Language Testing, New York, v. 22, p. 59-92, 2005. [ Links ]

MARTÍN MONJE, Elena. El aprendizaje mixto en la preparación de la prueba de acceso a la universidad en lengua inglesa: aportaciones de un estudio experimental. Porta Linguarum, Granada, v. 19, p. 71-85, 2013. [ Links ]

MARTÍN MONJE, Elena. La nueva prueba oral en el examen de inglés de la prueba de acceso a la universidad: una propuesta metodológica. Revista de Educación, Madrid, v. 357, p. 143-161, 2012. Disponible en: <http://www.mecd.gob.es/revista-de-educacion/numeros-revista-educacion/numeros-anteriores/2012/re357/re357_07.html>. Acceso en: 10 ago. 2016. [ Links ]

MARTÍN MONJE, Elena. El aula virtual de inglés y su utilidad en la preparación de la PAU. In: R. Caballero Rodríguez y M. J. Pinar Sanz (Eds.). Ways and Modes of Human Communication. Ciudad Real: Universidad de Castilla-La Mancha, 2010. P. 323-330. [ Links ]

MCNAMARA, Tim. Validity in language testing: the challenge of sam messick’s legacy. Language Assessment Quarterly, Milton Park, v. 3, n. 1, p. 31-51, 2006. [ Links ]

MIKHAILOVA, Elena; NILSON, Linda. Developing prolific scholars: The “fast article writing” methodology. Journal of Faculty Development, Stillwater, v. 21, n. 2, p. 93-100, 2007. [ Links ]

MORRIS, Charles. Fundamentos de la teoría de los signos. Barcelona: Paidós, 1985. [ Links ]

NUNAN, David. Syllabus design. Oxford: Oxford University Press, 1988. [ Links ]

OCKEY, Gary. Developments and challenges in the use of computer-based testing for assessing second language ability. Modern Language Journal, Malden, v. 93, n. 1, p. 836-847, 2009. [ Links ]

PENNYCOOK, Alastair. The cultural politics of English as an international language. London: Longman, 1994. [ Links ]

REINERT, Max. Quelques aspects du choix des unités d’analyse et de leur contrôle dans la méthode ‘Alceste’. 1995. Journées Internationales D’Analyse Statistique des Données Textuelles, Roma, 11-13 dic. 1995. Disponible en: <http://www.image-zafar.com/sites/default/files/publications/jadt1995rome.pdf>. Acceso en: 10 ago. 2016. [ Links ]

RICHARDS, Jack; RODGERS, Theodore. Approaches and methods in language teaching. Cambridge: Cambridge University Press, 2014. [ Links ]

SAIF, Shahrzad. Aiming for positive washback: a case study of international teaching assistants. Language Testing, New York, v. 23, n. 1, p. 1-34, 2006. [ Links ]

SKEHAN, Peter. Focus on form, tasks, and technology, computer assisted. Language Learning, Milton Park, v. 16, n. 5, p. 391-411, 2003a. [ Links ]

SKEHAN, Peter. Task-based instruction. Language Teaching, Cambridge, v. 36, p. 1-34, 2003b. [ Links ]

SOLANO-FLORES, Guillermo. Who is given tests in what language by whom, when, and where? The need for probabilistic views of language in the testing of English language learners. Educational Researcher, Amsterdam, v. 37, n. 4, p. 189-199, 2008. [ Links ]

VYGOTSKY, Lev. Mind and society. Cambridge: Harvard University Press, 1978. [ Links ]

WANG, Junju. The college English test in China: challenges and suggestions. Asian Journal of English Language Teaching, Hong Kong, v. 17, p. 137-144, 2007. [ Links ]

WEIR, Cyril. Language testing and validation: an evidence based approach. Houndgrave: Palgrave MacMillan, 2005. [ Links ]

WILLIS, Jane. A framework for task-based learning. London: Longman,1996. [ Links ]

WINKE, Paula; AQUIL, Rajaa. Issues in developing standardized tests of Arabic language proficiency. In: WAHBA, Kassem; TAHA, Zeinab; ENGLAND, Liz (Ed.). Handbook for Arabic language teaching professionals in the 21st century. Mahwah: Lawrence Erlbaum Associates, 2006. p. 221-235. [ Links ]

1- “un comunicador defectuoso, limitado por una competencia comunicativa subdesarrollada” (traducción de los autores).

2 - InGenio es un sistema de gestión del aprendizaje, diseñado en el seno del Grupo de investigación CAMILLE (Universidad Politécnica de Valencia, España), que proporciona acceso a diferentes materiales didácticos, cursos y exámenes en línea para el aprendizaje y evaluación de lenguas extranjeras.

3- La incorporación a PAU de la evaluación de la comprensión y expresión oral no se sugirió en España hasta la aprobación del mencionado Real decreto 1892/2008 por el que se regulabann las condiciones para el acceso a las enseñanzas universitarias oficiales de grado y los procedimientos de admisión a las universidades públicas españolas.

I- Los autores quisieran expresar su agradecimiento al Ministerio de Ciencia e Innovación del Gobierno de España por la financiación, dentro del Plan Nacional de I+D+I, del proyecto Paulex Universitas (HUM2007-66479-C02-01/FILO).

Recibido: 04 de Mayo de 2015; Aprobado: 15 de Marzo de 2016

Ana Sevilla-Pavón es doctora en Lingüística aplicada, profesora de inglés en el Departamento de Filología Inglesa y Alemana de la Universidad de Valencia y coordinadora del área de inglés de dicho departamento.

Ana Gimeno-Sanz es doctora en Filología inglesa y profesora titular del Departamento de Lingüística Aplicada de la Universidad Politécnica de Valencia.

Jesús García-Laborda es doctor en Filología inglesa y profesor titular del Departamento de Filología Moderna de la Universidad de Alcalá.

Creative Commons License  This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License, which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.