Los recursos educativos electrónicos: perspectivas y herramientas de evaluación

Electronic educational resources: perspectives and evaluation tools

ARTIGOS

Los recursos educativos electrónicos: perspectivas y herramientas de evaluación

Electronic educational resources: perspectives and evaluation tools

Maria Pinto^I; Carmen Gomez-Camarero^II; Andrés Fernández-Ramos^III

^IDepartamento de Biblioteconomía y Documentación

^IIDepartamento de Filologia Griega, Estudios Arabes, Linguistica y Documentacion

^IIIAgencia de Evaluación de Tecnologías Sanitarias. Instituto de Salud Carlos III, Madrid. Dpto. de Biblioteconomía y ocumentación. Universidad Complutense de Madrid

RESUMEN

Los recursos electrónicos con fines educativos están cada vez más presentes en los procesos de enseñanza-aprendizaje actuales, y por tanto, en las colecciones digitales de las bibliotecas. Ante su proliferación y heterogeneidad cada vez mayor se ha planteado como una necesidad para la comunidad universitaria definirlos y establecer un conjunto de criterios claros y relevantes de evaluación que permitan determinar la calidad de los mismos. En este trabajo se analizan las principales definiciones sobre recursos educativos electrónicos de cara a su acotación, se revisan las diferentes perspectivas para la evaluación de su calidad a través de la literatura científica, y se revisan las principales herramientas utilizadas para valorarlos. Finalmente, se presenta EVALUAREED, un instrumento diseñado para analizar y medir la calidad de los mismos, enfocado para ser utilizado por la comunidad universitaria, incluidas las bibliotecas.

Palabras clave: Evaluación; Calidad; Recursos educativos electrónicos; Enseñanza superior; Bibliotecas universitárias; EVALUAREED.

ABSTRACT

Electronic resources for education are increasingly present in the teaching-learning processes and in the digital library collections. Because of the proliferation and variety of educational resources, the educational community needs to define and establish a set of clear and relevant assessment to determine their quality. This paper reviews the main definitions of electronic educational resources as well as different perspectives to the assessment of their quality through the scientific literature, and the main tools used to value them. Finally, it describes EVALUAREED, an instrument designed to analyze and measure the quality of these resources used by universitary community included the libraries.

Keywords: Evaluation; Quality; Electronic Educational Resources; High Education; Universitary Libraries; EVALUAREED.

1 Introducción

La aplicación cada vez más generalizada de las Tecnologías de la Información y la Comunicación (TIC) al ámbito educativo (TICE) está facilitando la renovación de los métodos pedagógicos y educativos, y la potenciación de nuevos entornos de enseñanza-aprendizaje concebidos como espacios abiertos, flexibles, interactivos y dinámicos, donde se integran de manera coherente todos los elementos que componen estas comunidades virtuales de aprendizaje. En este contexto es apreciable el incremento de recursos electrónicos con fines educativos que se están desarrollando en el ámbito de la educación y muy especialmente en la formación universitaria. Hay que mencionar que cada vez más, estos recursos electrónicos educativos están formando parte de las colecciones digitales de las bibliotecas universitarias.

Ante la proliferación y heterogeneidad de este tipo de materiales se hace evidente la necesidad de evaluarlos, entre otras razones, porque un análisis detallado de los mismos permite obtener información significativa acerca de cómo utilizarlos para conseguir los objetivos pedagógicos que se pretenden en un contexto educativo determinado. Una evaluación constructiva ayuda a analizar, enriquecer y mejorar aspectos de los procesos de enseñanza-aprendizaje, pues permite obtener información sobre sus ventajas y desventajas, su potencial, sus limitaciones y sobre cómo son utilizados. Nos sirve, en definitiva, para mejorar las prácticas educativas.

Los profesionales de la información y la documentación llevan mucho tiempo prestando su ayuda a las comunidades educativas mediante la identificación, evaluación, selección, descripción y puesta a disposición de los usuarios de los recursos necesarios para la enseñanza y el aprendizaje, tradicionalmente en formato papel y últimamente en soportes digitales. Además, con su labor de formación en competencias informacionales, tanto a los docentes como a los estudiantes, contribuyen de manera efectiva a desarrollar las habilidades relacionadas con la identificación y selección de información valiosa y de calidad lo que redundará en que su uso y acceso sea más eficaz.

Teniendo esto en cuenta consideramos que la perspectiva documental puede aportar mucho a la evaluación y mejora de este tipo de materiales, ya que, aunque con unas particularidades concretas, no dejan de ser recursos de información.

En este trabajo, a través de la revisión de la literatura especializada, se aborda y analiza el concepto de recurso educativo electrónico desde una perspectiva documental, se establece una tipología clasificatoria en función de sus principales características. Se incide en la importancia que tiene la evaluación de recursos educativos en el marco de las actividades y servicios de la biblioteca, considerándola como una competencia informacional clave para todos sus usuarios en general, ya sean estudiantes o docentes. Asimismo, se muestran las principales perspectivas, propuestas y herramientas de evaluación.

En este sentido, el objetivo de este trabajo es concienciar a los profesionales de la información sobre la importancia creciente de evaluar los recursos educativos electrónicos de una manera sistemática y rigurosa apoyada por el uso de instrumentos que midan tanto aspectos objetivos como subjetivos de la calidad de estos recursos.

2 Los recursos educativos electrónicos: concepto y características

Una de las dificultades para valorar la calidad de un recurso educativo electrónico se presenta, en primer lugar, a la hora de determinar qué se entiende por tal, puesto que la gama es muy amplia debido a la utilización creciente de las TIC en los contextos educativos (FERNÁNDEZ, 2007). En la literatura científica revisada se pone de manifiesto la falta de consenso a la hora de denominar a estos productos: objeto digital de aprendizaje, material digital de aprendizaje, material educativo electrónico, recurso digital educativo En el contexto educativo se utiliza de forma más generalizada el concepto de "objeto de aprendizaje", objeto educativo u objeto digital educativo, traducción del inglés Learning Object (LO), como unidad básica a partir de la cual pueden construirse estructuras y elementos de contenido más complejos. Basado en el paradigma de la Programación Orientada por Objetos, el concepto de objeto de aprendizaje se acuña como "un modelo eficiente y efectivo para la producción de contenidos y recursos educativos modulares, reutilizables en diferentes contextos y distintas plataformas tecnológicas" (CORREA, 2006).

Las definiciones proceden de fuentes diversas, tanto de entidades como el Institute for Electrical and Electronic Engineers (IEEE, 2002), y British Columbia Ministry of Education (2002), como de investigadores como Wiley (2000), Polsani (2003), López Guzmán (2005), Correa (2006) o Nokelainen (2006). Todas ellas aportan información sobre algunas de sus características básicas, como la reusabilidad, la adaptabilidad, la descripción con metadatos y la presencia de mecanismos de evaluación.

En definitiva, las cualidades que los caracterizan básicamente son las siguientes (REHAK; MASON, 2003): 1) son reutilizables porque pueden ser modificados y reutilizados en diferentes contextos, 2) son interoperables, porque pueden operar en diferentes plataformas tecnológicas; 3) son durables, pues son flexibles y fáciles de actualizar y 4) son accesibles, pues son fáciles de localizar y recuperar en una base de datos o en cualquier sistema de almacenamiento de contenidos educativos, gracias a estar normalizados por los metadatos.

La interoperabilidad y la reutilización de contenidos educativos electrónicos se consiguen mediante el establecimiento de criterios normalizados y sistematizados para permitir que estos materiales puedan ser intercambiados, reutilizados o adaptados en situaciones educativas heterogéneas o en plataformas tecnológicas diferentes. La normalización implica además, un importante ahorro tanto económico como de desarrollo y esfuerzo (MOGHARREBAN; GUGGENHEIM, 2008).

En los últimos años, la tendencia a compartir y a crear recursos educativos abiertos y accesibles a todo el mundo aumenta de manera progresiva, y se ha conformado un nuevo concepto, el Recurso Educativo Abierto (Open Educational Resource - OER), entendido como aquel "material en formato digital que se ofrece de manera gratuita y abierta para educadores, estudiantes y autodidactas para su uso y re-uso en la enseñanza, el aprendizaje y la investigación" (UNESCO, 2002). Los nuevos escenarios educativos propician una demanda creciente de este tipo de recursos abiertos, modulares, flexibles, adaptables y de calidad en todos los niveles y áreas de la enseñanza, incluida la universitaria, que puedan ser utilizados y adaptados a la diversidad de circunstancias y contextos didácticos. Por esta razón, se están llevando a cabo por parte de diferentes instancias, tanto públicas como privadas, iniciativas y actuaciones para ofrecerlos de forma abierta a través de Internet. Es el movimiento conocido como "open courseware" (OCW) o repositorios de OER, cuya filosofía de compartir el conocimiento, gracias a las posibilidades proporcionadas por la evolución de la web en los últimos años, está teniendo una gran repercusión en todos los ámbitos. La institución más representativa en este caso es el Massachussets Institute of Technology (MIT) que en 2001 pone en marcha su proyecto de almacenar y difundir de manera pública y abiertos sus contenidos docentes universitarios, con el propósito más ambicioso de crear un movimiento flexible basado en un modelo eficiente que otras universidades puedan emular a la hora de publicar sus propios materiales pedagógicos generando sinergias y espacios de colaboración. El OCW del MIT se ha convertido en un ejemplo seguido por muchas otras instituciones universitarias. Existe un consorcio denominado OCW Consortium (http://www.ocwconsortium.org/) que engloba a más de cien instituciones universitarias de América, Europa, África y Asia, interesadas en la producción y compartición de recursos educativos abiertos de forma normalizada. En España, Universia ha decidido participar en esta iniciativa y crear un OCW entre universidades españolas e iberoamericanas (http://ocw.universia.net/es/).

En los OCW, los objetos de aprendizaje son materiales docentes que los profesores universitarios utilizan en sus prácticas educativas, y que pueden ser programas docentes, ejercicios y actividades propuestas en clase, vídeos, y demás documentos de cualquier formato utilizados en clase. Aunque el MIT presenta una serie de categorías de elementos definidos para describir las asignaturas (temario, calendario, lecturas, conferencias, prácticas, tareas, exámenes ), éstos no son obligatorios, de forma que los docentes pueden elegir los elementos descriptivos que consideren adecuados para sus cursos (PERNÍAS; MARCO, 2007). En cualquier caso y a pesar de estas diferencias entre asignaturas, los OCW constituyen un conjunto homogéneo válido para poder evaluar su calidad (PINTO; GÓMEZ-CAMARERO, 2011).

3 Perspectivas de evaluación

La usabilidad es el enfoque desde el que de forma generalizada, se analizan y valoran los recursos digitales educativos. Aparece como disciplina dentro del ámbito de la Interacción Persona-Ordenador, más conocida por las siglas HCI (Human-Computer Interaction), que estudia el intercambio de información entre las personas y los ordenadores con el objeto de hacerlo más eficiente, de cara a minimizar los errores, incrementar la satisfacción, disminuir la frustración y en definitiva, hacer más productivas las tareas que implican a las personas y los ordenadores (MANCHÓN, 2003).

Desde el concepto inicial, ha ido incorporando matices relativos a diversos campos de estudio afines como el diseño de la interfaz centrada en el usuario, las ciencias de la computación, las ciencias de la conducta, la psicología cognitiva o las comunidades virtuales, de manera que lo que tradicionalmente había sido la esfera de acción de HCI se ha ido ampliando con los años, incorporando elementos de reflexión acerca de la experiencia de los usuarios, sus necesidades y expectativas, el contexto, etc. (PREECE et al., 2002).

Cuando la usabilidad es aplicada en el ámbito del e-learning, los requerimientos de calidad engloban características específicas derivadas de los procesos de enseñanza-aprendizaje, que tienen que ver con aspectos relacionados con los elementos técnicos y el diseño de la interfaz web; pero también criterios que "van más allá" de los principios generales, como algunos autores expresan (KUKULSKA-HULME; SHIELD, 2004), que incluyen en la evaluación elementos pedagógicos con el objeto de asegurar la eficacia y el logro de los objetivos propuestos. La necesidad de integrar las nociones clásicas de usabilidad y de aprendizaje es puesta de manifiesto por Squires (1999), al condicionar la calidad de un recurso de e-learning no sólo al carácter "usable" de su diseño sino también a su valor pedagógico. Otros autores señalan que un recurso de aprendizaje electrónico puede ser muy válido desde la perspectiva de la usabilidad técnica, pero puede no tener ningún valor pedagógico, y a la inversa (QUINN, 1996; ALBION, 1999; SQUIRES; PREECE, 1999). Esta dimensión, denominada usabilidad pedagógica o instruccional, se incorpora en el desarrollo y diseño de métodos de valoración de la calidad de los recursos electrónicos educativos, ampliando los criterios clásicos. En concreto, Reeves (1997) propone catorce dimensiones pedagógicas como alternativa a la evaluación tradicional de la educación basada en ordenadores. Pone en cuestionamiento los indicadores meramente estadísticos y empíricos para incidir en aspectos como la motivación, el aprendizaje o la implementación de pedagogías innovadoras. Cada dimensión de Reeves se define como un continuo entre dos valores extremos que la delimitan, es decir, dos tipos de enfoque con valores opuestos, que permite situar el diseño instruccional del recurso en cuestión, el cual adquiere una proporción equilibrada entre ambos extremos en función de las necesidades docentes. Las dimensiones pedagógicas de Reeves son: Epistemología, Filosofía Pedagógica, Psicología Subyacente, Orientación de las metas, Valor de la experiencia, Rol del profesor, Flexibilidad, Valor de los errores, Origen de la motivación y Adaptación a las diferencias individuales. En la Tabla 1, pueden observarse las dimensiones y sus valores opuestos:

En cambio, para Laurillard (2002) se debe conseguir que el usuario se centre en la tarea propuesta para lograr los objetivos pedagógicos y que el diseño de la interfaz no produzca ninguna interrupción en esa actividad; se centra en tres aspectos cuando analiza la usabilidad: la interfaz de usuario, el diseño de las actividades de aprendizaje y los objetivos de aprendizaje. Nokelainen (2006) por su parte, basándose en los criterios pedagógicos desarrollados por especialistas como Reeves (1994), Quinn (1996), Squires y Preece (1996; 1999), Albion (1999) y Horila et al. (2002), crea una herramienta informática de evaluación, eValuator (http://evaluator.hamk.fi), que incluye 10 dimensiones y que hace operativas en 56 subdimensiones. Estas diez dimensiones son: 1. Control del alumno, 2. Actividad del alumno, 3. Aprendizaje cooperativo/colaborativo, 4. Orientación objetivos, 5. Aplicabilidad, 6. Valor añadido, 7. Motivación, 8. Valoración del conocimiento previo, 9. Flexibilidad y 10. Feedback. En la Tabla 2 se muestra ambos niveles.

Las últimas tendencias incorporan las dimensiones emocionales del aprendizaje a la evaluación de las aplicaciones de e-learning. Se trata de un ámbito de estudio muy reciente, el aprendizaje afectivo, que centra la atención en el impacto que los estados afectivos y emocionales tienen en los procesos de enseñanza-aprendizaje, dado que las emociones desempeñan un papel crucial en el éxito o fracaso de cualquier proceso educativo. La motivación, la emoción, el interés, la atención, la curiosidad, etc., son funciones íntimamente unidas a las funciones cognitivas. En el ámbito del e-learning y de la interacción persona-computador, el análisis de los estados afectivos se convierte en una disciplina emergente (PICARD et al., 2004), que tiene como objetivo hacer participar a los estudiantes en una experiencia de aprendizaje exitosa promoviendo estados afectivos positivos. Zaharias (2009) argumenta que "el afecto es el combustible que los estudiantes aportan al entorno de aprendizaje conectándolos al "porqué" del aprender", y concluye que la "motivación para aprender" es el factor de aprendizaje afectivo que más puede influenciar la interacción de los usuarios con la aplicación. De esta manera, desarrolla un cuestionario de evaluación en el que combina los clásicos criterios de usabilidad web y los derivados del diseño instruccional, proponiendo la "motivación para aprender" como una nueva medida de usabilidad para el diseño de e-learning (ZAHARIAS, 2009). Sus parámetros de medida son los siguientes: 1. Contenido, 2. Aprendizaje & Apoyo, 3. Diseño visual, 4. Navegación, 5. Accesibilidad, 6. Interactividad, 7. Autoevaluación & Facilidad de aprendizaje y 8. Motivación para aprender.

Desde la perspectiva de la Documentación, Marzal y Calzada-Prado (2003) realizaron una primera aproximación a la definición de criterios de usabilidad, poniéndolas en relación con la alfabetización y las competencias en información aplicables a recursos educativos. Unos años después, estos criterios se materializan en un modelo de evaluación que consta de 23 indicadores agrupados en torno a tres categorías: Captación, vinculada al mecanismo cognitivo de la atención, Fidelización, vinculada a la percepción y Capacidad alfabetizadora, vinculada con la memoria (MARZAL; CALZADA-PRADO; VIANELLO, 2008).

En esta tabla resumen, se observan los diferentes criterios que utilizan algunos de los autores citados:

4 Herramientas de evaluación

La variedad y tipología de los recursos educativos electrónicos es inmensa, en función de los contextos educativos, de los tipos de actividad, de las aplicaciones y los formatos utilizados o de las plataformas o entornos virtuales de aprendizaje en donde se desarrollen este tipo de materiales. Esta heterogeneidad constituye una dificultad a la hora de diseñar estándares que permitan su evaluación, pero ya se están proponiendo diferentes soluciones, especialmente a nivel de instituciones y organismos educativos. Algunos de ellos han desarrollado marcas de reconocimiento que avalan su calidad, tanto a nivel de los contenidos, del acceso y navegabilidad como de su ergonomía. Tanto en el panorama internacional como el nacional, encontramos varias iniciativas públicas y privadas que fomentan la creación de recursos educativos electrónicos de calidad:

a) Evaluating, Selecting, and Managing Learning Resources: A Guide (BRITISH COLUMBIA, 2002). Diseñada para profesores, bibliotecarios, evaluadores y demás personas implicadas en la creación, evaluación y gestión de recursos educativos utilizados en la enseñanza primaria y secundaria de la provincia canadiense de British Columbia. En ella se proporciona información exhaustiva sobre políticas educativas y procedimientos de evaluación, proponiendo modelos válidos para todo tipo de material educativo e incluyendo criterios específicos para los digitales. Los criterios generales de evaluación considerados por esta guía se refieren al contenido, el formato, la metodología, la evaluación y consideraciones de tipo social, mientras que los específicos atienden al contenido, el diseño instruccional, el diseño técnico y consideraciones de tipo social. La guía, accesible en internet, se complementa con formularios que pueden ser utilizados para la evaluación;

b) LORI -Learning Object Review Instrument- (NESBIT; BELFER; LEACOCK, 2003). Herramienta que permite evaluar los objetos de aprendizaje en función de nueve variables: 1. Calidad de los contenidos: veracidad, exactitud, presentación equilibrada de ideas y nivel adecuado de detalle. 2. Adecuación de los objetivos de aprendizaje: coherencia entre los objetivos, actividades, evaluaciones, y el perfil del alumnado. 3. Feedback (retroalimentación) y adaptabilidad: contenido adaptativo o feedback dirigido en función de la respuesta de cada alumno/a y su estilo de aprendizaje. 4. Motivación: capacidad de motivar y generar interés en un grupo concreto de alumno/as. 5. Diseño y presentación: el diseño de la información audiovisual favorece el adecuado procesamiento de la información. 6. Usabilidad: facilidad de navegación, interfaz predictiva para el usuario y calidad de los recursos de ayuda de la interfaz. 7. Accesibilidad: el diseño de los controles y la presentación de la información está adaptada para discapacitados y dispositivos móviles. 8. Reusabilidad: capacidad para usarse en distintos escenarios de aprendizaje y con alumno/as de distintos bagajes. 9. Cumplimiento de estándares: Adecuación a los estándares y especificaciones internacionales;

c) SREB-SCORE (SREB, 2007; 2008). Iniciativa del Southern Regional Education Board, una cooperativa de Tecnología Educacional integrada por 16 estados estadounidenses. Su propósito es la compartición de contenidos educativos digitales de calidad entre colegios, institutos y universidades de los estados integrantes. Los contenidos de aprendizaje, que son depositados en repositorios o bases de datos para ser compartidos, pasan estrictos controles de calidad por parte de cada agencia estatal de educación, asegurando su pertinencia y calidad, de acuerdo a las guías de SREB .De esta manera, los profesores de todos los estados participantes pueden acceder a ellos a través de un catálogo único centralizado y utilizarlos para mejorar la calidad de sus cursos. Las categorías de contenido de aprendizaje digital identificadas por SCORE-SREB se clasifican en función de su tamaño, complejidad y su capacidad para estructurarse en módulos o no. Se identifican cuatro categorías que son las siguientes: recurso, objeto de información, objeto de aprendizaje y componente de aprendizaje. SREB-SCORE publica guías para evaluar los contenidos educativos digitales que alimentan sus repositorios. Los criterios utilizados como indicadores de calidad y efectividad son los siguientes: 1. Calidad del contenido, 2. Alineación con los objetivos de Aprendizaje, 3. Feedback, 4. Motivación, 5. Diseño de la Presentación, 6. Usabilidad de la interfaz, 7. Accesibilidad, 8. Reusabilidad, 9. Conformidad con los estándares y especificaciones, y 10. Propiedad intelectual y derechos de autor;

d) HEODAR (Herramienta de Evaluación de Objetos Didácticos de Aprendizaje Reutilizables) (MORALES MORGADO et al., 2008): Es una herramienta que plantea una serie de criterios pedagógicos y técnicos para evaluar objetos de aprendizaje. Tomando como referencia el instrumento LORI extiende sus criterios para evaluar aspectos psicopedagógicos referentes al usuario, como la capacidad de motivación, la creatividad, la adecuación a los destinatarios o la interactividad, y elementos didácticos relativos al ámbito curricular. También propone criterios para valorar el diseño de la interfaz (características del texto, uso de imágenes, animaciones, multimedia, sonido y video y la pertinencia de su utilidad), el diseño de contenidos y la navegabilidad (estructura adecuada, títulos claros, visualización de la ubicación del usuario en relación a todo el contenido;

En esta tabla pueden observarse, de forma resumida, los criterios evaluados por cada herramienta:

e) Project on information literacy Open Educational Resources (http://www.informationliteracy.org.uk): Se trata de un proyecto del CILIP (Chartered Institute of Library and Information Professionals) que colabora junto con la UNESCO con el objetivo de poner de relieve los recursos educativos abiertos sobre alfabetización informacional en el Reino Unido. Este proyecto se encuentra en sus primeras fases de desarrollo y pretende a partir de una encuesta disponible a través de la web (http://www.informationliteracy.org.uk/2012/04/project-on-information-literacy-open-educational-resources/), conocer la opinión de los bibliotecarios que trabajan en este sentido, e identificar a los profesionales de la información interesados en participar en el proyecto;

f) EVALUAREED: Recientemente, bajo el auspicio del Ministerio de Educación se ha finalizado el proyecto de investigación y desarrollo EVALUAREED (SEJ2007-62244) destinado a diseñar una metodología para la evaluación de los recursos educativos electrónicos basada en la combinatoria de juicio de experto y la creación de una sonda automática que permita medir la calidad su y categorizarlos en función de los resultados (PINTO, 2010);

EVALUAREED permite, en primer lugar, hacer un análisis cualitativo, describiendo las distintas tipologías y sus características, en segundo lugar, ofrecer pautas concretas para conocer la calidad de una de esas tipologías, los OCW y, en último lugar, utilizar un software que ayude a la identificación de su calidad. El resultado final se concreta en el desarrollo de un portal y en la elaboración de un checklist, que ayuda a la identificación de la calidad de los recursos educativos electrónicos de dominio público presentes en las universidades españolas, comprobando su nivel de calidad, destacando las fortalezas y los puntos de mejora.

La metodología empleada para desarrollar EVALUAREED parte de un enfoque cualitativo-cuantitativo para llegar a la definición de un conjunto de criterios e indicadores ponderados, que se aplican a una muestra representativa de recursos con el objeto de determinar su eficacia y eficiencia y sus diferentes contextos y condiciones de uso. Los indicadores son de dos tipos: estimados por expertos humanos y programados en una sonda automática. Se presta especial atención a la relación entre ambos y a su complementariedad de cara a permitir una evaluación asistida por ordenador lo más objetiva posible, aunque sin prescindir del juicio humano en aquellos aspectos en que éste sea necesario. La creciente incorporación de factores relacionados con el prestigio del responsable, la actualización, la estructuración del contenido, la correlación entre contenidos de la página y del título, así como su posicionamiento en los motores de búsqueda, muestra cómo la incorporación de indicadores cuantitativos de la calidad del recurso empieza a ser un criterio de uso creciente en la recuperación de recursos digitales, y apoya la aproximación propuesta en este estudio a la evaluación de los recursos y plataformas de aprendizaje.

El checklist EVALUAREED se estructura en nueve criterios que a su vez contienen 44 indicadores, a través de los cuales se pretende valorar la calidad de los recursos educativos electrónicos. Los grandes bloques de evaluación giran en torno a: 1) calidad del contenido, 2) objetivos y metas de aprendizaje, 3) feedback, 4) usabilidad, 5) motivación, 6) accesibilidad, 7) requerimientos técnicos, 8) propiedad intelectual, y 9) efectividad del recurso desde el punto de vista del aprendizaje. Estos bloques definen conjuntos de características que un recurso puede tener para considerarse adecuado desde el punto de vista de la usabilidad y de la efectividad pedagógica. El checklist es accesible desde el sitio web del proyecto http://www.evaluareed.edu.es, donde se puede valorar la calidad de un recurso educativo a partir de los datos introducidos, dando como resultado un informe sobre sus aspectos positivos, sus puntos débiles y cómo mejorarlos. El portal proporciona además información detallada sobre el desarrollo de la herramienta, así como un conjunto de recursos bibliográficos evaluados relacionados con este ámbito. Se ofrece igualmente un directorio de OCW’s de diferentes áreas de conocimiento de universidades españolas previamente analizados y valorados, y noticias de interés sobre el ámbito educativo.

5 Conclusiones

La utilización de los recursos educativos electrónicos en la actividad docente es una realidad creciente en la educación universitaria. Paralelamente, se incrementa la necesidad de que estos materiales de aprendizaje digitales sean eficaces y de calidad y que puedan ser utilizados por los docentes en sus prácticas educativas, cada vez más enmarcadas en el ámbito de las plataformas digitales, del intercambio de información, de acceso a recursos abiertos y del libre acceso. En este contexto, las universidades están sufriendo una transformación importante en sus ideas respecto a la disponibilidad y acceso a los materiales docentes. Ello es evidente a la luz de las iniciativas OCW de creación de repositorios de materiales de asignaturas universitarias, de acceso abierto y público.

El estudio y la revisión de la literatura científica nos ofrece una amplia gama de trabajos que tratan estos aspectos con el propósito fundamental de definir criterios de calidad para la producción y diseño de estos materiales docentes, así como por establecer modelos de evaluación que permitan disponer de unos recursos educativos útiles, válidos, fiables, reutilizables e intercambiables. La heterogeneidad en la definición de estos criterios de calidad es paralela a la existente a la hora de delimitar el concepto de objeto o recurso de aprendizaje, dada la amplísima variedad de objetos digitales que pueden ser considerados recursos educativos, y a lo que también contribuye la evolución constante de la tecnología.

Por ello resulta necesaria una sistematización de conceptos, modelos y criterios de evaluación de los recursos educativos electrónicos, teniendo en cuenta la importancia que tienen en el actual contexto de desarrollo del EEES, centrado en el aprendizaje por competencias de los estudiantes.

Con este mismo objetivo, se crean el portal y el checklist EVALUAREED (www.evaluareed.edu.es) que pretenden ser de utilidad a la comunidad científica universitaria en unos momentos de significativo cambio, al ofrecer una herramienta contrastada para evaluar y determinar la calidad de los recursos y plataformas educativas electrónicas. En este sentido, las bibliotecas universitarias deben tener presente que la competencia de evaluación de la información es clave en la formación de los estudiantes, y por tanto deben realizar un esfuerzo para orientarles en la adecuada y eficaz utilización de los recursos para el aprendizaje, facilitándoles el acceso a una serie de herramientas que les permitan resolver las dificultades prácticas que puedan impedir la utilización de forma satisfactoria de dichos recursos y servicios (PINTO; SALES; OSORIO, 2008). Además, sería una buena contribución del valor de la biblioteca en el éxito académico de los estudiantes, pues como manifiesta Oakleaf (2010) la tasa de graduación es superior entre aquellos estudiantes que adquieren formación en alfabetización informacional.

Agradecimiento

Agradecemos al Ministerio de Ciencia e Innovación la financiación concedida para la realización de este proyecto competitivo de investigación y desarrollo (SEJ2007-62244).

Bibliografía

ALBION, P. R. Heuristic evaluation of educational multimedia: from theory to practice. En: ANNUAL CONFERENCE OF THE AUSTRALIASIAN SOCIETY FOR COMPUTERS IN LEARNING IN TERTIARY EDUCATON, 16, 1999. Proceedings . Brisbane: ASCILITE, 1999. p. 1-9.

BRITISH COLUMBIA. Ministry of Education. Evaluating, selecting and managing learning resources. 2002. Disponible en: <http://www.bced.gov.bc.ca/irp/resdocs/esm_guide.pdf>. Consultado: mayo 2012.

CORREA, L. El confuso universo de los Objetos de Aprendizaje. 2006. Disponible en: <http://www.universia.net.co/index2.php?option=com_content&do_pdf=1&id=5082>. Consultado: mayo 2012.

FERNÁNDEZ MANJÓN, B. et al. Uso de estándares aplicados a Tic en educación. CNICE, 2007. Disponible en: http://ares.cnice.mec.es/informes/16/versionpdf.pdf (consultado mayo 2012)

HORILA, M. et al. Criteria for the pedagogical usability, version 1.0. Hämeenlinna, Finland: Häme Polytechnic and University of Tampere, 2002.

INSTITUTE FOR ELECTRICAL AND ELECTRONIC ENGINEERS (IEEE). Draft Standard for Learning Object Metadata. 2000. Disponible en: <http://ltsc.ieee.org/wg12/files/LOM_1484_12_1_v1_Final_Draft.pdf>. Consultado: mayo 2012.

KUKULSA-HUME, A.; SHIELD, L. Usability and pedagogical design: are language learning websites special?, 2004. Disponible en: <http://hal.archives-ouvertes.fr/docs/00/19/03/40/PDF/KukulskaHulme-Agnes-2004.pdf>. Cconsultado: mayo 2012.

LAURILLARD, D. Rethinking university teaching: A conversational framework for the effective use of learning technologies. 2. ed. London and New York: Routledge, 2002.

LÓPEZ GUZMÁN, C. Los repositorios de objetos de aprendizaje como soporte a un entorno e-learning. Trabajo de Grado. Universidad de Salamanca, 2005. Disponible en: <http://www.biblioweb.dgsca.unam.mx/libros/repositorios/contenido>. Consultado: mayo 2012.

MANCHÓN, E. ¿Qué es la Interacción Persona-Ordenador? (Human-Computer Interaction) Definición. En alzado.org. 2003. Disponible en: <http://www.alzado.org/articulo.php?id_art=40>. Consultado: mayo 2012.

MARZAL, M.A.; CALZADO-PRADO, F. J . Un análisis de necesidades y hábitos informativos de estudiantes universitarios en Internet. Binaria: Revista de comunicación, cultura y tecnología, n. 3. p. 1-23, 2003.

MARZAL, M. A.; CALZADA-PRADO, J.; VIANELLO, M. Criterios para la evaluación de la usabilidad de los recursos educativos virtuales: un análisis desde la alfabetización en información. Information Research, v. 13, n. 4, p.1-15, 2008.

MOGHARREBAN, N.; GUGGENHEIN, D. Learning pod: a new paradigm for reusability of learnin objets. Interdisciplinary Journal of E-Learning and Learning Objects, n. 4, p. 303-315, 2008.

MORALES MORGADO, E. et al. HEODAR: herramienta para la evaluación de objetos didácticos de aprendizaje reutilizables". En: GIL GONZÁLEZ, A. B.; VELÁZQUEZ ITURBIDE, J. A.; GARCÍA PEÑALVO, J. (Coords.). SIMPOSIO INTERNACIONAL DE INFORMÁTICA EDUCATIVA SIIE 2008. Salamanca: Ediciones de la Universidad de Salamanca, 2008. p. 181-186.

NESBIT, J. C.; BELFER, K.; LEACOCK, T. Learning object review instrument (LORI). User Manual. E-Learning Research and Assessment Network (eLera) - Portal for Online Objects in Learning (POOL), 2003. Disponible en: <http://www.elera.net/eLera/Home/Articles/LORI%201.5.pdf>. Consultado: mayo 2012.

NOKELAINEN, P. An empirical assessment of pedagogical usability criteria for digital learning material with elementary school students. Educational Technology & Society, v. 9, n. 2, p. 178-197, 2006.

OAKLEAF, M. The value of academic libraries. Association of College & Research Libraries, 2010. Disponible en: <http://www.ala.org/acrl/sites/ala.org.acrl/files/content/issues/value/val_report.pdf>. Consultado: mayo 2012.

PERNÍAS, M.; MARCO, M. Motivación y valor del proyecto OpenCourseWare: la universidad del siglo XXI. En: Contenidos educativos en abierto [monográfico en línea]. Revista de Universidad y Sociedad del Conocimiento (RUSC), v. 4, n. 1, 2007. Disponible en: <http://www.uoc.edu/rusc/4/1/dt/esp/pernias_marco.pdf>. Conusltado: mayo 2012.

PICARD, R. W. et al. Affective Learning: a manifesto. BT Technology Journal, v. 22, n. 4, p. 253-259, 2004.

PINTO, M. (Direc.). Análisis, evaluación y mejora de los recursos digitales para el aprendizaje en el ámbito universitario español. Diseño de la herramienta EVALUAREED. Proyecto I+D. Referencia SEJ 2007-62244, 2010. Disponible en: <http://www.evaluareed.edu.es>. Consultado: mayo 2012.

PINTO, M.; SALES, D.; OSORIO, P. Biblioteca universitaria, CRAI y alfabetización informacional. Gijón: Trea, 2008.

PINTO, M.; GÓMEZ-CAMARERO, C. Propuesta de criterios e indicadores internacionales para la evaluación de los recursos educativos electrónicos. Ibersid, n. 5, pp. 81-87, 2011.

POLSANI, P. R. Use and abuse of reusable learning objects. Journal of Digital information, v. 3, n. 4, 2003. Disponible en: <http://www.info2.uqam.ca/~nkambou/DIC9340/seances/seance10et12/Standards%20et%20LO/http___jodi.ecs.soton.ac.pdf>. Consultado: mayo 2012.

QUINN, C. N. Pragmatic evaluation: lessons from usability. En: ANNUAL CONFERENCE OF THE AUSTRALASIAN SOCIETY FOR COMPUTERS IN LEARNING IN TERTIARY EDUCATION, 13, 1996. Proceedings Adelaide: ASCILITE, 1996. Disponible en: <http://www.ascilite.org.au/conferences/adelaide96/papers/18>. Consultado: mayo 2012.

REEVES, T. C. Evaluating what really matters in computer-based education. En: WILD, M.; KIRKPATRICK, D. (Eds.) Computer education: new perspectives. Perth, Australia: MASTEC, 1994. p. 219-246.

REEVES, T. C. Evaluating what really matters in computer-based education. 1997. Disponible en: <http://www.eduworks.com/Documents/Workshops/EdMedia1998/docs/reeves.html>. Consultado: mayo 2012.

REHAK, D. R.; MASON, R. Keeping the learning in learning objects. En: LITTLEJOHN, A. (Ed). Reusing online resources: a sustainable approach to e-learning. London: Sterling, VA Taylor & Francis, 2003. p. 20-34.

SQUIRES, D. Usability and educational software design: special issue of interacting with computers. Interacting with Computers, v. 11, n. 5, p. 463-466, 1999.

SQUIRES, D.; PREECE, J. Usability and learning: evaluating the potential of educational software. Computers and Education, v. 27, n. 1, p. 15-22, 1996.

SQUIRES, D.; PREECE, J. Predicting quality in educational software: evaluating for learning, usability and the synergy between them. Interacting with Computers, v. 11, n. 5, p. 467-483, 1999.

SREB. Checklist for evaluating SREB-SCORE Learning Objects. Atlanta: SREB’s Educational Technology Cooperative, 2007. Disponible en: <http://publications.sreb.org/2007/07T05_Checklist_Eval_SREB-SCORE.pdf>. Consultado: mayo 2012.

SREB. Evaluation Criteria for SREB-SCORE Assets. Atlanta: SREB’s Educational Technology Cooperative, 2008. Disponible en <http://publications.sreb.org/2008/08T01_SREB_SCORE_Assets.pdf>. Consultado: mayo 2012.

UNESCO. Forum on the impact of open courseware for higher education in developing countries: final report, 2002. Disponible en: <http://unesdoc.unesco.org/images/0012/001285/128515e.pdf>. Consultado: mayo 2012).

WILEY, D. A. Connecting learning objects to instructional design theory: a definition, a metaphor, and a taxonomy. En: WILEY, D. A. (Ed.). The instructional use of learning objects, 2000. Disponible en: <http://reusability.org/read/chapters/wiley.doc>. Consultado: mayo 2012.

ZAHARÍAS, P. Developing a usability evaluation method for e-learning applications: from functional usability to motivation to learn. International Journal of Human-Computer Interaction, v. 25, n. 1, p. 75-98, 2009.

Fechas de Publicación

• Publicación en esta colección
  22 Nov 2012
• Fecha del número
  Set 2012