Acessibilidade / Reportar erro

Diseño y validación de un instrumento de evaluación de la competencia digital en Educación Superior

Desenho e validação de um instrumento para avaliação da competência digital no Ensino Superior

Design and validation of an instrument for the evaluation of digital competence in Higher Education

Resumen

El objetivo es presentar los resultados del diseño y validación del instrumento “Campus Digital”, que evalúa el nivel de desarrollo de la competencia digital en estudiantes de Educación Superior. Se parte del marco conceptual de la competencia digital y de la revisión de instrumentos para diagnosticar el nivel de desarrollo en esta población. Se diseñó y aplicó un cuestionario de 25 preguntas a 1.022 estudiantes de pregrado en el 2017. Con el método de Mínimos Cuadrados se demostró la validez del instrumento y con el coeficiente de correlación de Pearson se muestra que las dimensiones de la competencia digital son independientes. En el análisis de los ítems se evidenció un adecuado desempeño del instrumento, dado que 66,7% de los ítems alcanzó un promedio superior a la mitad del peso asignado para cada ítem, con mejor desempeño en la dimensión de la Ciudadanía Digital (88,9%) y menor desempeño en la dimensión Tecnológica. En esta última, se puede atribuir que en el análisis de las preguntas se evidenciaron limitaciones en el índice de dificultad y de discriminación.

Competencia digital; Alfabetización digital; Educación superior; Diseño de instrumentos; Validación de instrumentos

Resumo

O objetivo é apresentar os resultados do desenho e validação do instrumento “Campus Digital”, que avalia o nível de desenvolvimento da competência digital em estudantes do Ensino Superior. Baseia-se na estrutura conceitual da competência digital e na revisão de instrumentos para diagnosticar o nível de desenvolvimento nessa população. Um questionário de 25 perguntas foi elaborado e aplicado a 1.022 estudantes de graduação em 2017. Com o método dos Mínimos Quadrados, a validade do instrumento foi demonstrada e, com o coeficiente de correlação de Pearson, mostra-se que as dimensões da competência digital são independentes. Na análise dos itens, evidenciou-se desempenho adequado do instrumento, uma vez que 66,7% dos itens atingiram uma média superior à metade do peso atribuído a cada item, com melhor desempenho na dimensão Cidadania Digital (88,9%) e o de menor desempenho na dimensão tecnológica. Neste último, pode-se atribuir que a análise das questões mostrou limitações no índice de dificuldade e discriminação.

Competência digital; Alfabetização digital; Ensino Superior; Desenho do instrumento; Validação de instrumentos

Abstract

The objective is to present the results of the design and validation of the “Digital Campus” instrument, which assesses the level of development of digital competence in higher education students. It is based on the conceptual framework of digital competence and the revision of instruments to diagnose the level of development in this population. A questionnaire of 25 questions was designed and applied to 1,022 undergraduate students in 2017. With the method of Minimum Squares the validity of the instrument was demonstrated and with Pearson’s correlation coefficient it is shown that the dimensions of digital competence are independent. In the analysis of the items, an adequate performance of the instrument was evidenced, given that 66.7% of the items reached an average greater than half of the weight assigned for each item, with the highest performance in the Digital Citizenship dimension (88.9%) and the lowest performance in the Technological dimension. In the latter, it can be attributed that the analysis of the questions showed limitations in the index of difficulty and discrimination.

Digital competence; Digital literacy; Higher education; Instrument design; Validation of instruments

1 Introducción

El concepto de “competencia digital” ha sido abordado por varios autores y organismos gubernamentales con denominaciones diferentes: “alfabetización digital”, “digital literacy”, “digital competence”, “alfabetización multimedia”, entre otros. Los autores concuerdan, en esencia, en que esta competencia se desarrolla en la medida que la persona adquiere conocimientos, capacidades y actitudes para el uso seguro y crítico de la tecnología, aplicados en diferentes ámbitos o situaciones, como el trabajo, el ocio y la comunicación y que, por lo tanto, implica comprender el potencial de la tecnología y utilizarla con “discernimiento y sentido crítico” aplicándola adecuadamente para integrarse en la sociedad actual (GALLARDO-ECHENIQUE, 2013GALLARDO-ECHENIQUE, E. E. Competencia digital: revisión integradora de la literatura. Revista de Ciencias de La Educación Academicus, Oaxaca, v. 1, n. 3, p. 56–62, 2013. Disponible en: http://www.ice.uabjo.mx/media/15/2017/04/Art3_7.pdf. Acceso en: 20 oct. 2017.
http://www.ice.uabjo.mx/media/15/2017/04...
; GISBERT CERVERA; GONZÁLEZ MARTINEZ; ESTEVE MON, 2016GISBERT CERVERA, M.; GONZÁLEZ MARTÍNEZ, J.; ESTEVE MON, F. M. Competencia digital y competencia digital docente: una panorámica sobre el estado de la cuestión. RIITE. Revista Interuniversitaria de Investigación en Tecnología Educativa, Murcia, n. 0, p. 74-83, jun. 2016. https://doi.org/10.6018/riite2016/257631
https://doi.org/10.6018/riite2016/257631...
; OCDE, 2001ORGANIZACIÓN PARA LA COPERACIÓN Y EL DESARROLLO ECONÓMICO – OCDE. Los desafíos de las tecnologías de la información y las comunicaciones en la educación. Madrid: Ministerio de Cultura y Deporte de España, 2001.).

Algunos autores se centran en habilidades específicas o componentes de la competencia digital; entre ellos, Paul Gilster, quien se refiere a la habilidad para acceder, evaluar y gestionar la información en múltiples formatos y en una amplia variedad de fuentes a través de ordenadores, aplicándolas en su proceso de aprendizaje (GILSTER, 1997GILSTER, P. Digital literacy. New York: John Wiley & Sons, 1997.). En el mismo sentido, el Parlamento Europeo establece que para el uso de las tecnologías de la sociedad de la información se deben desarrollar competencias básicas como “el uso de ordenadores para obtener, evaluar, almacenar, producir, presentar e intercambiar información, y comunicarse y participar en redes de colaboración a través de Internet” (COMISIÓN DE LAS COMUNIDADES EUROPEAS, 2006COMISIÓN DE LAS COMUNIDADES EUROPEAS. Recomendaciones del Parlamento Europeo y del Consejo de Europa sobre las competencias clave para el aprendizaje permanente. Diario Oficial de la Unión Europea, 30 dez. 2006., p. 11). Adicionalmente, Martin considera que la alfabetización digital implica la capacidad de llevar a cabo acciones digitales exitosas en cualquier contexto de la vida cotidiana, definiéndola como:

la conciencia, la actitud y la capacidad de las personas para utilizar adecuadamente las herramientas digitales, pasando por el proceso de identificar, acceder, administrar, integrar, evaluar, analizar y sintetizar los recursos digitales, que permita construir nuevos conocimientos, expresarse a través de los recursos multimedia y comunicarse con los demás en cualquier contexto especifico de la vida (MARTIN, 2008, p. 27).

Por lo anterior, se deduce que la competencia digital no se debe limitar solamente al desarrollo de habilidades técnicas para el uso de dispositivos digitales sino que debe alcanzar otros conocimientos relacionados con procedimientos técnicos, cognitivos y sociales que son necesarios para relacionarse en entornos digitales (ESHET, 2012ESHET, Y. Thinking in the digital era: a revised model for digital literacy. Issues in Informing Science and Information Technology, Santa Rosa, v. 9, p. 267-276, 2012. https://doi.org/10.28945/1621
https://doi.org/10.28945/1621...
) en un mundo globalizado y en el marco de las competencias del siglo XXI (CHIAPPE; RODRIGUEZ, 2017CHIAPPE, A.; RODRIGUEZ, L. Learning analytics in 21st century education: una revisión. Ensaio: Avaliação e Políticas Públicas em Educação, Rio de Janeiro, v. 25, n. 97, p. 971-991, dez. 2017. https://doi.org/10.1590/s0104-40362017002501211
https://doi.org/10.1590/s0104-4036201700...
). Tal como lo presenta Martin, se requiere la elaboración mental donde subyace el proceso del pensamiento y del conocimiento estructurado en tres niveles de la alfabetización digital:

  • El Nivel I denominado Competencias Digitales, en el que se desarrollan capacidades, conocimientos y percepciones de las tecnologías de la información y de las comunicaciones para el uso cotidiano.

  • El Nivel II, denominado Uso Digital, en el que se evidencia el uso y aplicación en contextos profesionales.

  • El Nivel III de Transformación Digital, en el que se alcanza la producción, la innovación y la creación con la mediación de las herramientas digitales en diferentes contextos (MARTIN, 2008).

En este sentido, la instituciones educativas tienen un compromiso con sus educandos (AREA, 2010AREA, M. ¿Por qué formar en competencias informacionales y digitales en la educación superior?. Revista de Universidad y Sociedad del Conocimiento, Barcelona, v. 7, n. 2, p. 2-4, jul. 2010. https://doi.org/10.7238/rusc.v7i2.976
https://doi.org/10.7238/rusc.v7i2.976...
), para fomentar el incremento de los niveles de la alfabetización digital mediante propuestas curriculares que respondan a las exigencias de apertura de la sociedad actual. En esa medida, este artículo propone un instrumento que permita determinar el nivel de conocimiento sobre el uso y aplicación de las Tecnologías de la Información y la Comunicación (TIC). Se parte de la revisión del concepto de competencia digital, los tipos de alfabetizaciones, como son: informacional, mediática, tecnológica y ciudadanía digital, y sus componentes estructurados en dimensiones, estándares e indicadores. Asimismo, se tomaron en cuenta las diferentes propuestas de organizaciones sobre pruebas de autopercepción frente al uso y aplicación de las tecnologías en contextos académicos y cotidianos en Educación Superior.

2 Método

El tipo de estudio fue instrumental, orientado al diseño, desarrollo y adaptación de pruebas (MONTERO; LEÓN, 2002MONTERO, I.; LEON, O. Clasificación y descripción de las metodologías de investigación en Psicología. Revista Internacional de Psicología Clínica y de la Salud, Granada, v. 2, n. 3, p. 503-508, jul. 2002.). Se llevaron a cabo tres momentos durante la investigación: revisión de la literatura, diseño del cuestionario y validación del instrumento (Gráfica 1).

Gráfica 1
– Momentos de la investigación

2.1 Revisión de la literatura

Se revisaron estudios publicados en inglés o español desde 2002 sobre Competencia Digital (CD): modelos de estandarización e instrumentos de medición en bases de datos como Scopus, Ebsco, ERIC, Science Direct, Redalyc, Dialnet y SciELO. La estrategia de búsqueda se realizó con las palabras clave: “competencia digital” OR “alfabetización digital” AND “Educación Superior”; “competencia digital” AND evaluación, mediante la metodología Preferred Reporting Items for Systematic Reviews and Meta-Analyses – Prisma (URRUTIA; BONFILL, 2010URRUTIA, G.; BONFILL, X. Declararación PRISMA: una propuesta para mejorar la publicación de revisiones sistemáticas y metaanálisis. Medicina Clínica, v. 135, n. 11, p. 507-511, out. 2010. https://doi.org/10.1016/j.medcli.2010.01.015
https://doi.org/10.1016/j.medcli.2010.01...
) (Gráfica 2).

Gráfica 2
– PRISMA de la revisión documental

2.2 Diseño del cuestionario

Se retoman las dimensiones, estándares e indicadores de la CD que se estructuraron a partir de la revisión bibliográfica (Tabla 1).

Tabla 1
– Dimensiones, estándares e indicadores de la Competencia Digital

2.3 Validación del Instrumento

El análisis de la calidad del instrumento se realizó valorando los ítems que lo componen y teniendo en cuenta que son variables dicotómicas y algunas politómicas. Las características evaluadas del instrumento fueron su confiabilidad y validez mientras que para los ítems fueron su dificultad y discriminación.

2.3.1 Confiabilidad y validez del instrumento

La validación del instrumento se realizó para determinar el grado de idoneidad, significatividad y utilidad de las inferencias específicas de cada uno de los resultados obtenidos (McMILLAN; SCHUMACHER, 2005McMILLAN H. J.; SCHUMACHER, S. Investigación educativa. Madrid: Pearson Educación, 2005.); es decir, que efectivamente las preguntas formuladas en el instrumento permitan medir si el estudiante tiene desarrollada la competencia digital en cada una de sus dimensiones y estándares definidos.

En este sentido, la validación de contenido del instrumento se realizó mediante la valoración de expertos temáticos (profesores de Informática Educativa con experiencia en esta área entre 5 a 10 años) (GARCIA, 2018GARCIA, R. Diseño y construcción de un instrumento de evaluación de la competencia matemática: aplicabilidad práctica de un juicio de expertos. Ensaio: Avaliação e Políticas Públicas em Educação, Rio de Janeiro, v. 26, n. 99, p. 347-372, jun. 2018. https://doi.org/10.1590/s0104-40362018002601263
https://doi.org/10.1590/s0104-4036201800...
). En primera instancia, 6 profesores dieron el aval sobre las dimensiones, estándares e indicadores construidos a partir de la revisión de la literatura presentada anteriormente en la Tabla 1. En segunda instancia, se sometieron a valoración por el mismo grupo de expertos y otros adicionales (9 profesores), las preguntas formuladas en el cuestionario, teniendo en cuenta para su valoración criterios como: claridad del enunciado de la pregunta, correspondencia de la pregunta con el indicador y estándar a evaluar y pertinencia de las opciones de respuesta.

Para la aplicación del instrumento se seleccionó una muestra de tipo intencional, conformada por los estudiantes que estaban cursando entre primer y cuarto semestre, en todos los programas académicos de una institución privada de Educación Superior.

Para la validación de criterio se compararon los resultados de la prueba aplicada con los criterios previamente establecidos (Tabla 1) mediante la siguiente fórmula:

C D = i = 1 k a i * X i + b

Donde:

CD: Es el puntaje obtenido por el estudiante después de diligenciada la prueba diagnóstica estructurada.

ai: Es el coeficiente regresor asociado a la variable Xi, que brinda información sobre el aporte que hace la variable Xi, a la puntuación de competencia digital del estudiante.

Xi: Es la variable “i”, evaluada en la prueba diagnóstica estructurada, donde:

i = 1,2,3,…, 24 (número de variables o criterios de evaluación).

b: Término independiente que permite ajustar la puntuación de la Competencia Digital.

El ajuste del modelo se hizo mediante la técnica de método de Mínimos Cuadrados, para un modelo de regresión lineal múltiple, con la siguiente expresión:

a ^ = X t X - 1 * X t Y

Donde:

â: Es el vector de coeficientes estimados que acompañan a cada variable.

X: Es la matriz de respuestas a lo largo de las 24 variables de los estudiantes que presentaron la prueba diagnóstica.

Y: Es el vector de las calificaciones finales obtenidas por los evaluados, después de diligenciar la prueba diagnóstica.

Basada en la estructura de la evaluación diagnóstica, conformada por cuatro dimensiones (Informacional, Comunicativa, Ciudadanía Digital y Tecnológica), el modelo de diagnóstico planteado se corrió en cinco formas diferentes:

  1. Puntaje total de la evaluación diagnóstica en función de todas las dimensiones.

  2. Puntaje total de la evaluación diagnóstica en función de la Dimensión Informacional.

  3. Puntaje total de la evaluación diagnóstica en función de la Dimensión Comunicativa.

  4. Puntaje total de la evaluación diagnóstica en función de la Dimensión Ciudadanía Digital.

  5. Puntaje total de la evaluación diagnóstica en función de la Dimensión Tecnológica.

La validación de los cinco modelos planteados se hizo con el programa estadístico SPSS, en cuatro aspectos: Linealidad (con la t-Student), Normalidad, Heterocedasticidad y Colinealidad.

2.3.2 Análisis del ítem

Se realizó análisis de los ítems evaluados, mediante los índices de dificultad y de discriminación. El índice de dificultad es la proporción de respuestas correctas entre los sujetos que respondieron el ítem. El índice de discriminación es la relación entre las puntuaciones obtenidas por los alumnos en cada ítem y las obtenidas en la totalidad del cuestionario (discrimina entre los que tienen mayor o menor dominio del tema, evaluado en el ítem). Los ítems se clasifican en “aceptados” si el índice de dificultad esta entre 0,4 y 0,9, y el índice de discriminación es mayor a 0.1, o “para modificar” si los ítems no cumplen con estos dos criterios (GUILFORD, 1975GUILFORD, J. P.. Psycometric methods. 2. ed. Bombay: T. McGraw-Hll, 1975.).

3 Resultados

3.1 Revisión de la literatura

Se recuperaron 10 experiencias de implementación de la competencia digital en países como España, Estados Unidos, países de Latinoamérica y el Caribe, donde se especifican las categorías de la alfabetización o competencia digital, las cuales se han denominado Dimensiones (Tabla 2).

Tabla 2
– Dimensiones de la alfabetización digital

Sobre la evaluación o identificación del nivel de desarrollo de la competencia digital, se han propuesto algunos instrumentos de diagnóstico para medir la percepción de los estudiantes de Educación Superior en los conocimientos o habilidades relacionadas con las dimensiones o con alguna específica, que permitieron orientar el diseño del instrumento “Campus Digital”:

  • El iSkills Assessment (EDUCATIONAL TESTING SERVICE, 2013EDUCATIONAL TESTING SERVICE – ETS. Educational Testing Service (ETS). 2013. Disponible en: https://www.ets.org/iskills/about/content/. Acceso en: 13 nov. 2017.
    https://www.ets.org/iskills/about/conten...
    ) el cual evalúa el pensamiento crítico y las habilidades para resolver problemas en un entorno digital a través de un test que está basado en los estándares de la Asociación de Universidades y Bibliotecas de Investigación (ACRL).

  • El Internacional Computer Driving License (ICDL), del Consejo de Asociaciones Profesionales de Tecnologías de la Información (Cepis) de la Comunidad Europea, el cual acredita o certifica los conocimientos y habilidades sobre las TIC, en especial en: conceptos básicos, uso del computador y administración de archivos, procesador de textos, hojas de cálculo, uso de base de datos, presentaciones, internet y comunicación (EUROPEAN COMPUTER DRIVING LICENCE, 2017EUROPEAN COMPUTER DRIVING LICENCE – ECDL. ECDL education. 1997-2018. Disponible en: http://ecdl.org/ecdl-education. Acceso en: 10 nov. 2017.
    http://ecdl.org/ecdl-education...
    ).

  • El Inventario de Competencias TIC (Incontic), busca determinar los conocimientos previos en la competencia digital de los estudiantes al iniciar sus estudios universitarios, mediante un cuestionario de autoevaluación que aborda preguntas relacionadas con: la disponibilidad para acceder a recursos, el uso real y la formación en TIC y que valora el proceso de adopción de la competencia digital y las actitudes hacia las TIC (GONZALEZ MARTINEZ et al., 2012).

  • El Instant Digital Competence Assesment (IDCA), incluye preguntas para evaluar conocimientos y habilidades relacionados con la competencia digital en estudiantes de Educación Básica, secundaria y superior, relativos a tres dimensiones: la dimensión tecnológica o situaciones que una persona debe afrontar al trabajar con un ordenador, la dimensión cognitiva abordando aspectos relacionados con la búsqueda, el procesamiento y la gestión de la información y la dimensión ética referida a comportamientos en el uso de las tecnologías y en internet (CALVANI et al., 2008CALVANI, A. et al. Models and instruments for assessing digital competence at school. Journal of E-Learning and Knowledge Society, New York, v. 4, n. 3, p. 183-193, 2008. https://doi.org/10.20368/1971-8829/288
    https://doi.org/10.20368/1971-8829/288...
    ).

  • El Test de alfabetización digital on-line – ADO mide el grado en que la población en general tiene conocimiento y usa una serie de herramientas, relacionadas con la competencia mediática en las dimensiones lingüística y tecnológica, específicamente en búsqueda, creación y difusión de mensajes digitales a través de Internet. El test se compone de tres módulos y 45 ítems con opciones de respuesta tipo escala Likert (DORNALETECHE-RUIZ; BUITRAGO-ALONSO; MORENO-CARDENAL, 2015DORNALETECHE-RUIZ, J.; BUITRAGO-ALONSO, A.; MORENO-CARDENAL, L. Categorización, selección de ítems y aplicación del test de alfabetización digital on-line como indicador de la competencia mediática. Revista Comunicar, Huelva, v. 45, n. 22, p. 177-185, ene. 2015. https://doi.org/10.3916/C44-2015-19
    https://doi.org/10.3916/C44-2015-19...
    ).

  • El Test de Pensamiento Computacional (GONZÁLEZ; PÉREZ; JIMÉNEZ, 2015GONZÁLEZ, M.; PÉREZ, J.; JIMÉNEZ, C. Test de pensamiento computacional: diseño y psicometría general. In: CONGRESO INTERNACIONAL SOBRE APRENDIZAJE, INNOVACIÓN Y COMPETITIVIDAD, 3., 2015, Madrid. Disponible en: https://www.researchgate.net/publication/292398919_Test_de_Pensamiento_Computacional_diseno_y_psicometria_general_Computational_Thinking_Test_design_general_psychometry. Acceso en: 23 maio 2019.
    https://www.researchgate.net/publication...
    ), diseñado para identificar en estudiantes de secundaria la capacidad para formular y solucionar problemas a partir de conceptos, lógica y programación básica de la computación o informática.

  • El Cuestionario para el estudio de la Competencia Digital del Alumnado de Educación Superior (Cdaes), evalúa el grado de autopercepción de la competencia digital en los alumnos universitarios a través de 44 ítems que abordan las dimensiones: (1) creatividad e innovación, (2) comunicación y colaboración, (3) investigación y manejo de la información, pensamiento crítico, (4) pensamiento crítico, solución de problemas y toma de decisiones, (5) ciudadanía digital, y (6) funcionamiento y conceptos de las TIC (GUTIÉRREZCASTILLO; CABERO; ESTRADA, 2017).

La mayoría de los instrumentos mencionados anteriormente presentan preguntas orientadas a la autoevaluación o percepción del estudiante; no obstante, para el caso específico de esta investigación surge la necesidad de diseñar y validar un instrumento, que a diferencia de los anteriores, evalúe el conocimiento del estudiante sobre la competencia digital y las dimensiones e indicadores esperados para cada una. Por consiguiente, el objetivo de esta investigación1 1 Investigación financiada por la Dirección de Investigación y el Centro de Tecnologías de la Academia de la Universidad de La Sabana (Colombia) en la Convocatoria interna de menor cuantía 2015. y el correspondiente artículo, fue diseñar y validar un cuestionario de diagnóstico denominado “Campus Digital”.

3.2 Aplicación del cuestionario

El análisis de la evaluación de los expertos permitió ajustar y reformular algunos ítems, para quedar conformada la versión final del cuestionario, que quedó estructurado en 6 ítems de identificación y 24 preguntas cerradas con opciones de respuesta de tipo dicotómica y nominal-politómica. Cada ítem corresponde a un indicador de la Competencia Digital, en su mayoría, pero en algunos se formularon dos ítems por indicador. La forma de presentación de los ítems se hizo mediante la descripción de situaciones de la cotidianidad o ejemplos de imágenes o símbolos, en los cuales el estudiante debía seleccionar entre 5 opciones una o varias respuestas correctas, como se presenta en las Gráficas 3, 4, 5 y 6.

Gráfica 3
– Preguntas 7 y 8 de la Dimensión Informacional, Estándar 1.1: el estudiante accede a la información, Indicador 1.1.1: el estudiante identifica la necesidad de información. Indicador 1.1.2: el estudiante reconoce el proceso de búsqueda de información

Gráfica 4
– Preguntas 14 y 15 de la Dimensión Comunicativa, Estándar 2.1: el estudiante identifica protocolos sociales en un ambiente digital, Indicador 2.1.1: el estudiante reconoce reglas y normas sociales para comunicar a través de medios digitales e Indicador 2.1.2: el estudiante identifica diferentes lenguajes para transmitir información en un medio digital

Nota: la pregunta 15 presenta 4 infografías a las que acceden mediante un enlace para poder visualizar antes de seleccionar la respuesta correcta.


Gráfica 5
– Preguntas 23 y 24 de la Dimensión Ciudadanía Digital, Estándar 3.2: el estudiante analiza riesgos y aplica estrategia de protección personal en la web, y Estándar 3.3: el estudiante ejerce su ciudadanía digital bajo una postura de respeto a la propiedad intelectual

Gráfica 6
– Preguntas 28 y 29 de la Dimensión Tecnológica, Estándar 4.1: el estudiante reconoce el uso de las TIC en actividades personales y procesos académicos, y Estándar 4.2: el estudiante integra las TIC al campo educativo para facilitar su aprendizaje

El cuestionario lo respondieron 1.022 estudiantes de pregrado de diferentes programas académicos de una institución de Educación Superior que estaban cursando los primeros semestres (de 1 a 4 semestre), de los cuales el 63,3% eran mujeres y el 36,7% hombres con un rango de edades entre 17 a 22 años. El cuestionario se aplicó iniciando el semestre, del 24 de Julio al 4 de Agosto de 2017, fue distribuido digitalmente a través de la plataforma Moodle, y el tiempo para responderlo fue de 60 minutos.

3.3 Resultados de la validación del cuestionario

Como resultado del análisis del modelo de evaluación de la competencia digital, se encontró que las respuestas se disponen sobre la línea diagonal de la normalidad; por tanto, se validó el supuesto de normalidad y se observó un patrón aleatorio de los residuales que infiere la heterocedasticidad del instrumento. Los hallazgos se presentan a continuación en la Tabla 3.

Tabla 3
– Modelo de regresión múltiple 24 variables ajuste, validación de linealidad y colinealidad del modelo

De la Tabla 3 se puede concluir que:

  • Como todos los coeficientes estandarizados son positivos, las variables aportan positivamente al puntaje final de la variable Competencia Digital.

  • Ninguna de las variables observadas se debe excluir de la evaluación; por tanto, el modelo lineal múltiple propuesto es válido.

  • No existe colinealidad ya que todos los VIF tienen coeficiente menor a 10.

3.4. Resultado del análisis del ítem

El análisis de los ítems evidencia que las preguntas 11,12,26,28,29 y 30 presentan un alto grado de dificultad, porque el valor del índice se encuentra por fuera del valor esperado entre 0.4 y 0.9. Asimismo, las preguntas 7, 9, 10, 26 y 28, presentaron un índice de discriminación por debajo de 0.1; por lo tanto, estos ítems deben ser ajustados, como se ilustra en la Tabla 4.

Tabla 4
– Análisis de ítem al cuestionario

3.5. Resultados de la aplicación del instrumento

Para analizar la información se utilizaron dos tipos de análisis estadísticos: el primer análisis consistió en una prueba de hipótesis en donde se comparó el promedio de los puntajes obtenidos por los estudiantes evaluados con un puntaje mínimo esperado para cada ítem, y el segundo análisis es el coeficiente de correlación entre dimensiones.

Primer análisis: prueba de hipótesis

(Hipótesis Nula)

Ho: El Promedio obtenido por los evaluados es inferior o igual a la mitad del peso asignado para el ítem.

(Hipótesis Alterna)

H1: El Promedio obtenido por los evaluados es superior a la mitad del peso asignado para el ítem.

La anterior hipótesis tiene asociado el siguiente estadístico de prueba:

Z C a l c u l a d o = X ¯ - μ 0 σ 2 n

Donde:

ZCalcualdo: se denomina estadístico de prueba, permite aceptar o rechazar la Hipótesis nula Ho.

x̄ ; σ2y n1 corresponde respectivamente al Promedio, la Varianza y el tamaño de muestra utilizados en la evaluación.

µ0: Es un indicador estándar de comparación, en éste caso es la mitad del peso asignado en cada pregunta

La prueba se realizó con una confianza del 95%; por lo anterior, la hipótesis nula (Ho) se rechazará si Z calculado es mayor a 1.96. Este límite se obtiene de la función de distribución de probabilidad normal estandarizada. Los hallazgos se presentan en la Tabla 5.

Tabla 5
– Prueba de hipótesis total muestra

Se concluye con este primer análisis que:

  • En general, se observa un adecuado desempeño de los ítems del instrumento, el 66,7% (16/24) de los ítems presentó un promedio superior a la mitad del peso asignado para cada ítem.

  • La dimensión de mejor desempeño fue la de Ciudadanía Digital con un 88,9% de ítems superior a la mitad del peso asignado por ítem.

  • La dimensión de menor desempeño fue la Tecnológica porque ninguno de los ítems incluidos en esta dimensión fue superior a la mitad del peso asignado.

Segundo análisis: coeficiente de correlación.

Para este segundo análisis, se construyó la matriz de correlaciones de los valores totales de las dimensiones estudiadas. Se calcula el coeficiente de correlación de Pearson, el cual brinda información sobre la intensidad y el tipo de relación que tienen las dimensiones observadas: coeficientes de correlación superior a 0,75 indican que existe una estrecha relación entre las dimensiones operadas; de lo contrario, se concluiría que una dimensión no influye sobre la otra. El coeficiente de correlación de Pearson tiene la siguiente expresión:

ρ p = Σ X i - X ¯ * Y i - Y ¯ / n - 1 σ X ^ * σ Y ^

Donde:

x̄ y Ȳ , son los promedios de las dimensiones estudiadas.

σX^ y σY^, son las desviaciones estándar de las dimensiones estudiadas.

n: es el tamaño de muestra.

Los datos presentados en la Tabla 6 evidencian que ninguna de las correlaciones es mayor al 75,0%; por lo tanto, ninguna dimensión influye sobre las otras: son independientes. En las dimensiones ciudadana e informacional se observa alguna relación.

Tabla 6
– Hallazgos total muestra matriz de correlación

4 Discusión y conclusiones

El instrumento “Campus digital” es una opción para aplicarse como prueba de diagnóstico de conocimiento sobre la competencia digital en las dimensiones informacional, comunicativa, ciudadanía digital y tecnológica, en estudiantes de Educación Superior. De acuerdo con los resultados de la validación estadística mediante la técnica del método de Mínimos Cuadrados en los aspectos de Linealidad, Normalidad, Heterocedasticidad y Colinealidad, el instrumento es válido; lo anterior, por cuanto sus variables aportan positivamente al puntaje final de la variable Competencia Digital. Adicionalmente, se infiere que todas estas variables se deben incluir como lo indican los coeficientes positivos, la validez del modelo lineal y la no existencia de colinealidad con un VIF menor a 10.

Sin embargo, de acuerdo con los resultados del análisis de ítems, las preguntas que abordan la dimensión tecnológica presentan índice elevado de dificultad y menor índice de discriminación, lo cual indica que hay un elevado número de desaciertos; por lo tanto, deben revisarse y ajustarse para mejorar estos aspectos.

Con respecto a la comparación de los promedios de los puntajes obtenidos por los estudiantes evaluados, se encontró que el 66,7% de los ítems presentaron un promedio superior a la mitad del peso asignado para cada ítem, con mejor desempeño en la dimensión de Ciudadanía Digital con el 88,9%. La de menor desempeño fue la dimensión Tecnológica: a esta última se le pueden atribuir las limitaciones que se encontraron en el análisis de las preguntas en cuanto al índice de dificultad y de discriminación.

Sobre el promedio de la nota final de la prueba realizada por los 1.022 estudiantes de pregrado, se obtuvo un promedio superior al estándar con mejor promedio en las dimensiones Comunicativa y de Ciudadanía Digital; estos hallazgos coinciden con otros estudios de autoevaluación por parte del estudiante, donde se observa el mismo comportamiento por cuanto los estudiantes manifiestan tener más dominio en el uso y aplicación de herramientas como redes sociales, canales de comunicación, uso ético y legal de la información. Sin embargo, en las dimensiones informacional y en la tecnológica se encuentran deficiencias en el conocimiento, especialmente en el uso de la bases de datos y de diferentes software y herramientas para el procesamiento de información (procesador de texto, hoja de cálculo, gestores de información, medios de comunicación) (CENTENO-MORENO; CUBO, 2013CENTENO MORENO, G.; CUBO, S. Evaluación de la competencia digital y las actitudes hacia las TIC del alumnado universitario. Revista de Investigación Educativa, Valencia, v. 31, n. 2, p. 517-536, 2013. https://doi.org/10.6018/rie.31.2.169271
https://doi.org/10.6018/rie.31.2.169271...
; COZAR-GUTIÉRREZ, 2016CÓZAR-GUTIÈRREZ, R. Conocimiento y uso de las tecnologías de la información y las comunicaciones (TIC) según el estilo de aprendizaje de los futuros maestros. Formación Universitaria, La Serena, v. 9, n. 6, p. 105-118, 2016. https://doi.org/10.4067/S0718-50062016000600010
https://doi.org/10.4067/S0718-5006201600...
; GUTIÉRREZ CASTILLO; CABERO; ESTRADA, 2017GUTIÉRREZ CASTILLO, J.; CABERO, J.; ESTRADA, L. Diseño y validación de un instrumento de evaluación de la competencia digital del estudiante universitario. Revista ESPACIOS, Caracas, v. 38, n. 10, 2017. Disponible en: https://idus.us.es/xmlui/bitstream/handle/11441/54725/Dise%c3%b1o_y_validacion_de_un_instrumento_de_evaluacion_de_la_competencia_digital_del_estudiante.pdf?sequence=1&isAllowed=y. Acceso en: 13 maio. 2018
https://idus.us.es/xmlui/bitstream/handl...
).

A partir de estos resultados se propone afinar aún más el instrumento para lograr tener mayor validez en los ítems relacionados con el conocimiento de la dimensión tecnológica, tomando en cuenta los indicadores que se proponen desde el pensamiento computacional y la propuesta de algunos instrumentos relacionados (GONZÁLEZ; PÉREZ; JIMÉNEZ, 2015GONZÁLEZ, M.; PÉREZ, J.; JIMÉNEZ, C. Test de pensamiento computacional: diseño y psicometría general. In: CONGRESO INTERNACIONAL SOBRE APRENDIZAJE, INNOVACIÓN Y COMPETITIVIDAD, 3., 2015, Madrid. Disponible en: https://www.researchgate.net/publication/292398919_Test_de_Pensamiento_Computacional_diseno_y_psicometria_general_Computational_Thinking_Test_design_general_psychometry. Acceso en: 23 maio 2019.
https://www.researchgate.net/publication...
), así como la valoración de expertos y la inclusión de otras técnicas estadísticas de validación.

Es importante mencionar que todas las dimensiones que integran la competencia digital se interrelacionan entre sí. Como lo afirma Larraz Rada (2013LARRAZ RADA, V. La competència digital a la Universitat. 2013. Tesis [Doctoral en Educación] – Universidad de Andorra, Espanha, 2013., p. 90), “la competencia digital está formada por alfabetizaciones que son las dimensiones de la competencia. Ninguna por si sola explica la totalidad de la competencia; y, por tanto es necesario la interacción entre ellas”, pues no están pensadas para desarrollarse de forma individual sino de forma complementaria; esta afirmación también la comparte Ferrari (2013)FERRARI, A. A framework for developing and understanding digital competence in Europe – Digcomp. Seville: Joint Research Centre, European Commission, 2013. Disponible en: http://ipts.jrc.ec.europa.eu/publications/pub.cfm?id=6359. Acceso en: 10 nov. 2017.
http://ipts.jrc.ec.europa.eu/publication...
. En este sentido, los instrumentos para medir el nivel o grado de desarrollo en estudiantes o población que se han propuesto, incluido el presentado en este artículo, deben considerar la inclusión de ítems de respuesta abierta o complementar con técnicas de tipo cualitativo, en los que se puedan abordar aspectos relacionados con habilidades y actitudes propias de la competencia digital, como lo presentan las investigaciones de Martínez-Bravo, Sádaba Chalezquer e Serrano Puche (2018)MARTÍNEZ-BRAVO, M.; SÁDABA CHALEZQUER, C.; SERRANO PUCHE, J. Desarrollo de competencias digitales en comunidades virtuales: un análisis de “ScolarTIC2. Prisma Social: Revista de Investigación Social, Madrid, n. 20, p.129-159, 2018. y de González et al. (2013)GONZÁLEZ, L. et al. Competencia informacional: desarrollo de un instrumento para su observación. Lenguaje, Cali, v. 41, n. 1, p. 105-131, jun. 2013. https://doi.org/10.25100/lenguaje.v41i1.4970
https://doi.org/10.25100/lenguaje.v41i1....
.

Asimismo, se espera que con la aplicación de este instrumento se reoriente la planeación de los contenidos curriculares para el fortalecimiento del desarrollo de la competencia digital de los estudiantes y del desarrollo de la competencia en informática educativa de los profesores de Educación Superior.

Referencias

  • ADELL, J. Algunas ideas sobre cómo desarrollar la Competencia Digital en Primaria y ESO. In: JORNADAS DE PROYECTOS DE INNOVACIÓN DE GIPUZKOA, 7., 2008, Donostia, Espanha. Anales[...] Donostia: Centro de Educación y Nuevas Tecnología, Universitat Jaume I, 2008. p. 1-77.
  • AREA, M. ¿Por qué formar en competencias informacionales y digitales en la educación superior?. Revista de Universidad y Sociedad del Conocimiento, Barcelona, v. 7, n. 2, p. 2-4, jul. 2010. https://doi.org/10.7238/rusc.v7i2.976
    » https://doi.org/10.7238/rusc.v7i2.976
  • AREA, M.; BEGOÑA, G.; MARZAL, M. Alfabetizaciones y tecnologías de la información y la comunicación Madrid: Síntesis, 2008.
  • CALVANI, A. et al. Models and instruments for assessing digital competence at school. Journal of E-Learning and Knowledge Society, New York, v. 4, n. 3, p. 183-193, 2008. https://doi.org/10.20368/1971-8829/288
    » https://doi.org/10.20368/1971-8829/288
  • CANTOR, C. Desarrollo de la competencia digital en la Universidad de La Sabana 2016. Tesis (Maestría en Informática Educativa) – Universidad de La Sabana, Chia, Colombia, 2016.
  • CENTENO MORENO, G.; CUBO, S. Evaluación de la competencia digital y las actitudes hacia las TIC del alumnado universitario. Revista de Investigación Educativa, Valencia, v. 31, n. 2, p. 517-536, 2013. https://doi.org/10.6018/rie.31.2.169271
    » https://doi.org/10.6018/rie.31.2.169271
  • CHIAPPE, A.; RODRIGUEZ, L. Learning analytics in 21st century education: una revisión. Ensaio: Avaliação e Políticas Públicas em Educação, Rio de Janeiro, v. 25, n. 97, p. 971-991, dez. 2017. https://doi.org/10.1590/s0104-40362017002501211
    » https://doi.org/10.1590/s0104-40362017002501211
  • CHILE. Ministerio de Educación. Matriz de habilidades TIC para el aprendizaje Santiago de Chile, 2013.
  • COMISIÓN DE LAS COMUNIDADES EUROPEAS. Recomendaciones del Parlamento Europeo y del Consejo de Europa sobre las competencias clave para el aprendizaje permanente. Diario Oficial de la Unión Europea, 30 dez. 2006.
  • CÓZAR-GUTIÈRREZ, R. Conocimiento y uso de las tecnologías de la información y las comunicaciones (TIC) según el estilo de aprendizaje de los futuros maestros. Formación Universitaria, La Serena, v. 9, n. 6, p. 105-118, 2016. https://doi.org/10.4067/S0718-50062016000600010
    » https://doi.org/10.4067/S0718-50062016000600010
  • DORNALETECHE-RUIZ, J.; BUITRAGO-ALONSO, A.; MORENO-CARDENAL, L. Categorización, selección de ítems y aplicación del test de alfabetización digital on-line como indicador de la competencia mediática. Revista Comunicar, Huelva, v. 45, n. 22, p. 177-185, ene. 2015. https://doi.org/10.3916/C44-2015-19
    » https://doi.org/10.3916/C44-2015-19
  • EDUCATIONAL TESTING SERVICE – ETS. Educational Testing Service (ETS). 2013. Disponible en: https://www.ets.org/iskills/about/content/ Acceso en: 13 nov. 2017.
    » https://www.ets.org/iskills/about/content/
  • ESHET, Y. Thinking in the digital era: a revised model for digital literacy. Issues in Informing Science and Information Technology, Santa Rosa, v. 9, p. 267-276, 2012. https://doi.org/10.28945/1621
    » https://doi.org/10.28945/1621
  • EUROPEAN COMPUTER DRIVING LICENCE – ECDL. ECDL education 1997-2018. Disponible en: http://ecdl.org/ecdl-education Acceso en: 10 nov. 2017.
    » http://ecdl.org/ecdl-education
  • FERRARI, A. A framework for developing and understanding digital competence in Europe – Digcomp. Seville: Joint Research Centre, European Commission, 2013. Disponible en: http://ipts.jrc.ec.europa.eu/publications/pub.cfm?id=6359 Acceso en: 10 nov. 2017.
    » http://ipts.jrc.ec.europa.eu/publications/pub.cfm?id=6359
  • GALLARDO-ECHENIQUE, E. E. Competencia digital: revisión integradora de la literatura. Revista de Ciencias de La Educación Academicus, Oaxaca, v. 1, n. 3, p. 56–62, 2013. Disponible en: http://www.ice.uabjo.mx/media/15/2017/04/Art3_7.pdf Acceso en: 20 oct. 2017.
    » http://www.ice.uabjo.mx/media/15/2017/04/Art3_7.pdf
  • GARCIA, R. Diseño y construcción de un instrumento de evaluación de la competencia matemática: aplicabilidad práctica de un juicio de expertos. Ensaio: Avaliação e Políticas Públicas em Educação, Rio de Janeiro, v. 26, n. 99, p. 347-372, jun. 2018. https://doi.org/10.1590/s0104-40362018002601263
    » https://doi.org/10.1590/s0104-40362018002601263
  • GILSTER, P. Digital literacy. New York: John Wiley & Sons, 1997.
  • GISBERT CERVERA, M.; GONZÁLEZ MARTÍNEZ, J.; ESTEVE MON, F. M. Competencia digital y competencia digital docente: una panorámica sobre el estado de la cuestión. RIITE Revista Interuniversitaria de Investigación en Tecnología Educativa, Murcia, n. 0, p. 74-83, jun. 2016. https://doi.org/10.6018/riite2016/257631
    » https://doi.org/10.6018/riite2016/257631
  • GOBIERNO VASCO. Competencia en el tratamiento de la información y competencia digital: marco teórico. 2012. Disponible en: http://www.eskola20.euskadi.eus/c/document_library/get_file?uuid=5218d316-fa1f-49b4-9eb3-e17f423298b0&groupId=408381 Acceso en: 13 nov. 2017.
    » http://www.eskola20.euskadi.eus/c/document_library/get_file?uuid=5218d316-fa1f-49b4-9eb3-e17f423298b0&groupId=408381
  • GONZÁLEZ, L. et al. Competencia informacional: desarrollo de un instrumento para su observación. Lenguaje, Cali, v. 41, n. 1, p. 105-131, jun. 2013. https://doi.org/10.25100/lenguaje.v41i1.4970
    » https://doi.org/10.25100/lenguaje.v41i1.4970
  • GONZÁLEZ MARTÍNEZ, J. et al. INCOTIC-ESO: cómo autoevaluar y diagnosticar la competencia digital en la Escuela 2.0. Revista de Investigación Educativa, Valencia, v. 30, n. 2, p. 287-302, 2012.
  • GONZÁLEZ, M.; PÉREZ, J.; JIMÉNEZ, C. Test de pensamiento computacional: diseño y psicometría general. In: CONGRESO INTERNACIONAL SOBRE APRENDIZAJE, INNOVACIÓN Y COMPETITIVIDAD, 3., 2015, Madrid. Disponible en: https://www.researchgate.net/publication/292398919_Test_de_Pensamiento_Computacional_diseno_y_psicometria_general_Computational_Thinking_Test_design_general_psychometry Acceso en: 23 maio 2019.
    » https://www.researchgate.net/publication/292398919_Test_de_Pensamiento_Computacional_diseno_y_psicometria_general_Computational_Thinking_Test_design_general_psychometry
  • GUILFORD, J. P.. Psycometric methods 2. ed. Bombay: T. McGraw-Hll, 1975.
  • GUTIÉRREZ CASTILLO, J.; CABERO, J.; ESTRADA, L. Diseño y validación de un instrumento de evaluación de la competencia digital del estudiante universitario. Revista ESPACIOS, Caracas, v. 38, n. 10, 2017. Disponible en: https://idus.us.es/xmlui/bitstream/handle/11441/54725/Dise%c3%b1o_y_validacion_de_un_instrumento_de_evaluacion_de_la_competencia_digital_del_estudiante.pdf?sequence=1&isAllowed=y Acceso en: 13 maio. 2018
    » https://idus.us.es/xmlui/bitstream/handle/11441/54725/Dise%c3%b1o_y_validacion_de_un_instrumento_de_evaluacion_de_la_competencia_digital_del_estudiante.pdf?sequence=1&isAllowed=y
  • LARRAZ RADA, V. La competència digital a la Universitat. 2013. Tesis [Doctoral en Educación] – Universidad de Andorra, Espanha, 2013.
  • McMILLAN H. J.; SCHUMACHER, S. Investigación educativa. Madrid: Pearson Educación, 2005.
  • MARTIN, A. Origins and concepts of digital literacy: developing the theme.In: BAWDEN, D. Digital literacies: concepts, policies and practices. New York: Peter Lang, 2000. p. 17-32.
  • MARTÍNEZ-BRAVO, M.; SÁDABA CHALEZQUER, C.; SERRANO PUCHE, J. Desarrollo de competencias digitales en comunidades virtuales: un análisis de “ScolarTIC2. Prisma Social: Revista de Investigación Social, Madrid, n. 20, p.129-159, 2018.
  • MONTERO, I.; LEON, O. Clasificación y descripción de las metodologías de investigación en Psicología. Revista Internacional de Psicología Clínica y de la Salud, Granada, v. 2, n. 3, p. 503-508, jul. 2002.
  • ORGANIZACIÓN PARA LA COPERACIÓN Y EL DESARROLLO ECONÓMICO – OCDE. Habilidades y competencias del siglo XXI para los aprendices del milenio en los países de la OCDE. Paris: Instituto de Tecnologías Educativas, 2010.
  • ORGANIZACIÓN PARA LA COPERACIÓN Y EL DESARROLLO ECONÓMICO – OCDE. Los desafíos de las tecnologías de la información y las comunicaciones en la educación. Madrid: Ministerio de Cultura y Deporte de España, 2001.
  • URRUTIA, G.; BONFILL, X. Declararación PRISMA: una propuesta para mejorar la publicación de revisiones sistemáticas y metaanálisis. Medicina Clínica, v. 135, n. 11, p. 507-511, out. 2010. https://doi.org/10.1016/j.medcli.2010.01.015
    » https://doi.org/10.1016/j.medcli.2010.01.015
  • VIVANCOS, J. Tratamiento de la información y competencia digital Madrid: Alianza Editorial, 2008.
  • ZÚÑIGA CÉSPEDES, M.; BRENES MONGE, M. Estándares de desempeño de estudiantes en el aprendizaje con tecnologías digitales Cidade: Fudación Omar Dengo; 2006. Disponible en: http://www.fod.ac.cr/estandares/contenidos/estad_desempeno.html Acceso en: 10 feb. 2018.
    » http://www.fod.ac.cr/estandares/contenidos/estad_desempeno.html
  • 1
    Investigación financiada por la Dirección de Investigación y el Centro de Tecnologías de la Academia de la Universidad de La Sabana (Colombia) en la Convocatoria interna de menor cuantía 2015.

Fechas de Publicación

  • Publicación en esta colección
    22 Abr 2020
  • Fecha del número
    Oct-Dec 2020

Histórico

  • Recibido
    24 Jul 2018
  • Acepto
    01 Oct 2019
Fundação CESGRANRIO Revista Ensaio, Rua Santa Alexandrina 1011, Rio Comprido, 20261-903 , Rio de Janeiro - RJ - Brasil, Tel.: + 55 21 2103 9600 - Rio de Janeiro - RJ - Brazil
E-mail: ensaio@cesgranrio.org.br