Satisfacción de los educadores de enfermería con el sistema de puntuación del Objective Structured Clinical Examination en línea Objetivo: el sistema de puntuación del OSCE en papel (Pa-OSCE) tiene varias desventajas, incluyendo un desperdicio significativo de papel y el hecho de que consume mucho tiempo. Este estudio tiene como objetivo evaluar la satisfacción de los examinadores con el sistema de gestión de puntuación del On-OSCE, identificar y evaluar los posibles beneficios de la innovación y promover su uso.
Método: usando un diseño de estudio transversal, desarrollamos un inventario de satisfacción que consiste en cuatro dominios: ahorro de tiempo, facilidad de uso, aplicación prospectiva y objetividad. Este inventario fue utilizado para comparar las puntuaciones de satisfacción entre dos grupos de examinadores (un total de 67 individuos).
Resultados: el inventario de satisfacción de 20 ítems demostró alta validez y confiabilidad (0,98 y 0,97, respectivamente). El tiempo medio de puntuación fue significativamente menor en el grupo del sistema de gestión de puntuación en línea (p<0,001). Tanto la puntuación total de satisfacción como las puntuaciones de cada dominio fueron significativamente mayores en el grupo del sistema de gestión de puntuación en línea en comparación con el grupo del sistema de gestión de puntuación en papel (p<0,001).
Conclusión: una gran proporción de los examinadores proporcionó feedback positivo sobre el sistema de gestión de puntuación en línea. El sistema de gestión de puntuación en línea ahorra tiempo en la puntuación, es más objetivo, más fácil de usar y se recomienda para su implementación. Los sistemas de gestión de puntuación en línea pueden ser implementados en instituciones de enseñanza de enfermería en todo el mundo para mejorar la eficiencia en la puntuación. Además, el inventario de satisfacción de 20 ítems puede servir como una herramienta de referencia para evaluar a los educadores en todo el mundo.
Descriptores:
Educación en Enfermería; Tecnología Educacional; Internet; Satisfacción del Participante; Cuestionarios; Países en Desarollo
Destacados:
(1) Preguntas de 20 ítems válidas y confiables sobre el sistema de puntuación de enfermería.
(2) Una alta proporción de examinadores (profesores) proporcionó feedback positivo sobre el OSCE en línea.
(3) Las instituciones de enseñanza de enfermería pueden adoptar el sistema de puntuación del On-OSCE para mejorar la evaluación.
(4) La utilización del On-OSCE puede ahorrar tiempo, ser objetiva y simplificar el proceso de puntuación.
(5) El sistema de puntuación del On-OSCE es altamente recomendado para su implementación a nivel mundial.
Objective the paper-based OSCE (Pa-OSCE) scoring system has several drawbacks, including significant paper waste and being time-consuming. This study aims to assess examiner satisfaction with the On-OSCE scoring management system, identify and weigh the potential benefits of the innovation, and promote its use.
Method using a cross-sectional study design, we developed satisfaction inventory consisting of four domains: time-saving, user-friendliness, prospective application, and objectivity. This inventory was used to compare satisfaction scores between two examiner groups (a total of 67 subjects).
Results the 20-item satisfaction inventory demonstrated high validity and reliability (0.98 and 0.97, respectively). The average scoring time was significantly shorter in the online scoring management system group (p<0.001). Both the total satisfaction score and the scores for each domain were significantly higher in the online scoring management system group compared to the paper-based scoring management system group (p<0.001).
Conclusion a high proportion of the examiners provided positive feedback on the online scoring management system. The online scoring management system saves the time to score, and is more objective, easier to use, and is recommended for implementation. Online scoring management systems can be implemented in nursing education institutions globally to improve scoring efficiency. Additionally, the 20-item satisfaction inventory can serve as a benchmarking tool to assess educators worldwide.
Descriptors:
Nursing Education; Educational Technology; Internet; Participant Satisfaction; Questionnaires; Developing Nations
Highlights:
(1) Valid and reliable 20-item questions on the nursing scoring system.
(2) A high proportion of the examiners (lecturers) provided positive feedback on the online OSCE.
(3) Nursing education institutions may adopt the On-OSCE scoring system to improve scoring.
(4) The utilization of On-OSCE can save time, objective, and simplify the scoring process.
(5) The On-OSCE scoring system is highly recommended for worldwide implementation.
Objetivo o sistema de pontuação do OSCE em papel (Pa-OSCE) tem várias desvantagens, incluindo o desperdício significativo de papel e o fato de consumir muito tempo. Este estudo tem como objetivo avaliar a satisfação dos examinadores com o sistema de gerenciamento de pontuação do On-OSCE, identificar e avaliar os possíveis benefícios da inovação e promover seu uso.
Método usando um projeto de estudo transversal, desenvolvemos um inventário de satisfação que consiste em quatro domínios: economia de tempo, facilidade de uso, aplicação prospectiva e objetividade. Esse inventário foi usado para comparar os escores de satisfação entre dois grupos de examinadores (total de 67 indivíduos).
Resultados o inventário de satisfação de 20 itens demonstrou alta validade e confiabilidade (0,98 e 0,97, respectivamente). O tempo médio de pontuação foi significativamente menor no grupo do sistema de gerenciamento de pontuação online (p<0,001). Tanto a pontuação total de satisfação quanto as pontuações de cada domínio foram significativamente maiores no grupo do sistema de gerenciamento de pontuação online em comparação com o grupo do sistema de gerenciamento de pontuação em papel (p<0,001).
Conclusão uma grande proporção dos examinadores forneceu feedback positivo sobre o sistema de gerenciamento de pontuação online . O sistema de gerenciamento de pontuação online economiza o tempo de pontuação, é mais objetivo, mais fácil de usar e é recomendado para implementação. Os sistemas de gerenciamento de pontuação online podem ser implementados em instituições de ensino de enfermagem em todo o mundo para melhorar a eficiência da pontuação. Além disso, o inventário de satisfação de 20 itens pode servir como uma ferramenta de benchmarking para avaliar os educadores em todo o mundo.
Descritores:
Educação em Enfermagem; Tecnologia Educacional; Internet; Satisfação do Participante; Questionários; Países em Desenvolvimento
Destaques:
(1) Perguntas de 20 itens válidas e confiáveis sobre o sistema de pontuação de enfermagem.
(2) Uma alta proporção de examinadores (professores) forneceu feedback positivo sobre o OSCE online .
(3) As instituições de ensino de enfermagem podem adotar o sistema de pontuação do On-OSCE para melhorar a pontuação.
(4) A utilização do On-OSCE pode economizar tempo, ser objetiva e simplificar o processo de pontuação.
(5) O sistema de pontuação do On-OSCE é altamente recomendado para implementação em todo o mundo.
Introducción
El Examen Clínico Objetivo Estructurado (OSCE) fue desarrollado en el Reino Unido para evaluar las competencias clínicas de los estudiantes de medicina en un entorno controlado y simulado ( 1 ) . El OSCE fue introducido y utilizado para evaluar las competencias clínicas de los estudiantes en varios programas de educación profesional en el área de la salud, incluida la enfermería ( 2 - 4 ) . Existen varios métodos de evaluación de competencias clínicas en la educación de profesionales de la salud, como el mini-ejercicio de evaluación clínica (mini-CEX) y la observación directa de habilidades procedimentales (DOPS); sin embargo, el OSCE sigue siendo el método más utilizado para exámenes de calificación de profesionales de la salud, incluso en países asiáticos como Indonesia ( 5 - 7 ) .
El examen OSCE cuenta con varias estaciones de prueba con entornos simulados ( 7 - 9 ) y, durante el examen, los estudiantes son monitoreados y evaluados por un examinador utilizando criterios de puntuación predefinidos ( 10 ) . El OSCE reduce el sesgo del examinador, estandariza el procedimiento del examen y proporciona objetividad para evaluar las competencias clínicas ( 1 ) . Además, el OSCE destaca los puntos fuertes y débiles de los estudiantes ( 11 - 13 ) , evalúa sus conocimientos y actitudes en relación con la práctica clínica ( 14 ) , promueve un aprendizaje profundo ( 4 ) y aumenta la confianza en sí mismos de los estudiantes ( 3 , 5 ) . Tanto los estudiantes como los examinadores reconocieron la satisfacción y los beneficios de la experiencia del OSCE en su formación ( 2 , 15 - 17 ) . Además, el OSCE ha recibido excelentes comentarios como herramienta de evaluación de la competencia clínica y de la diversidad estudiantil en la educación ( 12 , 18 ) . Cabe destacar que existen limitaciones significativas asociadas con los OSCE. Algunos estudiantes los consideran estresantes y requieren recursos considerables, incluidos laboratorios de habilidades clínicas, equipos y examinadores ( 13 ) . A pesar de los desafíos, autores creen que los beneficios educativos de los OSCE superan significativamente las preocupaciones relacionadas con la asignación de recursos ( 16 ) .
El sistema de gestión de puntuación OSCE en las profesiones de la salud y la educación en enfermería se ha llevado a cabo tradicionalmente mediante un método basado en papel (Pa-OSCE). Sin embargo, los examinadores han informado de varios problemas con el sistema Pa-OSCE, como la pérdida de hojas de evaluación, la falta de detalles, como los números y nombres de los estudiantes, y la caligrafía ilegible ( 19 ) . Además, las puntuaciones del OSCE no están disponibles de inmediato, lo que genera presión de tiempo y reduce la eficiencia de los recursos y la gestión de los examinadores del OSCE ( 20 ) . Nuestro estudio anterior confirmó las preocupaciones asociadas con el Pa-OSCE, como el desperdicio significativo de papel, el tiempo excesivo que los examinadores dedican a calcular manualmente la puntuación basada en la lista de verificación y la falta de una columna adecuada para feedback en la lista de verificación para evaluar el desempeño del estudiante ( 21 ) . Por lo tanto, el desarrollo de un sistema de gestión de puntuación del OSCE en línea (On-OSCE) es esencial, especialmente en las instituciones de enseñanza de enfermería de Indonesia, para abordar estas deficiencias del Pa-OSCE ( 22 ) .
Varios estudios han evaluado la satisfacción de los evaluadores con la implementación del sistema de gestión de puntuación del OSCE en línea ( 13 , 16 , 23 ) . Estos estudios exploraron las percepciones y actitudes de los examinadores hacia el sistema de gestión de puntuación en línea en la enseñanza de enfermería en Irlanda ( 23 ) . Los resultados indicaron altos niveles de satisfacción entre los examinadores. El sistema de gestión de puntuación del OSCE en línea redujo la falta de datos y mejoró la entrega oportuna de feedback a los estudiantes ( 23 ) . De manera similar, un estudio sobre la evaluación en línea del OSCE en instituciones de enseñanza de farmacia en Taiwán informó que los examinadores mostraron un alto reconocimiento, aceptación y satisfacción con el sistema de evaluación en línea ( 24 ) . Además, el sistema de gestión de puntuación del OSCE en línea facilita el almacenamiento de datos y permite un análisis detallado del rendimiento general del grupo o de cada estudiante, lo que contribuye a una evaluación más profunda de la enseñanza y el aprendizaje ( 23 ) .
Aunque el sistema de gestión de puntuación del OSCE en línea está bien establecido en países desarrollados ( 3 , 6 , 23 ) , su implementación en países en desarrollo, como Indonesia, representa un nuevo enfoque, especialmente en la enseñanza de enfermería. Nuestro estudio anterior reveló que el sistema común de gestión de puntuación del OSCE en Indonesia se basaba en el sistema tradicional de gestión de puntuación basado en papel (Pa-OSCE) ( 25 ) . Para resolver problemas como el desperdicio excesivo de papel y el consumo de tiempo, nuestro departamento de enfermería desarrolló un sistema de puntuación en línea (On-OSCE) ( 21 ) . Para garantizar la eficacia y aceptación del On-OSCE entre los administradores y examinadores acostumbrados a las técnicas de evaluación basadas en papel, es fundamental evaluar su uso práctico. Por lo tanto, este estudio tiene como objetivo evaluar la satisfacción de los examinadores con el sistema de gestión de puntuación del On-OSCE, identificar y sopesar los posibles beneficios de esta innovación y promover su adopción.
Métodos
Diseño del estudio
Este estudio utilizó un enfoque transversal, en el cual el investigador mide simultáneamente los resultados y las exposiciones de los participantes. El estudio se llevó a cabo en la Escuela de Enfermería de la Universitas Muhammadiyah Yogyakarta , Indonesia, del 21 de junio de 2019 al 28 de febrero de 2021. La recolección de datos se extendió durante tres años para apoyar la transición de un OSCE en papel a un sistema de gestión de puntuación de OSCE en línea y permitir la captura de datos de ambos grupos (en papel vs. en línea).
Participantes
Utilizamos una técnica de muestreo total en este estudio. Un total de 30 examinadores utilizando un sistema de gestión de puntuación de OSCE en papel (Pa-OSCE) y 37 examinadores utilizando un sistema de gestión de puntuación de OSCE en línea (On-OSCE) participaron en el estudio. Los examinadores eran profesores de enfermería o asistentes de profesores de la Escuela de Enfermería de la Universitas Muhammadiyah Yogyakarta , Indonesia, que realizaban regularmente evaluaciones OSCE en la escuela de enfermería.
Instrumentos
Antes de recolectar los datos, desarrollamos un inventario de satisfacción con 20 ítems que abarcaba cuatro dominios: ahorro de tiempo (6 ítems), facilidad de uso (5 ítems), aplicación prospectiva (4 ítems) y objetividad (5 ítems), como se detalla en la Tabla 1 . Se solicitó a los participantes que clasificaran su satisfacción con cada ítem en una escala tipo Likert de 11 puntos, que iba desde insatisfecho (0) hasta muy satisfecho (10) ( 26 ) . El instrumento fue desarrollado por los investigadores con base en la revisión de la literatura sobre este tema. Clasificamos la satisfacción de los participantes en tres grupos según su puntuación total: 0-70 indicaba baja satisfacción, 71-140 indicaba satisfacción media y 141-200 indicaba alta satisfacción.
Reclutamos a cinco miembros del cuerpo docente con experiencia en Pa-OSCE y On-OSCE para llevar a cabo un índice de validez de contenido del inventario (IVC). El IVC consiste en contenido adecuado (IVCs) y precisión de palabras (IVCw) ( 27 ) . Las puntuaciones del IVC de cinco expertos fueron de 0,98. Tres o más expertos con un IVC promedio de 0,78 o más se consideran que tienen buena validez de contenido ( 28 ) . También examinamos el valor de la correlación ítem-total en los cuatro dominios (un total de 20 preguntas) para evaluar la satisfacción de los examinadores con el uso del Pa-OSCE y del sistema de gestión de puntuación On-OSCE. Se mantuvieron los ítems con un valor de correlación mayor de 0,3. La Confiabilidad Compuesta (CC) para el extremo fue estadísticamente significativa (p < 0,05).
La confiabilidad (α de Cronbach) y la consistencia interna (comparaciones de grupos extremos y correlación ítem-total corregida) fueron analizadas utilizando los datos de 15 examinadores que realizaron el sistema de gestión de puntuación Pa-OSCE y 15 examinadores que realizaron el sistema de gestión de puntuación On-OSCE. El puntaje α de Cronbach fue de 0,97. Con un alfa > 0,60, el cuestionario puede considerarse confiable ( 26 , 29 ) .
Recolección de datos
Las invitaciones para la encuesta se enviaron por medio de la aplicación WhatsApp a todos los participantes elegibles. Los participantes que expresaron su disposición para participar en el estudio podían ponerse en contacto con los investigadores si necesitaban más información relacionada con la investigación. La encuesta de satisfacción de los examinadores se administró en línea utilizando Google Forms . Los formularios de Google incluían 20 preguntas que abarcaban cuatro variables (ahorro de tiempo, facilidad de uso, aplicación prospectiva y objetividad). El llenado y envío de los formularios indicaba el consentimiento de los participantes para participar en este estudio.
Análisis de datos
Los datos cuantitativos obtenidos del desempeño de los examinadores en las estaciones del OSCE y de la encuesta mediante cuestionarios se analizaron de manera descriptiva utilizando Microsoft Excel 365 para Windows 10 (Microsoft Corporation, Redmond, WA, EE.UU.) y el software estadístico IBM SPSS Statistics versión 22 (IBM Corporation, Armonk, NY, EE.UU.). Los datos descriptivos se presentaron en frecuencia y porcentaje para datos categóricos, como género, formación y experiencia docente de los participantes, o media para variables continuas, como la edad de los participantes. La media de clasificación se utilizó para describir los datos en minutos para completar la puntuación y las puntuaciones de satisfacción en cuatro dominios (ahorro de tiempo, facilidad de uso, aplicación prospectiva y objetividad).
Se realizó un análisis más profundo para verificar las diferencias entre los grupos Pa-OSCE y On-OSCE en términos demográficos, el tiempo necesario para completar las puntuaciones de los estudiantes y la satisfacción desde la perspectiva de los examinadores. Se utilizaron pruebas apropiadas, como las pruebas exactas de Fisher, Chi - cuadrado o Mann - Whitney U, para investigar las diferencias promedio entre los grupos de puntuación del OSCE en papel y en línea en los cuatro dominios de satisfacción de los examinadores. Los datos de las puntuaciones totales de satisfacción de los examinadores se categorizaron inicialmente en tres categorías (baja, media y alta). Sin embargo, debido a las pocas respuestas en la categoría de baja satisfacción, este grupo se fusionó con la categoría de satisfacción media para permitir un análisis significativo. La significancia estadística se definió como p < 0,05.
Consideraciones éticas
La autorización ética fue aprobada por el Comité de Ética de la Facultad de Medicina y Ciencias de la Salud de la Universitas Muhammadiyah Yogyakarta (nº 051/EC-KEPK FKIK UMY/II/2019). Se informó a los participantes sobre el objetivo del estudio y dieron su consentimiento verbal para participar después de ser completamente informados. Se les aseguró que sus datos se mantendrían confidenciales. Las respuestas se mantuvieron anónimas y se estableció un acuerdo de no divulgación, otorgando a los encuestados el derecho de retirarse del estudio en cualquier momento.
Resultados
Datos demográficos de los participantes
La Tabla 2 muestra las diferencias estadísticas entre los grupos según las categorías de edad, género, nivel educativo y experiencia docente. El resultado muestra que las características de los participantes en ambos grupos eran bastante similares, con la excepción de la edad. La categoría de edad fue significativamente diferente entre estas cuatro variables, mientras que el género, el nivel educativo y la experiencia docente no fueron significativos (p > 0,05). La edad promedio de los encuestados fue de 34,10 ± 5,58 en el grupo Pa-OSCE y de 30,70 ± 5,78 en el grupo On-OSCE (p = 0,011). La mayoría de los examinadores eran mujeres, tanto en el grupo Pa-OSCE (90%) como en el grupo On-OSCE (89,19%). La mayoría de los examinadores tenía nivel de posgrado, con un 66,67% en el grupo Pa-OSCE y un 56,76% en el grupo On-OSCE. La experiencia docente de los encuestados se categorizó en menos de un año o igual a un año de experiencia y menos de diez años de experiencia.
Los examinadores pasaron menos tiempo puntuando con el On-OSCE
Hubo una diferencia estadísticamente significativa en el tiempo necesario para completar la puntuación del OSCE entre el Pa-OSCE y el On-OSCE. La clasificación media del grupo On-OSCE fue menor que la del grupo Pa-OSCE, como muestra la Tabla 3 . Los examinadores del Pa-OSCE pasaron más tiempo calculando la puntuación, mientras que las puntuaciones en el On-OSCE fueron calculadas automáticamente por el sistema. Los datos revelan que los examinadores ahorraron más tiempo al asignar la puntuación final a los estudiantes del grupo On-OSCE.
Los examinadores tuvieron un feedback positivo sobre el sistema de gestión de puntuación On-OSCE
Las puntuaciones de satisfacción en cuatro dominios del inventario se muestran en la Tabla 4 . Se registró una diferencia estadísticamente significativa entre los grupos. Los resultados indicaron que el On-OSCE ofreció ahorro de tiempo, facilidad de uso, aplicaciones prospectivas y objetividad en comparación con el Pa-OSCE. El On-OSCE mejoró la eficiencia de la puntuación (ahorro de tiempo) y la objetividad, y fue aceptado (fácil de usar) para uso futuro (aplicaciones prospectivas) por la mayoría de los examinadores.
La satisfacción de los examinadores fue mayor en el grupo On-OSCE en comparación con el grupo Pa-OSCE
Combinamos las categorías de puntuaciones de satisfacción total bajas y medias por motivos estadísticos. La satisfacción de los examinadores con el Pa-OSCE y el On-OSCE se muestra en la Tabla 5 . Una gran proporción de examinadores del On-OSCE (97,30%) estaba altamente satisfecha con la puntuación de las habilidades de los estudiantes, mientras que una gran proporción de examinadores del Pa-OSCE (86,67%) reportó bajos niveles de satisfacción. Las Tablas 3 y 4 demuestran que el On-OSCE mejoró la eficiencia y la objetividad de la puntuación, con una alta proporción de examinadores expresando satisfacción con el nuevo sistema de gestión de puntuación.
Discusión
El objetivo de este estudio es evaluar de manera integral la satisfacción de los examinadores con el sistema de gestión de puntuación On-OSCE, utilizando herramientas validadas desarrolladas mediante análisis factorial. La evaluación se realizó en cuatro aspectos principales (ahorro de tiempo, facilidad de uso, aplicación prospectiva y objetividad) con un inventario de alta validez y confiabilidad. Además, este estudio demostró de manera concluyente que los examinadores lograron ahorrar un tiempo significativo al asignar puntuaciones finales a los estudiantes en el sistema de gestión de puntuación On-OSCE ( Tabla 3 ). Entre los cuatro aspectos principales, el grupo On-OSCE mostró una alta satisfacción ( Tabla 4 ). Los resultados mostraron una alta proporción (97,30%) de examinadores satisfechos con la eficiencia (ahorro de tiempo) y la objetividad de la puntuación, y aceptados para aplicación futura (facilidad de uso y aplicación prospectiva) en comparación con el Pa-OSCE (p < 0,001) ( Tabla 5 ).
Uno de los hallazgos más desalentadores en nuestro contexto fue la mejora drástica en el tiempo de finalización de la puntuación, para calcular la puntuación final y decidir si el examinado aprobaba o reprobaba la habilidad que estaba siendo evaluada. El estudio mostró que, al emplear el sistema de gestión de puntuación On-OSCE, los examinadores necesitaron menos tiempo para completar el proceso de puntuación que con el sistema de gestión de puntuación Pa-OSCE ( Tabla 3 ). Nuestra hipótesis fue coherente con varios estudios que indican que el sistema de gestión de puntuación del OSCE en línea redujo el tiempo para obtener el resultado oficial más rápidamente que el sistema tradicional de gestión de puntuación del OSCE ( 22 , 30 ) . Hay cuatro razones por las cuales el sistema de gestión de puntuación On-OSCE fue más rápido que el sistema de gestión de puntuación Pa-OSCE. En primer lugar, el sistema de gestión de puntuación del On-OSCE calculó automáticamente las puntuaciones de los estudiantes, garantizó el envío de una lista de verificación sin errores, fue fácilmente marcado y no necesitó ser escrito a mano. En segundo lugar, el sistema de gestión de puntuación del OSCE en línea (tableta o PC) permite a los examinadores marcar la lista de verificación fácilmente, sin esfuerzo y de manera continua ( 10 ) . Además, la lista de verificación marcada por los examinadores es procesada automáticamente por el sistema, lo que hace que las puntuaciones de los estudiantes aparezcan de inmediato ( 24 ) . En tercer lugar, el sistema de gestión de puntuación del On-OSCE alerta sobre las notas faltantes. Al igual que un sistema de alarma, el examinador recibe una alerta en la pantalla de la tableta o PC si falta alguna nota ( 24 ) . En cuarto lugar, el sistema de gestión de puntuación On-OSCE ofrece a los examinadores un acceso directo en la lista de verificación ( 7 , 22 ) . Los examinadores “clickean” fácilmente en la lista de verificación del On-OSCE en lugar de marcarla con un bolígrafo en el sistema de gestión de puntuación del Pa-OSCE. Los examinadores simplemente usan el sistema de gestión de puntuación On-OSCE desplazando o girando la hoja de la lista de verificación en la pantalla ( 30 - 31 ) . Así, el sistema de gestión de puntuación On-OSCE fue superior al sistema de gestión de puntuación Pa-OSCE en la finalización de las evaluaciones de los estudiantes. Estos hallazgos sugieren que la aplicación sería beneficiosa para los estudiantes de enfermería y para las instituciones de enfermería, ya que nuestros estudios anteriores indicaron que los estudiantes estaban satisfechos con la evaluación mediante el sistema de gestión de puntuación On-OSCE, ya que obtenían sus puntuaciones de manera inmediata y estas eran increíblemente precisas ( 15 ) . Además, evaluamos la preparación de la enseñanza de enfermería en Indonesia para la implementación del sistema de gestión de puntuación On-OSCE y reconocimos que la mayoría de ellos estaba lista para implementar esta aplicación en su institución ( 25 ) .
Evaluar la satisfacción de los examinadores con la implementación del sistema de gestión de puntuación del On-OSCE es vital para obtener una comprensión, especialmente de su viabilidad, y proporcionar información fundamental para programas de mejora futuros. Nuestros resultados mostraron que los examinadores estuvieron muy satisfechos con la asignación de las notas de los estudiantes usando el sistema de gestión de notas del On-OSCE (97,30%), en comparación con el sistema de gestión de notas del Pa-OSCE, que presentó una baja satisfacción (86,67%) ( Tabla 5 ). En relación con la utilización de los sistemas de gestión de puntuación del OSCE en línea, los examinadores evaluaron su nivel de satisfacción en cuatro dominios: ahorro de tiempo, facilidad de uso, aplicaciones prospectivas y objetividad ( Tabla 4 ). Otros estudios han encontrado que las herramientas electrónicas facilitaron el análisis de resultados agregados, lo que resultó en un ahorro significativo de tiempo ( 13 , 30 ) . Del mismo modo, la utilización de nuestro sistema electrónico exclusivo redujo significativamente el tiempo necesario para el análisis de datos, proporcionando más tiempo para la interpretación de los mismos a fin de mejorar el desarrollo curricular y la evaluación del proceso de aprendizaje, lo que puede ser una de las razones por las que este sistema de gestión de puntuación satisfizo a los examinadores. Además, el sistema de gestión de puntuación del On-OSCE se convirtió en una aplicación futura sin esfuerzo para los examinadores, ya que se familiarizaron rápidamente con el sistema; los examinadores informaron estar altamente satisfechos en los cuatro dominios. Sin embargo, los autores afirmaron que los examinadores deben recibir capacitación y práctica adecuadas para sentirse confiados en el uso del sistema de evaluación informatizado ( 24 ) .
De acuerdo con los resultados de este estudio, se identificaron tres motivos principales para la satisfacción de los examinadores con el uso del sistema de gestión de puntuación del On-OSCE. Primero, podían firmar o crear comentarios en el formulario de evaluación en cualquier momento, lo que no podían hacer con el sistema de gestión de puntuación en papel. El sistema de gestión de puntuación del OSCE en línea fue diseñado para que los examinadores pudieran proporcionar feedback de manera eficaz y adecuado. Este hallazgo está alineado con investigaciones anteriores que indican que el OSCE en línea ofrece un medio viable para evaluar las competencias de los estudiantes y proporcionar feedback inmediato sobre las habilidades evaluadas ( 11 , 22 ) . En segundo lugar, el sistema de gestión de puntuación del On-OSCE desactivó la función de añadir/restar puntuación, facilitando a los examinadores la asignación objetiva de las puntuaciones generales de los estudiantes de acuerdo con su desempeño. La adición o sustracción de puntuaciones de los estudiantes suele ser realizada por los examinadores en el sistema de gestión de puntuación del Pa-OSCE, lo que disminuye la objetividad de la puntuación. En tercer lugar, la Tabla 2 muestra que hay una diferencia estadísticamente significativa en la edad entre los examinadores. Comparando las edades, el grupo del On-OSCE es más joven que el grupo del Pa-OSCE. Esto puede deberse a que los examinadores adultos jóvenes tienen experiencia en competencias digitales, como el uso de computadoras y servicios de Internet ( 32 ) , y están expuestos a mejores avances tecnológicos en comparación con las personas mayores ( 33 ) . Por lo tanto, deben considerarse trabajos futuros, especialmente para analizar los factores que afectan las decisiones de los examinadores en el sistema electrónico de evaluación del OSCE.
Durante la pandemia de COVID-19, el sistema de gestión de puntuación del OSCE en línea permitió a los examinadores evaluar las habilidades de los estudiantes sin una evaluación presencial ( 31 ) . Además, un estudio reconoció que la respuesta favorable de los estudiantes al sistema modificado de gestión de puntuación del OSCE en línea respalda una evaluación en línea para mejorar el sistema tradicional de gestión de puntuación del OSCE ( 7 ) . Sin embargo, los estudiantes creían que el sistema de gestión de puntuación del OSCE en línea hacía que los examinadores ignoraran su comportamiento y se concentraran en las laptops o tabletas, lo que podía aumentar la ansiedad de los estudiantes ( 15 ) . Además, el sistema de gestión de puntuación del On-OSCE puede utilizarse junto con el sistema tradicional de gestión de puntuación del OSCE, siempre que las instituciones cuenten con una conexión adecuada a Internet, hardware apropiado (tableta o PC), listas de verificación legítimas de habilidades y examinadores debidamente capacitados ( 21 ) .
La competencia clínica se examina de manera consistente, integral y organizada en un amplio espectro. El examen requiere un proceso altamente objetivo en el que el sesgo del examinador debe minimizarse y debe demostrarse la discriminación entre los niveles de desempeño de los estudiantes ( 22 ) . La hipótesis fue coherente con estudios que muestran que el sistema de gestión de puntuación del OSCE en línea redujo los problemas administrativos ( 6 , 30 ) . Además, nuestros resultados, consistentes con el estudio, revelaron que el software electrónico ahorró tiempo y eliminó la posibilidad de pérdida de datos ( 23 ) . Los posibles beneficios del software electrónico incluyen la capacidad de almacenar y analizar resultados agregados e individuales, además de proporcionar a los estudiantes un feedback objetivo inmediato ( 23 ) .
Este estudio aún tiene limitaciones. En primer lugar, al ser un estudio en un solo sitio, los resultados pueden no generalizarse a otras instituciones, países o especialidades de salud. En segundo lugar, no evaluamos las percepciones de los examinadores sobre la cantidad de esfuerzo mental requerido. El esfuerzo mental de los examinadores experimentados puede afectar su desempeño al observar y evaluar a los estudiantes, lo que puede influir en su nivel de satisfacción. Por lo tanto, futuros estudios podrían organizarse para investigar el esfuerzo mental de los examinadores en el Pa-OSCE y en el On-OSCE. En tercer lugar, las variables de nuestro estudio y el tamaño de la muestra son limitados y no cumplen con los requisitos estadísticos ni las suposiciones necesarias para realizar la prueba de regresión logística ( 34 ) . Por lo tanto, se necesitan investigaciones futuras para evaluar las variables que pueden contribuir a la satisfacción de los estudiantes y examinadores de manera integral y aumentar el tamaño de las muestras para permitir pruebas de regresión.
Conclusión
El sistema de gestión de puntuación del On-OSCE puede aliviar los desafíos encontrados durante el riguroso proceso del OSCE. En comparación con el sistema tradicional de gestión de puntuación del OSCE, el sistema de gestión de puntuación On-OSCE ofrece ventajas como un mayor ahorro de tiempo, facilidad de uso, aplicación prospectiva y objetividad en la evaluación del desempeño de los estudiantes. Los examinadores que están familiarizados con la funcionalidad del sistema demostraron una mayor satisfacción con la función general y el uso del sistema en comparación con el sistema de gestión de puntuación Pa-OSCE. El sistema de gestión de puntuación del On-OSCE aumenta la eficacia en la planificación y la implementación del OSCE. Tiene enormes ventajas y es viable para pruebas de práctica clínica, que podrían emplearse ampliamente en el aprendizaje práctico en dominios médicos conectados en el futuro. Además, otros estudios pueden utilizar el reciente inventario de satisfacción de 20 ítems para evaluar a los educadores de enfermería en todo el mundo.
Agradecimientos
Los autores agradecen las contribuciones del Research and Innovation Bureau , Universitas Muhammadiyah Yogyakarta , que proporcionó financiación para este estudio.
Referencias bibliográficas
-
Harden RM, Stevenson M, Downie WW, Wilson G. Assessment of clinical competence using objective structured examination. Br Med J. 1975;1(5955):447-51. https://doi.org/10.1136/bmj.1.5955.447
» https://doi.org/10.1136/bmj.1.5955.447 -
Vincent SC, Arulappan J, Amirtharaj A, Matua GA, Al Hashmi I. Objective structured clinical examination vs traditional clinical examination to evaluate students’ clinical competence: A systematic review of nursing faculty and students’ perceptions and experiences. Nurse Educ Today. 2022;108:105170. https://doi.org/10.1016/j.nedt.2021.105170
» https://doi.org/10.1016/j.nedt.2021.105170 -
Cristobal E, Perkins K, Kang C, Chen S. Impact of a Mock OSCE on Student Confidence in Applying the Pharmacists’ Patient Care Process. Pharmacy (Basel). 2024;12(2):54. https://doi.org/10.3390/pharmacy12020054
» https://doi.org/10.3390/pharmacy12020054 -
Shimizu I, Mori J, Yamauchi A, Kato S, Masuda Y, Nakazawa Y, et al. Progress testing of an objective structured clinical examination during undergraduate clinical clerkship: a mixed-methods pilot study. BMC Med Educ. 2023;23(1):958. https://doi.org/10.1186/s12909-023-04940-8
» https://doi.org/10.1186/s12909-023-04940-8 -
Kassabry MF. Evaluation of simulation using objective structured clinical examination (OSCE) among undergraduate nursing students: A systematic review. Int J Africa Nurs Sci. 2023;18:100553. https://doi.org/10.1016/j.ijans.2023.100553
» https://doi.org/10.1016/j.ijans.2023.100553 -
Tseng WY, Lai EHH, Wang TM, Wang CY, Lin TF, Lin LD, et al. The multi-factor analysis of computer-based test scores in objective structured clinical examination of clerkship in school of dentistry, National Taiwan University. J Dent Sci. 2023;18(2):754-60. https://doi.org/10.1016/j.jds.2022.12.012
» https://doi.org/10.1016/j.jds.2022.12.012 -
Indarwati F, Primanda Y, Haris F, Sutrisno RY. Content validity and inter-rater reliability of procedural skill checklists used in the online OSCE scoring management system. Bali Med J. 2023;12(1):456-61. https://doi.org/10.15562/bmj.v12i1.3760
» https://doi.org/10.15562/bmj.v12i1.3760 -
Guerrero JG, Rosales NS, Castro GMT. Impact of high-fidelity simulation exposure of nursing students with their objective structured clinical examination: A quasi-experimental study. Nurs Open. 2023;10(2): 765-72. https://doi.org/10.1002/nop2.1343
» https://doi.org/10.1002/nop2.1343 -
Abbasi MA, Imannezhad S, Movahedinia S, Shojaei H, Fazli B. Different Assessment Tools for Evaluating Objective Structured Clinical Examinations in Medical Education: A Rapid Review. Med Edu Bull. 2023;4(4):14. https://doi.org/10.22034/meb.2023.433369.1087
» https://doi.org/10.22034/meb.2023.433369.1087 -
Kharaba Z, Al Ahmed M, Elnour AA, AbouHajal A, Abumweis S, Ghattas MA. Are we ready yet for digital transformation? Virtual versus On-Campus Objective Structured Clinical Examination (OSCE) as an assessment tools in pharmacy education. A randomized controlled head-to-head comparative assessment [Preprint]. Research Square. 2022. https://doi.org/10.21203/rs.3.rs-1893972/v1
» https://doi.org/10.21203/rs.3.rs-1893972/v1 -
Chang O, Holbrook AM, Lohit S, Deng J, Xu J, Lee M, et al. Comparability of Objective Structured Clinical Examinations (OSCEs) and written tests for assessing medical school students’ competencies: a scoping review. Eval Health Prof. 2023;46(3):213-24. https://doi.org/10.1177/01632787231165797
» https://doi.org/10.1177/01632787231165797 -
Chan SCC, Choa G, Kelly J, Maru D, Rashid MA. Implementation of virtual OSCE in health professions education: A systematic review. Med Educ. 2023;57(9):833-43. https://doi.org/10.1111/medu.15089
» https://doi.org/10.1111/medu.15089 -
Berendes S, Schaper E, Tipold A, Wissing S. Evaluation of the eOSCE for testing clinical skills. Front Vet Sci. 2023;10:1196311. https://doi.org/10.3389/fvets.2023.1196311
» https://doi.org/10.3389/fvets.2023.1196311 -
Alamri S, Al Hashmi I, Shruba K, Jamaan S, Alrahbi Z, Al Kaabi T. Nursing Students’ Perception and Attitude towards Objective Structured Clinical Examination in Oman. Sultan Qaboos University Med J. 2022;22(3):343. https://doi.org/10.18295%2Fsqumj.2.2022.012
» https://doi.org/10.18295%2Fsqumj.2.2022.012 -
Sutrisno RY, Primanda Y, Haris F. Students’ Satisfaction on Online Nursing OSCE (ON-OSCE) Assessment Application. Indonesian J Nurs Pract. 2020;4(2). https://doi.org/10.18196/ijnp.v4i2.10142
» https://doi.org/10.18196/ijnp.v4i2.10142 -
Manuaba IBAP, Yani MVW. Evaluation of the Implementation of Objective Structural Clinical Examination (OSCE) in the Faculty of Medicine: a Literature Review. Bali Med J. 2023;12(1):1163-6. https://doi.org/10.15562/bmj.v12i1.4383
» https://doi.org/10.15562/bmj.v12i1.4383 -
Shariff A, Kumar TMP, Siddalingegowda SM, Wani SUD, Elsobky Y. PharmD students experiences on end year clerkship evaluation using objective structured clinical exam (OSCE) method at JSS College of Pharmacy Mysuru India. PEC Innov. 2024;4:100271. https://doi.org/10.1016/j.pecinn.2024.100271
» https://doi.org/10.1016/j.pecinn.2024.100271 -
Barnes KN, Hardinger KL, Graham MR. Review of Objective Structured Clinical Examination Practices within Pharmacy Programs throughout the United States. Am J Pharm Educ. 2024;88(4):100686. https://doi.org/10.1016/j.ajpe.2024.100686
» https://doi.org/10.1016/j.ajpe.2024.100686 -
Snodgrass SJ, Ashby SE, Onyango L, Russell T, Rivett DA. Electronic practical skills assessments in the health professions: a review. Internet J Allied Health Sci Pract. 2014;12(1):8. https://doi.org/10.46743/1540-580X/2014.1471
» https://doi.org/10.46743/1540-580X/2014.1471 -
Natarajan J, Thomas D. Integrative Review Literature on Objective Structured Clinical Examination and its implications in Nursing Education. IOSR J Nurs Health Sci [Internet]. 2014 [cited 2023 Apr 14];3(4):23-30. Available from: https://www.iosrjournals.org/iosr-jnhs/papers/vol3-issue4/Version-1/F03412330.pdf
» https://www.iosrjournals.org/iosr-jnhs/papers/vol3-issue4/Version-1/F03412330.pdf -
Primanda Y, Sutrisno R, Haris F. The Development of Online OSCE Prototype for OSCE in School of Nursing: Lesson Learned. In: Proceedings of the Third International Conference on Sustainable Innovation 2019–Health Science and Nursing (IcoSIHSN 2019) [Internet]; 2019 July 30-31; Yogyakarta, Indonesia. Amsterdam: Atlantis Press; 2019 [cited 2023 Apr 14]. Available from: https://doi.org/10.2991/icosihsn-19.2019.47
» https://doi.org/10.2991/icosihsn-19.2019.47 -
Wagner FL, Feller S, Schmitz FM, Zimmermann PG, Krings R, Guttormsen S, et al. Usability and preference of electronic vs. paper and pencil OSCE checklists by examiners and influence of checklist type on missed ratings in the Swiss Federal Licensing Exam. GMS J Med Educ. 2022;39(2):Doc24. https://doi.org/10.3205/zma001545
» https://doi.org/10.3205/zma001545 -
Meskell P, Burke E, Kropmans TJ, Byrne E, Setyonugroho W, Kennedy KM. Back to the future: An online OSCE Management Information System for nursing OSCEs. Nurse Educ Today. 2015;35(11):1091-6. https://doi.org/10.1016/j.nedt.2015.06.010
» https://doi.org/10.1016/j.nedt.2015.06.010 -
Chuo WH, Lee CY, Wang TS, Huang PS, Lin HH, Wen MC, et al. Evaluate the Feasibility of the Implementation of E-Assessment in Objective Structured Clinical Examination (OSCE) in Pharmacy Education from the Examiner’s Perspectives. Educ Sci. 2021;11(5):194. https://doi.org/10.3390/educsci11050194
» https://doi.org/10.3390/educsci11050194 -
Primanda Y, Indarwati F, Haris F, Sutrisno RY. Nursing education institutions’ readiness to use online objective structured clinical examination scoring management system. Bali Med J. 2023;12(2):2185-90. https://doi.org/10.15562/bmj.v12i2.3700
» https://doi.org/10.15562/bmj.v12i2.3700 -
Koustelios AD, Bagiatis K. The Employee Satisfaction Inventory (ESI): Development of a scale to measure satisfaction of Greek employees. Educ Psychol Meas. 1997;57(3):469-76. https://doi.org/10.1177/0013164497057003008
» https://doi.org/10.1177/0013164497057003008 -
Polit DF, Beck CT. The content validity index: are you sure you know what’s being reported? Critique and recommendations. Res Nursing Health. 2006;29(5):489-97. https://doi.org/10.1002/nur.20147
» https://doi.org/10.1002/nur.20147 -
Polit DF, Beck CT, Owen SV. Is the CVI an acceptable indicator of content validity? Appraisal and recommendations. Res Nurs Health. 2007;30(4):459-67. https://doi.org/10.1002/nur.20199
» https://doi.org/10.1002/nur.20199 -
Kregel J, Vuijk PJ, Descheemaeker F, Keizer D, van der Noord R, Nijs J, et al. The Dutch Central Sensitization Inventory (CSI): factor analysis, discriminative power, and test-retest reliability. Clin J Pain. 2016;32(7):624-30. https://doi.org/10.1097/AJP.0000000000000306
» https://doi.org/10.1097/AJP.0000000000000306 -
Yousef AA, Awary BH, AlQurashi FO, Albuali WH, Al-Qahtani MH, Husain SI, et al. Innovative method to digitize a web-based OSCE evaluation system for medical students: A cross-sectional study in university hospital in Saudi Arabia. Int J Gen Med. 2022:1085-95. https://doi.org/10.2147/IJGM.S351052
» https://doi.org/10.2147/IJGM.S351052 -
Bhuiyan AAM, Islam AM. E-assessment during COVID-19 pandemic at a Saudi university: impact on assessment methods and course learning outcomes. J Lang Cult Educ. 2023;11(3):1-11. https://doi.org/10.2478/jolace-2023-0021
» https://doi.org/10.2478/jolace-2023-0021 -
Heponiemi T, Kaihlanen AM, Kouvonen A, Leemann L, Taipale S, Gluschkoff K. The role of age and digital competence on the use of online health and social care services: a cross-sectional population-based survey. Digit Health. 2022;8:20552076221074485. https://doi.org/10.1177/20552076221074485
» https://doi.org/10.1177/20552076221074485 -
Haase M, Bosse M, Sackmann S, Meyer G. IT Skills of Young and Older People: A Qualitative Study. Int J Hum-Comput Int. 2024:1-11. https://doi.org/10.1080/10447318.2024.2319916
» https://doi.org/10.1080/10447318.2024.2319916 -
Harris JK. Primer on binary logistic regression. Fam Med Community Health. 2021;9(Suppl 1):e001290. https://doi.org/10.1136/fmch-2021-001290
» https://doi.org/10.1136/fmch-2021-001290
-
Todos los autores aprobaron la versión final del texto.
-
*
Apoyo financiero del Ministry of Science and Technology Taiwan, proceso nº MOST 109-2314-B-468-006-MY3, Taiwan, y del Research and Innovation Bureau, Universitas Muhammadiyah Yogyakarta, proceso nº 550/PEN-LP3M/II/2020, Indonesia.
-
How to cite this article
Haris F, Indarwati F, Primanda Y, Sutrisno RY, Irawati K, Shih YH. Nurse educators’ satisfaction with online Objective Structured Clinical Examination scoring system. Rev. Latino-Am. Enfermagem. 2024;32:e4344 [cited]. Available from: . https://doi.org/10.1590/1518-8345.6816.4344
Editado por
-
Editora Asociada:
Andrea Bernardes
