Usabilidad del sistema computacional “Apoyo a la Revisión Sistemática”: un estudio metodológicoObjetivo: evaluar la usabilidad del sistema computacional “Apoyo a la Revisión Sistemática”
Método: estudio metodológico involucrando a 21 estudiantes que evaluaron el sistema computacional en un test de usabilidad remoto y sincrónico. Se realizaron dos actividades, conteniendo 21 tareas simulando las etapas iniciales de un estudio de revisión, propuestas para la eliminación de referencias duplicadas, selección de estudios y resolución de divergencias entre evaluadores. Al final, los participantes respondieron al cuestionario System Usability Scale . Las medidas utilizadas fueron: tasa de conclusión con soporte (eficacia) y tiempo para concluir la tarea (eficiencia). Los datos fueron descritos en tabla mediante media, desviación estándar, valores mínimo y máximo.
Resultados: en el total de 21 tareas, los participantes presentaron una tasa de conclusión con soporte del 9% y un tiempo medio de 55,1 minutos (siendo el tiempo esperado: 60 minutos). La nota media proporcionada por el instrumento System Usability Scale fue de 82,4 (considerando una puntuación de 0 a 100), mediana 85; valor mínimo 35 y máximo 97,5.
Conclusión: el sistema computacional presenta parámetros de eficacia y eficiencia necesarios para una herramienta computacional de revisión. Presenta usabilidad de 82,4 en escala de 0 a 100 evaluada por el instrumento System Usability Scale . La versión presentada incorpora los ajustes identificados en el test en uso.
Descriptores:
Nube Computacional; Diseño Centrado en el Usuario; Revisión; Revisión Sistemática; Programas Informáticos; Tecnología de la Información; Prueba de Usabilidad
Destacados:
(1) El sistema “Apoyo a la Revisión Sistemática” posee un alto grado de usabilidad percibida.
(2) Su uso facilita la eliminación de referencias duplicadas y la selección de estudios.
(3) El test de usabilidad remoto y sincrónico hizo viable la investigación durante la pandemia.
(4) Asociar técnicas de usabilidad permitió identificar los ajustes necesarios.
(5) El método utilizado amplió la capacidad del test en contexto real de uso.
Objective: to evaluate the usability of the “Systematic Review Support” computer system.
Method: methodological study involving 21 students who evaluated the computer system in a remote and synchronous usability test. Two activities were carried out, containing 21 tasks simulating the initial steps of a review study, proposals for eliminating duplicate references, selecting studies and resolving disagreements between evaluators. At the end, participants answered the System Usability Scale questionnaire. The measures used were: completion rate with assistance (effectiveness) and time to complete the task (efficiency). The data was described in a table using the mean, standard deviation, minimum and maximum values.
Results: in a total of 21 tasks, the participants had an assisted completion rate of 9% and an average time of 55.1 minutes (the expected time being 60 minutes). The average score provided by the System Usability Scale instrument was 82.4 (considering a score from 0 to 100), median 85; minimum value 35 and maximum 97.5.
Conclusion: the computer system has the effectiveness and efficiency parameters required of a computer review tool. It has a usability score of 82.4 on a scale of 0 to 100 assessed by the System Usability Scale instrument. The version presented incorporates the adjustments identified in the test in use.
Descriptors:
Cloud Computing; User-Centered Design; Review; Systematic Review; Software; Information Technology
Highlights:
(1) The “Systematic Review Support” system has a high degree of perceived usability.
(2) Its use facilitates the exclusion of duplicate references and the selection of studies.
(3) Remote and synchronous usability testing made research possible during the pandemic.
(4) Combining usability techniques made it possible to identify the necessary adjustments.
(5) The method used expanded the test’s capacity in a real context of use.
Objetivo: avaliar a usabilidade do sistema computacional “Apoio à Revisão Sistemática”.
Método: estudo metodológico envolvendo 21 estudantes, que avaliaram o sistema computacional em um teste de usabilidade remoto e síncrono. Foram realizadas duas atividades, contendo 21 tarefas simulando as etapas iniciais de um estudo de revisão, propostas para eliminação de referências duplicadas, seleção de estudos e resolução de divergências entre avaliadores. No final, os participantes responderam ao questionário System Usability Scale . As medidas utilizadas foram: taxa de conclusão com assistência (eficácia) e tempo para concluir a tarefa (eficiência). Os dados foram descritos em tabela por meio de média, desvio-padrão, valores mínimo e máximo.
Resultados: no total de 21 tarefas, os participantes apresentaram taxa de conclusão com assistência de 9% e tempo médio de 55,1 minutos (sendo 60 minutos o tempo esperado). A nota média fornecida pelo instrumento System Usability Scale foi 82,4 (considerando uma pontuação de 0 a 100), mediana 85; valor mínimo 35 e máximo 97,5.
Conclusão: o sistema computacional apresenta parâmetros de eficácia e eficiência necessários a uma ferramenta computacional de revisão. Apresenta usabilidade de 82,4 em escala de 0 a 100 avaliada pelo instrumento System Usability Scale . A versão apresentada incorpora os ajustes identificados no teste em uso.
Descritores:
Computação em Nuvem; Design Centrado no Usuário; Revisão; Revisão Sistemática; Software; Tecnologia da Informação
Destaques:
(1) O sistema “Apoio à Revisão Sistemática” possui alto grau de usabilidade percebida.
(2) Seu uso facilita a eliminação de referências duplicadas e a seleção de estudos.
(3) O teste de usabilidade remoto e síncrono viabilizou a pesquisa durante a pandemia.
(4) Associar técnicas de usabilidade permitiu identificar os ajustes necessários.
(5) O método utilizado ampliou a capacidade do teste em contexto real de uso.
Introducción
Los estudios de revisión que proporcionan una síntesis imparcial de las evidencias científicas incluyen la selección de estudios basada en métodos rigurosos para permitir resultados válidos y reproducibles ( 1 ) . La etapa inicial, que incluye búsquedas en bases de datos, eliminación de artículos duplicados e identificación de estudios elegibles, es ardua, especialmente debido al volumen de estudios a manejar, siendo altamente recomendada la utilización de herramientas computacionales, como las disponibles en la plataforma The Systematic Review Toolbox ( 2 ) .
A pesar de que Cochrane recomienda herramientas computacionales para revisiones, como Covidence , EPPI-Reviewer y EndNote ®(3) , existen otros productos con ese propósito ( 2 ) , como Rayyan ® , Parsifal , StArt y el sistema “Apoyo a la Revisión Sistemática” (AReS), desarrollado recientemente para dar soporte en las etapas iniciales de revisiones en el área de la salud. Se pueden encontrar, como limitadores de herramientas computacionales, el acceso no siempre gratuito, la interfaz no amigable, la necesidad de conocimientos de programación y la falta de soporte técnico ( 4 ) . El AReS supera tales dificultades y presenta otras ventajas, como interfaz en lengua portuguesa, identificación precisa de duplicados sin necesidad del trabajo manual ( 5 ) y apoyo a la selección de estudios elegibles, presentando en una sola pantalla el resumen y los criterios de elegibilidad registrados por el investigador ( 6 ) .
Recientemente, hubo la necesidad de elaborar síntesis de evidencias científicas para el enfrentamiento rápido de la pandemia de coronavirus 2019 (COVID-19) en el desarrollo de nuevas tecnologías para diagnóstico, tratamiento y control de la enfermedad ( 7 ) . La urgencia por información actualizada indujo a la innovación y al uso de la automatización para reducir el tiempo de conclusión de las etapas de revisión ( 8 ) y para la evaluación de las nuevas herramientas, con uso del método de usabilidad remoto para la continuidad de las investigaciones y la obtención de avances en tecnología ( 9 ) .
Existe consenso tanto en la literatura científica como en normas de buena calidad técnica sobre la necesidad de evaluación de la usabilidad de nuevos productos tecnológicos. La usabilidad se refiere al grado en que un producto o servicio puede ser utilizado por usuarios específicos para alcanzar los objetivos especificados con eficacia, eficiencia y satisfacción en un determinado contexto de uso ( 2020 ) .
La percepción de usabilidad calificada como baja es uno de los motivos para desistir de la utilización de herramientas para la automatización de revisiones de literatura ( 11 ) . Estudios de usabilidad con realización de tareas por los usuarios destacaron que la adhesión al uso de software de revisión depende de la facilidad de utilización, calidad de la interfaz de usuario, recursos y funcionalidades disponibles ( 12 - 14 ) .
Considerando lo expuesto, el objetivo de este estudio fue evaluar la usabilidad del sistema computacional “Apoyo a la Revisión Sistemática”.
Método
Tipo y diseño del estudio
Estudio metodológico con tres fases ( 15 - 17 ) . En la primera, se encuentran las actividades relativas al desarrollo del sistema computacional; en la segunda fase, se realizó la validación de la funcionalidad de identificación de referencias duplicadas; y en la tercera, el test de usabilidad o test en uso fue conducido para identificar la utilidad de la herramienta, el grado de dificultad de uso y los ajustes necesarios para la mejora de la interfaz de usuario. El test en uso se realizó con voluntarios, de manera remota y sincrónica, utilizando la técnica de resolución de tareas, seguida de la aplicación del cuestionario System Usability Scale (SUS) ( 18 - 19 ) .
Aspectos éticos
El proyecto siguió los términos de la Resolución del Conselho Nacional de Saúde (CNS 466/12) del Ministerio de Salud de Brasil y fue aprobado por el Comité de Ética de la Faculdade de Saúde Pública (FSP) de la Universidade de São Paulo (USP), bajo Certificado de Presentación de Apreciación Ética 36397420.8.0000.5421. El Consentimiento Informado (CI) se obtuvo electrónicamente.
Sistema “Apoyo a la Revisión Sistemática”
El sistema web “Apoyo a la Revisión Sistemática” (AReS), disponible en la dirección electrónica http://revisaosistematica.com.br , fue propuesto por la autora principal durante el Curso de Doctorado del Programa de Epidemiología de la FSP/USP, en asociación con un profesional de tecnología de la información, que lo construyó voluntariamente. Sus requisitos funcionales se basaron en manuales sobre revisión sistemática, sin embargo, las funcionalidades son genéricas, atendiendo a otros tipos de revisiones, como alcance, overview e integrativa.
En la versión para computadora ( desktop o notebook ), el AReS consiste en una página de autenticación que redirige al usuario a la página principal, con un diseño estándar para sitios de administración. De esta manera, el sistema permite la importación de archivos de bases de datos predefinidas como PubMed , Embase y Web of Science , comparando las referencias para identificación de duplicados. Más de un investigador puede participar de la revisión, como revisor principal o invitado. El AReS está adaptado al trabajo en equipo, común en revisiones de literatura, permitiendo la organización y compartimiento de los resúmenes. En la fase de selección de estudios, el sistema permite la lectura de títulos y resúmenes y, después de la ruptura del cegamiento, compara las respuestas de los investigadores sobre la elegibilidad de los estudios, indicando las divergencias ( 6 ) .
El modelo incremental utilizado en la construcción del sistema permite que nuevas funcionalidades sean incorporadas en nuevas versiones ( 20 ) . La evaluación de usabilidad incluyó todas las funcionalidades de los menús “Resúmenes”, “Revisiones”, “Grupos”, “Criterios” y “Revisores”.
Participantes y lugar del estudio
La evaluación de usabilidad ocurrió entre marzo y julio de 2022, con la participación de estudiantes de los programas de posgrado stricto sensu de la FSP/USP (de los cursos de Maestría Profesional en Entomología en Salud Pública; Doctorado en Epidemiología y en Salud Pública), que formalmente estaban cursando sus estudios en 2022. Las invitaciones fueron enviadas por medio de mensajes electrónicos por la Comisión de Posgrado de la FSP/USP. La muestra por voluntarios incluyó posgraduandos por ser un público con gran interés en la conducción de revisiones y potenciales usuarios del AReS. El estudio se limitó a la FSP para viabilizarlo.
Criterios de elegibilidad
Consistieron en criterios de inclusión: poseer vínculo formal con un programa de posgrado stricto sensu de la FSP/USP; tener acceso a un ordenador con internet y navegador actualizado; y concluir al menos el 50% de la etapa de eliminación de estudios duplicados utilizando el sistema computacional.
Definición de la muestra
El tamaño de la muestra siguió lo descrito en la literatura, que orienta una muestra mínima de ocho usuarios ejecutando tareas en un contexto de uso real, para obtener resultados fiables ( 16 , 21 ) .
Tareas y criterios de evaluación
La evaluación en uso del AReS incluyó dos actividades, organizadas en cuatro etapas y 21 tareas. En la actividad 1, etapas 1, 2 y 3, cada participante asumió el papel de revisor principal, responsable por la creación de una revisión y organización de los resúmenes relacionados al tema antropometría en fibrosis quística. De manera detallada, las tareas eran referentes a la exclusión de referencias duplicadas (etapa 1), selección ciega de estudios (etapa 2), ruptura del cegamiento, comparación de las decisiones en cuanto a la elegibilidad de resúmenes y resolución de divergencias (etapa 3). En la actividad 2, etapa 4, el participante actuó como revisor invitado en una revisión organizada por la investigadora, con el cumplimiento de tareas relativas a la identificación de estudios elegibles ( Figura 1 ).
- Objetivo pretendido en cada etapa y tareas a realizarse en el sistema “Apoyo a la Revisión Sistemática”
Se registró, para cada participante, la completitud de la tarea, el alcance del resultado esperado y el uso de soporte (consulta a materiales explicativos sobre la utilización del AReS, siendo disponibles vídeos y tutoriales), ocurrencia de errores en el uso debido a problemas de las interfaces del sistema computacional, y tiempo (minutos) para completar cada tarea. El error en el uso fue definido como la acción (o falta de acción) del usuario que llevaba a un resultado diferente del pretendido por el fabricante o por el usuario ( 16 - 17 ) .
El tiempo utilizado por el participante para resolver las tareas 9, 10, 11, 19, 20 y 21, que fundamentaban la decisión sobre la elegibilidad de los resúmenes, fue sumado al tiempo utilizado en la resolución de las tareas 8 y 18, referentes a la lectura y análisis de títulos y resúmenes. El cumplimiento de las tareas 5, 8, 13 y 18 fue considerado obligatorio para la definición de conclusión de la etapa, pues, si el participante no las completaba, no sería posible alcanzar los objetivos de exclusión de las referencias duplicadas (etapa 1), selección de estudios (etapas 2 y 4) y resolución de divergencias entre revisores (etapa 3).
Recolección de datos
Los datos fueron recolectados individualmente, mediante herramienta de teleconferencia ( Google Meet ), iniciándose con el suministro de información y de un enlace para la firma electrónica del CI. La moderadora proporcionó un enlace para la descarga de un archivo en PDF ( Portable Document Format ) con instrucciones para acceso al AReS y actividades a ser realizadas. No hubo entrenamiento previo para el uso del sistema computacional.
Se solicitó el compartimiento de la pantalla del dispositivo del participante para grabación y posterior verificación de la conclusión de las tareas, necesidad de soporte para resolverlas y ocurrencia de errores en el uso del sistema computacional. Las informaciones fueron registradas por la investigadora en una ficha. El tiempo esperado para la terminación de todas las tareas era de 60 minutos. El tiempo de las acciones y clics efectuados en el AReS fueron registrados en archivo log , guardados en banco de datos interno.
Durante la sesión, fueron aclaradas dudas relacionadas a los enunciados de las tareas, pero no sobre cómo resolverlas. Las instrucciones de uso contenidas en el AReS podían ser consultadas en cualquier momento. Cuando el participante verbalizó que tenía dificultad para realizar una tarea, hubo incentivo para que continuara intentando resolverla, ofreciéndo soporte solo en ausencia de resolución del problema. El soporte consistió en la presentación del enlace para un sitio que contenía materiales explicativos sobre el uso del sistema computacional.
Tras la conclusión de las tareas, los participantes respondieron dos cuestionarios electrónicos: uno sobre caracterización de los participantes y otro conteniendo la versión en lengua portuguesa del instrumento SUS ( 19 ) para evaluación de usabilidad del AReS. Se solicitó el registro de comentarios sobre su uso y sugerencias de mejoras.
Análisis de los datos
Para la evaluación en uso, se verificó la conclusión de la tarea con o sin suporte (eficacia), el tiempo de resolución (eficiencia) y el grado de usabilidad (instrumento SUS), conforme lo recomendado en normas técnicas ( 16 - 17 ) .
Para la eficacia, se optó por las métricas: ( i ) tasa de conclusión de la tarea (porcentaje de participantes que alcanzaron el objetivo de cada tarea de forma completa y correcta), ( ii ) tasa de conclusión con soporte (porcentaje de participantes que completaron cada tarea correctamente, con consulta a los materiales explicativos), ( iii ) tasa de error en el uso del sistema (porcentaje de tareas con resultados diferentes de lo pretendido debido a problemas en la interfaz) ( 16 - 17 ) .
Las acciones no esperadas, identificadas mediante observación no intrusiva, fueron anotadas y permitieron la identificación de los errores en uso y la indicación de los ajustes necesarios en el sistema computacional. Se describieron las frecuencias absoluta y relativa de los resultados relacionados a su eficacia, a los errores en el uso y tipo de material explicativo consultado.
En relación a la eficiencia, propiedad de calidad que indica los recursos utilizados para la conclusión de las tareas, se optó por medir el tiempo gastado en su resolución como un proxy del grado de dificultad encontrado y la consiguiente cantidad de recursos utilizados, como orienta la norma técnica ( 16 - 17 ) . La medición del tiempo en uso es un proxy de la medición de los recursos involucrados porque sería necesario medir el esfuerzo humano para que el sistema computacional produjera los resultados esperados. Tal esfuerzo podría ser indicado por el número de clics, uso de funcionalidades y menús, lo que sería una tarea compleja en esta investigación por involucrar la cuantificación de todas las acciones registradas por el sistema computacional en archivo de texto.
Los resultados de eficiencia se presentan en tabla, mediante media, desviación estándar, valores mínimo y máximo, así como Intervalo de Confianza del 95% (IC95%) para la media, según etapa.
El constructo usabilidad, medido mediante el instrumento SUS ( 19 ) , permitió la obtención del puntaje de usabilidad. Este instrumento contiene 10 ítems graduados por medio de escala del tipo Likert, con valores de 1 a 5 correspondientes, respectivamente, a “discrepo totalmente”, “discrepo parcialmente”, “no estoy de acuerdo, ni en desacuerdo”, “de acuerdo parcialmente” y “de acuerdo totalmente”. En la puntuación final, para las preguntas impares, el puntaje se calculó como la nota recibida menos 1, mientras que para las preguntas pares, como 5 menos la nota recibida. Los puntajes pares e impares se sumaron y multiplicaron por 2,5 para obtener la nota final. Las puntuaciones finales se presentaron en categorías de usabilidad: peor imaginable (nota de 0 a 24,9); pobre (de 25,0 a 38,9); mediana (de 39,0 a 51,9); buena (de 52,0 a 73,9); excelente (de 74,0 a 84,9); y mejor imaginable (de 85,0 a 100) ( 22 ) .
Resultados
Caracterización de los participantes
Participaron 21 estudiantes con una edad media de 39 años (desviación estándar = 7 años; valor mínimo = 28 y máximo = 59 años). Doce (57%) eran del sexo femenino, 20 (95%) eran doctorandos y uno (5%) maestrando. Dieciocho (86%) habían realizado anteriormente algún tipo de estudio de revisión, siendo sistemática (n=9; 53%), narrativa (n=5; 29%) y ambos tipos (n=3; 18%). Seis (33%) reportaron haber utilizado algún tipo de software para realizar una revisión, siendo EndNote ® el más frecuentemente utilizado, seguido por Exce l®, Rayyan ®, Mendeley ® y Word ®. Se excluyeron los individuos que firmaron el CI electrónico, pero no iniciaron las actividades en el sistema computacional o no respondieron a los instrumentos de investigación (n=2).
Eficacia
En el proceso evaluativo, se obtuvo una tasa de conclusión del 90% (n=19 tareas) en las etapas 1 y 3 (referentes a la exclusión de duplicados y resolución de divergencias) y del 95% (n=20) en las etapas 2 y 4 (selección de estudios). En las tareas 14 y 21, las tasas de conclusión fueron inferiores al 90%, sin embargo, no hubo interferencia en el alcance del objetivo de cada etapa. Entre las tareas concluidas, las que presentaron mayor porcentaje de soporte fueron las de número 12 (comparación de las decisiones sobre la elegibilidad de los estudios) y 17 (selección de la revisión en la que fue invitado). El porcentaje de soporte entre los que concluyeron las tareas fue del 9%. La verificación de las tareas que presentaron las menores tasas de conclusión permitió identificar parte de los ajustes a ser realizados en el sistema computacional ( Tabla 1 ).
Para las tareas completadas, se produjeron 34 momentos de soporte, siendo acceso a videos explicativos en 28 momentos: tareas 6 (n=1); 8 (n=3); 12 (n=12); 16 (n=3); 17 (n=8) y 18 (n=1), y lectura de tutoriales en seis momentos: tareas 4 (n=1); 12 (n=1); 13 (n=1); 14 (n=1) y 17 (n=2). La elección de los materiales era realizada por el participante basándose en los recursos tecnológicos disponibles, como la calidad de internet, en el momento del test. Los videos también fueron utilizados para soporte en tres tareas no completadas (4, 8, 12). Estos datos no se presentaron en la Tabla 1 , que se refiere solo a las tareas completadas.
Durante la resolución, surgieron errores en el uso para las tareas que fueron completadas ( Tabla 1 ) y no completadas, como la 4 (n=4), 8 (n=1), 12 (n=1) y 13 (n=1). Estas ocurrencias permitieron identificar los ajustes necesarios en el AReS, dependiendo del tipo de error y de la consecuencia de su ocurrencia, pudiendo (o no) interferir en su eficacia o eficiencia. El detalle de los errores en uso observados y el resultado del análisis se presentan en la Figura 2 .
- Acciones realizadas por los participantes que interfirieron en las propiedades de calidad del sistema “Apoyo a la Revisión Sistemática” o problemas en la interfaz del sistema computacional que no permitieron el resultado deseado
Eficiencia
La utilización del AReS requirió un tiempo total medio de 55,1 minutos (desviación estándar=15,8). Para la resolución de las tareas, según el objetivo pretendido en cada etapa, el tiempo medio varió de 12,4 a 15,8 minutos ( Tabla 2 ).
Usabilidad del AReS
La nota final media de usabilidad del AReS resultó en 82,4; mediana 85; valores mínimo y máximo 35 y 97,5 (en escala de 0 a 100). La clasificación del resultado de este constructo por participante fue: “mejor imaginable” (n=12; 57%), “excelente” (n=5; 24%), “bueno” (n=3; 14%) y “pobre” (n=1; 5%). En la Figura 3 , se presentan las frecuencias, las notas finales medias y el IC95%, según las categorías de usabilidad en el uso del sistema computacional. Se observa que no se presentó la media y el IC95% para la categoría “pobre”, ya que tiene un participante. A través del IC95%, se puede afirmar que la categoría “mejor imaginable” se destaca cuando se compara con las categorías “bueno” y “excelente”, siendo esta última la categoría de mayor representación de participantes ( Figura 3 ).
*IC95% = Intervalo de confianza de 95%
- Distribución de participantes, según puntuación (A) y nota media por categoría de usabilidad (B) del instrumento System Usability Scale para el sistema “Apoyo a la Revisión Sistemática”
Condiciones generales observadas durante la prueba de uso del AReS
El sistema operativo más utilizado fue Microsoft Windows con el navegador Chrome (n=18), seguido de MacOS con navegador Safari (n=2). Se observaron errores en Safari , como la no importación de archivos y la selección automática de decisión sobre la elegibilidad de los estudios, mostrando la necesidad de ajustes en el AReS. Durante la prueba, los participantes comenzaron a utilizar el navegador Chrome para un mejor uso del sistema computacional y para completar las tareas 3 y 8.
La cámara fue mantenida abierta por la mayoría de los participantes (n=14). Uno de ellos dijo que la mantendría cerrada debido a problemas en su funcionamiento. Se solicitó al participante que “pensara en voz alta”, y nueve (43%) siguieron esa instrucción. La mayoría de los participantes compartieron la pantalla entera, sin embargo, cuando solo se compartía la pestaña de uso del AReS, la investigadora no podía verificar el tipo de material explicativo utilizado.
Se necesitó reprogramar la prueba para dos participantes por motivos de lentitud en internet y problemas en su computadora. El sistema AReS presentó problemas al presionar el ícono para seleccionar la revisión en la que el participante fue invitado (Tarea 17), siendo necesario presionar el ícono actualizar o hacer nuevo login . En la actividad 2 (revisor invitado), el sistema computacional mostró lentitud y problemas técnicos que impidieron que algunos participantes concluyeran la Tarea 21.
Algunos participantes hicieron sugerencias: usar resúmenes en lengua portuguesa en la próxima prueba (n=3) y dejar claro, al inicio, que la participación sería como revisor principal y luego como invitado (n=1). Un participante verbalizó una queja sobre el gran número de resúmenes que deberían ser leídos (n=8 resúmenes) y otro verbalizó que el PDF con las tareas no explicaba cómo resolverlas, incluso después de la exposición de la investigadora de que el participante debería leer la tarea e intentar resolverla solo en el sistema computacional.
Comentarios de los participantes
Las sugerencias de los participantes sobre el AReS se presentan a continuación:
Mejorar el cuadro de importación de las bases de datos (...) para inducir la selección de archivo de importación (P1).
Incluir un ícono de orientación sobre la atención a los detalles de la pantalla y explicación de cada ítem (P2).
Encontré que el sistema es bastante intuitivo. Sin embargo, no identifiqué cómo hacer el cambio de elegibilidad cuando hay divergencia entre los autores. El gráfico que está en el dashboard solo me mostró el porcentaje de trabajos elegibles para cada autor, dando una falsa impresión de no haber divergencias. Pero, al mirar de nuevo, había divergencias (P3).
Creo que la interfaz con el usuario es difícil y poco intuitiva, es difícil descubrir el próximo paso. Creo que faltan cuadros informativos sobre cómo operar el sistema o cómo realizar determinada tarea. No sé cómo sería si hubiera tenido un entrenamiento previo sobre el sistema, cómo sería la capacidad de uso, pero, como las pruebas fueron sin un entrenamiento completo (solo algunos datos de manual), sentí bastante dificultad (P4).
Ajustes y mejoras
Entre los ajustes y mejoras, se incluyó: estandarizar, en todos los navegadores, el texto del cuadro de selección de archivos para upload ; incluir globos explicativos sobre los botones de las pantallas del sistema computacional; incluir botón para romper el cegamiento, para facilitar la visualización de la comparación de las respuestas de los revisores; permitir la selección de una revisión por el menú “Revisiones” (y no solo por la barra superior); listar, separadamente, las revisiones creadas por el propio investigador y las revisiones en las que fue invitado a participar; en la pantalla de resúmenes, exhibir el botón guardar solo cuando haya inclusión de un comentario; permitir hacer clic en el título del estudio para acceder al resumen; en la identificación de duplicados, eliminar la opción de seleccionar grupo para comparación de las referencias.
Discusión
El presente estudio evaluó el sistema “Apoyo a la Revisión Sistemática” (AReS), que presenta funcionalidades para las fases iniciales de estudios de revisión de literatura, estructurado de acuerdo con una metodología rigurosa ( 1 , 3 ) , siguiendo también los requisitos de normativa internacional ( 16 ) . La evaluación empírica mostró un alto grado de usabilidad percibida por parte de los evaluadores voluntarios, quienes eran estudiantes de posgrado y que, no intencionalmente, constituyeron un grupo heterogéneo en cuanto al uso de herramientas computacionales en estudios de revisión, siendo representativos del público objetivo.
Siempre se debe considerar la posibilidad de sesgo de selección al utilizar muestra por voluntarios, ya que la motivación por el software pudo haber sido por el interés en conocer la nueva herramienta o por la oportunidad de aprender sobre su uso ( 22 ) . La segunda opción es corroborada por el porcentaje del 67% de participantes que reportaron no haber utilizado anteriormente ese tipo de herramienta. Tal característica pudo haber provocado un efecto positivo en el estudio, ya que podrían necesitar más recursos computacionales y exigido más del sistema en evaluación ( 23 ) .
La opción metodológica por no entrenamiento previo permitió la exposición a un nuevo producto y favoreció el surgimiento de información relativa a las dificultades de uso debido a las interfaces del sistema computacional, otorgando al test autenticidad y cumplimiento del objetivo del estudio.
Las tareas propuestas en el test en uso fueron creadas pensando en un paso a paso ( 24 ) para la realización de una revisión, siguiendo una secuencia en cuatro etapas, que favorecía la verificación de la eficacia, eficiencia y el monitoreo de los problemas de interfaz. Como la calidad de una revisión depende de una selección no sesgada de estudios ( 3 ) , la estrategia de más de un evaluador fue contemplada en el AReS, resultando en una evaluación más larga, hecha en dos fases, cada una con roles diferentes para el revisor (principal e invitado).
Los participantes alcanzaron los objetivos de las etapas en altos porcentajes, con una tasa de conclusión de al menos el 90%, siendo consideradas satisfactorias por los autores, otorgando al proceso evaluativo la calidad de validez interna, indicando que los recursos metodológicos utilizados fueron capaces de captar la adecuación de las funcionalidades del AReS.
Para las tareas 14 (uso de filtro para identificar los resúmenes elegibles) y 21 (inclusión de comentarios, si el estudio es considerado no elegible por el revisor invitado) que tuvieron tasas de conclusión inferiores al 90%, la influencia en el desempeño del software es mínima, indicando por medio de la tarea 14 un posible problema en la especificación de la tarea, y no en la interfaz. Con la segunda ocurrencia, se puede identificar necesidad de corrección de problemas técnicos en el sistema. Solo la tarea 12 fue considerada compleja, pues involucraba acceso a más de un menú para alcanzar la conclusión, justificando el soporte requerido por la mayoría de los participantes e indicación de necesidad de inclusión de un botón de acceso directo.
El tiempo medio del test de usabilidad varió conforme lo esperado por los investigadores. En situación de conducción de una investigación, el tiempo medio de lectura y análisis de títulos y resúmenes (tarea 8) varía conforme la cantidad de referencias recuperadas en las bases de datos, mientras que el tiempo para resolución de las divergencias puede variar según la cantidad de resúmenes a ser comparados ( 25 ) . Los hallazgos del presente estudio corroboran con la literatura que indica que las fases iniciales de revisiones son las que requieren mayor tiempo de trabajo para la conclusión de la selección de estudios elegibles, así, la preferencia es por recursos que favorezcan reducción del tiempo de dedicación a esa etapa ( 13 ) , en relación al trabajo manual y herramientas no específicas, como hojas de cálculo.
El AReS fue evaluado con un grado de usabilidad positivo, con el “mejor imaginable” en el 57% de las evaluaciones; 24% como “excelente” y 14% como “bueno”. El cuestionario SUS fue de fácil aplicación, siendo un instrumento validado y ampliamente utilizado en investigaciones y en pruebas conducidas por profesionales de tecnología de la información, incluyendo el área de la salud ( 26 ) . Se destaca que el instrumento SUS también permite la comparación de diferentes sistemas web ( 27 ) , con usuarios en diferentes regiones geográficas ( 28 ) .
La ocurrencia de errores en el uso, como la no identificación de todas las duplicidades, en general, indicó la necesidad de mayor comunicación entre el sistema computacional y el usuario, resuelta mediante ajustes en la interfaz e inclusión de mensajes explicativos. Identificar los problemas en uso y corregirlos confiere al producto un uso más intuitivo y una mayor adhesión del público objetivo ( 29 ) .
La prueba realizada de manera remota ya está descrita en la literatura y fue importante porque permitió al participante utilizar sus recursos tecnológicos, posibilitando la prueba de usabilidad en contexto real de uso. Además, permitió la grabación de la sesión de trabajo y el posterior registro de datos, como la identificación de la completitud, el cumplimiento del objetivo de la tarea y la ocurrencia de errores en el uso. El uso de herramientas para teleconferencia fue fundamental y permitió la interacción entre los involucrados, facilitó el compartimiento de materiales instructivos de las actividades, la observación y grabación de las pantallas, sin la necesidad de costos adicionales con impresión de materiales y equipos para filmación.
Aunque existen diferencias en la conectividad intramunicipal ( 30 ) , las condiciones para la conducción de la prueba fueron consideradas adecuadas por los investigadores. Según la literatura, la prueba remota síncrona no difiere significativamente de las pruebas realizadas en laboratorio ( 31 ) y favorece la participación de personas ubicadas en diferentes regiones del país o del extranjero, pudiendo ser preferida en investigaciones con bajo presupuesto para este tipo de evaluación y demandas específicas, como el aislamiento social impuesto por la pandemia de COVID-19.
Como potencialidad de este estudio, era mandatorio realizar la prueba de usabilidad conducida según procedimientos metodológicos reconocidos, para disponibilidad de un software confiable, eficaz y con alto grado de usabilidad. Las tecnologías que producen resultados precisos son cruciales para ayudar en la toma de decisiones y asegurar la seguridad y exactitud de los datos. Incluir detalladamente en este trabajo el proceso evaluativo del producto puede ayudar a los profesionales de la salud que participan en otros procesos evaluativos, pues presenta herramientas específicas para la evaluación de un software , fundamenta las elecciones de uso y explica las propiedades de calidad a ser evaluadas.
Las características importantes para la elección de programas computacionales específicos en revisión sistemática son la simplicidad, la facilidad de aprendizaje y la intuitividad del diseño ( 12 ) . Se buscó, en la construcción del producto presentado, alcanzar tales atributos. Para controlar el sesgo en la selección de estudios elegibles, se incorporó en el AReS la posibilidad de participación de más de un evaluador y el cegamiento de las decisiones, asegurando la independencia entre sus decisiones. Otra característica del AReS es la presentación, en una sola pantalla, del resumen del artículo y de los criterios de elegibilidad que, al ser completados, conducen a la decisión de ser elegibles (o no). Esta funcionalidad no fue encontrada en ningún otro sistema, siendo una propuesta original y única del AReS.
Las limitaciones del estudio se refieren al motivo de la construcción del AReS, que tuvo origen en la necesidad específica de la investigadora en la operacionalización de una revisión. Se presenta solo en lengua portuguesa, incluyendo los materiales de apoyo. El instrumento utilizado para la evaluación de usabilidad (SUS) está validado para la lengua portuguesa en Portugal; en la planificación de la prueba, no se recuperó estudio detallado de adaptación transcultural de este instrumento para el contexto brasileño.
Además, como limitación metodológica, se puede mencionar la no homogeneidad del procedimiento de apertura de las cámaras durante la prueba en uso, sin embargo, tal hecho parece no haber interferido en los resultados, ya que no era de interés evaluar la dimensión comportamental en el uso de la herramienta. El no compartimiento de la pantalla durante el uso de material explicativo también fue un factor limitante. No obstante, se destaca que la investigadora solicitaba esa información para registro en ficha. El no esclarecimiento a un participante sobre el papel que iba a desempeñar como revisor principal o invitado puede considerarse como una falla metodológica de la prueba. Esta ocurrencia fue verbalizada por el segundo participante y las orientaciones pasaron a ser dadas a todos los demás.
En comparación con otras herramientas computacionales, la presente versión del AReS posee funcionalidades para la eliminación de duplicados y selección de estudios, a diferencia de aquellas que apoyan otras fases de una revisión sistematizada, como la extracción de datos, ayudada por DistillerSR ( 32 ) . El AReS no resalta palabras clave, ni permite la importación de artículos completos, como el Rayyan .
Como visión de futuro, se puede destacar que el desarrollo de funcionalidades para otras etapas de revisión, utilizando aplicaciones de inteligencia artificial, así como otras herramientas computacionales disponibles ( 33 - 34 ) , podría ampliar su uso por estudiantes, investigadores y profesionales del área de la salud.
Conclusión
El AReS presenta parámetros de eficacia y eficiencia necesarios para una herramienta computacional de revisión. Presenta usabilidad de 82,4 en escala de 0 a 100 evaluada por el instrumento System Usability Scale (SUS). La versión presentada incorpora los ajustes identificados en el test en uso. El AReS es una herramienta útil y de fácil utilización, orientada al medio académico y de investigación, propuesta para disminuir el tiempo de trabajo en fases iniciales de revisiones de literatura.
Referencias bibliográficas
-
Aromataris E, Munn Z, editors. JBI Manual for Evidence Synthesis [Internet]. Adelaide: JBI; 2020 [cited 2023 Oct 20]. Chapter 1, JBI Systematic Reviews. Available from: https://synthesismanual.jbi.global
» https://synthesismanual.jbi.global -
Johnson EE, O’Keefe H, Sutton A, Marshall C. The Systematic Review Toolbox: keeping up to date with tools to support evidence synthesis. Syst Rev. 2022;11(1):258. https://doi.org/10.1186/s13643-022-02122-z
» https://doi.org/10.1186/s13643-022-02122-z -
Lefebvre C, Glanville J, Briscoe S, Featherstone R, Littlewood A, Metzendorf MI, et al. Chapter 4: Searching for and selecting studies. In: Higgins JPT, Thomas J, Chandler J, Cumpston M, Li T, Page MJ, et al., editors. Cochrane Handbook for Systematic Reviews of Interventions version 6.4 (updated October 2023) [Internet]. [s.l.]: Cochrane; 2023. Available from: https://www.training.cochrane.org/handbook
» https://www.training.cochrane.org/handbook -
Kohl C, McIntosh EJ, Unger S, Haddaway NR, Kecke S, Schiemann J, et al. Online tools supporting the conduct and reporting of systematic reviews and systematic maps: a case study on CADIMA and review of existing tools. Environ Evid. 2018;7:8. https://doi.org/10.1186/s13750-018-0115-5
» https://doi.org/10.1186/s13750-018-0115-5 -
Escaldelai FMD, Escaldelai L, Bergamaschi DP. Avaliação de validade de um sistema computacional na identificação de estudos duplicados. Esc Anna Nery. 2023;27:e20220143. https://doi.org/10.1590/2177-9465-EAN-2022-0143pt
» https://doi.org/10.1590/2177-9465-EAN-2022-0143pt -
Escaldelai FMD, Escaldelai L, Bergamaschi DP. Sistema “Apoio à Revisão Sistemática”: solução web para gerenciamento de duplicatas e seleção de artigos elegíveis. Rev Bras Epidemiol. 2022;25:e220030. https://doi.org/10.1590/1980-549720220030
» https://doi.org/10.1590/1980-549720220030 -
Leineweber FV, Bermudez JAZ. Technologies for COVID-19 and innovative therapies: contemporary challenges. Cad Saude Publica. 2021;37(12):e00158121. https://doi.org/10.1590/0102-311X00158121
» https://doi.org/10.1590/0102-311X00158121 -
Knottnerus JA, Tugwell P. Methodological challenges in studying the COVID-19 pandemic crisis. J Clin Epidemiol. 2020;121:A5-7. https://doi.org/10.1016/j.jclinepi.2020.04.001
» https://doi.org/10.1016/j.jclinepi.2020.04.001 -
Sherwin LB, Yevu-Johnson J, Matteson-Kome M, Bechtold M, Reeder B. Remote Usability Testing to Facilitate the Continuation of Research. Stud Health Technol Inform. 2022;290:424-7. https://doi.org/10.3233/SHTI220110
» https://doi.org/10.3233/SHTI220110 -
Weichbroth P. Usability of mobile applications: a systematic literature study. IEEE Access. 2020;8:55563-77. https://doi.org/10.1109/ACCESS.2020.2981892
» https://doi.org/10.1109/ACCESS.2020.2981892 -
van Altena AJ, Spijker R, Olabarriaga SD. Usage of automation tools in systematic reviews. Res Synth Methods. 2019;10(1):72-82. https://doi.org/10.1002/jrsm.1335
» https://doi.org/10.1002/jrsm.1335 -
Cleo G, Scott AM, Islam F, Julien B, Beller E. Usability and acceptability of four systematic review automation software packages: a mixed method design. Syst Rev. 2019;8(1):145. https://doi.org/10.1186/s13643-019-1069-6
» https://doi.org/10.1186/s13643-019-1069-6 -
Harrison H, Griffin SJ, Kuhn I, Usher-Smith JA. Software tools to support title and abstract screening for systematic reviews in healthcare: an evaluation. BMC Med Res Methodol. 2020;20(1):7. https://doi.org/10.1186/s12874-020-0897-3
» https://doi.org/10.1186/s12874-020-0897-3 - Polit DF, Beck CT. Fundamentos de pesquisa em enfermagem: avaliação de evidências para a prática da enfermagem. 9. ed. Porto Alegre: Artmed; 2019. 456 p.
-
Associação Brasileira de Normas Técnicas. ABNT NBR ISO/IEC 25062: Software engineering: requirements and evaluation of software product quality (SQuaRE) – Common industry format (FCI) for usability testing reports [Internet]. Rio de Janeiro: ABNT; 2011 [cited 2023 Oct 20]. Available from: https://www.abntcatalogo.com.br/norma.aspx?ID=86972
» https://www.abntcatalogo.com.br/norma.aspx?ID=86972 -
Associação Brasileira de Normas Técnicas. ABNT NBR ISO 9241-11: Ergonomia da interação humano-sistema. Parte 11: Usabilidade: Definições e conceitos [Internet]. Rio de Janeiro: ABNT; 2021 [cited 2023 Oct 20]. Available from: https://www.abntcatalogo.com.br/pnm.aspx?Q=ZERidVZmV05vNEpGbHNwY1VLakdqbXFXR0xrN0RGcXA1ajcrUnVkY3lZbz0=
» https://www.abntcatalogo.com.br/pnm.aspx?Q=ZERidVZmV05vNEpGbHNwY1VLakdqbXFXR0xrN0RGcXA1ajcrUnVkY3lZbz0= -
Brooke J. SUS: a quick and dirty usability scale. In: Jordan PW, Thomas B, Weerdmeester BA, editors. Usability evaluation in industry [Internet]. London: Taylor & Francis; 1996 [cited 2023 Oct 20]. p. 189-94. Available from: https://www.taylorfrancis.com/chapters/edit/10.1201/9781498710411-35/sus-quick-dirty-usability-scale-john-brooke
» https://www.taylorfrancis.com/chapters/edit/10.1201/9781498710411-35/sus-quick-dirty-usability-scale-john-brooke -
Martins AI, Rosa AF, Queirós A, Silva A, Rocha NP. European Portuguese validation of the System Usability Scale (SUS). Procedia Comp Sci. 2015;67:293-300. https://doi.org/10.1016/j.procs.2015.09.273
» https://doi.org/10.1016/j.procs.2015.09.273 - Sommerville I. Engenharia de Software. 10. ed. São Paulo: Pearson Education do Brasil; 2018. 762 p.
-
British Standards Institution. BSI ISO/IEC 25041. Systems and software engineering - Systems and software Quality Requirements and Evaluation (SQuaRE) - Evaluation guide for developers, acquirers and independent evaluators [Internet]. Geneva: ISO; 2012 [cited 2023 Oct 20]. Available from: https://www.iso.org/standard/35766.html
» https://www.iso.org/standard/35766.html -
Bangor A, Kortum P, Miller J. Determining what individual SUS scores mean: adding an adjective rating scale. J Usability Stud [Internet]. 2009 [cited 2023 Oct 20];4(3):114-23. Available from: https://uxpajournal.org/determining-what-individual-sus-scores-mean-adding-an-adjective-rating-scale/
» https://uxpajournal.org/determining-what-individual-sus-scores-mean-adding-an-adjective-rating-scale/ - Pereira MG. Epidemiologia: teoria e prática. Rio de Janeiro: Editora Guanabara Koogan; 2021. 616 p.
-
Hill J, Brown J, Campbell N, Holden R. Usability-In-Place-Remote Usability Testing Methods for Homebound Older Adults: Rapid Literature Review. JMIR Form Res. 2021;5(11):e26181. https://doi.org/10.2196/26181
» https://doi.org/10.2196/26181 -
Muka T, Glisic M, Milic J, Verhoog S, Bohlius J, Bramer W, et al. A 24-step guide on how to design, conduct, and successfully publish a systematic review and meta-analysis in medical research. Eur J Epidemiol. 2020;35(1):49-60. https://doi.org/10.1007/s10654-019-00576-5
» https://doi.org/10.1007/s10654-019-00576-5 -
Nussbaumer-Streit B, Ellen M, Klerings I, Sfetcu R, Riva N, Mahmić-Kaknjo M, et al. Resource use during systematic review production varies widely: a scoping review. J Clin Epidemiol. 2021;139:287-96. https://doi.org/10.1016/j.jclinepi.2021.05.019
» https://doi.org/10.1016/j.jclinepi.2021.05.019 -
Almeida AF, Rocha NP, Silva AG. Methodological quality of manuscripts reporting on the usability of mobile applications for pain assessment and management: a systematic review. Int J Environ Res Public Health. 2020;17(3):785. https://doi.org/10.3390/ijerph17030785
» https://doi.org/10.3390/ijerph17030785 -
Kortum P, Acemyan CZ, Oswald FL. Is It Time to Go Positive? Assessing the Positively Worded System Usability Scale (SUS). Hum Factors. 2020;63(6):987-98. https://doi.org/10.1177/0018720819881556
» https://doi.org/10.1177/0018720819881556 -
Kortum P, Acemyan CZ. The Impact of Geographic Location on the Subjective Assessment of System Usability. Int J Hum Comput Interact. 2019;35(2):23-30. https://doi.org/10.1080/10447318.2018.1437865
» https://doi.org/10.1080/10447318.2018.1437865 -
JongWook J, NeungHoe K, Hoh PI. Detecting usability problems in mobile applications on the basis of dissimilarity in user behavior. Int J Hum Comput Stud. 2020;139:102364. https://doi.org/10.1016/j.ijhcs.2019.10.001
» https://doi.org/10.1016/j.ijhcs.2019.10.001 -
Núcleo de Informação e Coordenação do Ponto BR. ICT Households: Survey on the use of information and communication technologies in Brazilian households 2021 [Internet]. São Paulo: Brazilian Internet Steering Committee; 2022 [cited 2023 Oct 20]. Available from: https://cetic.br/media/docs/publicacoes/2/20221121125504/tic_domicilios_2021_livro_eletronico.pdf
» https://cetic.br/media/docs/publicacoes/2/20221121125504/tic_domicilios_2021_livro_eletronico.pdf -
Sauer J, Sonderegger A, Heyden K, Biller J, Klotz J, Uebelbacher A. Extra-laboratorial usability tests: an empirical comparison of remote and classical field testing with lab testing. Appl Ergon. 2019;74:85-96. https://doi.org/10.1016/j.apergo.2018.08.011
» https://doi.org/10.1016/j.apergo.2018.08.011 -
Khalil H, Ameen D, Zarnegar A. Tools to support the automation of systematic reviews: a scoping review. J Clin Epidemiol. 2022;144:22-42. https://doi.org/10.1016/j.jclinepi.2021.12.005
» https://doi.org/10.1016/j.jclinepi.2021.12.005 -
Cierco Jimenez R, Lee T, Rosillo N, Cordova R, Cree IA, Gonzalez A, et al. Machine learning computational tools to assist the performance of systematic reviews: A mapping review. BMC Med Res Methodol. 2022;22(1):322. https://doi.org/10.1186/s12874-022-01805-4
» https://doi.org/10.1186/s12874-022-01805-4 -
Santos AOD, Silva ES, Couto LM, Reis GVL, Belo VS. The use of artificial intelligence for automating or semi-automating biomedical literature analyses: A scoping review. J Biomed Inform. 2023;142:104389. https://doi.org/10.1016/j.jbi.2023.104389
» https://doi.org/10.1016/j.jbi.2023.104389
*Tareas no obligatorias para la conclusión de la etapa de manera completa y correcta; † PDF = Portable Document Format
