Usabilidade do sistema computacional “Apoio à Revisão Sistemática”: um estudo metodológico Objetivo: avaliar a usabilidade do sistema computacional “Apoio à Revisão Sistemática”.
Método: estudo metodológico envolvendo 21 estudantes, que avaliaram o sistema computacional em um teste de usabilidade remoto e síncrono. Foram realizadas duas atividades, contendo 21 tarefas simulando as etapas iniciais de um estudo de revisão, propostas para eliminação de referências duplicadas, seleção de estudos e resolução de divergências entre avaliadores. No final, os participantes responderam ao questionário System Usability Scale . As medidas utilizadas foram: taxa de conclusão com assistência (eficácia) e tempo para concluir a tarefa (eficiência). Os dados foram descritos em tabela por meio de média, desvio-padrão, valores mínimo e máximo.
Resultados: no total de 21 tarefas, os participantes apresentaram taxa de conclusão com assistência de 9% e tempo médio de 55,1 minutos (sendo 60 minutos o tempo esperado). A nota média fornecida pelo instrumento System Usability Scale foi 82,4 (considerando uma pontuação de 0 a 100), mediana 85; valor mínimo 35 e máximo 97,5.
Conclusão: o sistema computacional apresenta parâmetros de eficácia e eficiência necessários a uma ferramenta computacional de revisão. Apresenta usabilidade de 82,4 em escala de 0 a 100 avaliada pelo instrumento System Usability Scale . A versão apresentada incorpora os ajustes identificados no teste em uso.
Descritores:
Computação em Nuvem; Design Centrado no Usuário; Revisão; Revisão Sistemática; Software; Tecnologia da Informação
Destaques:
(1) O sistema “Apoio à Revisão Sistemática” possui alto grau de usabilidade percebida.
(2) Seu uso facilita a eliminação de referências duplicadas e a seleção de estudos.
(3) O teste de usabilidade remoto e síncrono viabilizou a pesquisa durante a pandemia.
(4) Associar técnicas de usabilidade permitiu identificar os ajustes necessários.
(5) O método utilizado ampliou a capacidade do teste em contexto real de uso.
Objective: to evaluate the usability of the “Systematic Review Support” computer system.
Method: methodological study involving 21 students who evaluated the computer system in a remote and synchronous usability test. Two activities were carried out, containing 21 tasks simulating the initial steps of a review study, proposals for eliminating duplicate references, selecting studies and resolving disagreements between evaluators. At the end, participants answered the System Usability Scale questionnaire. The measures used were: completion rate with assistance (effectiveness) and time to complete the task (efficiency). The data was described in a table using the mean, standard deviation, minimum and maximum values.
Results: in a total of 21 tasks, the participants had an assisted completion rate of 9% and an average time of 55.1 minutes (the expected time being 60 minutes). The average score provided by the System Usability Scale instrument was 82.4 (considering a score from 0 to 100), median 85; minimum value 35 and maximum 97.5.
Conclusion: the computer system has the effectiveness and efficiency parameters required of a computer review tool. It has a usability score of 82.4 on a scale of 0 to 100 assessed by the System Usability Scale instrument. The version presented incorporates the adjustments identified in the test in use.
Descriptors:
Cloud Computing; User-Centered Design; Review; Systematic Review; Software; Information Technology
Highlights:
(1) The “Systematic Review Support” system has a high degree of perceived usability.
(2) Its use facilitates the exclusion of duplicate references and the selection of studies.
(3) Remote and synchronous usability testing made research possible during the pandemic.
(4) Combining usability techniques made it possible to identify the necessary adjustments.
(5) The method used expanded the test’s capacity in a real context of use.
Objetivo: evaluar la usabilidad del sistema computacional “Apoyo a la Revisión Sistemática”
Método: estudio metodológico involucrando a 21 estudiantes que evaluaron el sistema computacional en un test de usabilidad remoto y sincrónico. Se realizaron dos actividades, conteniendo 21 tareas simulando las etapas iniciales de un estudio de revisión, propuestas para la eliminación de referencias duplicadas, selección de estudios y resolución de divergencias entre evaluadores. Al final, los participantes respondieron al cuestionario System Usability Scale . Las medidas utilizadas fueron: tasa de conclusión con soporte (eficacia) y tiempo para concluir la tarea (eficiencia). Los datos fueron descritos en tabla mediante media, desviación estándar, valores mínimo y máximo.
Resultados: en el total de 21 tareas, los participantes presentaron una tasa de conclusión con soporte del 9% y un tiempo medio de 55,1 minutos (siendo el tiempo esperado: 60 minutos). La nota media proporcionada por el instrumento System Usability Scale fue de 82,4 (considerando una puntuación de 0 a 100), mediana 85; valor mínimo 35 y máximo 97,5.
Conclusión: el sistema computacional presenta parámetros de eficacia y eficiencia necesarios para una herramienta computacional de revisión. Presenta usabilidad de 82,4 en escala de 0 a 100 evaluada por el instrumento System Usability Scale . La versión presentada incorpora los ajustes identificados en el test en uso.
Descriptores:
Nube Computacional; Diseño Centrado en el Usuario; Revisión; Revisión Sistemática; Programas Informáticos; Tecnología de la Información; Prueba de Usabilidad
Destacados:
(1) El sistema “Apoyo a la Revisión Sistemática” posee un alto grado de usabilidad percibida.
(2) Su uso facilita la eliminación de referencias duplicadas y la selección de estudios.
(3) El test de usabilidad remoto y sincrónico hizo viable la investigación durante la pandemia.
(4) Asociar técnicas de usabilidad permitió identificar los ajustes necesarios.
(5) El método utilizado amplió la capacidad del test en contexto real de uso.
Introdução
Os estudos de revisão que fornecem uma síntese imparcial das evidências científicas incluem a seleção de estudos baseada em métodos rigorosos para permitir resultados válidos e reprodutíveis ( 1 ) . A etapa inicial, a qual inclui levantamentos em bases de dados, eliminação de artigos duplicados e identificação de estudos elegíveis, é árdua, sobretudo em razão do volume de estudos a serem manuseados, sendo fortemente recomendada a utilização de ferramentas computacionais, como as disponibilizadas na plataforma The Systematic Review Toolbox ( 2 ) .
Apesar da Cochrane recomendar ferramentas computacionais para revisões, como Covidence, EPPI-Reviewer e EndNote ®(3) , existem outros produtos com essa finalidade ( 2 ) , como o Rayyan ® , o Parsifal , o StArt e o sistema “Apoio à Revisão Sistemática” (AReS), desenvolvido recentemente para auxiliar nas etapas iniciais de revisões na área da saúde. Pode-se encontrar, como limitadores de ferramentas computacionais, o acesso nem sempre gratuito, a interface não amigável, a necessidade de conhecimento em programação e a falta de suporte técnico ( 4 ) . O AReS supera tais dificuldades e apresenta outras vantagens, como interface em língua portuguesa, identificação acurada de duplicatas sem necessidade do trabalho manual ( 5 ) e apoio à seleção de estudos elegíveis, apresentando em uma só tela o resumo e os critérios de elegibilidade cadastrados pelo pesquisador ( 6 ) .
Recentemente, houve a necessidade de elaboração de sínteses de evidências científicas para o enfrentamento rápido da pandemia de coronavirus 2019 (COVID-19) no desenvolvimento de novas tecnologias para diagnóstico, tratamento e controle da doença ( 7 ) . A urgência por informação atualizada induziu à inovação e ao uso de automação para reduzir o tempo de conclusão das etapas de revisão ( 8 ) e para a avaliação das novas ferramentas, com uso do método de usabilidade remoto para continuidade das pesquisas e obtenção de avanços em tecnologia ( 9 ) .
Existe consenso tanto na literatura científica como em normas de boa qualidade técnica quanto à necessidade da avaliação de usabilidade de novos produtos tecnológicos. A usabilidade se refere ao grau com que um produto ou serviço pode ser utilizado por usuários específicos para atingir os objetivos especificados com eficácia, eficiência e satisfação em um determinado contexto de uso ( 2020 ) .
A percepção de usabilidade qualificada como baixa é um dos motivos para desistência de utilização de ferramentas para automação de revisões de literatura ( 11 ) . Estudos de usabilidade com realização de tarefas pelos usuários destacaram que a adesão ao uso de softwares de revisão depende da facilidade de utilização, qualidade da interface de usuário, recursos e funcionalidades disponíveis ( 12 - 14 ) .
Considerando o exposto, o objetivo deste estudo foi avaliar a usabilidade do sistema computacional “Apoio à Revisão Sistemática”.
Método
Tipo e delineamento do estudo
Estudo metodológico com três fases ( 15 - 17 ) . Na primeira, encontram-se as atividades relativas ao desenvolvimento do sistema computacional; na segunda fase, foi realizada a validação da funcionalidade de identificação de referências duplicadas; e na terceira, o teste de usabilidade ou teste em uso foi conduzido para identificar a utilidade da ferramenta, o grau de dificuldade de uso e os ajustes necessários para a melhoria da interface de usuário. O teste em uso foi realizado com voluntários, de maneira remota e síncrona, utilizando-se a técnica de resolução de tarefas, seguida da aplicação do questionário System Usability Scale (SUS) ( 18 - 19 ) .
Aspectos éticos
O projeto seguiu os termos da Resolução do Conselho Nacional de Saúde (CNS 466/12) do Ministério da Saúde do Brasil e foi aprovado pelo Comitê de Ética da Faculdade de Saúde Pública (FSP) da Universidade de São Paulo (USP), sob Certificado de Apresentação de Apreciação Ética 36397420.8.0000.5421. O Termo de Consentimento Livre e Esclarecido (TCLE) foi obtido eletronicamente.
Sistema “Apoio à Revisão Sistemática”
O sistema web “Apoio à Revisão Sistemática” (AReS), disponível pelo endereço eletrônico http://[revisaosistematica.com.br ]( http://revisaosistematica.com.br ), foi proposto pela autora principal durante Curso de Doutorado do Programa de Epidemiologia da FSP/USP, em parceria com profissional de tecnologia de informação, que o construiu voluntariamente. Seus requisitos funcionais foram baseados em manuais sobre revisão sistemática, entretanto, as funcionalidades são genéricas, atendendo a outros tipos de revisões, como escopo, overview e integrativa.
Na versão para computador ( desktop ou notebook ), o AReS consiste em uma página de autenticação que redireciona o usuário para a página principal, com layout padronizado para sites de administração. Desse modo, o sistema permite a importação de arquivos de bases de dados pré-definidas como PubMed , Embase e Web of Science , comparando as referências para identificação de duplicatas. Mais de um pesquisador pode participar da revisão, como revisor principal ou convidado. O AReS é adaptado ao trabalho em equipe, comum em revisões de literatura, permitindo a organização e compartilhamento dos resumos. Na fase de seleção de estudos, o sistema permite a leitura de títulos e resumos e, após quebra de cegamento, compara as respostas dos pesquisadores sobre a elegibilidade dos estudos, indicando as divergências ( 6 ) .
O modelo incremental utilizado na construção do sistema permite que novas funcionalidades sejam incorporadas em novas versões ( 20 ) . A avaliação de usabilidade incluiu todas as funcionalidades dos menus “Resumos”, “Revisões”, “Grupos”, “Critérios” e “Revisores”.
Participantes e local de estudo
A avaliação de usabilidade ocorreu entre março e julho de 2022, com a participação de estudantes dos programas de pós-graduação stricto sensu da FSP/USP (dos cursos de Mestrado Profissional em Entomologia em Saúde Pública; Doutorado em Epidemiologia e em Saúde Pública), que formalmente estavam frequentando seus cursos em 2022. Os convites foram enviados por meio de mensagens eletrônicas pela Comissão de Pós-Graduação da FSP/USP. A amostra por voluntários incluiu pós-graduandos, por serem um público com grande interesse na condução de revisões e potenciais usuários do AReS. O estudo ficou restrito à FSP para viabilizá-lo.
Critérios de elegibilidade
Consistiram em critérios de inclusão: possuir vínculo formal com um programa de pós-graduação stricto sensu da FSP/USP; ter acesso a um computador com internet e navegador atualizado; e concluir pelo menos 50% da etapa de eliminação de estudos duplicados utilizando o sistema computacional.
Definição da amostra
O tamanho da amostra seguiu o descrito na literatura, que orienta uma amostra mínima de oito usuários executando tarefas em um contexto de uso real, para obtenção de resultados confiáveis ( 16 , 21 ) .
Tarefas e critérios de avaliação
A avaliação em uso do AReS incluiu duas atividades, organizadas em quatro etapas e 21 tarefas. Na atividade 1, etapas 1, 2 e 3, cada participante assumiu o papel de revisor principal, responsável pela criação de uma revisão e organização dos resumos relacionados ao tema antropometria em fibrose cística. De modo detalhado, as tarefas eram referentes à exclusão de referências duplicadas (etapa 1), seleção cega de estudos (etapa 2), quebra do cegamento, comparação das decisões quanto à elegibilidade de resumos e resolução de divergências (etapa 3). Na atividade 2, etapa 4, o participante atuou como revisor convidado em uma revisão organizada pela pesquisadora, com o cumprimento de tarefas relativas à identificação de estudos elegíveis ( Figura 1 ).
- Objetivo pretendido em cada etapa e tarefas a serem realizadas no sistema “Apoio à Revisão Sistemática”
Registrou-se, para cada participante, a completude da tarefa, o alcance do resultado esperado e uso de assistência (consulta a materiais explicativos sobre a utilização do AReS, sendo disponibilizados vídeos e tutoriais), ocorrência de erros no uso decorrentes de problemas das interfaces do sistema computacional, e tempo (minutos) para completar cada tarefa. O erro no uso foi definido como a ação (ou falta de ação) do usuário que levava a um resultado diferente do pretendido pelo fabricante ou pelo usuário ( 16 - 17 ) .
O tempo utilizado pelo participante para resolver as tarefas 9, 10, 11, 19, 20 e 21, que fundamentavam a decisão sobre a elegibilidade dos resumos, foi somado ao tempo utilizado na resolução das tarefas 8 e 18, referentes à leitura e análise de títulos e resumos. O cumprimento das tarefas 5, 8, 13 e 18 foi considerado obrigatório para a definição de conclusão da etapa, pois, se o participante não as completasse, não seria possível alcançar os objetivos de exclusão das referências duplicadas (etapa 1), seleção de estudos (etapas 2 e 4) e resolução de divergências entre revisores (etapa 3).
Coleta de dados
Os dados foram coletados individualmente, por meio de ferramenta de teleconferência ( Google Meet ), iniciando-se com o fornecimento de informações e de um link para a assinatura eletrônica do TCLE. A moderadora forneceu um link para download de um arquivo em PDF ( Portable Document Format ) com instruções para acesso ao AReS e atividades a serem realizadas. Não houve treinamento prévio para uso do sistema computacional.
Foi solicitado o compartilhamento da tela do dispositivo do participante para gravação e posterior verificação da conclusão das tarefas, necessidade de assistência para resolvê-las e ocorrência de erros no uso do sistema computacional. As informações foram registradas pela pesquisadora em uma ficha. O tempo esperado para término de todas as tarefas era de 60 minutos. O tempo das ações e cliques efetuados no AReS foram registrados em arquivo log, salvos em banco de dados interno.
Durante a sessão, foram esclarecidas dúvidas relacionadas aos enunciados das tarefas, mas não sobre como resolvê-las. As instruções de uso contidas no AReS poderiam ser consultadas a qualquer momento. Quando o participante verbalizou que havia dificuldade para realização de uma tarefa, houve incentivo para que continuasse tentando resolvê-la, sendo oferecida assistência somente na ausência de resolução do problema. A assistência consistiu na apresentação do link para um site que continha os materiais explicativos sobre o uso do sistema computacional.
Após a conclusão das tarefas, os participantes responderam dois questionários eletrônicos: um sobre caracterização dos participantes e outro contendo a versão em língua portuguesa do instrumento SUS ( 19 ) para avaliação de usabilidade do AReS. Solicitou-se o registro de comentários sobre o seu uso e sugestões de melhorias.
Análise dos dados
Para avaliação em uso, verificou-se a conclusão da tarefa com ou sem assistência (eficácia), o tempo de resolução (eficiência) e o grau de usabilidade (instrumento SUS), conforme o recomendado em normas técnicas ( 16 - 17 ) .
Para a eficácia, optou-se pelas métricas: ( i ) taxa de conclusão da tarefa (percentual de participantes que atingiram o objetivo de cada tarefa de forma completa e correta), ( ii ) taxa de conclusão com assistência (percentual de participantes que completaram cada tarefa corretamente, com consulta aos materiais explicativos), ( iii ) taxa de erro no uso do sistema (percentual de tarefas com resultados diferentes do pretendido em razão de problemas na interface) ( 16 - 17 ) .
As ações não esperadas, identificadas por meio de observação não intrusiva, foram anotadas e permitiram a identificação dos erros em uso e a indicação dos ajustes necessários no sistema computacional. Foram descritas as frequências absoluta e relativa dos resultados relacionados à sua eficácia, aos erros no uso e tipo de material explicativo consultado.
Em relação à eficiência, propriedade de qualidade que indica os recursos utilizados para a conclusão das tarefas, optou-se por aferir o tempo gasto na sua resolução como uma proxy do grau de dificuldade encontrado e a consequente quantidade de recursos utilizados, como orientado pela norma técnica ( 16 - 17 ) . A aferição do tempo em uso é uma proxy da aferição dos recursos envolvidos porque seria necessário mensurar o esforço humano para que o sistema computacional produzisse os resultados esperados. Tal esforço poderia ser indicado pelo número de cliques, uso de funcionalidades e menus, o que seria uma tarefa complexa nesta pesquisa por envolver a quantificação de todas as ações registradas pelo sistema computacional em arquivo de texto.
Os resultados de eficiência são apresentados em tabela, por meio de média, desvio-padrão, valores mínimo e máximo, bem como Intervalo de Confiança de 95% (IC95%) para a média, segundo etapa.
O construto usabilidade, aferido por meio do instrumento SUS ( 19 ) , permitiu a obtenção do escore de usabilidade. Esse instrumento contém 10 itens graduados por meio de escala do tipo Likert, com valores de 1 a 5 correspondentes, respectivamente, a “discordo fortemente”, “discordo parcialmente”, “não concordo, nem discordo”, “concordo parcialmente” e “concordo totalmente”. Na pontuação final, para as perguntas ímpares, o escore foi calculado como a nota recebida menos 1, já para as perguntas pares, como 5 menos a nota recebida. Os escores pares e ímpares foram somados e multiplicados por 2,5 para obtenção da nota final. As pontuações finais foram apresentadas em categorias de usabilidade: pior imaginável (nota de 0 a 24,9); pobre (de 25,0 a 38,9); mediana (de 39,0 a 51,9); boa (de 52,0 a 73,9); excelente (de 74,0 a 84,9); e melhor imaginável (de 85,0 a 100) ( 22 ) .
Resultados
Caracterização dos participantes
Participaram 21 estudantes com idade média de 39 anos (desvio-padrão=7 anos; valor mínimo=28 e máximo=59 anos). Doze (57%) eram do sexo feminino, 20 (95%) eram doutorandos e um (5%) mestrando. Dezoito (86%) haviam realizado anteriormente algum tipo de estudo de revisão, sendo sistemática (n=9; 53%), narrativa (n=5; 29%) e ambos os tipos (n=3; 18%). Seis (33%) relataram ter utilizado algum tipo de software para realizar uma revisão, sendo o EndNote ® o mais frequentemente utilizado, seguido por Excel ® , Rayyan ® , Mendeley ® e Word ® . Foram excluídos os indivíduos que assinaram o TCLE eletrônico, mas não iniciaram as atividades no sistema computacional ou não responderam aos instrumentos de pesquisa (n=2).
Eficácia
No processo avaliativo, obteve-se taxa de conclusão de 90% (n=19 tarefas) nas etapas 1 e 3 (referentes à exclusão de duplicatas e resolução de divergências) e 95% (n=20) nas etapas 2 e 4 (seleção de estudos). Nas tarefas 14 e 21, as taxas de conclusão foram inferiores a 90%, entretanto, não houve interferência no alcance do objetivo de cada etapa. Entre as tarefas concluídas, as que apresentaram maior percentual de assistência foram as de número 12 (comparação das decisões sobre a elegibilidade dos estudos) e 17 (seleção da revisão em que foi convidado). O percentual de assistência entre os que concluíram as tarefas foi de 9%. A verificação das tarefas que apresentaram as menores taxas de conclusão permitiu identificar parte dos ajustes a serem realizados no sistema computacional ( Tabela 1 ).
Para as tarefas concluídas, ocorreram 34 momentos de assistências, sendo acesso a vídeos explicativos em 28 momentos: tarefas 6 (n=1); 8 (n=3); 12 (n=12); 16 (n=3); 17 (n=8) e 18 (n=1), e leitura de tutoriais em seis momentos: tarefas 4 (n=1); 12 (n=1); 13 (n=1); 14 (n=1) e 17 (n=2). A escolha dos materiais era feita pelo participante com base nos recursos tecnológicos disponíveis, como qualidade de internet, no momento do teste. Os vídeos também foram utilizados para assistência a três tarefas não concluídas (4, 8, 12). Esses dados não foram apresentados na Tabela 1 , que se refere apenas às tarefas concluídas.
Durante a resolução, emergiram erros no uso para as tarefas que foram concluídas ( Tabela 1 ) e não concluídas, como a 4 (n=4), 8 (n=1), 12 (n=1) e 13 (n=1). Essas ocorrências permitiram identificar os ajustes necessários no AReS, dependendo do tipo de erro e da consequência da sua ocorrência, podendo (ou não) interferir em sua eficácia ou eficiência. O detalhamento dos erros em uso observados e o resultado da análise são apresentados na Figura 2 .
- Ações realizadas pelos participantes que interferiram nas propriedades de qualidade do sistema “Apoio à Revisão Sistemática” ou problemas na interface do sistema computacional que não permitiram o resultado desejado
Eficiência
A utilização do AReS requereu um tempo total médio de 55,1 minutos (desvio-padrão=15,8). Para resolução das tarefas, segundo objetivo pretendido em cada etapa, o tempo médio variou de 12,4 a 15,8 minutos ( Tabela 2 ).
Usabilidade do AReS
A nota final média de usabilidade do AReS resultou em 82,4; mediana 85; valores mínimo e máximo 35 e 97,5 (em escala de 0 a 100). A classificação do resultado desse construto por participante foi: “melhor imaginável” (n=12; 57%), “excelente” (n=5; 24%), “bom” (n=3; 14%) e “pobre” (n=1; 5%). Na Figura 3 , são apresentadas as frequências, as notas finais médias e IC95%, segundo as categorias de usabilidade no uso do sistema computacional. Observa-se que não foram apresentados a média e o IC95% para a categoria “pobre”, uma vez que tem um participante. Por meio do IC95%, pode-se afirmar que a categoria “melhor imaginável” se destaca quando comparada às categorias “bom” e “excelente”, sendo esta última a categoria de maior representação de participantes ( Figura 3 ).
- Distribuição de participantes, segundo escore (A) e nota média por categoria de usabilidade (B) do instrumento System Usability Scale para o sistema “Apoio à Revisão Sistemática”
Condições gerais observadas durante o teste de uso do AReS
O sistema operacional mais utilizado foi o Microsoft Windows e navegador Chrome (n=18), seguido de MacOS com navegador Safari (n=2). Foram observados erros no Safari , como não importação de arquivos e seleção automática de decisão sobre a elegibilidade dos estudos, mostrando a necessidade de ajustes no AReS. Durante o teste, os participantes passaram a utilizar o navegador Chrome para melhor uso do sistema computacional e para completar as tarefas 3 e 8.
A câmera foi mantida aberta pela maioria dos participantes (n=14). Um deles disse que a manteria fechada devido a problemas em seu funcionamento. Foi solicitado ao participante que “pensasse em voz alta”, e nove (43%) seguiram essa instrução. A maioria dos participantes compartilhou a tela inteira, entretanto, quando era compartilhada apenas a aba de uso do AReS, a pesquisadora não podia verificar o tipo de material explicativo utilizado.
A remarcação do teste foi necessária para dois participantes por motivos de lentidão na internet e problemas em seu computador. O sistema AReS apresentou problemas ao se pressionar o ícone para selecionar a revisão em que o participante foi convidado (Tarefa 17), sendo necessário pressionar o ícone “atualizar” ou fazer novo login . Na atividade 2 (revisor convidado), o sistema computacional apresentou lentidão e problemas técnicos que impediram alguns participantes de concluírem a Tarefa 21.
Alguns participantes fizeram sugestões: usar resumos em língua portuguesa no próximo teste (n=3) e deixar claro, no início, que a participação seria como revisor principal e depois como convidado (n=1). Um participante verbalizou uma queixa sobre o grande número de resumos que deveriam ser lidos (n=8 resumos) e outro verbalizou que o PDF com as tarefas não explicava como resolvê-las, mesmo após exposição da pesquisadora de que o participante deveria ler a tarefa e tentar resolvê-la sozinho no sistema computacional.
Comentários dos participantes
As sugestões dos participantes sobre o AReS são apresentadas a seguir:
Melhorar a caixa de importação das bases de dados (...) para indução de seleção de arquivo de importação (P1).
Incluir um ícone de orientação sobre a atenção aos detalhes da tela e explicação de cada item (P2).
Achei o sistema bem intuitivo. Porém, não identifiquei como fazer a mudança de elegibilidade quando há divergência entre os autores. O gráfico que fica no dashboard me mostrou apenas a porcentagem de trabalhos elegíveis para cada autor, dando uma falsa impressão de não haver divergências. Mas, ao olhar novamente, havia divergências (P3).
Acredito que a interface com o usuário é difícil e pouco intuitiva, é difícil descobrir o próximo passo. Acredito que falta caixas informativas sobre como operar o sistema ou como realizar determinada tarefa. Não sei como seria se tivesse um treinamento prévio sobre o sistema, como seria a capacidade de uso, mas, como os testes foram sem um treinamento completo (somente alguns dados de apostila), senti bastante dificuldade (P4).
Ajustes e melhorias
Entre os ajustes e melhorias, incluiu-se: padronizar, em todos os navegadores, o texto da caixa de seleção de arquivos para upload ; incluir balões explicativos sobre os botões das telas do sistema computacional; incluir botão para quebra de cegamento, para facilitar a exibição da comparação das respostas dos revisores; permitir a seleção de uma revisão pelo menu “Revisões” (e não apenas pela barra superior); listar, separadamente, as revisões criadas pelo próprio pesquisador e as revisões em que foi convidado a participar; na tela de resumos, exibir o botão “salvar” apenas quando houver inclusão de um comentário; permitir clicar no título do estudo para acessar o resumo; na identificação de duplicatas, retirar a opção de selecionar grupo para comparação das referências.
Discussão
O presente estudo avaliou o sistema AReS, que apresenta funcionalidades para as fases iniciais de estudos de revisão de literatura, estruturado de acordo com metodologia criteriosa ( 1 , 3 ) , seguindo também os requisitos de normativa internacional ( 16 ) . A avaliação empírica apresentou alto grau de usabilidade percebida por parte dos avaliadores voluntários, os quais eram estudantes de pós-graduação e que constituíram, não intencionalmente, um grupo heterogêneo quanto ao uso de ferramentas computacionais em estudos de revisão, sendo representativos do público-alvo.
Deve-se sempre considerar a possibilidade de viés de seleção ao se utilizar amostra por voluntários, uma vez que a motivação pelo software pode ter sido pelo interesse em conhecer a nova ferramenta ou pela oportunidade de aprender sobre seu uso ( 22 ) . A segunda opção é corroborada pela porcentagem de 67% de participantes que relataram a não utilização anterior desse tipo de ferramenta. Tal característica pode ter provocado um efeito positivo no estudo, uma vez que poderiam necessitar de mais recursos computacionais e exigido mais do sistema em avaliação ( 23 ) .
A opção metodológica pelo não treinamento prévio permitiu a exposição a um novo produto e favoreceu o surgimento de informações relativas às dificuldades de uso devido às interfaces do sistema computacional, conferindo ao teste genuinidade e cumprimento do objetivo do estudo.
As tarefas propostas no teste em uso foram criadas pensando-se em um passo a passo ( 24 ) para a realização de uma revisão, seguindo uma sequência em quatro etapas, que favorecia a verificação da eficácia, eficiência e o monitoramento dos problemas de interface. Como a qualidade de uma revisão depende de seleção não enviesada de estudos ( 3 ) , a estratégia de mais de um avaliador foi contemplada no AReS, resultando em uma avaliação mais longa, feita em duas fases, cada uma com papéis diferentes para o revisor (principal e convidado).
Os participantes alcançaram os objetivos das etapas em altos percentuais, com taxa de conclusão de pelo menos 90%, sendo consideradas satisfatórias pelos autores, conferindo ao processo avaliativo a qualidade de validade interna, indicando que os recursos metodológicos utilizados foram capazes de captar a adequação das funcionalidades do AReS.
Para as tarefas 14 (uso de filtro para identificar os resumos elegíveis) e 21 (inclusão de comentários, se o estudo for considerado não elegível pelo revisor convidado) que tiveram taxas de conclusão inferiores a 90%, a influência no desempenho do software é mínima, indicando por meio da tarefa 14 possível problema na especificação da tarefa, e não na interface. Com a segunda ocorrência, pode-se identificar necessidade de correção de problemas técnicos no sistema. Apenas a tarefa 12 foi considerada complexa, pois envolvia acesso a mais de um menu para alcançar a conclusão, justificando a assistência requerida pela maioria dos participantes e indicação de necessidade de inclusão de um botão de atalho.
O tempo médio do teste de usabilidade variou conforme o esperado pelos investigadores. Em situação de condução de uma pesquisa, o tempo médio de leitura e análise de títulos e resumos (tarefa 8) varia conforme a quantidade de referências recuperadas nas bases de dados, enquanto o tempo para resolução das divergências pode variar segundo a quantidade de resumos a serem comparados ( 25 ) . Os achados do presente estudo corroboram com a literatura que indica que as fases iniciais de revisões são as que requerem maior tempo de trabalho para a conclusão da seleção de estudos elegíveis, assim, a preferência é por recursos que favoreçam redução do tempo de dedicação a essa etapa ( 13 ) , em relação ao trabalho manual e ferramentas não específicas, como planilhas.
O AReS foi avaliado com grau de usabilidade positivo, com o “melhor imaginável” em 57% das avaliações; 24% como “excelente” e 14% como “bom”. O questionário SUS foi de fácil aplicação, sendo um instrumento validado e amplamente utilizado em pesquisas e em testes conduzidos por profissionais de tecnologia da informação, inclusive na área da saúde ( 26 ) . Ressalta-se que o instrumento SUS também permite a comparação de diferentes sistemas web ( 27 ) , com usuários em diferentes regiões geográficas ( 28 ) .
A ocorrência de erros no uso, como a não identificação de todas as duplicatas, de forma geral, indicou a necessidade de maior comunicação entre o sistema computacional e o usuário, resolvido por ajustes na interface e inclusão de mensagens explicativas. Identificar os problemas em uso e corrigi-los confere ao produto maior uso intuitivo e maior adesão do público alvo ( 29 ) .
O teste realizado de maneira remota já é descrito na literatura e foi importante por permitir ao participante utilizar seus recursos tecnológicos, possibilitando o teste de usabilidade em contexto real de uso. Permitiu, ainda, a gravação da sessão de trabalho e o posterior registro de dados, como a identificação da completude, o cumprimento do objetivo da tarefa e a ocorrência de erros no uso. O uso de ferramenta para teleconferência foi fundamental e permitiu a interação entre os envolvidos, facilitou o compartilhamento de materiais instrutivos das atividades, a observação e gravação das telas, sem a necessidade de custos adicionais com impressão de materiais e equipamentos para filmagem.
Embora existam diferenças na conectividade intramunicipal ( 30 ) , as condições para a condução do teste foram consideradas adequadas pelos pesquisadores. Segundo a literatura, o teste remoto síncrono não difere significantemente dos testes realizados em laboratório ( 31 ) e favorece a participação de pessoas localizadas em diferentes regiões do país ou do exterior, podendo ser preferido em pesquisas com baixo orçamento para esse tipo de avaliação e demandas específicas, como o isolamento social imposto pela pandemia de COVID-19.
Como potencialidade deste estudo, era mandatória a realização do teste de usabilidade conduzido conforme procedimentos metodológicos reconhecidos, para disponibilidade de um software confiável, eficaz e com alto grau de usabilidade. Tecnologias que produzam resultados acurados são cruciais para auxiliar na tomada de decisão e garantir a segurança e acurácia de dados. Incluir detalhadamente, neste trabalho, o processo avaliativo do produto pode auxiliar os profissionais de saúde que participam de outros processos avaliativos, pois apresenta ferramentas específicas para a avaliação de um software , fundamenta as escolhas de uso e explicita as propriedades de qualidade a serem avaliadas.
As características importantes para a escolha de programas computacionais específicos em revisão sistemática são a simplicidade, a facilidade de aprendizagem e a intuitividade do layout ( 12 ) . Procurou-se, na construção do produto apresentado, alcançar tais atributos. Para controlar o viés na seleção de estudos elegíveis, incorporou-se no AReS a possibilidade de participação de mais de um avaliador e o cegamento das decisões, garantindo a independência entre suas decisões. Outra característica do AReS é a apresentação, em uma só tela, do resumo do artigo e dos critérios de elegibilidade que, ao serem preenchidos, conduzem à decisão de serem elegíveis (ou não). Essa funcionalidade não foi encontrada em nenhum outro sistema, sendo uma proposta original e única do AReS
As limitações do estudo referem-se ao motivo da construção do AReS, que teve origem na necessidade específica da pesquisadora na operacionalização de uma revisão. O sistema é apresentado somente em língua portuguesa, incluindo os materiais de apoio. O instrumento utilizado para avaliação de usabilidade (SUS) é validado para a língua portuguesa em Portugal; no planejamento do teste, não foi recuperado estudo detalhado de adaptação transcultural desse instrumento para o contexto brasileiro.
Ainda, como limitação metodológica, pode-se mencionar a não homogeneidade do procedimento de abertura das câmeras durante o teste em uso. Entretanto, tal fato parece não ter interferido nos resultados, uma vez que não era de interesse avaliar a dimensão comportamental no uso da ferramenta. O não compartilhamento da tela durante o uso de material explicativo também foi um fator limitante. Ressalta-se, no entanto, que a pesquisadora solicitava essa informação para registro em ficha. O não esclarecimento a um participante sobre o papel que iria desempenhar como revisor principal ou convidado pode ser considerado como uma falha metodológica do teste. Essa ocorrência foi verbalizada pelo segundo participante e as orientações passaram a ser dadas a todos os demais.
Em relação a outras ferramentas computacionais, a presente versão do AReS possui funcionalidades para eliminação de duplicatas e seleção de estudos, ao contrário das que apoiam outras fases de uma revisão sistematizada, como a extração de dados, auxiliada por DistillerSR ( 32 ) . O AReS não destaca palavras-chave, nem permite a importação de artigos completos, como o Rayyan .
Como visão de futuro, pode-se destacar que o desenvolvimento de funcionalidades para outras etapas de revisão, utilizando aplicações de inteligência artificial, assim como outras ferramentas computacionais disponíveis ( 33 - 34 ) , poderá ampliar seu uso por estudantes, pesquisadores e profissionais da área da saúde.
Conclusão
O AReS apresenta parâmetros de eficácia e eficiência necessários a uma ferramenta computacional de revisão. Apresenta usabilidade de 82,4 em escala de 0 a 100 avaliada pelo instrumento System Usability Scale (SUS). A versão apresentada incorpora os ajustes identificados no teste em uso. O AReS é uma ferramenta útil e de fácil utilização, voltada ao meio acadêmico e de pesquisa, proposta para diminuir o tempo de trabalho em fases iniciais de revisões de literatura.
Referências bibliográficas
-
Aromataris E, Munn Z, editors. JBI Manual for Evidence Synthesis [Internet]. Adelaide: JBI; 2020 [cited 2023 Oct 20]. Chapter 1, JBI Systematic Reviews. Available from: https://synthesismanual.jbi.global
» https://synthesismanual.jbi.global -
Johnson EE, O’Keefe H, Sutton A, Marshall C. The Systematic Review Toolbox: keeping up to date with tools to support evidence synthesis. Syst Rev. 2022;11(1):258. https://doi.org/10.1186/s13643-022-02122-z
» https://doi.org/10.1186/s13643-022-02122-z -
Lefebvre C, Glanville J, Briscoe S, Featherstone R, Littlewood A, Metzendorf MI, et al. Chapter 4: Searching for and selecting studies. In: Higgins JPT, Thomas J, Chandler J, Cumpston M, Li T, Page MJ, et al., editors. Cochrane Handbook for Systematic Reviews of Interventions version 6.4 (updated October 2023) [Internet]. [s.l.]: Cochrane; 2023. Available from: https://www.training.cochrane.org/handbook
» https://www.training.cochrane.org/handbook -
Kohl C, McIntosh EJ, Unger S, Haddaway NR, Kecke S, Schiemann J, et al. Online tools supporting the conduct and reporting of systematic reviews and systematic maps: a case study on CADIMA and review of existing tools. Environ Evid. 2018;7:8. https://doi.org/10.1186/s13750-018-0115-5
» https://doi.org/10.1186/s13750-018-0115-5 -
Escaldelai FMD, Escaldelai L, Bergamaschi DP. Avaliação de validade de um sistema computacional na identificação de estudos duplicados. Esc Anna Nery. 2023;27:e20220143. https://doi.org/10.1590/2177-9465-EAN-2022-0143pt
» https://doi.org/10.1590/2177-9465-EAN-2022-0143pt -
Escaldelai FMD, Escaldelai L, Bergamaschi DP. Sistema “Apoio à Revisão Sistemática”: solução web para gerenciamento de duplicatas e seleção de artigos elegíveis. Rev Bras Epidemiol. 2022;25:e220030. https://doi.org/10.1590/1980-549720220030
» https://doi.org/10.1590/1980-549720220030 -
Leineweber FV, Bermudez JAZ. Technologies for COVID-19 and innovative therapies: contemporary challenges. Cad Saude Publica. 2021;37(12):e00158121. https://doi.org/10.1590/0102-311X00158121
» https://doi.org/10.1590/0102-311X00158121 -
Knottnerus JA, Tugwell P. Methodological challenges in studying the COVID-19 pandemic crisis. J Clin Epidemiol. 2020;121:A5-7. https://doi.org/10.1016/j.jclinepi.2020.04.001
» https://doi.org/10.1016/j.jclinepi.2020.04.001 -
Sherwin LB, Yevu-Johnson J, Matteson-Kome M, Bechtold M, Reeder B. Remote Usability Testing to Facilitate the Continuation of Research. Stud Health Technol Inform. 2022;290:424-7. https://doi.org/10.3233/SHTI220110
» https://doi.org/10.3233/SHTI220110 -
Weichbroth P. Usability of mobile applications: a systematic literature study. IEEE Access. 2020;8:55563-77. https://doi.org/10.1109/ACCESS.2020.2981892
» https://doi.org/10.1109/ACCESS.2020.2981892 -
van Altena AJ, Spijker R, Olabarriaga SD. Usage of automation tools in systematic reviews. Res Synth Methods. 2019;10(1):72-82. https://doi.org/10.1002/jrsm.1335
» https://doi.org/10.1002/jrsm.1335 -
Cleo G, Scott AM, Islam F, Julien B, Beller E. Usability and acceptability of four systematic review automation software packages: a mixed method design. Syst Rev. 2019;8(1):145. https://doi.org/10.1186/s13643-019-1069-6
» https://doi.org/10.1186/s13643-019-1069-6 -
Harrison H, Griffin SJ, Kuhn I, Usher-Smith JA. Software tools to support title and abstract screening for systematic reviews in healthcare: an evaluation. BMC Med Res Methodol. 2020;20(1):7. https://doi.org/10.1186/s12874-020-0897-3
» https://doi.org/10.1186/s12874-020-0897-3 - Polit DF, Beck CT. Fundamentos de pesquisa em enfermagem: avaliação de evidências para a prática da enfermagem. 9. ed. Porto Alegre: Artmed; 2019. 456 p.
-
Associação Brasileira de Normas Técnicas. ABNT NBR ISO/IEC 25062: Software engineering: requirements and evaluation of software product quality (SQuaRE) – Common industry format (FCI) for usability testing reports [Internet]. Rio de Janeiro: ABNT; 2011 [cited 2023 Oct 20]. Available from: https://www.abntcatalogo.com.br/norma.aspx?ID=86972
» https://www.abntcatalogo.com.br/norma.aspx?ID=86972 -
Associação Brasileira de Normas Técnicas. ABNT NBR ISO 9241-11: Ergonomia da interação humano-sistema. Parte 11: Usabilidade: Definições e conceitos [Internet]. Rio de Janeiro: ABNT; 2021 [cited 2023 Oct 20]. Available from: https://www.abntcatalogo.com.br/pnm.aspx?Q=ZERidVZmV05vNEpGbHNwY1VLakdqbXFXR0xrN0RGcXA1ajcrUnVkY3lZbz0=
» https://www.abntcatalogo.com.br/pnm.aspx?Q=ZERidVZmV05vNEpGbHNwY1VLakdqbXFXR0xrN0RGcXA1ajcrUnVkY3lZbz0= -
Brooke J. SUS: a quick and dirty usability scale. In: Jordan PW, Thomas B, Weerdmeester BA, editors. Usability evaluation in industry [Internet]. London: Taylor & Francis; 1996 [cited 2023 Oct 20]. p. 189-94. Available from: https://www.taylorfrancis.com/chapters/edit/10.1201/9781498710411-35/sus-quick-dirty-usability-scale-john-brooke
» https://www.taylorfrancis.com/chapters/edit/10.1201/9781498710411-35/sus-quick-dirty-usability-scale-john-brooke -
Martins AI, Rosa AF, Queirós A, Silva A, Rocha NP. European Portuguese validation of the System Usability Scale (SUS). Procedia Comp Sci. 2015;67:293-300. https://doi.org/10.1016/j.procs.2015.09.273
» https://doi.org/10.1016/j.procs.2015.09.273 - Sommerville I. Engenharia de Software. 10. ed. São Paulo: Pearson Education do Brasil; 2018. 762 p.
-
British Standards Institution. BSI ISO/IEC 25041. Systems and software engineering - Systems and software Quality Requirements and Evaluation (SQuaRE) - Evaluation guide for developers, acquirers and independent evaluators [Internet]. Geneva: ISO; 2012 [cited 2023 Oct 20]. Available from: https://www.iso.org/standard/35766.html
» https://www.iso.org/standard/35766.html -
Bangor A, Kortum P, Miller J. Determining what individual SUS scores mean: adding an adjective rating scale. J Usability Stud [Internet]. 2009 [cited 2023 Oct 20];4(3):114-23. Available from: https://uxpajournal.org/determining-what-individual-sus-scores-mean-adding-an-adjective-rating-scale/
» https://uxpajournal.org/determining-what-individual-sus-scores-mean-adding-an-adjective-rating-scale/ - Pereira MG. Epidemiologia: teoria e prática. Rio de Janeiro: Editora Guanabara Koogan; 2021. 616 p.
-
Hill J, Brown J, Campbell N, Holden R. Usability-In-Place-Remote Usability Testing Methods for Homebound Older Adults: Rapid Literature Review. JMIR Form Res. 2021;5(11):e26181. https://doi.org/10.2196/26181
» https://doi.org/10.2196/26181 -
Muka T, Glisic M, Milic J, Verhoog S, Bohlius J, Bramer W, et al. A 24-step guide on how to design, conduct, and successfully publish a systematic review and meta-analysis in medical research. Eur J Epidemiol. 2020;35(1):49-60. https://doi.org/10.1007/s10654-019-00576-5
» https://doi.org/10.1007/s10654-019-00576-5 -
Nussbaumer-Streit B, Ellen M, Klerings I, Sfetcu R, Riva N, Mahmić-Kaknjo M, et al. Resource use during systematic review production varies widely: a scoping review. J Clin Epidemiol. 2021;139:287-96. https://doi.org/10.1016/j.jclinepi.2021.05.019
» https://doi.org/10.1016/j.jclinepi.2021.05.019 -
Almeida AF, Rocha NP, Silva AG. Methodological quality of manuscripts reporting on the usability of mobile applications for pain assessment and management: a systematic review. Int J Environ Res Public Health. 2020;17(3):785. https://doi.org/10.3390/ijerph17030785
» https://doi.org/10.3390/ijerph17030785 -
Kortum P, Acemyan CZ, Oswald FL. Is It Time to Go Positive? Assessing the Positively Worded System Usability Scale (SUS). Hum Factors. 2020;63(6):987-98. https://doi.org/10.1177/0018720819881556
» https://doi.org/10.1177/0018720819881556 -
Kortum P, Acemyan CZ. The Impact of Geographic Location on the Subjective Assessment of System Usability. Int J Hum Comput Interact. 2019;35(2):23-30. https://doi.org/10.1080/10447318.2018.1437865
» https://doi.org/10.1080/10447318.2018.1437865 -
JongWook J, NeungHoe K, Hoh PI. Detecting usability problems in mobile applications on the basis of dissimilarity in user behavior. Int J Hum Comput Stud. 2020;139:102364. https://doi.org/10.1016/j.ijhcs.2019.10.001
» https://doi.org/10.1016/j.ijhcs.2019.10.001 -
Núcleo de Informação e Coordenação do Ponto BR. ICT Households: Survey on the use of information and communication technologies in Brazilian households 2021 [Internet]. São Paulo: Brazilian Internet Steering Committee; 2022 [cited 2023 Oct 20]. Available from: https://cetic.br/media/docs/publicacoes/2/20221121125504/tic_domicilios_2021_livro_eletronico.pdf
» https://cetic.br/media/docs/publicacoes/2/20221121125504/tic_domicilios_2021_livro_eletronico.pdf -
Sauer J, Sonderegger A, Heyden K, Biller J, Klotz J, Uebelbacher A. Extra-laboratorial usability tests: an empirical comparison of remote and classical field testing with lab testing. Appl Ergon. 2019;74:85-96. https://doi.org/10.1016/j.apergo.2018.08.011
» https://doi.org/10.1016/j.apergo.2018.08.011 -
Khalil H, Ameen D, Zarnegar A. Tools to support the automation of systematic reviews: a scoping review. J Clin Epidemiol. 2022;144:22-42. https://doi.org/10.1016/j.jclinepi.2021.12.005
» https://doi.org/10.1016/j.jclinepi.2021.12.005 -
Cierco Jimenez R, Lee T, Rosillo N, Cordova R, Cree IA, Gonzalez A, et al. Machine learning computational tools to assist the performance of systematic reviews: A mapping review. BMC Med Res Methodol. 2022;22(1):322. https://doi.org/10.1186/s12874-022-01805-4
» https://doi.org/10.1186/s12874-022-01805-4 -
Santos AOD, Silva ES, Couto LM, Reis GVL, Belo VS. The use of artificial intelligence for automating or semi-automating biomedical literature analyses: A scoping review. J Biomed Inform. 2023;142:104389. https://doi.org/10.1016/j.jbi.2023.104389
» https://doi.org/10.1016/j.jbi.2023.104389
*Tarefas não obrigatórias para conclusão da etapa de maneira completa e correta; † PDF = Portable Document Format
*IC95% = Intervalo de confiança de 95%