Satisfação dos educadores de enfermagem com o sistema de pontuação do Objective Structured Clinical Examination online Objetivo o sistema de pontuação do OSCE em papel (Pa-OSCE) tem várias desvantagens, incluindo o desperdício significativo de papel e o fato de consumir muito tempo. Este estudo tem como objetivo avaliar a satisfação dos examinadores com o sistema de gerenciamento de pontuação do On-OSCE, identificar e avaliar os possíveis benefícios da inovação e promover seu uso.
Método usando um projeto de estudo transversal, desenvolvemos um inventário de satisfação que consiste em quatro domínios: economia de tempo, facilidade de uso, aplicação prospectiva e objetividade. Esse inventário foi usado para comparar os escores de satisfação entre dois grupos de examinadores (total de 67 indivíduos).
Resultados o inventário de satisfação de 20 itens demonstrou alta validade e confiabilidade (0,98 e 0,97, respectivamente). O tempo médio de pontuação foi significativamente menor no grupo do sistema de gerenciamento de pontuação online (p<0,001). Tanto a pontuação total de satisfação quanto as pontuações de cada domínio foram significativamente maiores no grupo do sistema de gerenciamento de pontuação online em comparação com o grupo do sistema de gerenciamento de pontuação em papel (p<0,001).
Conclusão uma grande proporção dos examinadores forneceu feedback positivo sobre o sistema de gerenciamento de pontuação online . O sistema de gerenciamento de pontuação online economiza o tempo de pontuação, é mais objetivo, mais fácil de usar e é recomendado para implementação. Os sistemas de gerenciamento de pontuação online podem ser implementados em instituições de ensino de enfermagem em todo o mundo para melhorar a eficiência da pontuação. Além disso, o inventário de satisfação de 20 itens pode servir como uma ferramenta de benchmarking para avaliar os educadores em todo o mundo.
Descritores:
Educação em Enfermagem; Tecnologia Educacional; Internet; Satisfação do Participante; Questionários; Países em Desenvolvimento
Destaques:
(1) Perguntas de 20 itens válidas e confiáveis sobre o sistema de pontuação de enfermagem.
(2) Uma alta proporção de examinadores (professores) forneceu feedback positivo sobre o OSCE online .
(3) As instituições de ensino de enfermagem podem adotar o sistema de pontuação do On-OSCE para melhorar a pontuação.
(4) A utilização do On-OSCE pode economizar tempo, ser objetiva e simplificar o processo de pontuação.
(5) O sistema de pontuação do On-OSCE é altamente recomendado para implementação em todo o mundo.
Objective the paper-based OSCE (Pa-OSCE) scoring system has several drawbacks, including significant paper waste and being time-consuming. This study aims to assess examiner satisfaction with the On-OSCE scoring management system, identify and weigh the potential benefits of the innovation, and promote its use.
Method using a cross-sectional study design, we developed satisfaction inventory consisting of four domains: time-saving, user-friendliness, prospective application, and objectivity. This inventory was used to compare satisfaction scores between two examiner groups (a total of 67 subjects).
Results the 20-item satisfaction inventory demonstrated high validity and reliability (0.98 and 0.97, respectively). The average scoring time was significantly shorter in the online scoring management system group (p<0.001). Both the total satisfaction score and the scores for each domain were significantly higher in the online scoring management system group compared to the paper-based scoring management system group (p<0.001).
Conclusion a high proportion of the examiners provided positive feedback on the online scoring management system. The online scoring management system saves the time to score, and is more objective, easier to use, and is recommended for implementation. Online scoring management systems can be implemented in nursing education institutions globally to improve scoring efficiency. Additionally, the 20-item satisfaction inventory can serve as a benchmarking tool to assess educators worldwide.
Descriptors:
Nursing Education; Educational Technology; Internet; Participant Satisfaction; Questionnaires; Developing Nations
Highlights:
(1) Valid and reliable 20-item questions on the nursing scoring system.
(2) A high proportion of the examiners (lecturers) provided positive feedback on the online OSCE.
(3) Nursing education institutions may adopt the On-OSCE scoring system to improve scoring.
(4) The utilization of On-OSCE can save time, objective, and simplify the scoring process.
(5) The On-OSCE scoring system is highly recommended for worldwide implementation.
Objetivo: el sistema de puntuación del OSCE en papel (Pa-OSCE) tiene varias desventajas, incluyendo un desperdicio significativo de papel y el hecho de que consume mucho tiempo. Este estudio tiene como objetivo evaluar la satisfacción de los examinadores con el sistema de gestión de puntuación del On-OSCE, identificar y evaluar los posibles beneficios de la innovación y promover su uso.
Método: usando un diseño de estudio transversal, desarrollamos un inventario de satisfacción que consiste en cuatro dominios: ahorro de tiempo, facilidad de uso, aplicación prospectiva y objetividad. Este inventario fue utilizado para comparar las puntuaciones de satisfacción entre dos grupos de examinadores (un total de 67 individuos).
Resultados: el inventario de satisfacción de 20 ítems demostró alta validez y confiabilidad (0,98 y 0,97, respectivamente). El tiempo medio de puntuación fue significativamente menor en el grupo del sistema de gestión de puntuación en línea (p<0,001). Tanto la puntuación total de satisfacción como las puntuaciones de cada dominio fueron significativamente mayores en el grupo del sistema de gestión de puntuación en línea en comparación con el grupo del sistema de gestión de puntuación en papel (p<0,001).
Conclusión: una gran proporción de los examinadores proporcionó feedback positivo sobre el sistema de gestión de puntuación en línea. El sistema de gestión de puntuación en línea ahorra tiempo en la puntuación, es más objetivo, más fácil de usar y se recomienda para su implementación. Los sistemas de gestión de puntuación en línea pueden ser implementados en instituciones de enseñanza de enfermería en todo el mundo para mejorar la eficiencia en la puntuación. Además, el inventario de satisfacción de 20 ítems puede servir como una herramienta de referencia para evaluar a los educadores en todo el mundo.
Descriptores:
Educación en Enfermería; Tecnología Educacional; Internet; Satisfacción del Participante; Cuestionarios; Países en Desarollo
Destacados:
(1) Preguntas de 20 ítems válidas y confiables sobre el sistema de puntuación de enfermería.
(2) Una alta proporción de examinadores (profesores) proporcionó feedback positivo sobre el OSCE en línea.
(3) Las instituciones de enseñanza de enfermería pueden adoptar el sistema de puntuación del On-OSCE para mejorar la evaluación.
(4) La utilización del On-OSCE puede ahorrar tiempo, ser objetiva y simplificar el proceso de puntuación.
(5) El sistema de puntuación del On-OSCE es altamente recomendado para su implementación a nivel mundial.
Introdução
O exame clínico estruturado objetivo (OSCE) foi desenvolvido no Reino Unido para avaliar as competências clínicas dos estudantes de medicina em um ambiente controlado e simulado ( 1 ) . O OSCE foi introduzido e utilizado para avaliar as competências clínicas dos alunos em vários programas de educação profissional na área da saúde, incluindo enfermagem ( 2 - 4 ) . Há vários métodos de avaliação de competências clínicas na educação de profissionais de saúde, como o miniexercício de avaliação clínica (mini-CEX) e a observação direta de habilidades procedimentais (DOPS); no entanto, o OSCE continua sendo o método mais usado usado para exames de qualificação de profissionais de saúde, inclusive em países asiáticos como a Indonésia ( 5 - 7 ) .
O exame OSCE tem várias estações de teste com ambientes simulados ( 7 - 9 ) e, durante o exame, os alunos são monitorados e avaliados por um examinador usando critérios de marcação predeterminados ( 10 ) . O OSCE reduz o viés do examinador, padroniza o procedimento do exame e proporciona objetividade para avaliar as competências clínicas ( 1 ) . Além disso, o OSCE destaca os pontos fortes e fracos dos alunos ( 11 - 13 ) , avalia seus conhecimentos e atitudes em relação à prática clínica ( 14 ) , proporciona um aprendizado profundo ( 4 ) e aumenta a autoconfiança dos alunos ( 3 , 5 ) . Tanto os alunos quanto os examinadores reconheceram a satisfação e os benefícios da experiência do OSCE em sua formação ( 2 , 15 - 17 ) . Além disso, o OSCE tem recebido excelente feedback como ferramenta de avaliação da competência clínica e da diversidade estudantil na educação ( 12 , 18 ) . É interessante notar que há limitações significativas associadas aos OSCEs. Alguns alunos os consideram estressantes e eles exigem recursos consideráveis, inclusive laboratórios de habilidades clínicas, equipamentos e examinadores ( 13 ) . Apesar dos desafios, autores acreditam que os benefícios educacionais dos OSCEs superam significativamente as preocupações relacionadas à alocação de recursos ( 16 ) .
O sistema de gerenciamento de pontuação OSCE em profissões de saúde e educação em enfermagem tem sido tradicionalmente conduzido usando um método baseado em papel (Pa-OSCE). No entanto, os examinadores relataram vários problemas com o sistema Pa-OSCE, incluindo perda de folhas de avaliação, falta de detalhes, como números e nomes dos alunos, e caligrafia ilegível ( 19 ) . Além disso, as pontuações do OSCE não ficam imediatamente disponíveis, o que gera pressão de tempo e reduz a eficiência dos recursos e do gerenciamento dos examinadores do OSCE ( 20 ) . Nosso estudo anterior confirmou as preocupações associadas ao Pa-OSCE, incluindo o desperdício significativo de papel, o tempo excessivo gasto pelos examinadores para calcular manualmente a pontuação com base na lista de verificação e a ausência de uma coluna de feedback apropriada na lista de verificação para avaliar o desempenho do examinando ( 21 ) . Portanto, o desenvolvimento de um sistema de gerenciamento de pontuação do OSCE online (On-OSCE) é essencial, especialmente nas instituições de ensino de enfermagem da Indonésia, para resolver essas lacunas no Pa-OSCE ( 22 ) .
Vários estudos avaliaram a satisfação dos avaliadores com a implementação do sistema de gerenciamento de pontuação do OSCE online ( 13 , 16 , 23 ) . Esses estudos exploraram as percepções e atitudes dos examinadores em relação ao sistema de gerenciamento de pontuação online no ensino de enfermagem na Irlanda ( 23 ) . Os resultados indicaram altos níveis de satisfação dos examinadores. O sistema de gerenciamento de pontuação do OSCE online reduziu a falta de dados e melhorou o fornecimento de feedback oportuno aos alunos ( 23 ) . Da mesma forma, um estudo sobre a avaliação online do OSCE em instituições de ensino de farmácia em Taiwan relatou que os examinadores demonstraram alto reconhecimento, aceitação e satisfação com o sistema de avaliação online ( 24 ) . Além disso, o sistema de gerenciamento de pontuação do OSCE online facilita o armazenamento de dados e permite a análise detalhada do desempenho geral do grupo ou de cada aluno, o que contribui para uma avaliação mais aprofundada do ensino e da aprendizagem ( 23 ) .
Embora o sistema de gerenciamento de pontuação do OSCE online esteja bem estabelecido em países desenvolvidos ( 3 , 6 , 23 ) , sua implementação em países em desenvolvimento, como a Indonésia, representa uma nova abordagem, especialmente no ensino de enfermagem. Nosso estudo anterior revelou que o sistema comum de gerenciamento de pontuação do OSCE na Indonésia se baseava no sistema tradicional de gerenciamento de pontuação baseado em papel (Pa-OSCE) ( 25 ) . Para resolver problemas como o desperdício excessivo de papel e o consumo de tempo, nosso departamento de enfermagem desenvolveu um sistema de pontuação online (On-OSCE) ( 21 ) . Para garantir a eficácia e a aceitação do On-OSCE entre os administradores e examinadores acostumados com técnicas de avaliação baseadas em papel, é fundamental avaliar seu uso prático. Assim, este estudo tem como objetivo avaliar a satisfação dos examinadores com o sistema de gerenciamento de pontuação do On-OSCE, identificar e ponderar os possíveis benefícios dessa inovação e promover sua adoção.
Métodos
Desenho do estudo
Este estudo utilizou uma abordagem de corte transversal, em que o pesquisador mede simultaneamente os resultados e as exposições dos participantes. O estudo foi realizado na Escola de Enfermagem da Universitas Muhammadiyah Yogyakarta , Indonésia, de 21 de junho de 2019 a 28 de fevereiro de 2021. A coleta de dados se estendeu por três anos para apoiar a transição de um OSCE em papel para um sistema de gerenciamento de pontuação de OSCE online e para permitir a captura de dados de ambos os grupos (em papel vs. online ).
Participantes
Usamos uma técnica de amostragem total neste estudo. Um total de 30 examinadores usando um sistema de gerenciamento de pontuação de OSCE em papel (Pa-OSCE) e 37 examinadores usando um sistema de gerenciamento de pontuação de OSCE online (On-OSCE) participaram do estudo. Os examinadores eram professores de enfermagem ou assistentes de professores da Escola de Enfermagem da Universitas Muhammadiyah Yogyakarta , Indonésia, que realizam regularmente avaliações OSCE na escola de enfermagem.
Instrumentos
Antes de coletar os dados, desenvolvemos um inventário de satisfação com 20 itens abrangendo quatro domínios: economia de tempo (6 itens), facilidade de uso (5 itens), aplicação prospectiva (4 itens) e objetividade (5 itens), conforme detalhado na Tabela 1 . Os participantes foram solicitados a classificar sua satisfação com cada item em uma escala do tipo Likert de 11 pontos, variando de insatisfeito (0) a altamente satisfeito (10) ( 26 ) . O instrumento foi desenvolvido por pesquisadores com base na revisão da literatura sobre esse tópico. Classificamos a satisfação dos participantes em três grupos com base em sua pontuação total: 0-70 indicava baixa satisfação, 71-140 indicava média satisfação e 141-200 indicava alta satisfação.
Recrutamos cinco membros do corpo docente com experiência em Pa-OSCE e On-OSCE para realizar um índice de validade de conteúdo do inventário (IVC). O IVC consiste em conteúdo adequado (IVCs) e precisão de palavras (IVCw) ( 27 ) . As pontuações do IVC de cinco especialistas foram de 0,98. Três ou mais especialistas com um CVI médio de 0,78 ou mais são considerados como tendo boa validade de conteúdo ( 28 ) . Também examinamos o valor da correlação item-total nos quatro domínios (um total de 20 questões) para avaliar a satisfação dos examinadores com o uso do Pa-OSCE e do sistema de gerenciamento de pontuação On-OSCE. Os itens com um valor de correlação maior que 0,3 foram mantidos. A Confiabilidade Composta (CC) para o extremo foi estatisticamente significativa (p < 0,05).
A confiabilidade (α de Cronbach) e a consistência interna (comparações de grupos extremos e correlação item-total corrigida) foram analisadas usando os dados de 15 examinadores que conduziram o sistema de gerenciamento de pontuação Pa-OSCE e 15 examinadores que conduziram o sistema de gerenciamento de pontuação On-OSCE. O escore α de Cronbach foi de 0,97. Com um alfa > 0,60, o questionário pode ser considerado confiável ( 26 , 29 ) .
Coleta de dados
Os convites para a pesquisa foram enviados via aplicativo WhatsApp a todos os participantes elegíveis. Os participantes que se mostraram dispostos a participar do estudo podiam entrar em contato com os pesquisadores se precisassem de mais informações relacionadas à pesquisa. A pesquisa de satisfação dos examinadores foi administrada online usando o Google Forms . Os formulários incluíam 20 perguntas que abrangiam quatro variáveis (economia de tempo, facilidade de uso, aplicação prospectiva e objetividade). O preenchimento e o envio dos formulários indicaram o consentimento dos participantes em participar desse estudo.
Análise de dados
Os dados quantitativos obtidos do desempenho dos examinadores nas estações de OSCE e da pesquisa por questionário foram analisados descritivamente usando o Microsoft Excel 365 para Windows 10 (Microsoft Corporation, Redmond, WA, EUA) e o software estatístico IBM SPSS Statistics versão 22 (IBM Corporation, Armonk, NY, EUA). Os dados descritivos foram apresentados em frequência e porcentagem para dados categóricos, como gênero, formação e experiência de ensino dos participantes, ou média para variáveis contínuas, como idade dos participantes. A classificação média foi usada para descrever os dados em minutos para concluir a pontuação e as pontuações de satisfação em quatro domínios (economia de tempo, facilidade de uso, aplicação prospectiva e objetividade).
Uma análise mais aprofundada foi realizada para verificar as diferenças entre os grupos Pa-OSCE e On-OSCE em termos demográficos, o tempo necessário para concluir as pontuações dos alunos e a satisfação do ponto de vista dos examinadores. Testes apropriados, como os testes Exato de Fisher, Qui-quadrado ou Mann-Whitney U, foram usados para investigar as diferenças médias entre os grupos de pontuação do OSCE em papel e online nos quatro domínios de satisfação dos examinadores. Os dados dos escores totais de satisfação dos examinadores foram inicialmente categorizados em três categorias (baixa, média e alta). No entanto, devido às poucas respostas na categoria de baixa satisfação, esse grupo foi mesclado com a categoria de satisfação média para permitir uma análise significativa. A significância estatística foi definida como p < 0,05.
Considerações éticas
A autorização ética foi concedida pelo Comitê de Ética da Faculdade de Medicina e Ciências da Saúde da Universitas Muhammadiyah Yogyakarta (nº 051/EC-KEPK FKIK UMY/II/2019). Os participantes foram informados sobre o objetivo do estudo e forneceram consentimento verbal para participar. Foi-lhes assegurado que seus dados permaneceriam confidenciais. As respostas foram mantidas anônimas e um acordo de não divulgação foi estabelecido, dando aos entrevistados o direito de se retirarem do estudo a qualquer momento.
Resultados
Dados demográficos dos participantes
A Tabela 2 mostra as diferenças estatísticas entre os grupos com base nas categorias de idade, gênero, nível educacional e experiência de ensino. O resultado mostra que as características dos participantes em ambos os grupos eram bastante semelhantes, com exceção da idade. A categoria de idade foi significativamente diferente entre essas quatro variáveis, enquanto o gênero, o nível educacional e a experiência de ensino não foram significativos (p > 0,05). A média de idade dos entrevistados foi de 34,10 ± 5,58 no grupo Pa-OSCE e de 30,70 ± 5,78 no grupo On-OSCE (p = 0,011). A maioria dos examinadores era do sexo feminino, tanto no grupo Pa-OSCE (90%) quanto no grupo On-OSCE (89,19%). A maioria dos examinadores tinha nível de pós-graduação, com 66,67% no grupo Pa-OSCE e 56,76% no grupo On-OSCE. A experiência de ensino dos entrevistados foi categorizada em menos de um ano ou igual a um ano de experiência e menos de dez anos de experiência.
Os examinadores passaram menos tempo pontuando com o On-OSCE
Houve uma diferença estatisticamente significativa no tempo necessário para concluir a pontuação do OSCE no Pa-OSCE e no On-OSCE. A classificação média do grupo On-OSCE foi menor do que a do grupo Pa-OSCE, como mostra a Tabela 3 . Os examinadores do Pa-OSCE passaram mais tempo calculando a pontuação, enquanto as pontuações no On-OSCE foram calculadas automaticamente pelo sistema. Os dados revelam que os examinadores economizaram mais tempo ao atribuir a pontuação final ao aluno do grupo On-OSCE.
Os examinadores tiveram um feedback positivo sobre o sistema de gerenciamento de pontuação On-OSCE
Os escores de satisfação em quatro domínios do inventário são mostrados na Tabela 4 . Foi registrada uma diferença estatisticamente significativa entre os grupos. Os resultados indicaram que o On-OSCE ofereceu economia de tempo, facilidade de uso, aplicações prospectivas e objetividade em comparação com o Pa-OSCE. O On-OSCE melhorou a eficiência da pontuação (economia de tempo) e a objetividade e foi aceito (fácil de usar) para uso futuro (aplicações prospectivas) pela maioria dos examinadores.
A satisfação dos examinadores foi maior no grupo On-OSCE em comparação com o grupo Pa-OSCE
Combinamos as categorias de escores de satisfação total baixos e médios por motivos estatísticos. A satisfação dos examinadores com o Pa-OSCE e o On-OSCE é mostrada na Tabela 5 . Uma grande proporção de examinadores do On-OSCE (97,30%) estava altamente satisfeita com a pontuação das habilidades dos alunos, enquanto uma grande proporção de examinadores do Pa-OSCE (86,67%) relatou baixos níveis de satisfação. As Tabelas 3 e 4 demonstram que o On-OSCE melhorou a eficiência e a objetividade da pontuação, com uma alta proporção de examinadores expressando satisfação com o novo sistema de gerenciamento de pontuação.
Discussão
O objetivo deste estudo é avaliar de forma abrangente a satisfação dos examinadores com o sistema de gerenciamento de pontuação On-OSCE, utilizando ferramentas validadas desenvolvidas por meio de análise fatorial. A avaliação foi realizada em quatro aspectos principais (economia de tempo, facilidade de uso, aplicação prospectiva e objetivo) com um inventário de alta validade e confiabilidade. Além disso, esse estudo demonstrou de forma conclusiva que os examinadores conseguiram economizar um tempo significativo ao atribuir pontuações finais aos alunos no sistema de gerenciamento de pontuação On-OSCE ( Tabela 3 ). Entre os quatro aspectos principais, o grupo do On-OSCE demonstrou alta satisfação ( Tabela 4 ). Os resultados mostraram uma alta proporção (97,30%) de examinadores satisfeitos com a eficiência (economia de tempo) e objetividade da pontuação e aceitos para aplicação futura (facilidade de uso e aplicação prospectiva) em comparação com o Pa-OSCE (p < 0,001) ( Tabela 5 ).
Uma das descobertas mais desanimadoras em nosso contexto foi a melhora drástica no tempo de finalização da pontuação, para calcular a pontuação final e decidir se o examinando foi aprovado ou reprovado na habilidade que estava sendo examinada. O estudo mostrou que, ao empregar o sistema de gerenciamento de pontuação On-OSCE, os examinadores precisaram de menos tempo para concluir o processo de pontuação do que o sistema de gerenciamento de pontuação Pa-OSCE ( Tabela 3 ). Nossa hipótese foi coerente com vários estudos que indicam que o sistema de gerenciamento de pontuação do OSCE online reduziu o resultado oficial mais rapidamente do que o sistema tradicional de gerenciamento de pontuação do OSCE ( 22 , 30 ) . Há quatro razões pelas quais o sistema de gerenciamento de pontuação On-OSCE foi mais rápido do que o sistema de gerenciamento de pontuação Pa-OSCE. Em primeiro lugar, o sistema de gerenciamento de pontuação do On-OSCE calculou as pontuações dos alunos automaticamente, garantiu o envio de uma lista de verificação sem erros, foi facilmente marcado e não precisou ser escrito à mão. Em segundo lugar, o sistema de gerenciamento de pontuação do OSCE online ( tablet ou PC) permite que os examinadores marquem a lista de verificação com facilidade, sem esforço e continuamente ( 10 ) . Além disso, a lista de verificação marcada pelos examinadores é processada automaticamente pelo sistema, fazendo com que as pontuações dos alunos apareçam imediatamente ( 24 ) . Em terceiro lugar, o sistema de gerenciamento de pontuação do On-OSCE avisa sobre as notas perdidas pelos sistemas. Assim como no sistema de alarme, o examinador recebe um alerta na tela do tablet ou do PC se uma nota estiver faltando ( 24 ) . Em quarto lugar, o sistema de gerenciamento de pontuação On-OSCE oferece aos examinadores um ponto direto na lista de verificação ( 7 , 22 ) . Os examinadores “clicam” facilmente na lista de verificação do On-OSCE em vez de marcá-la com caneta no sistema de gerenciamento de pontuação do Pa-OSCE. Os examinadores simplesmente usam o sistema de gerenciamento de pontuação On-OSCE virando a folha da lista de verificação, arrastando ou rolando a lista de verificação na tela ( 30 - 31 ) . Assim, o sistema de gerenciamento de pontuação On-OSCE foi superior ao sistema de gerenciamento de pontuação Pa-OSCE na conclusão das avaliações dos alunos. Esses achados acreditam que o aplicativo seria benéfico para os estudantes de enfermagem e para as instituições de enfermagem, pois nossos estudos anteriores afirmaram que os estudantes estavam satisfeitos com a avaliação pelo sistema de gerenciamento de pontuação On-OSCE, pois recuperavam suas pontuações imediatamente e as pontuações eram incrivelmente precisas ( 15 ) . Além disso, avaliamos a prontidão do ensino de enfermagem na Indonésia para a implementação do sistema de gerenciamento de pontuação On-OSCE e, portanto, reconhecemos que a maioria deles estava pronta para implementar esse aplicativo em sua instituição ( 25 ) .
Avaliar a satisfação dos examinadores com a implementação do sistema de gerenciamento de pontuação do On-OSCE é vital para obter uma compreensão, especialmente de sua viabilidade, e fornecer informações fundamentais para programas de aprimoramento futuros. Nossos resultados mostraram que os examinadores ficaram muito satisfeitos com a atribuição das notas dos alunos usando o sistema de gerenciamento de notas do On-OSCE (97,30%), em comparação com o sistema de gerenciamento de notas do Pa-OSCE, que apresentou baixa satisfação (86,67%) ( Tabela 5 ). Com relação à utilização dos sistemas de gerenciamento de pontuação do OSCE online , os examinadores avaliaram seu nível de satisfação em quatro domínios: economia de tempo, facilidade de uso, aplicações prospectivas e objetivos ( Tabela 4 ). Outros estudos descobriram que as ferramentas eletrônicas facilitaram a análise de resultados agregados, resultando em economia significativa de tempo ( 13 , 30 ) . Da mesma forma, a utilização do nosso sistema eletrônico exclusivo reduziu significativamente o tempo necessário para a análise dos dados, proporcionando mais tempo para a interpretação dos dados a fim de melhorar o desenvolvimento do currículo e a avaliação do processo de aprendizagem, o que pode ser um dos motivos pelos quais esse sistema de gerenciamento de pontuação satisfez os examinadores. Além disso, o sistema de gerenciamento de pontuação do On-OSCE tornou-se uma aplicação futura sem esforço para os examinadores, pois eles foram rapidamente reconhecidos e se familiarizaram com o sistema; os examinadores relataram estar altamente satisfeitos em todos os quatro domínios. No entanto, os autores afirmaram que os examinadores devem receber treinamento e prática adequados para se sentirem confiantes no uso do sistema de avaliação computadorizado ( 24 ) .
De acordo com os resultados desse estudo, percebeu-se que havia três motivos principais para a satisfação dos examinadores com o uso do sistema de gerenciamento de pontuação do On-OSCE. Primeiro, eles podiam assinar ou criar comentários no formulário de avaliação a qualquer momento, o que não podiam fazer com o sistema de gerenciamento de pontuação em papel. O sistema de gerenciamento de pontuação do OSCE online foi projetado para que os examinadores pudessem fornecer seu feedback de forma eficaz e adequada. Esse achado está alinhado com pesquisas anteriores que indicam que o OSCE online oferece um meio viável de avaliar as competências dos alunos e fornecer feedback imediato sobre as habilidades avaliadas ( 11 , 22 ) . Em segundo lugar, o sistema de gerenciamento de pontuação do On-OSCE desativou a função de adicionar/subtrair pontuação, facilitando para os examinadores a atribuição objetiva das pontuações gerais dos alunos de acordo com seu desempenho. A adição ou subtração das pontuações dos alunos geralmente é feita pelos examinadores no sistema de gerenciamento de pontuação do Pa-OSCE, o que diminui a objetividade da pontuação. Em terceiro lugar, a Tabela 2 mostra que há uma diferença estatisticamente significativa na idade entre os examinadores. Comparando as idades, o grupo On-OSCE é mais jovem do que o grupo Pa-OSCE. Isso pode ser devido ao fato de os examinadores adultos jovens terem experiência em competências digitais, como o uso de computadores e serviços de Internet ( 32 ) , e estarem expostos a melhores desenvolvimentos tecnológicos em comparação com pessoas mais velhas ( 33 ) . Portanto, trabalhos futuros devem ser considerados, especialmente para analisar os fatores que afetam as decisões dos examinadores no sistema eletrônico de avaliação OSCE.
Durante a pandemia da COVID-19, o sistema de gerenciamento de pontuação do OSCE online permite que os examinadores examinem as habilidades dos alunos sem avaliação presencial ( 31 ) . Além disso, um estudo reconheceu que a resposta favorável dos alunos ao sistema modificado de gerenciamento de pontuação do OSCE online apoia uma avaliação online para aprimorar o sistema tradicional de gerenciamento de pontuação do OSCE ( 7 ) . No entanto, os alunos acreditavam que o sistema de gerenciamento de pontuação do OSCE online faz com que os examinadores se concentrem nos laptops ou tablets e ignorem seus comportamentos, o que pode aumentar a ansiedade dos alunos ( 15 ) . Além disso, o sistema de gerenciamento de pontuação On-OSCE pode ser utilizado em conjunto com o sistema tradicional de gerenciamento de pontuação OSCE, desde que as instituições tenham uma conexão adequada com a Internet, hardware apropriado ( tablet ou PC), listas de verificação de habilidades legítimas e examinadores devidamente treinados ( 21 ) .
A proficiência clínica é examinada de forma consistente, abrangente e organizada em um amplo espectro. O exame exige um processo altamente objetivo no qual o viés do examinador deve ser diminuído e a discriminação entre os níveis de desempenho dos alunos deve ser demonstrada ( 22 ) . A hipótese foi coerente com estudos que mostram que o sistema de gerenciamento de pontuação do OSCE online reduziu o problema administrativo ( 6 , 30 ) . Além disso, nossos resultados, consistentes com o estudo, revelaram que o software eletrônico economizou tempo e eliminou a possibilidade de falta de dados ( 23 ) . Além disso, os possíveis benefícios do software eletrônico incluem a capacidade de armazenar e analisar resultados agregados e individuais, além de fornecer aos alunos um feedback objetivo imediato ( 23 ) .
Este estudo ainda tem limitações. Primeiro, por ser um estudo em um único local, os resultados podem não ser generalizados para outras instituições, nações ou especialidades de saúde. Em segundo lugar, não avaliamos as percepções dos examinadores sobre a quantidade de esforço mental necessário. O esforço mental dos examinadores experientes pode afetar seu desempenho ao observar e avaliar os alunos, o que pode afetar o nível de satisfação dos examinadores. Assim, trabalhos futuros podem ser organizados para investigar o esforço mental dos examinadores no Pa-OSCE e no On-OSCE. Em terceiro lugar, as variáveis do nosso estudo e o tamanho da amostra são limitados e não atendem aos requisitos estatísticos ou às suposições necessárias para executar o teste de regressão logística ( 34 ) . Portanto, pesquisas futuras precisam ser realizadas para avaliar as variáveis que podem contribuir para a satisfação dos alunos e examinadores de forma abrangente e melhorar o tamanho das amostras para permitir testes de regressão.
Conclusão
O sistema de gerenciamento de pontuação do On-OSCE pode aliviar os desafios encontrados durante o rigoroso processo OSCE. Em comparação com o sistema tradicional de gerenciamento de pontuação do OSCE, o sistema de gerenciamento de pontuação On-OSCE oferece as vantagens de maior economia de tempo, facilidade de uso, aplicação prospectiva e objetividade na avaliação do desempenho dos alunos. Os examinadores que estão familiarizados com a funcionalidade do sistema demonstraram maior satisfação com a função geral e a utilização do sistema do que o sistema de gerenciamento de pontuação Pa-OSCE. O sistema de gerenciamento de pontuação do On-OSCE aumenta a eficácia do planejamento e da implementação do OSCE. Ele tem enormes vantagens e é viável para testes de prática clínica, que poderão ser amplamente empregados no aprendizado prático em domínios médicos conectados no futuro. Além disso, outros estudos podem usar o recente inventário de satisfação de 20 itens para avaliar os educadores de enfermagem em todo o mundo.
Agradecimentos
Os autores agradecem as contribuições do Research and Innovation Bureau , Universitas Muhammadiyah Yogyakarta , que forneceu financiamento para este estudo.
Referências bibliográficas
-
Harden RM, Stevenson M, Downie WW, Wilson G. Assessment of clinical competence using objective structured examination. Br Med J. 1975;1(5955):447-51. https://doi.org/10.1136/bmj.1.5955.447
» https://doi.org/10.1136/bmj.1.5955.447 -
Vincent SC, Arulappan J, Amirtharaj A, Matua GA, Al Hashmi I. Objective structured clinical examination vs traditional clinical examination to evaluate students’ clinical competence: A systematic review of nursing faculty and students’ perceptions and experiences. Nurse Educ Today. 2022;108:105170. https://doi.org/10.1016/j.nedt.2021.105170
» https://doi.org/10.1016/j.nedt.2021.105170 -
Cristobal E, Perkins K, Kang C, Chen S. Impact of a Mock OSCE on Student Confidence in Applying the Pharmacists’ Patient Care Process. Pharmacy (Basel). 2024;12(2):54. https://doi.org/10.3390/pharmacy12020054
» https://doi.org/10.3390/pharmacy12020054 -
Shimizu I, Mori J, Yamauchi A, Kato S, Masuda Y, Nakazawa Y, et al. Progress testing of an objective structured clinical examination during undergraduate clinical clerkship: a mixed-methods pilot study. BMC Med Educ. 2023;23(1):958. https://doi.org/10.1186/s12909-023-04940-8
» https://doi.org/10.1186/s12909-023-04940-8 -
Kassabry MF. Evaluation of simulation using objective structured clinical examination (OSCE) among undergraduate nursing students: A systematic review. Int J Africa Nurs Sci. 2023;18:100553. https://doi.org/10.1016/j.ijans.2023.100553
» https://doi.org/10.1016/j.ijans.2023.100553 -
Tseng WY, Lai EHH, Wang TM, Wang CY, Lin TF, Lin LD, et al. The multi-factor analysis of computer-based test scores in objective structured clinical examination of clerkship in school of dentistry, National Taiwan University. J Dent Sci. 2023;18(2):754-60. https://doi.org/10.1016/j.jds.2022.12.012
» https://doi.org/10.1016/j.jds.2022.12.012 -
Indarwati F, Primanda Y, Haris F, Sutrisno RY. Content validity and inter-rater reliability of procedural skill checklists used in the online OSCE scoring management system. Bali Med J. 2023;12(1):456-61. https://doi.org/10.15562/bmj.v12i1.3760
» https://doi.org/10.15562/bmj.v12i1.3760 -
Guerrero JG, Rosales NS, Castro GMT. Impact of high-fidelity simulation exposure of nursing students with their objective structured clinical examination: A quasi-experimental study. Nurs Open. 2023;10(2): 765-72. https://doi.org/10.1002/nop2.1343
» https://doi.org/10.1002/nop2.1343 -
Abbasi MA, Imannezhad S, Movahedinia S, Shojaei H, Fazli B. Different Assessment Tools for Evaluating Objective Structured Clinical Examinations in Medical Education: A Rapid Review. Med Edu Bull. 2023;4(4):14. https://doi.org/10.22034/meb.2023.433369.1087
» https://doi.org/10.22034/meb.2023.433369.1087 -
Kharaba Z, Al Ahmed M, Elnour AA, AbouHajal A, Abumweis S, Ghattas MA. Are we ready yet for digital transformation? Virtual versus On-Campus Objective Structured Clinical Examination (OSCE) as an assessment tools in pharmacy education. A randomized controlled head-to-head comparative assessment [Preprint]. Research Square. 2022. https://doi.org/10.21203/rs.3.rs-1893972/v1
» https://doi.org/10.21203/rs.3.rs-1893972/v1 -
Chang O, Holbrook AM, Lohit S, Deng J, Xu J, Lee M, et al. Comparability of Objective Structured Clinical Examinations (OSCEs) and written tests for assessing medical school students’ competencies: a scoping review. Eval Health Prof. 2023;46(3):213-24. https://doi.org/10.1177/01632787231165797
» https://doi.org/10.1177/01632787231165797 -
Chan SCC, Choa G, Kelly J, Maru D, Rashid MA. Implementation of virtual OSCE in health professions education: A systematic review. Med Educ. 2023;57(9):833-43. https://doi.org/10.1111/medu.15089
» https://doi.org/10.1111/medu.15089 -
Berendes S, Schaper E, Tipold A, Wissing S. Evaluation of the eOSCE for testing clinical skills. Front Vet Sci. 2023;10:1196311. https://doi.org/10.3389/fvets.2023.1196311
» https://doi.org/10.3389/fvets.2023.1196311 -
Alamri S, Al Hashmi I, Shruba K, Jamaan S, Alrahbi Z, Al Kaabi T. Nursing Students’ Perception and Attitude towards Objective Structured Clinical Examination in Oman. Sultan Qaboos University Med J. 2022;22(3):343. https://doi.org/10.18295%2Fsqumj.2.2022.012
» https://doi.org/10.18295%2Fsqumj.2.2022.012 -
Sutrisno RY, Primanda Y, Haris F. Students’ Satisfaction on Online Nursing OSCE (ON-OSCE) Assessment Application. Indonesian J Nurs Pract. 2020;4(2). https://doi.org/10.18196/ijnp.v4i2.10142
» https://doi.org/10.18196/ijnp.v4i2.10142 -
Manuaba IBAP, Yani MVW. Evaluation of the Implementation of Objective Structural Clinical Examination (OSCE) in the Faculty of Medicine: a Literature Review. Bali Med J. 2023;12(1):1163-6. https://doi.org/10.15562/bmj.v12i1.4383
» https://doi.org/10.15562/bmj.v12i1.4383 -
Shariff A, Kumar TMP, Siddalingegowda SM, Wani SUD, Elsobky Y. PharmD students experiences on end year clerkship evaluation using objective structured clinical exam (OSCE) method at JSS College of Pharmacy Mysuru India. PEC Innov. 2024;4:100271. https://doi.org/10.1016/j.pecinn.2024.100271
» https://doi.org/10.1016/j.pecinn.2024.100271 -
Barnes KN, Hardinger KL, Graham MR. Review of Objective Structured Clinical Examination Practices within Pharmacy Programs throughout the United States. Am J Pharm Educ. 2024;88(4):100686. https://doi.org/10.1016/j.ajpe.2024.100686
» https://doi.org/10.1016/j.ajpe.2024.100686 -
Snodgrass SJ, Ashby SE, Onyango L, Russell T, Rivett DA. Electronic practical skills assessments in the health professions: a review. Internet J Allied Health Sci Pract. 2014;12(1):8. https://doi.org/10.46743/1540-580X/2014.1471
» https://doi.org/10.46743/1540-580X/2014.1471 -
Natarajan J, Thomas D. Integrative Review Literature on Objective Structured Clinical Examination and its implications in Nursing Education. IOSR J Nurs Health Sci [Internet]. 2014 [cited 2023 Apr 14];3(4):23-30. Available from: https://www.iosrjournals.org/iosr-jnhs/papers/vol3-issue4/Version-1/F03412330.pdf
» https://www.iosrjournals.org/iosr-jnhs/papers/vol3-issue4/Version-1/F03412330.pdf -
Primanda Y, Sutrisno R, Haris F. The Development of Online OSCE Prototype for OSCE in School of Nursing: Lesson Learned. In: Proceedings of the Third International Conference on Sustainable Innovation 2019–Health Science and Nursing (IcoSIHSN 2019) [Internet]; 2019 July 30-31; Yogyakarta, Indonesia. Amsterdam: Atlantis Press; 2019 [cited 2023 Apr 14]. Available from: https://doi.org/10.2991/icosihsn-19.2019.47
» https://doi.org/10.2991/icosihsn-19.2019.47 -
Wagner FL, Feller S, Schmitz FM, Zimmermann PG, Krings R, Guttormsen S, et al. Usability and preference of electronic vs. paper and pencil OSCE checklists by examiners and influence of checklist type on missed ratings in the Swiss Federal Licensing Exam. GMS J Med Educ. 2022;39(2):Doc24. https://doi.org/10.3205/zma001545
» https://doi.org/10.3205/zma001545 -
Meskell P, Burke E, Kropmans TJ, Byrne E, Setyonugroho W, Kennedy KM. Back to the future: An online OSCE Management Information System for nursing OSCEs. Nurse Educ Today. 2015;35(11):1091-6. https://doi.org/10.1016/j.nedt.2015.06.010
» https://doi.org/10.1016/j.nedt.2015.06.010 -
Chuo WH, Lee CY, Wang TS, Huang PS, Lin HH, Wen MC, et al. Evaluate the Feasibility of the Implementation of E-Assessment in Objective Structured Clinical Examination (OSCE) in Pharmacy Education from the Examiner’s Perspectives. Educ Sci. 2021;11(5):194. https://doi.org/10.3390/educsci11050194
» https://doi.org/10.3390/educsci11050194 -
Primanda Y, Indarwati F, Haris F, Sutrisno RY. Nursing education institutions’ readiness to use online objective structured clinical examination scoring management system. Bali Med J. 2023;12(2):2185-90. https://doi.org/10.15562/bmj.v12i2.3700
» https://doi.org/10.15562/bmj.v12i2.3700 -
Koustelios AD, Bagiatis K. The Employee Satisfaction Inventory (ESI): Development of a scale to measure satisfaction of Greek employees. Educ Psychol Meas. 1997;57(3):469-76. https://doi.org/10.1177/0013164497057003008
» https://doi.org/10.1177/0013164497057003008 -
Polit DF, Beck CT. The content validity index: are you sure you know what’s being reported? Critique and recommendations. Res Nursing Health. 2006;29(5):489-97. https://doi.org/10.1002/nur.20147
» https://doi.org/10.1002/nur.20147 -
Polit DF, Beck CT, Owen SV. Is the CVI an acceptable indicator of content validity? Appraisal and recommendations. Res Nurs Health. 2007;30(4):459-67. https://doi.org/10.1002/nur.20199
» https://doi.org/10.1002/nur.20199 -
Kregel J, Vuijk PJ, Descheemaeker F, Keizer D, van der Noord R, Nijs J, et al. The Dutch Central Sensitization Inventory (CSI): factor analysis, discriminative power, and test-retest reliability. Clin J Pain. 2016;32(7):624-30. https://doi.org/10.1097/AJP.0000000000000306
» https://doi.org/10.1097/AJP.0000000000000306 -
Yousef AA, Awary BH, AlQurashi FO, Albuali WH, Al-Qahtani MH, Husain SI, et al. Innovative method to digitize a web-based OSCE evaluation system for medical students: A cross-sectional study in university hospital in Saudi Arabia. Int J Gen Med. 2022:1085-95. https://doi.org/10.2147/IJGM.S351052
» https://doi.org/10.2147/IJGM.S351052 -
Bhuiyan AAM, Islam AM. E-assessment during COVID-19 pandemic at a Saudi university: impact on assessment methods and course learning outcomes. J Lang Cult Educ. 2023;11(3):1-11. https://doi.org/10.2478/jolace-2023-0021
» https://doi.org/10.2478/jolace-2023-0021 -
Heponiemi T, Kaihlanen AM, Kouvonen A, Leemann L, Taipale S, Gluschkoff K. The role of age and digital competence on the use of online health and social care services: a cross-sectional population-based survey. Digit Health. 2022;8:20552076221074485. https://doi.org/10.1177/20552076221074485
» https://doi.org/10.1177/20552076221074485 -
Haase M, Bosse M, Sackmann S, Meyer G. IT Skills of Young and Older People: A Qualitative Study. Int J Hum-Comput Int. 2024:1-11. https://doi.org/10.1080/10447318.2024.2319916
» https://doi.org/10.1080/10447318.2024.2319916 -
Harris JK. Primer on binary logistic regression. Fam Med Community Health. 2021;9(Suppl 1):e001290. https://doi.org/10.1136/fmch-2021-001290
» https://doi.org/10.1136/fmch-2021-001290
-
Todos os autores aprovaram a versão final do texto.
-
*
Apoio financeiro do Ministry of Science and Technology Taiwan, processo nº MOST 109-2314-B-468-006-MY3, Taiwan, e do Research and Innovation Bureau, Universitas Muhammadiyah Yogyakarta, processo nº 550/PEN-LP3M/II/2020, Indonésia.
-
How to cite this article
Haris F, Indarwati F, Primanda Y, Sutrisno RY, Irawati K, Shih YH. Nurse educators’ satisfaction with online Objective Structured Clinical Examination scoring system. Rev. Latino-Am. Enfermagem. 2024;32:e4344 [cited]. Available from: . https://doi.org/10.1590/1518-8345.6816.4344
Editado por
-
Editora Associada:
Andrea Bernardes
