Simulation effectiveness tool modified (SET-M): adaptación y validación para Brasil^*

Resúmenes

Objetivo:

adaptar el Simulation Effectiveness Tool - Modified (SET-M) al portugués y verificar los índices de validez y confiabilidad.

Método:

estudio metodológico. En esta etapa de la investigación se utilizó el ISPOR, Análisis Factorial Confirmatorio, correlación entre el instrumento adaptado/Escala de Design de la Simulación - Versión Estudiante/Evaluación Práctica Individual y confiabilidad (test-retest e índices de consistencia interna). Muestra de conveniencia con 435 estudiantes de licenciatura en Enfermería y del posgrado.

Resultados:

el Simulation Effectiveness Tool – Modified - Versión Brasileña obtuvo un puntaje promedio entre 2,36 a 2,94; el Análisis Factorial Confirmatorio mostró una carga factorial > 0,30 para 17 de los 19 ítems. El alpha de Cronbach osciló entre 0,729 y 0,874; El omega de McDonald fue 0,782. No hubo correlación entre Simulation Effectiveness Tool – Modified Versión Brasileña y el Design de la Simulación o la Evaluación Práctica Individual. Hubo una correlación positiva entre el Simulation Effectiveness Tool – Modified Versión Brasileña y la edad de los participantes. Los puntajes de los voluntarios en las simulaciones fueron significativamente más altos que las de los observadores en tres dominios.

Conclusión:

el SET-M Versión Brasileña, manteniendo los 19 ítems y cuatro dominios de la escala original, se puso a disposición para su uso en Brasil para evaluar la efectividad de la simulación, recomendándose estudios con diferentes muestras.

Descriptores:
Simulación; Estudio de Validación; Efectividad; Encuestas y Cuestionarios; Educación em Enfermería; Entrenamiento Simulado

Objective:

to adapt the Simulation Effectiveness Tool - Modified (SET-M) to Portuguese and to verify validity and reliability indexes.

Method:

methodological study using ISPOR, Confirmatory Factor Analysis, correlation between the adapted instrument/Simulation Design Scale - Student Version/Individual Practice Assessment and reliability (test-retest and internal consistency indexes). Convenience sample with a total of 435 Nursing undergraduate and graduate students.

Results:

Simulation Effectiveness Tool - Modified Brazilian Version obtained an average score between 2.36 to 2.94. The Confirmatory Factor Analysis had a factor load > 0.30 for 17 of the 19 items. Cronbach’s alpha ranged between 0.729 and 0.874. McDonald’s omega was 0.782. There was no correlation between Simulation Effectiveness Tool - Modified Brazilian Version and the Simulation Design or Individual Practical Assessment. There was a positive correlation between the Simulation Effectiveness Tool - Modified Brazilian Version and the participants’ age. The scores of the volunteers in the simulations were significantly higher than those of the observers in three domains.

Conclusion:

the SET-M Brazilian Version, maintaining the 19 items and four domains of the original scale, was made available for use in Brazil to evaluate the effectiveness of the simulation, recommending studies with different samples.

Descriptors:
Simulation Technique; Validation Study; Effectiveness; Surveys and Questionnaires; Nursing Education; Simulation Training

Objetivo:

adaptar para a língua portuguesa o Simulation Effectiveness Tool - Modified (SET-M) e verificar índices de validade e confiabilidade.

Método:

estudo metodológico. Utilizou-se o ISPOR, Análise Fatorial Confirmatória, correlação entre o instrumento adaptado/Escala de Design da Simulação – Versão Estudante/Avaliação Prática Individual e confiabilidade (teste-reteste e índices de consistência interna). Amostra de conveniência com 435 estudantes da Graduação em Enfermagem e Pós-Graduação.

Resultados:

o Simulation Effectiveness Tool - Modified Versão Brasileira obteve média de escores entre 2,36 a 2,94. A Análise Fatorial Confirmatória mostrou carga fatoral > 0,30 para 17 dos 19 itens. O alfa de Cronbach variou entre 0,729 e 0,874. O ômega de McDonald foi 0,782. Não houve correlação entre Simulation Effectiveness Tool - Modified Versão Brasileira e o Design da Simulação ou a Avaliação Prática Individual. Houve correlação positiva entre o Simulation Effectiveness Tool - Modified Versão Brasileira e a idade dos participantes. Os escores dos voluntários nas simulações foram significativamente mais altos que os dos observadores em três domínios.

Conclusão:

o SET-M Versão Brasileira, mantendo os 19 itens e quatro domínios da escala original, ficou disponibilizado para ser usado no Brasil para avaliar a efetividade da simulação, recomendando-se estudos com amostras diferentes.

Descritores:
Simulação; Estudo de Validação; Efetividade; Inquéritos e Questionários; Educação em Enfermagem; Treinamento por Simulação

Introducción

La formación del enfermero es un reto creciente ya que, además de desarrollar habilidades técnicas, también es necesario desarrollar aspectos actitudinales y gerenciales. Las estrategias activas, como la simulación, son capaces de proporcionar argumentación, reflexión y práctica. Así, la simulación es un enfoque pedagógico que crece cada vez más⁽¹⁾.

El principio de la simulación es la construcción de situaciones ficticias, similares a situaciones reales, con el objetivo de brindar al participante la posibilidad de practicar sus habilidades de manera más segura. Permite que, en base a situaciones cercanas a las reales, los estudiantes desarrollen sus habilidades, aprendiendo la mejor forma de prestar asistencia a un paciente cuando sucede algo similar en una situación real⁽²⁾.

Se han publicado muchos estudios sobre simulación en Enfermería, sin embargo, pocos abordan la efectividad de esa estrategia y cuáles son los efectos en la práctica asistencial. La efectividad de la simulación busca evaluar la capacidad del estudiante en transferir conocimientos al contexto del mundo real⁽³⁾, y puede estar relacionada con la autopercepción del estudiante sobre su aprendizaje y autoconfianza. Un instrumento capaz de evaluar estos conceptos puede ayudar a los docentes en la elaboración y conducción de las mejores prácticas en simulación⁽⁴⁾ además de la producción de evidencia relacionada con esta estrategia.

En Brasil, no hay instrumentos disponibles para evaluar la efectividad de la simulación, pero la literatura dispone del Simulation Effectiveness Tool - Modified (SET-M)⁽⁵⁾. El SET-M es una versión mejorada del Simulation Effectiveness Tool (SET)⁽⁴⁾, que fue desarrollado en 2012 con el objetivo de evaluar la percepción de los estudiantes sobre la experiencia de la simulación⁽⁴⁾. Vinculado a la creación del programa Medical Education Technologies Incorporated (METI®) para la enseñanza de Enfermería, este y otros instrumentos formaron parte del Program for Nursing Curriculum Integration (PNCI), que tenía como objetivo construir un guion de experiencias clínicas simuladas para servir como recomendación para la documentación de instrucción y para integrar actividades de simulación en el currículo de Enfermería en los Estados Unidos⁽⁴⁾. La versión inicial del instrumento constaba de 20 ítems, con una escala Likert de 5 puntos. Dicha versión se aplicó a los estudiantes y, luego de evaluar las propiedades psicométricas, resultó en un instrumento con 13 ítems y una escala de respuesta de 3 puntos⁽⁴⁾.

En 2015, este instrumento fue revisado y pasó a denominarse Simulation Effectiveness Tool - Modified (SET-M)⁽⁵⁾, con 19 ítems, utilizando una escala de respuesta de 3 puntos. Los ítems de este instrumento se dividen en cuatro dominios: Pre-briefing - ítems 1 y 2; Aprendizaje: ítems 3 a 8; Confianza: ítems 9 a 14; y Debriefing: ítems 15 a 19.

Este instrumento se ha utilizado en la práctica de la simulación, pero no se pudo aplicar a la realidad brasileña, ya que no estaba disponible para la lengua portuguesa. El presente estudio tuvo como objetivo adaptar el SET-M para Brasil, evaluar la validez de contenido, constructo, criterio, confiabilidad, además de verificar las asociaciones entre el SET-M adaptado para Brasil y la edad, año de la carrera, tiempo de formación del participante y participación como voluntario u observador en el escenario.

Método

Se trata de un estudio psicométrico de adaptación y validación del SET-M, con enfoque cuantitativo y corte transversal. Se llevó a cabo en tres fases: Fase I - Traducción, adaptación y evaluación de la validez del contenido (Mediante los pasos recomendados por la International Society for Pharmacoeconomics and Outcomes Research - Translation and Cultural Adaptation - ISPOR TCA Task Force)⁽⁶⁾; Fase II - Verificación de la validez de Constructo (Análisis Factorial y estimaciones de confiabilidad y estabilidad); Fase III - Verificación de la validez de Criterio.

En este estudio, 435 alumnos participaron en la Fase II (214 estudiantes de licenciatura en Enfermería y 221 estudiantes de posgrado en la Faculdade Israelita de Ciências da Saúde Albert Einstein - FICSAE); se les solicitó que respondieran el SET-M Versión Brasileña inmediatamente después de participar en una actividad simulada. Esas simulaciones se llevaron a cabo entre los meses de marzo a julio de 2019. La Fase III se realizó con 21 estudiantes de grado en Enfermería de la FICSAE, luego del Taller de Atención con Acceso Venoso. La Figura 1 muestra las Fases II y III considerando el tipo de validez, el análisis realizado y el número de participantes.

Figura 1
Fase II y III: tipos de validez, análisis y número de participantes. São Paulo, SP, Brasil, 2020

Fase	Análisis	Número de participantes (n)
II - Validad de Constructo	Análisis Factorial Confirmatorio	240
	Fiabilidad - Consistencia Interna de Dominios - Alpha de Cronbach
	Fiabilidad - Consistencia del Instrumento Interno - Omega de McDonald
	Estabilidad - Método de Prueba y Retest - Coeficiente de Correlación Intraclase	34
	Correlaciones entre Variables: Coeficiente de Correlación de Kendall - Edad y tiempo de formación (Coeficiente de Correlación de Pearson) - Año de la carrera, tipo de participación en la actividad simulada y número de participaciones como observador o voluntario	435
III - Validad de Criterio	Prueba de Correlación de Spearman's - Correlación entre las puntuaciones del SET-M Versión Brasileña y - Escala de Design de la Simulación - Versión Estudiante (EDS-VE) - Evaluación Práctica Individual (API) realizada en el Taller de Cuidados con Acceso Venoso.	21

Para verificar la validez de constructo, se realizó un Análisis Factorial Confirmatorio (AFC). El modelo que se probó siguió el descrito en el desarrollo del instrumento original con cuatro dominios. El método del AFC fue la estimación por mínimos cuadrados ponderados robustos, verificándose el ajuste del modelo por la razón entre el chi-cuadrado (χ²), que fue 1, con p<0,001, y por los índices de ajuste CFI (Comparative Fit Index) de 0,929, TLI (Tucker Lewis Index) de 0,917, RMSEA (Root-Mean-Square Error of Aproximation) de 0,047 y SRMR (Standardized Root Mean Square Residual) de 0,060. A pesar de los 435 instrumentos, utilizamos solo los cuestionarios que tenían todos los ítems completados (240), ya que no se ingresaron datos en los cuestionarios con ítems en blanco.

Para evaluar la consistencia interna, verificamos los valores del alpha de Cronbach para cada dominio y el omega de McDonald evaluó la consistencia interna entre todos los ítems del instrumento. La estabilidad se evaluó mediante el método test-retest utilizando el Coeficiente de Correlación Intraclase, comparando las respuestas del SET-M el día de la simulación y las respuestas obtenidas 30 días después.

Se estudiaron las puntuaciones en los dominios del SET-M para posibles correlaciones con las siguientes variables: edad y tiempo de formación (Coeficiente de Correlación de Pearson); año de la carrera, tipo de participación en la actividad simulada y número de participaciones como observador o voluntario (Coeficiente de Correlación por puestos de Kendall).

La validez de criterio utilizó la Prueba de Correlación de Spearman para evaluar la correlación entre los puntajes del SET-M Versión Brasileña y la Escala de Design de Simulación, Versión Estudiante (EDS-VE), además de la Evaluación Práctica Individual (API) realizada en el Taller de Atención del Acceso Venoso. El taller consistió en una clase expositiva dialogada (duración de 30 minutos), seguida de una actividad de simulación (escenario con paciente estandarizado y debriefing - duración total de 30 minutos). Después de la simulación, los participantes realizaron la API. Cada participante fue observado por dos evaluadores independientes, quienes utilizaron una lista de verificación para analizar el desempeño práctico del estudiante. Se calculó el promedio de respuestas correctas entre los observadores y el Coeficiente de Correlación Intraclase (Coeficiente Kappa) de los puntajes fue de 0,40 (F 2,36; p=0,028; IC95% -0,01 – 0,70).

El proyecto se inició después de la aprobación del Comité de Ética e Investigación, con el número CAAE: 05798818.0.0000.0071. La autora del instrumento original autorizó el proceso de traducción y adaptación de SET-M.

Resultados

La Fase I de traducción y adaptación de SET-M siguió los pasos propuestos por el ISPOR TCA Task Force⁽⁶⁾. Los pasos 1 (preparación) y 2 (traducción) dieron como resultado la Versión Traducida 1 (VT1) y la Versión Traducida 2 (VT2). A partir de estas versiones, se realizó la reconciliación (Paso 3), dando como resultado la Versión VT1-2. El paso 4 consistió en enviar la VT1-2 para la retrotraducción por dos profesionales, quienes produjeron la Versión Retrotraducida 1 (VRT1) y la Versión Retrotraducida 2 (VRT2), las cuales fueron enviadas a la autora del instrumento y consideradas para la Revisión de la Retrotraducción (paso 5). La autora hizo observaciones sobre las palabras utilizadas en algunos ítems, siendo que una importante recomendación fue la de que usáramos el nombre original de la escala con la inclusión de “Brazilian Portuguese Version”. Por lo tanto, optamos por la expresión “Versión Brasileña”. Posterior a esta etapa, se realizó una reunión con el comité de expertos, en la que se analizaron todas las versiones y comentarios enviados por el autor. En esta etapa se realizó la Validez de Contenido y, al final, se obtuvo el VT3 del instrumento. El paso 6 no se llevó a cabo, ya que no se aplica a nuestro estudio. La etapa 7 consistió en la aplicación de VT3 mediante la realización del debriefing cognitivo, en el que participaron 9 estudiantes.

En el Paso 8, se revisó el debriefing cognitivo y se finalizaron los ajustes del instrumento. Los principales ajustes fueron insertar una breve explicación junto a las palabras “Pre-Briefing”, “Escenario” y “Debriefing”. Preguntamos sobre la aplicación del ítem 6 solo para aquellos que se ofrecieron como voluntarios, porque solo aquellos que estaban dentro del escenario pueden haberse sentido empoderados para tomar la decisión en el momento del cambio. Además, la palabra “sentí”, escrita en el pretérito simple, implica que “me sentí empoderado en el escenario específico”. Entonces, la sugerencia fue cambiarlo por “yo siento”, escrito en presente de indicativo, lo que significa que “a partir de ahora, después de la simulación, me siento empoderado para tratar casos como este en mi vida”.

En la percepción de los participantes del debriefing cognitivo, el octavo ítem del instrumento se aplica solo a quienes participaron como voluntarios, justificando que “practicar” significa hacer algo, ya que los observadores no pudieron practicar. La sugerencia fue reemplazar la palabra “practicar” por “reflexionar”, ya que de esta manera se vuelve aplicable a voluntarios y observadores. Optamos por mantener el ítem original⁽⁸⁾ e insertar un ítem extra, como modificación de ese ítem, considerando a quienes fueron observadores en la simulación (ítem 14 extra “Tuve la oportunidad de reflexionar sobre mi capacidad de decisión”). En la fase de validación de este estudio, se aplicó el instrumento con dos ítems ⁽⁸ y 14 extra).

El ítem 16 generó mucha discusión y se decidió mantenerlo ya que “El debriefing me permitió primero verbalizar mis sentimientos y luego concentrarme en el escenario”. Sobre la pregunta al final del instrumento, se cuestionó la expresión “experiencia clínica simulada”, ya que en la realidad de la enseñanza de las instituciones brasileñas utilizamos escenarios clínicos y no clínicos, como los que tratan de feedback o comunicación y relacionamiento interpersonal. Considerando que nos gustaría aplicar el instrumento en este tipo de escenario, luego de conversar entre los investigadores y el autor del instrumento, optamos por excluir la palabra “clínica”.

Después de ajustar el instrumento, obtuvimos el VT4, que contiene 20 ítems ⁽¹⁹ ítems traducidos y adaptados, más los 14 ítems extra, que fueron insertados por los investigadores durante el paso 8) y una pregunta discursiva, en la que el participante puede agregar algo que quiera decir sobre la experiencia simulada. El paso 9 se llevó a cabo revisando la lengua portuguesa, pero no hubo cambios en los ítems. El informe final (Paso 10) corresponde a los resultados encontrados.

A continuación, se aplicó la VT4 a los participantes de este estudio en varias simulaciones, de modo que se pudiera evaluar la evidencia de validez de constructo y criterios del Simulation Effectiveness Tool - Modified - (SET-M) Versión Brasileña.

Entre los 214 estudiantes de pregrado, el 91% eran mujeres y la edad promedio fue de 27,8 años, mientras que los estudiantes de posgrado tenían un promedio de 28,5 años y el 90% mujeres. De los 435 participantes, el 94% dijo haber participado previamente en algún escenario y el 52% informó haber participado como voluntario, el 25% en un escenario, el 14% en dos escenarios, el 4% en tres escenarios y el 9% en cuatro o más escenarios.

La Tabla 1 muestra que los ítems de los Dominios 1, 2 y 3 tienen una carga factorial satisfactoria y el Dominio 4 tiene dos ítems con una carga muy baja (<0,30).

La Tabla 2 muestra que el Dominio 2 tiene una covarianza muy alta con el Dominio 3.

Tabla 2 - Covarianza entre los cuatro dominios del SET-M Versión Brasileña, considerando los dominios de la escala original. São Paulo, SP, Brasil, 2020

Los resultados del alpha de Cronbach para los cuatro dominios obtuvieron un resultado satisfactorio (> 0,7) y la Tabla 3 muestra que empeoran al excluir cualquier ítem del dominio.

Discusión

El nombre del instrumento siguió siendo Simulation Effecctiveness Tool - Modified (SET-M) Versión Brasileña y consideró 19 ítems, divididos en cuatro dominios. Durante las etapas de traducción y adaptación, insertamos una breve explicación de estos términos junto a las expresiones “Pre-briefing”, “Escenario” y “Debriefing” para asegurar que los participantes sepan a qué etapa nos referimos. El Pre-briefing corresponde a la orientación dada inmediatamente antes del inicio del escenario, en la que se brindan instrucciones preparatorias a los participantes y orientación sobre el escenario⁽⁷⁾. Cabe mencionar que, incluso si el escenario tiene lugar en una sala/laboratorio donde solo los voluntarios reciben orientación sobre el maniquí y los equipos, se brinda orientación sobre los objetivos del escenario y el caso completo para todos los participantes (voluntarios y observadores).

Así, al final de la traducción y adaptación, el SET-M Versión Brasileña mostró 20 ítems, 19 de los cuales eran del instrumento original y el ítem 14 era extra (modificación del ítem 8). Para la validez de constructo, el instrumento se aplicó a estudiantes de pregrado de Enfermería y de Posgrado, ya que se han realizado estudios utilizando SET-M con ambas poblaciones.

La frecuencia de respuesta fue superior al 52% para “Totalmente de acuerdo” en la mayoría de los elementos. La concordancia obtenida en nuestro estudio fue menor que en la encuesta de validación de escala original (superior al 67,6% para todos los ítems)⁽⁵⁾. Cuando agrupamos las respuestas “Totalmente de acuerdo” y “Parcialmente de acuerdo”, solo un ítem del SET-M no encontró un acuerdo igual o superior al 91%.

Se obtuvieron resultados muy similares en un estudio que utilizó el SET para estudiantes de Enfermería en simulación sobre salud mental, en el que 12 de los 13 ítems tenían concordancia total/parcial igual o superior al 91%⁽⁸⁾. Un estudio que utilizó el SET-M y abordó la seguridad del paciente mostró que el 94% de los participantes están total o parcialmente de acuerdo en que el Pre-briefing fue efectivo, mientras que el 89% está total o parcialmente de acuerdo con la efectividad del Debriefing experimentado en la simulación⁽⁹⁾.

Los estudios con SET han encontrado respuestas de alto acuerdo y, si las consideramos todas, podemos afirmar que la mayoría de los participantes están de acuerdo con casi todos los ítems. Aunque este es un buen resultado, puede orientar nuestra evaluación a dos cosas diferentes: la mayoría de las actividades de simulación es efectiva y permite que el participante se sienta seguro en su aprendizaje y en las habilidades para cuidar de su paciente; y, eventualmente, es posible que el instrumento no pueda medir el alcance total del fenómeno. Para ello, sugerimos que se realicen estudios multicéntricos utilizando el SET-M Versión Brasileña, con el fin de observar si el instrumento puede medir una mayor amplitud del fenómeno. Otra posibilidad sería utilizar el modelo de Análisis de Rasch.

El ítem 7 obtuvo un 40% de respuestas en blanco en la aplicación del SET-M Versión Brasileña. Esto no es un dato preocupante, ya que el ítem puede no ser respondido si el escenario no involucra actividades relacionadas con medicamentos. Sin embargo, el estudio original⁽⁵⁾ describe que solo el 8,3% de los participantes dejaron este ítem en blanco, resultado que probablemente se deba a las diferentes características de las simulaciones realizadas en los estudios. En nuestro estudio, aplicamos el instrumento después de escenarios para discutir habilidades psicomotoras y actitudinales. Así, entendemos que algunas simulaciones no abordaron el uso de fármacos, como, por ejemplo, el escenario de cuidado de la sonda nasoenteral. El estudio original no describió los escenarios utilizados, aunque informe que en la investigación participaron estudiantes de enfermería médico-quirúrgica, lo que nos lleva a pensar que, muy probablemente, los escenarios abordaban el uso de algún medicamento.

Así, podemos pensar que posiblemente el SET-M no sea un instrumento muy adecuado para situaciones en las que el foco mayoritario del escenario es actitudinal, como, por ejemplo, un escenario propuesto para discutir las etapas de feedback o habilidades comunicativas y negociación. En nuestro estudio, consideramos todos los escenarios, ya que nuestros programas de simulación construidos para estudios de Pregrado o Posgrado son mixtos, es decir, tienen escenarios para discutir habilidades psicomotoras (administración de medicamentos, pasaje de sonda nasoenteral, identificación de Paro Cardiorrespiratorio y Reanimación Cardiopulmonar, entre otros) y actitudinales (conductas para eventos adversos por error de atención y toma de decisiones clínicas, pautas de atención en el domicilio para familiares de pacientes hospitalizados de larga duración, entre otros). Destacamos que se deben realizar otros estudios para verificar la efectividad de simulaciones que discutan principalmente aspectos actitudinales o comparen el uso del SET-M en diferentes tipos de escenarios, analizando el comportamiento del ítem 7.

En nuestro estudio, la puntuación media obtenida para cada ítem del instrumento osciló entre 2,36 y 2,94, ubicándose los ítems con mayores promedios en el dominio Debriefing. Las puntuaciones medias obtenidas en el estudio de validación de la escala original fueron superiores, con valores entre 2,71 y 2,90⁽⁵⁾. Entendemos que los ítems del dominio Debriefing son los que obtienen los promedios de puntajes más altos, lo que refuerza la idea de que estos ítems tienen poca variabilidad de respuesta y que la mayoría de los participantes perciben este paso como muy efectivo durante la simulación. Nuevamente, declaramos que las simulaciones pueden tener sus sesiones de Debriefing conducidas excepcionalmente, o incluso los ítems que evalúan este paso no son lo suficientemente sensibles para identificar variaciones en la respuesta. Reafirmamos, por tanto, la necesidad de estudios que nos permitan evaluar los resultados del SET-M y utilicen instrumentos para evaluar el Debriefing, haciendo una comparación entre estos resultados. Además, el uso del modelo Rasch también puede contribuir.

La matriz de correlación ítem a ítem varió entre 0,27 y 0,67. Al considerar las correlaciones de los ítems en cada dominio, observamos una correlación moderada entre los ítems en los dominios Pre-briefing, Aprendizaje y Confianza (valores entre 0,33 y 0,67), mientras que en el dominio Debriefing la correlación entre los ítems 15, 16 y 17 asume valores inferiores a 0,30, pero superiores a 0,20. En el estudio publicado sobre las propiedades psicométricas del SET-M original, ninguna correlación fue excesivamente alta (mayor de 0,80), algunas de las cuales fueron menores de 0,3, pero ninguna fue menor de 0,2⁽⁵⁾. Si bien no tenemos acceso a la matriz de correlación de este estudio, en términos generales, los resultados son similares a los encontrados con el SET-M Versión Brasileña.

Las correlaciones presentadas entre el ítem 14 extra y el resto de ítems son moderadas, sin embargo, de mayor interés es la correlación de este ítem con el ítem 8, que fue débil (0,31). Así, probablemente, los dos ítems ⁽⁸ y 14 extra) no tratan la misma parte del constructo. Si consideramos que el ítem 8 originó el ítem extra 14, al estar construido con la posibilidad de reemplazarlo, esperábamos que esta correlación fuera bastante fuerte, aunque esto no ha sucedido. Este hallazgo reforzó la idea de que los ítems no miden lo mismo, lo que nos llevó a la decisión de mantener el instrumento con los ítems originales. A partir de ahí, realizamos el Análisis Factorial Confirmatorio y la evaluación de confiabilidad sin el ítem adicional 14.

En el Análisis Factorial Confirmatorio, todos los ítems en los dominios Pre-briefing, Aprendizaje y Confianza mostraron una buena carga factorial (Tabla 1). Mientras tanto, los ítems 15 y 19 del dominio Debriefing tenían una carga factorial menor a 0,30. Recordamos que ambos ítems tuvieron poca variabilidad de respuesta y, para el análisis factorial, cuanto mayor es la variabilidad, más indica el ítem que está midiendo lo que quiere medir⁽¹⁰⁾, es decir, más sensible es el ítem para discriminar la parte del constructo al que se refiere. A pesar de los resultados de los ítems 15 y 19 en el AFC, así como en la validación de constructo del instrumento original, optamos por mantener estos ítems y probar la importancia de más estudios para evaluar mejor su desempeño.

La covarianza de los dominios mostró que Aprendizaje y Confianza obtuvieron un resultado de 0,922 (Tabla 2), lo que puede significar que estos dominios se superponen o tratan con la misma parte del constructo. El proceso de aprendizaje activo puede aumentar la satisfacción del estudiante y la confianza en sí mismo al realizar la experiencia simulada, lo que indica que los educadores deben brindar, siempre que sea posible, oportunidades para la participación activa de los estudiantes⁽¹¹⁾. Los métodos de Debriefing mejoran la psicomotricidad, la autoconfianza y la satisfacción del estudiante, sin embargo, no hay evidencias de superioridad entre las dos modalidades. Así, se puede decir que el Debriefing juega un papel fundamental en el aprendizaje, con la consecuente mejora en la satisfacción y la autoconfianza⁽¹²⁾.

El alpha de Cronbach (Tabla 3) muestra índices satisfactorios en los cuatro dominios: Pre-briefing (0,792), Aprendizaje (0,823), Confianza (0,874) y Debriefing (0,758). Sin embargo, la escala original obtuvo índices más altos: 0,833, 0,852, 0,913 y 0,908⁽⁵⁾. Eventualmente, estas diferencias pueden deberse al tamaño de la muestra: 435 participantes en nuestro estudio y 1.288 en el estudio original.

El Coeficiente de Correlación Intraclase entre los resultados de la prueba de retest mostró que los dominios de Pre-briefing y Aprendizaje tienen una estabilidad razonable, respectivamente 0,427 (p<0,001) y 0,595 (p<0,001), mientras que el dominio de Confianza tiene baja estabilidad, 0,155 (p=0,001), y el dominio Debriefing no encontró significación estadística (-0,032; p<0,746). Estos resultados pueden estar relacionados con el tamaño de la muestra o el tiempo entre la primera y la segunda respuesta (establecido en nuestro estudio en 30 días). En general, se recomienda que la muestra tenga al menos 50 sujetos⁽¹³⁾ y el intervalo de tiempo entre controles sea de 10 a 14 días⁽¹⁴⁾. En la planificación del estudio, estas recomendaciones no fueron consideradas, lo que limita la interpretación de los resultados.

La correlación entre los puntajes del SET-M Versión Brasileña y la edad fue positiva y débil. Los resultados sugieren que, a mayor edad, mejor es la percepción de efectividad de la simulación para el aprendizaje. No hubo asociación entre el tiempo transcurrido desde la graduación y las puntuaciones obtenidas en el instrumento.

El Coeficiente de Correlación de Kendall mostró que hubo una correlación débil y negativa (-0,163) entre el año de graduación y el dominio Pre-briefing (p=0,005), sin correlación con los otros dominios. Este resultado sugiere que, como el pre-briefing está más avanzado en el programa, se considerará que el estudiante es menos efectivo. Posiblemente, los alumnos vean contenidos muy similares en el Pre-briefing entre las distintas simulaciones, lo que, durante el programa, es menos valorado. Se recomiendan estudios con análisis multivariados para confirmar y ayudar a aclarar este resultado.

Las pruebas de asociación entre los puntajes del SET-M Versión Brasileña y el tipo de participación (voluntario u observador) mostraron que en todos los dominios los puntajes de los voluntarios fueron más altos con asociaciones estadísticamente significativas en tres dominios: Aprendizaje, Confianza y Debriefing (p<0,001). El número de actividades como voluntario se correlacionó débil y positivamente con los puntajes del SET-M Versión Brasileña en los dominios de Aprendizaje, Confianza y Debriefing. Para el dominio de Aprendizaje, la correlación fue de 0,219 (p<0,001), mientras que en el dominio de Confianza fue de 0,233 (p<0,001) y de 0,176 (p<0,001) para el dominio de Debriefing. El número de participaciones como observador no causa una diferencia en las puntuaciones de percepción de la efectividad de la simulación.

Los resultados de las pruebas de asociación permiten afirmar que quienes participan como voluntarios perciben mayor efectividad de la simulación que los observadores en los dominios de Aprendizaje, Confianza y Debriefing. También nos permite afirmar que, cuanto mayor sea el número de participaciones como voluntario, mayor es la percepción de la eficacia de la simulación en los mismos dominios.

Aunque los voluntarios de nuestro estudio asignaron puntuaciones de eficacia de simulación más altas, todos los participantes (voluntarios y observadores) asignaron puntuaciones altas con promedios entre 2,44 y 2,80 para los observadores y 2,62 a 2,89 para los voluntarios. Así, podemos decir que ambos percibieron la experiencia de la simulación como efectiva en su aprendizaje.

Una revisión de literatura en busca de evidencias que evalúen los métodos de aprendizaje observacional y la participación práctica en el escenario discutió los datos encontrados en nueve estudios, cinco de los cuales afirman que los resultados del aprendizaje del observador son tan buenos o mejores que los que se ofreció como voluntario en el escenario. La revisión concluye que los resultados del aprendizaje están estrechamente relacionados con el uso de guías para la observación dirigida (checklist) y la satisfacción de los estudiantes que están en el rol de observador⁽¹⁵⁾.

Estos resultados apoyan los nuestros, considerando que la simulación es efectiva tanto para observadores como para voluntarios. Sin embargo, refutan nuestro resultado si consideramos que existe un paralelo entre la percepción de efectividad y las pruebas de conocimiento. En nuestra investigación, los voluntarios percibieron una mayor efectividad de la simulación en relación a los observadores, aunque esto no debería ser un argumento para no utilizar la simulación con observadores, ya que en ambos tipos de participación se evidencia la efectividad. Las notas del estudio de revisión concluyen que los resultados del aprendizaje están relacionados con la implicación del alumno en el aprendizaje, ya sea participando activamente en la simulación o siendo un observador activo⁽¹⁵⁾.

Un estudio realizado con 251 estudiantes de Farmacia, en el que 130 eran observadores y 121 voluntarios en una simulación interprofesional, concluyó que tanto la observación como la participación activa pueden incrementar la competencia autoinformada con respecto a la colaboración interprofesional⁽¹⁶⁾. En este sentido, se puede decir que, tanto para el voluntario como para el observador, las reflexiones posteriores a los escenarios promueven el aprendizaje y contribuyen a que el aprendiz crea más en sus habilidades^(17-18).

Un estudio con 262 estudiantes de Enfermería y Medicina mostró que tanto los observadores como los participantes obtuvieron resultados similares en tres de los seis resultados predefinidos, aunque los datos cualitativos destacaron la importancia de que el estudiante participe en diferentes funciones, entrenando repetidamente y discutiendo interprofesionalmente. Además, los autores concluyen que observar una simulación puede ser de gran valor para el aprendizaje, pero que la práctica aún es pasada por alto por los estudiantes, legitimando así el papel del observador, siempre que los estudiantes también.

En este sentido, existen estudios que afirman que observar una simulación es tan efectivo como participar activamente en el escenario. En nuestro estudio, encontramos que la simulación fue eficaz para todos los participantes, pero los voluntarios asignaron puntuaciones estadísticamente más altas que los observadores en los dominios de Aprendizaje, Confianza y Debriefing. Los resultados en los que los voluntarios atribuyeron puntuaciones de eficacia más altas utilizando el SET-M son originales y sugieren que otros estudios exploran variables que puedan explicarlos. A modo de ejemplo, es posible que existan otras variables relacionadas con el aprendizaje que favorezcan al alumno a ser voluntario en los escenarios de simulación. En este caso, serían interesantes los estudios que exploren cómo y por qué los estudiantes se ofrecen como voluntarios para los escenarios.

La validez de criterio correlacionó los puntajes del SET-M Versión Brasileña con los puntajes del EDS-VE y el API. Nos pareció razonable considerar que una simulación evaluada con altos puntajes de Design (EDS-VE) también tendría puntajes altos de efectividad, sin embargo, las pruebas de correlación de Spearman señalaron que no había correlación entre ellos. Estos resultados pueden estar relacionados con el número de muestra (n=21) o, aun así, con la posibilidad de que, contrariamente a nuestras suposiciones, EDS-VE trate con conceptos que no están estrechamente interconectados con el SET-M. Estos resultados de no correlación deben considerarse con cautela, especialmente debido al tamaño de la muestra. Por tanto, no podemos afirmar que los dos fenómenos no estén asociados. En cualquier caso, también es necesario considerar la posibilidad de que el EDS-VE no sea un buen instrumento para llevar a cabo la validez de criterio del SET-M. Por lo tanto, sugerimos que los estudios que utilicen el SET-M, la EDS-VE y otros instrumentos se lleven a cabo con poblaciones más grandes para evaluar la validez de criterio.

La percepción de un individuo de su conocimiento no es necesariamente un indicador confiable de mejoría, lo que indica la necesidad de realización de pruebas objetivas⁽²⁰⁾. En nuestro estudio, comparamos los puntajes del SET-M con los puntajes de una evaluación práctica individual. Los resultados mostraron que el 76% de los participantes respondieron correctamente 12 o 13 ítems del instrumento de evaluación, y los puntajes API no tuvieron una correlación estadísticamente significativa. Sin embargo, nuestra muestra fue pequeña, lo que no nos permite afirmar que ni siquiera existe una correlación entre los dos fenómenos. Por tanto, sugerimos que los estudios se realicen con un mayor número de participantes.

Tanto la aplicación del SET-M como la API no tuvieron mucha variabilidad, lo que puede reforzar la idea de que el SET-M puede no ser un instrumento sensible para evaluar pequeños cambios en la percepción de efectividad de la simulación. Esta idea también puede repetirse para la evaluación práctica, en la que los ítems eventualmente no logran distinguir pequeñas diferencias en el desempeño en la evaluación.

En la búsqueda de investigaciones que utilizaron el SET, encontramos estudios que sumaron todos los ítems del puntaje, obteniendo solo un puntaje para la evaluación de efectividad⁽²¹⁾. Además, también encontramos estudios con el SET-M que sumaban las puntuaciones de los ítems en los dominios de Aprendizaje y Confianza⁽⁹⁾ o incluso reducían las categorías de respuesta, reuniendo las categorías “totalmente de acuerdo” y “parcialmente de acuerdo” de la escala tipo Likert. Así, consideramos sugerir a los autores del SET-M original que hagan recomendaciones sobre cómo calcular el puntaje del instrumento y cómo presentarlo en las publicaciones de los estudios que lo apliquen, ya que esto ayudaría en la integración de conocimientos sobre la efectividad de la simulación utilizando el SET- M.

Este estudio contribuye a la formación en Enfermería, ya que proporciona un instrumento que evalúa la percepción del estudiante sobre la efectividad de la simulación. Las limitaciones encontradas están relacionadas con el tamaño de la muestra y el hecho de que los datos fueron recolectados en una sola institución educativa. En este estudio tampoco se verificó si el tipo de simulación, en términos de enfoque principal (psicomotricidad, actitudinal o ambas), está asociado con las propiedades de SET-M. Se necesitan más investigaciones para superar esta limitación del estudio que se informa aquí.

Conclusión

Este estudio pone a disposición el SET-M Versión Brasileña para su uso en Brasil, manteniendo los 19 ítems y los cuatro dominios de la escala original. Los análisis para verificar la validez de criterio del SET-M Versión Brasileña no fueron concluyentes, requiriendo estudios con muestras más amplias. Las asociaciones entre las puntuaciones del SET-M y las puntuaciones del EDS-VE no fueron estadísticamente significativas, al igual que las asociaciones entre el SET-M y el API. Los cuatro dominios tuvieron índices de confiabilidad satisfactorios (alpha de Cronbach) y la prueba de omega de McDonald mostró buenos índices de confiabilidad para la escala. Los ítems en los dominios de Pre-briefing, Aprendizaje y Confianza tienen una estabilidad razonable o baja; sin embargo, la muestra fue pequeña y el tiempo para la repetición de la prueba podría ser más corto.

Hubo correlación entre la participación como voluntario y puntajes más altos del SET-M en los dominios de Aprendizaje, Confianza y Debriefing, correlaciones débiles entre el instrumento y la edad del participante, y no hubo correlación con el tiempo de capacitación. La correlación fue débil entre el número de participaciones como voluntario y las puntuaciones en los dominios de Aprendizaje, Confianza y Debriefing. Encontramos una correlación débil y negativa entre el año de graduación y el dominio Pre-briefing.

La simulación es una estrategia que necesita planificación y dedicación docente. Así, evaluar su efectividad puede ser un estímulo para que los educadores se sientan comprometidos en la elaboración de un escenario y la realización de una simulación con calidad y rigor. Disponer del SET-M para evaluar la efectividad de esta estrategia de enseñanza-aprendizaje permitirá obtener datos empíricos para apoyar decisiones sobre el uso de la simulación.

• *
  Artículo parte de la tesis de doctorado “Adaptação e validação do simulation effectiveness tool – modified (SET-M) para o Brasil”, presentada en la Universidade de São Paulo, Escola de Enfermagem, São Paulo, SP, Brasil. El presente trabajo fue realizado con apoyo de la Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES) - Código de Financiamiento 001, Brasil.

References

• ¹
  Kim J, Park JH, Shin S. Effectiveness of simulation-based nursing education depending on fidelity: a meta-analysis. BMC Med Educ. 2016;16:152. doi: 10.1186/s12909-016-0672-7
  » https://doi.org/10.1186/s12909-016-0672-7
• ²
  Jeffries PR, Beach M, Decker SI, Dlugasch L, Groom J, Settles J, et al. Multi-center development and testing of a simulation-based cardiovascular assessment curriculum for advanced practice nurses. Nurs Educ Perspect. 2011;32(5):316-22. doi: 10.5480/1536-5026-32.5.316
  » https://doi.org/10.5480/1536-5026-32.5.316
• ³
  Nash R. Student Nurse Perceptions Regarding Learning Transfer Following High-Fidelity Simulation. Clin Simul Nurs. 2015;13(10):471-7. doi: doi.org/10.1016/j.ecns.2017.05.010
  » https://doi.org/doi.org/10.1016/j.ecns.2017.05.010
• ⁴
  Elfrink-Cordi E, Leighton K, Ryan-Wenger N, Doyle TJ, Ravert P. History and development of the Simulation Effectiveness Tool (SET). Clin Simul Nurs. 2012;8(6):e199-210. doi: doi.org/10.1016/j.ecns.2011.12.001
  » https://doi.org/doi.org/10.1016/j.ecns.2011.12.001
• ⁵
  Leighton K, Ravert P, Mudra V, Macintosh. Updating the Simulation Effectiveness Tool: Item Modifications and reevaluation of Psychometric Properties. Nurs Educ Perspect. 2015;36(5):317-23. doi: 10.5480/15-1671
  » https://doi.org/10.5480/15-1671
• ⁶
  Wild D, Grove A, Martin M, Emerenco S, McElroy S, Verjee-Lorenz A, et al. Principles of Good Practice for the Translation and Cultural Adaptation Process for Patient-Reported Outcomes (PRO) Measures: Report of the ISPOR Task Force for Translation and Cultural Adaptatio. Value Health. 2005;8(2):94-104. doi: 10.1111/j.1524-4733.2005.04054.x
  » https://doi.org/10.1111/j.1524-4733.2005.04054.x
• ⁷
  INACSL Standards Committee. INACSL Standards of Best Practice: SimulationSM Simulation glossary. Clin Simul Nurs. 2016;12(S):S39-S47. doi: doi.org/10.1016/j.ecns.2016.09.012
  » https://doi.org/doi.org/10.1016/j.ecns.2016.09.012
• ⁸
  Lehr ST, Kaplan B. A Mental Health Simulation Experience for Baccalaureate Student Nurses. Clinical Simulation in Nursing. 2013;9:e425-31. doi: 10.1016/j.ecns.2012.12.003
  » https://doi.org/10.1016/j.ecns.2012.12.003
• ⁹
  Nowicki M. Implementation of a Simulation-based Interprofessional Patient Safety Program. [Thesis]. San Francisco: The University of San Francisco; 2019 [cited Apr 9, 2020]. Available from: https://repository.usfca.edu/dnp/180
  » https://repository.usfca.edu/dnp/180
• ¹⁰
  Laros JA. O Uso da Análise Fatorial: Algumas Diretrizes para Pesquisadores. In: Pasquali L, editor. Análise fatorial para pesquisadores. Brasília: LabPAM Saber e Tecnologia; 2011. Capítulo 7.
• ¹¹
  Olaussen C, Heggdal K, Tvedt CR. Elements in scenario-based simulation associated with nursing students'self-confidene and satisfaction: a cross-sectional study. Nurs Open. 2020 Jan;7(1):170-9. doi: 10.1002/nop2.375
  » https://doi.org/10.1002/nop2.375
• ¹²
  Ostovar S, Allahbakhshian A, Gholizadeh L, Dizaji SL, Sarbakhsh P, Ghahramanian A. Comparison of the effects of debriefing methods on psychomotor skills, self-confidence, and satisfaction in novice nursing students: A quasi-experimental study. J Adv Pharm Technl Res. 2018 Jul-Sep;9(3):107-12. doi: 10.4103/japtr.JAPTR_291_18
  » https://doi.org/10.4103/japtr.JAPTR_291_18
• ¹³
  Terwee CB, Bot SD, Boer MR, van der Windt DA, Knol DL, Dekker J, et al. Quality criteria were proposed for measurement properties of health status questionnaires. J Clin Epidemiol. 2007;60(1):34-42. doi: 10.1016/j.jclinepi.2006.03.012
  » https://doi.org/10.1016/j.jclinepi.2006.03.012
• ¹⁴
  Keszei AP, Novak M, Streiner DL. Introduction to health measurement scales. J Psychosom Res. 2010;68(4):319-23. doi: 10.1016/j.jpsychores.2010.01.006
  » https://doi.org/10.1016/j.jpsychores.2010.01.006
• ¹⁵
  O'Regan S, Molloy E, Watterson L, Nestel D. Observer roles that optimize learning in healthcare simulation educations: a systematic review. Adv Simul. 2016;1(1):4. doi: 10.1186/s41077-015-0004-8
  » https://doi.org/10.1186/s41077-015-0004-8
• ¹⁶
  Fusco NM, Foltz-Ramos K. Impact of Pharmacy Student Observation Versus Active Participation in an Interprofessional Simulation. Am J Pharm Educ. 2020 Jan;84(1):7492. doi: 10.5688/ajpe7492
  » https://doi.org/10.5688/ajpe7492
• ¹⁷
  Jeffries PR, Rizzolo MA. National League for Nursing/Leardal project summary report: Designing and implementing models for the innovative use of simulation to teach nursing care of ill adults and children: A national, multi-site, multi-method study. New York: National League for Nursing; 2006.
• ¹⁸
  Lasater K. Clinical judgment development: Using simulation to create an assessment rubric. J Nurs Educ. 2007;46(11):496-503. doi: 10.3928/01484834-20071101-04
  » https://doi.org/10.3928/01484834-20071101-04
• ¹⁹
  Reime MH, Johnsgaard T, Kvam FI, Aarflot M, Engeberg JM, Breivik M, et al. Learning by Viewing Versus Learnig by Doing: A Comparative Study of Observer and Participant Experiences During as Interprofessional Simulation Training. J Interprof Care. 2017 Jan;31(1):51-8. doi: 10.1080/13561820.2016.1233390
  » https://doi.org/10.1080/13561820.2016.1233390
• ²⁰
  Boling B, Hardin-Pierce M, Jensen L, Hassan ZU. Evaluation of a High-Fidelity Simulation Training Program for New Cardiothoracic Intensive Care Unit Nurses. Semin Thorac Cardiovasc Surg. 2016;28(4):770-5. doi: 10.1053/j.semtcvs.2016.11.001
  » https://doi.org/10.1053/j.semtcvs.2016.11.001
• ²¹
  Scherer YJ, Foltz-Ramos K, Fabry D, Chao YY. Evaluating simulation methodologies to determine best strategies to maximize student learning. Prof Nurs. 2016;32(5):349-57. doi: 10.1016/j.profnurs.2016.01.003
  » https://doi.org/10.1016/j.profnurs.2016.01.003

Editado por

Editora Asociada: Sueli Aparecida Frari Galera

Fechas de Publicación

• Publicación en esta colección
  28 Jun 2021
• Fecha del número
  2021

Histórico

• Recibido
  09 Abr 2020
• Acepto
  16 Set 2020