Uso de la metodología de Kirkpatrick para evaluar la formación de los profesionales de enfermería: una revisión integradoraObjetivo: evaluar la evidencia sobre el uso del modelo de Donald Kirkpatrick en la evaluación de la formación en enfermería
Método: revisión bibliográfica integradora en las bases de datos Literatura Latinoamericana y del Caribe en Ciencias de la Salud, Medical Literature Analysis and Retrieval System y Web of Science. Se incluyeron los estudios que respondían a la pregunta de revisión “¿Cuál es la evidencia para el uso del modelo de Donald Kirkpatrick para evaluar la formación en el trabajo de enfermería?” publicados en portugués, inglés o español.
Resultados: de los 108 estudios recuperados, se incluyeron trece. La mayoría evaluaba los cuatro niveles propuestos en el modelo (reacción, aprendizaje, comportamiento y resultados) o al menos una combinación de los tres primeros. Se utilizaron diferentes instrumentos para evaluar la formación en enfermería, principalmente enfoques cuantitativos para los niveles de reacción y aprendizaje y enfoques cualitativos para los niveles de comportamiento y resultados. Este enfoque pone de manifiesto la flexibilidad del modelo y la importancia de elegir un conjunto fiable de instrumentos, lo cual es fundamental para cualificar el análisis en cada nivel.
Conclusión: el modelo de Kirkpatrick se ha utilizado en todo el mundo para evaluar la formación en enfermería y ha demostrado ser adecuado para este fin, siempre que haya una selección adecuada de instrumentos en cada nivel.
Descriptores
Educación Continua; Enfermeras y Enfermeros; Evaluación de Eficacia-Efectividad de Intervenciones; Revisión; Métodos; Capacitación en Servicio
Destacados:
(1) La metodología de Kirkpatrick es eficaz para evaluar los distintos niveles de formación de los profesionales de enfermería.
(2) La metodología apoya la elección de instrumentos de medida para cada nivel.
(3) Los cuatro niveles o una combinación de los tres primeros fueron los más utilizados para evaluar la formación.
(4) Los cuatro niveles o una combinación de los tres primeros fueron los más frequentes para evaluar la formación.
(5) La evaluación de los resultados en las prácticas organizativas es el nivel más desafiante.
Objective to evaluate the evidence on the use of Donald Kirkpatrick’s framework in nursing training evaluation.
Method integrative literature review in the Latin American and Caribbean Health Sciences Literature, Medical Literature Analysis and Retrieval System and Web of Science databases. Studies that answered the review question “Which is the evidence in using Donald Kirkpatrick’s framework to evaluate training in the nursing workplace?” published in Portuguese, English, or Spanish were included.
Results out of 108 studies retrieved, thirteen were included. The majority evaluated the four levels proposed in the model (reaction, learning, behavior, and results) or, at least, a combination of the first three ones. Different instruments were used to evaluate nursing training, mainly in quantitative approaches for reaction and learning levels and qualitative for behavior and results levels. This approach highlights the flexibility of the model and the importance of choosing a reliable set of instruments, which is crucial to qualify the analysis at each level.
Conclusion Kirkpatrick’s model has been used worldwide to evaluate training in the nursing field and has been shown to be suitable for it, as long as there is an appropriate selection of instruments at each level.
Descriptors
Continuing Education; Nurses; Evaluation of the Efficacy-Effectiveness of Interventions; Review; Methods; Inservice Training
Highlights:
(1) Kirkpatrick’s framework is effective for evaluating various nursing training.
(2) The framework upholds the choice of measuring instruments for each level.
(3) The four-levels or a combination of the first three were the most commonly used to evaluate training.
(4) The four-levels or a combination of the first three were the most common to evaluate training.
(5) Evaluation of results in organizational practices is the most challenging level.
Objetivo: avaliar as evidências sobre o uso do modelo de Donald Kirkpatrick na avaliação da formação em enfermagem.
Método: revisão integrativa da literatura nas bases de dados Literatura Latino-Americana e do Caribe em Ciências da Saúde, Medical Literature Analysis and Retrieval System e Web of Science. Foram incluídos estudos que respondem à questão de revisão “Quais são as evidências da utilização do modelo de Donald Kirkpatrick para avaliar o treinamento no ambiente de trabalho da enfermagem?” publicados em português, inglês ou espanhol.
Resultados: dos 108 estudos recuperados, treze foram incluídos. A maioria avaliou os quatro níveis propostos no modelo (reação, aprendizagem, comportamento e resultados) ou, pelo menos, uma combinação dos três primeiros. Foram utilizados diferentes instrumentos para avaliar a formação em enfermagem, principalmente em abordagens quantitativas para os níveis de reação e aprendizagem e qualitativas para os níveis de comportamento e resultados. Esta abordagem evidencia a flexibilidade do modelo e a importância da escolha de um conjunto confiável de instrumentos, fundamental para qualificar a análise em cada nível.
Conclusão: o modelo de Kirkpatrick tem sido utilizado em todo o mundo para avaliar a formação na área da enfermagem e tem se revelado adequado para o objetivo, desde que haja uma seleção adequada de instrumentos em cada nível.
Descritores
Educação Continuada; Enfermeiras e Enfermeiros; Avaliação de Eficácia-Efetividade de Intervenções; Revisão; Método; Capacitação em Serviço
Destaques:
(1) A metodologia de Kirkpatrick é eficaz na avaliação de vários níveis de formação em enfermagem.
(2) A metodologia suporta a escolha de instrumentos de medida para cada nível.
(3) Os quatro níveis ou uma combinação dos três primeiros foram os mais utilizados para avaliar a formação.
(4) Os quatro níveis ou uma combinação dos três primeiros foram os mais comuns para avaliar a formação.
(5) A avaliação dos resultados nas práticas organizacionais é o nível mais desafiante.
Introducción
La formación del personal sanitario se ha incorporado como estrategia de retención del talento en la gestión de los recursos humanos. Las prácticas de formación y desarrollo en el lugar de trabajo se describen como procesos dinámicos y continuos cuyo objetivo es promover avances sociales, aumentar la resolución y fomentar mejores resultados de salud(1).
La formación puede ser una oportunidad para el desarrollo profesional y para aumentar la productividad, la creatividad y la innovación. Estos son los principales aspectos de los servicios de alta calidad y de la eficacia de los equipos(2). La falta de formación puede influir negativamente en la percepción del estrés, aumentar la rotación y el estrés y disminuir el rendimiento laboral(3).
Las estrategias de formación son fundamentales para mejorar los sistemas sanitarios en los países de bajos ingresos(4). El desarrollo de los trabajadores a través de la formación es un indicador crítico de una gestión eficaz(5). En Brasil, la formación también tiene un carácter político, ya que el conocimiento es una parte esencial de la lucha por el poder y un aprendizaje significativo puede conducir a cambios profundos en el sector salud(6).
La evaluación de los programas de formación puede ayudar a los administradores a comprender la eficacia y la sostenibilidad del proceso de aprendizaje para producir cambios a corto o largo plazo. Sin embargo, seleccionar un marco adecuado para la evaluación no es una tarea sencilla y muchas intervenciones se enfrentan a dificultades con niveles bajos o muy bajos de evidencias de los resultados deseados(4).
En 1959, Donald Kirkpatrick ideó y publicó una metodología para ayudar a los directivos a evaluar los resultados de las prácticas de formación y desarrollo de los trabajadores y los sistemas organizativos(7-8), basada en evaluaciones sumativas. El modelo consta de cuatro niveles de evaluación: Reacción, Aprendizaje, Comportamiento y Resultados(7). La reacción (nivel I) abarca las percepciones de los participantes sobre su experiencia de aprendizaje, la estructura del programa, el contenido, los métodos de enseñanza y los aspectos instructivos, como los materiales y la calidad de la enseñanza. El aprendizaje (nivel II) está relacionado con los cambios de actitudes, percepciones, conocimientos y aptitudes. El comportamiento (nivel III) evalúa la transferencia de conocimientos al lugar de trabajo a través de cambios de comportamiento. Por último, el nivel de resultados (nivel IV) evalúa la aplicabilidad de los resultados de la intervención para cambiar la práctica organizativa y mejorar los resultados(7-8).
Los administradores e investigadores deberían considerar detenidamente la adopción de un sistema de evaluación basado en este modelo, ya que no se recomienda la aplicación de niveles aislados y los niveles superiores de evaluación no conducen a resultados más valiosos si se aíslan(7).
El modelo Kirkpatrick ha sido ampliamente aceptado en la comunidad científica para apoyar el desarrollo y la formación en diversos ámbitos, incluido el sanitario(9-14). Varias mejoras han sido descritas por el Grupo Kirkpatrick desde su primera publicación, llegando a un nuevo modelo llamado modelo New World Kirkpatrick en 2016(15). A pesar de las mejoras, existen críticas sobre la aplicabilidad del modelo Kirkpatrick(16-18), siendo la principal preocupación la dificultad de implementar los cuatro niveles(16). Estas críticas motivaron esta revisión para asegurar la aplicabilidad del método en enfermería. El objetivo de este estudio es evaluar la evidencia sobre el uso del modelo de Donald Kirkpatrick en la evaluación de la formación de enfermería.
Métodos
Tipo de estudio
Utilizamos una revisión bibliográfica integradora, basada en el modelo de Whittemore y Knafl, llevada a cabo en cinco etapas: identificación del problema; búsqueda/criba bibliográfica; evaluación de los datos; análisis de los datos; y presentación de la revisión(19). Elegimos esta estructura metodológica para garantizar un enfoque sistemático de la síntesis de las evidencias. El resultado pretendido es obtener una comprensión global del uso del modelo de Kirkpatrick en enfermería y la identificación de lagunas para futuros estudios(19).
Esta revisión integradora se registró en la plataforma Open Science Framework (OSF) el 20 de mayo de 2022, y se puede acceder al protocolo en osf.io/uprv7, con el siguiente DOI 10.17605/OSF.IO/JQ8U9(20).
Localización
Este análisis integrador se llevó a cabo en el municipio de Thunder Bay, situado en la provincia de Ontario (ON), Canadá.
Periodo de tiempo
El periodo de estudio fue de septiembre de 2022 a noviembre de 2023.
Población
Se utilizó la pregunta de revisión: “¿Cuál es la evidencia para utilizar el modelo de Donald Kirkpatrick para evaluar la formación en el lugar de trabajo en enfermería?”. La formulación de la pregunta de investigación se desarrolló utilizando la estrategia PCC, a saber: Población (P): enfermería; Concepto (C): modelo de cuatro niveles de Donald Kirkpatrick; Contexto (C): evaluación de la formación en el lugar de trabajo.
Criterios de selección
Se incluyeron los estudios que abordaban la pregunta de investigación y se publicaron en inglés, español o portugués entre 2006 y 2023, con contenido completo disponible. El período de tiempo se basó en el año de publicación de la tercera edición del libro “Evaluación de programas de formación”, en el que se actualizaron algunas interpretaciones del modelo tradicional(7). Se excluyeron los estudios que no cumplían los criterios de inclusión o que no describían claramente los instrumentos utilizados. También se eliminaron los duplicados, las revisiones bibliográficas y la literatura gris.
Definición de la muestra
La búsqueda fue realizada en noviembre de 2022 en Thunder Bay, ON, Canadá, por FMM, y actualizada en agosto de 2023. Se utilizaron las bases de datos de investigación bibliográfica Literatura Latinoamericana y del Caribe en Ciencias de la Salud (LILACS), MEDLINE (vía PubMed) y Web of Science (WoS).
Las estrategias de búsqueda se basaron en los Descriptores en Ciencias de la Salud (DeCS) y Medical Subject Headings (MeSH). Después de analizar las búsquedas exploratorias, decidimos incluir la palabra clave “Kirkpatrick” para reducir el alcance de la investigación. La estrategia final utilizada fue: (“Education, continuing” OR “Continuous Learning” OR “Learning, Continuous” OR “Lifelong Learning” OR “Learning, Lifelong” OR “Life-Long Learning” OR “Learning, Life-Long” OR “Learnings, Life-Long” OR ’Life Long Learning” OR “Life-Long Learnings” OR “Continuing Education”) AND ((“nurses” OR ’Nurse” OR “Personnel, Nursing” OR “Nursing Personnel” OR “Registered Nurses” OR ’Nurse, Registered” OR “Nurses, Registered” OR “Registered Nurse”) OR (“nursing, team”)) AND (“Kirkpatrick”) para MEDLINE y WoS. Para LILACS, se decidió utilizar únicamente la palabra clave “Kirkpatrick”, teniendo en cuenta la especificidad del tema y el número de estudios recuperados en la estrategia original.
Tras la búsqueda en las bases de datos, los archivos generados en formato BIBTXT o RIS se exportaron al gestor de revisiones Rayyan®(21), que apoyó el cribado inicial de resúmenes y títulos mediante un proceso semiautomático. La selección de los artículos fue realizada en dos fases ciegas por dos investigadores diferentes (FMM y BVS); el primer cribado se completó con la lectura de los títulos y resúmenes de los documentos recuperados; el segundo cribado implicó una revisión completa. Se discutieron los conflictos hasta llegar a un consenso. Un tercer investigador (VAM) estaba disponible para decidir sobre cualquier conflicto persistente.
Recopilación de datos
Los datos se extrajeron mediante una matriz analítica construida en Microsoft Excel® que contenía información sobre las características de los estudios (autores, año de publicación, país de publicación, objetivo, tipo de estudio, muestra y resultados) e información sobre el uso del modelo de Kirkpatrick (niveles utilizados, elementos, tiempo, criterios de evaluación y medidas).
Procesamiento y análisis de los datos
Los datos se analizaron mediante reducción y comparación para identificar patrones, temas o relaciones(19). Posteriormente, se realizó un análisis descriptivo basado en el marco teórico-conceptual adoptado, considerando los preceptos del modelo de Donald Kirkpatrick(7).
Esta revisión siguió las directrices del Preferred Reporting Items for Systematic Reviews and Meta-Analyses (PRISMA) para la elaboración de informes de revisiones sistemáticas(22). Las directrices PRISMA fueron diseñadas para revisiones sistemáticas de estudios que evalúan los efectos de intervenciones sanitarias; sin embargo, los puntos de la lista de verificación son aplicables a informes de revisiones sistemáticas en otras áreas o que evalúan otros tipos de intervenciones(22). Así, todas las secciones de las directrices PRISMA se utilizaron para guiar el informe de la revisión, excepto los temas no aplicables al enfoque de esta revisión, incluidos los análisis del riesgo de sesgo, la determinación de las medidas del efecto y los análisis de las posibles causas de heterogeneidad. La efectividad del método Kirkpatrick se analizó a través de los resultados de efectividad del entrenamiento mostrados en cada artículo incluido en la muestra seleccionada para este estudio. Para ello, se tuvo en cuenta el diseño de la formación y la utilización de los niveles de Kirkpatrick, la configuración del instrumento utilizado, el momento de la evaluación y otros aspectos.
Resultados
Se recuperaron 108 artículos y se incluyeron 13 en la muestra final (Figura 1).
La Figura 2 muestra los 13 artículos caracterizados por país, año de publicación, objetivo y métodos.
Diagrama de flujo PRISMA(22) para selección de los estudios. Thunder Bay, ON, Canadá, 2023
El modelo Kirkpatrick ha sido útil en cursos de formación, formación continua y actualización, así como en programas de especialización con intervenciones centradas en el individuo y basadas en el trabajo en equipo. La Figura 3 muestra el uso del modelo Kirkpatrick de cuatro niveles para evaluar los resultados de la formación:
El modelo de Kirkpatrick fue eficaz en la evaluación de todas las formaciones identificadas, considerando los resultados mensurables y prolíficos de las muestras por nivel en los diferentes tipos de formación. Se observó consistencia en el cumplimiento de las directrices, demostrando su versatilidad y flexibilidad.
Utilización del modelo de cuatro niveles de Kirkpatrick para evaluar los resultados de la formación (n = 13). Thunder Bay, ON, Canadá, 2023
Brasil fue el único país con más de una publicación(25-26,28-29). Fueron encontrados abordajes cuasiexperimentales(10,27-28,30-32) seguidos de investigación cualitativa(24,26,33), investigación con métodos mixtos(23,25,29) e un estudio experimental(34).
La mayoría de los estudios utilizaron los cuatro niveles del modelo de Kirkpatrick(10,25,28,30,32-33) o una combinación de los tres primeros niveles(23,26,29,31,34). Un artículo evaluó la intervención con una combinación de los niveles I y II(27) y otro con una combinación de los niveles III y IV(24).
La Figura 4 muestra una cronología de la aplicación de estos niveles.
Se recogieron varios datos antes y después de la intervención utilizando los cuatro niveles del modelo de Kirkpatrick (n = 13). Thunder Bay, ON, Canadá, 2023
Dos estudios(28,33) no identificaron el calendario de recogida de datos. Solo describieron la recogida de datos transversal, considerando la disponibilidad de la intervención durante un periodo de tiempo, como “desde 2014”(28) o “entre 2008 y 2011”(33). Ninguno de los estudios contaba con proyectos de seguimiento explícitos, aunque algunos de ellos recogieron datos mucho tiempo después de la intervención(10,24-25,32). En uno de ellos, los autores citaron la recogida previa de datos tras la intervención, pero no presentaron ni compararon los datos, ni caracterizaron un estudio de seguimiento(24).
Se han utilizado diferentes instrumentos para evaluar las intervenciones, en función de la especificidad de la investigación; sin embargo, no se encontró ningún enfoque principal o instrumento estándar para evaluar cualquier nivel del método de Kirkpatrick. Teniendo en cuenta la relevancia de los instrumentos de medida para los cuatro niveles del modelo de Kirkpatrick y la falta de consenso sobre la mejor forma de hacerlo (y esta es la riqueza del modelo - se puede personalizar según el estudio), se decidió sintetizar los instrumentos que se utilizaron en cada estudio seleccionado para ayudar a futuros enfermeros en este tema.
Los instrumentos cuantitativos fueron los más comunes. La Tabla 1 muestra los instrumentos cuantitativos utilizados para evaluar los programas de formación, sus medidas (ítems y rango) y si el estudio describía alguna fuente de fiabilidad mediante el α de Cronbach.
Se encontró una gran variabilidad de instrumentos en lo que respecta a los enfoques cuantitativos. El nivel I se evaluó principalmente mediante una escala Likert de cinco puntos para ítems como satisfacción(23,25,27-28,30,32,34), inmersión(28,31), clima(10), relevancia y confianza(32). En el nivel II se utilizaron enfoques de conocimiento y sensibilización. Los más comunes fueron las pruebas de aprendizaje cerradas(25,27,29-31,34), seguidas de cuestionarios de autoevaluación(10,23,32). Las medidas cuantitativas de los niveles III y IV incluían las percepciones de los estudiantes sobre la transferencia de conocimientos al lugar de trabajo mediante cuestionarios cerrados(10,25,28,30,32-34) o escalas(10).
Aunque menos frecuente que el cuantitativo, el uso de un enfoque cualitativo se encontró en el nivel conductual(23-24,26,29,31,33) seguido de la reacción(26,29,33), resultados(24,28,33) y el aprendizaje(26,33). Siete estudios(23-24,26,28-29,31,33) utilizaron instrumentos cualitativos para evaluar los programas de formación, pero sólo dos de ellos(24,26) lo hicieron sin una parte cuantitativa. Se identificaron entrevistas semiestructuradas(23-24,26), cuestionarios con preguntas abiertas(28,33), análisis descriptivo de palabras clave en proyectos de estudiantes(29), investigación cualitativa(31), análisis cualitativo basado en las narraciones de los participantes(29) y adherencia tras el primer mes de la intervención(29). El tipo de análisis cualitativo más prevalente fue el análisis temático(24,26,28-29). La mayoría de los estudios no describieron la fiabilidad o validez de los instrumentos cualitativos, con la excepción de Koto-Shimada(24), que realizó una prueba piloto. También se han descrito otras medidas relacionadas con el trabajo, como las historias clínicas y la información sobre los pacientes(32) o el cuestionario de exposición autodeclarada a lesiones por pinchazo de aguja(30).
La elección de una herramienta de medición es fundamental para evaluar la eficacia de cualquier intervención, especialmente cuando se trata de formación. Este paso está incorporado en el modelo de Kirkpatrick y debe ser cuidadosamente seleccionado por los enfermeros para cualificar el análisis de cada nivel. Cuanto más precisa sea la herramienta (es decir, más acorde con el objeto de estudio), mayores serán las posibilidades de obtener una evaluación fiable. Cuanto más precisa sea la herramienta (es decir, más acorde con el objeto de estudio), mayores serán las posibilidades de una evaluación fiable.
Discusión
Esta revisión mostró que el modelo de Kirkpatrick ha sido ampliamente utilizado para evaluar la formación de enfermeros y también en otras áreas de la atención sanitaria(11). Nuestra muestra retratada en este estudio indicó coherencia en el cumplimiento de las directrices y los principales resultados de la formación indican que este modelo es útil para evaluar la eficacia, con resultados positivos en cada nivel, en diferentes tipos de intervenciones de formación.
El proceso de evaluación convergió con la orientación del modelo, que se centra en los resultados de los participantes(7). Sin embargo, un estudio se dirigió a los directivos de los participantes y surgió una visión complementaria, como se ejemplifica en la cita: “los enfermeros no sintieron el cambio de ambiente y actitudes de la misma manera que habían observado los directivos de enfermería”(33). La inclusión de la perspectiva del liderazgo puede ser positiva, sobre todo para obtener información sobre la transferencia de conocimientos al lugar de trabajo (nivel III) o los cambios en la práctica o los resultados organizativos (nivel IV), teniendo en cuenta su función supervisora.
El tipo de información de referencia más común fue en el nivel de Aprendizaje(10,23,27,30,32). Los niveles de Comportamiento y Resultados fueron los más divergentes en relación con el momento. No hay directrices en el modelo de Kirkpatrick sobre el mejor momento para evaluar cada nivel(7,15) y no podemos apoyar un momento más común o asertivo para la recogida de datos, ya que ninguno de los estudios converge en el mejor momento. Sin embargo, es importante tener en cuenta que los programas de formación esperan resultados a corto, medio y largo plazo. Por lo tanto, seleccionar un momento específico (por ejemplo, antes, durante, poco después, más tiempo después) o un periodo (por ejemplo, seguimientos) es esencial para una evaluación exhaustiva que tenga en cuenta que la sensación de reacción disminuirá con el tiempo y los resultados más importantes aparecerán con el tiempo(8).
El modelo de Kirkpatrick es una estructura flexible y ajustable que incorpora diferentes herramientas para evaluar los resultados de la formación (Reacción, Aprendizaje, Comportamiento y Resultados), lo que refuerza su poder, ya que las realidades, la formación y los contextos de cada organización son completamente diferentes. Sin embargo, precisamente por no indicar un estándar metodológico específico, los autores deben ser cuidadosos para garantizar la validez y fiabilidad de la información recogida(17).
Se observó que tanto el número de estudios como la diversidad de instrumentos disminuían a medida que aumentaba el nivel de evaluación. La revisión bibliográfica indica que el nivel “Resultados” es el más difícil de alcanzar. Se reconoce que el nivel IV “podría identificar el valor añadido para la sociedad de un determinado programa educativo, ya que permite evaluar no sólo la aplicación de los proyectos de intervención en la práctica de los profesionales de salud, sino también los resultados de su utilización en un contexto local”(29). Sin embargo, la mitad de las muestras de esta revisión no informaron de la medición de este nivel. La razón más común comunicada para excluir el nivel IV fue la necesidad de períodos de seguimiento a medio y largo plazo(26) y la complejidad de relacionar los resultados con el programa de formación, distinguiéndolos de otros muchos factores que podrían afectar a los resultados(31). La evaluación de resultados (nivel IV) es la más desafiante porque debe considerar la transformación o el impacto de la formación en la práctica organizativa, lo que requiere otro tipo de instrumentos, información organizativa y el punto de vista de otras partes interesadas, así como más tiempo. En este sentido, se encontraron datos similares sobre la relevancia percibida de los niveles III y IV y la dificultad de implementar estos niveles(17).
Existen algunas críticas a la rigidez de este modelo, que puede llevar a no considerar aspectos esenciales de la evaluación, como la visión formativa(16,18). Sólo un estudio informó de la recogida de datos en cada módulo y al final del curso a nivel de reacciones(29). Ninguna otra experiencia fue identificada en el seguimiento. Esta evidencia muestra que, a pesar de la diversidad en la perspectiva de las herramientas de evaluación de resultados, especialmente con el uso de enfoques cualitativos para capturar la perspectiva de los estudiantes, todas las experiencias reportadas fueron en una visión sumativa o transversal.
Los instructores no están utilizando sólo los niveles más altos, que es una preocupación de las críticas al modelo de Kirkpatrick(16-18), como se ha señalado.
Seis artículos consiguieron alcanzar el nivel cuatro y otros cinco utilizaron una combinación de los tres primeros niveles, lo que representa el 85% de la muestra. Esto indica que los instructores de enfermería intentan utilizar los cuatro niveles del modelo para recopilar información sobre los resultados, a pesar del reto que supone el nivel de estos. Esto reafirma el compromiso de los investigadores con la recomendación de utilizar un modelo completo para obtener una mayor precisión(7-8).
La relevancia de esta revisión radica en que resume el reconocimiento de la operacionalización del modelo.
Un amplio análisis bibliométrico descubrió que el modelo de Kirkpatrick era un tema de creciente interés a partir de la década de 2000, incluyendo el 20,7% de su muestra como algún tipo de publicación de revisión bibliográfica. Sin embargo, la mayoría de los estudios tenían como objetivo criticar el modelo o identificar sus beneficios, y se encontró poca evidencia de revisión sobre los tipos y la caracterización de las herramientas de evaluación y su aplicación en un área específica, como la enfermería(11).
Este estudio tiene limitaciones metodológicas. Los diversos proyectos de investigación de las publicaciones incluidas imposibilitaron la obtención de pruebas mediante técnicas de metaanálisis o metasíntesis. Teniendo en cuenta la naturaleza de la revisión integradora, el objetivo no era evaluar críticamente la calidad de los estudios, y por esta razón la calidad de los estudios no se utilizó como criterio de inclusión.
Alentamos futuras investigaciones para identificar los mejores constructos para evaluar cada nivel, ampliar la aplicación del nivel IV y promover la discusión científica sobre la orientación metodológica para componer la cadena de evidencias entre los niveles, como propone el modelo New World Kirkpatrick(15). Además, nuestra revisión de la literatura identificó limitados estudios longitudinales con seguimientos consecutivos para la recolección de datos, lo que es altamente recomendable para la obtención de evidencias de alto nivel en relación con las vías causales.
Conclusión
El modelo de cuatro niveles de Kirkpatrick es una elección adecuada para adaptar los instrumentos de evaluación al proyecto de formación. La selección de un conjunto fiable de instrumentos es clave para cualificar el análisis de cada nivel, siendo las escalas de Likert la opción más común para los formadores. Este modelo es prolífico para evaluar la formación en enfermería, pero requiere una elección cuidadosa de los instrumentos para cada nivel. Se identificaron muchas herramientas de medición cualitativas y cuantitativas que podrían ser útiles para profesionales y académicos en futuras evaluaciones e investigaciones.
Referencias bibliográficas
-
Nahm ES, Archibald M, Mills ME, Costa L, Warren J, Nair P, et al. Continuum of nursing education and practice: Time to close the chasm between academia and practice. J Prof Nurs. 2023;46:134-40. https://doi.org/10.1016/j.profnurs.2023.02.012
» https://doi.org/10.1016/j.profnurs.2023.02.012 -
Buljac-Samardzic M, Doekhie KD, van Wijngaarden JDH. Interventions to improve team effectiveness within health care: a systematic review of the past decade. Hum Resour Health. 2020;18(2). https://doi.org/10.1186/s12960-019-0411-3
» https://doi.org/10.1186/s12960-019-0411-3 -
Ertan ŞS, Şeşen H. Positive organizational scholarship in healthcare: The impact of employee training on performance, turnover, and stress. JMO. 2022;28(6):1301-20. https://doi.org/10.1017/jmo.2019.61
» https://doi.org/10.1017/jmo.2019.61 -
Pantoja T, Opiyo N, Ciapponi A, Dudley L, Gagnon MP, Herrera CA, et al. Implementation strategies for health systems in low-income countries: an overview of systematic reviews. Cochrane Database Syst Rev. 2017;9(9):CD011086. https://doi.org/10.1002/14651858.CD011086.pub2
» https://doi.org/10.1002/14651858.CD011086.pub2 -
Rivaldo Y, Nabella SD. Employee Performance: Education, Training, Experience and Work Discipline. Qual Access Success. 2023;24(193):182-8. https://doi.org/10.47750/QAS/24.193.20
» https://doi.org/10.47750/QAS/24.193.20 -
Ogata MN, Silva JAM, Peduzzi M, Costa MV, Fortuna CM, Feliciano AB. Interfaces between permanent education and interprofessional education in health. Rev Esc Enferm USP. 2021;55:e03733. https://doi.org/10.1590/S1980-220X2020018903733
» https://doi.org/10.1590/S1980-220X2020018903733 - Kirkpatrick DL, Kirkpatrick JD. Evaluating training programs. 3rd ed. San Francisco, CA: Berrett-Koehler Publisher; 2006.
-
Yardley S, Dornan T. Kirkpatrick’s levels and education ‘evidence’. Med Educ. 2012;46(1):97-106. https://doi.org/10.1111/j.1365-2923.2011.04076.x
» https://doi.org/10.1111/j.1365-2923.2011.04076.x -
Heydari MR, Taghva F, Amini M, Delavari S. Using Kirkpatrick’s model to measure the effect of a new teaching and learning methods workshop for health care staff. BMC Res Notes. 2019;12(1):388. https://doi.org/10.1186/s13104-019-4421-y
» https://doi.org/10.1186/s13104-019-4421-y -
Huang X, Wang R, Chen J, Gao C, Wang B, Dong Y, et al. Kirkpatrick’s evaluation of the effect of a nursing innovation team training for clinical nurses. J Nurs Manag. 2022;30(7):2165-75. https://doi.org/10.1111/jonm.13504
» https://doi.org/10.1111/jonm.13504 -
Alsalamah A, Callinan C. The Kirkpatrick model for training evaluation: bibliometric analysis after 60 years (1959–2020). Ind Commer Train. 2022;54(1):36-63. https://doi.org/10.1108/ICT-12-2020-0115
» https://doi.org/10.1108/ICT-12-2020-0115 -
Choy CL, Liaw SY, Goh EL, See KC, Chua WL. Impact of sepsis education for healthcare professionals and students on learning and patient outcomes: a systematic review. J Hosp Infect. 2022;122:84-95. https://doi.org/10.1016/j.jhin.2022.01.004
» https://doi.org/10.1016/j.jhin.2022.01.004 -
Khurshid Z, De Brún A, McAuliffe E. Protocol for an integrated evaluation framework to study training, curricular and contextual factors impacting the success of a measurement for improvement training programme for healthcare staff in Ireland. BMJ Open. 2022;12(2):e047639. https://doi.org/10.1136/bmjopen-2020-047639
» https://doi.org/10.1136/bmjopen-2020-047639 -
Malhotra S, Negi G, Sharma SK, Kaur R. A prospective interventional study to assess the impact of a ‘structured compact training’ on knowledge and skills of safe blood transfusion practices among nurses working in a tertiary care institute. Transfus Med. 2022;32(1):32-7. https://doi.org/10.1111/TME.12835
» https://doi.org/10.1111/TME.12835 - Kirkpatrick JD, Kirkpatrick WK. Kirkpatrick’s Four Levels of Training Evaluation. 1st ed. Alexandria, VA: Association for Talent Development; 2016.
-
Reio TG Jr, Rocco TS, Smith DH, Chang E. A Critique of Kirkpatrick’s Evaluation Model. New Horiz Adult Educ. 2017;29(2):35-53. https://doi.org/10.1002/nha3.20178
» https://doi.org/10.1002/nha3.20178 -
Rosa A. Kirkpatrick’s four-level model for evaluating training programs: the weak links in a “chain of evidence”. LLL. 2018;14(31):17-37. https://doi.org/10.19241/lll.v14i31.113
» https://doi.org/10.19241/lll.v14i31.113 -
Cahapay M. Kirkpatrick Model: Its Limitations as Used in Higher Education Evaluation. Int J Assess Tool Educ. 2021;8(1):135-44. https://doi.org/10.21449/ijate.856143
» https://doi.org/10.21449/ijate.856143 -
Whittemore R, Knafl K. The integrative review: updated methodology. J Adv Nurs. 2005;52(5):546-53. https://doi.org/10.1111/j.1365-2648.2005.03621.x
» https://doi.org/10.1111/j.1365-2648.2005.03621.x -
Miranda FM, Mininel VA. Use of Kirkpatrick’s framework to evaluate nursing team’s training: integrative literature review protocol. Open Science Framework. 2023. https://doi.org/10.17605/OSF.IO/JQ8U9
» https://doi.org/10.17605/OSF.IO/JQ8U9 -
Ouzzani M, Hammady H, Fedorowicz Z, Elmagarmid A. Rayyan—a web and mobile app for systematic reviews. Syst Rev. 2016;5:210. https://doi.org/10.1186/s13643-016-0384-4
» https://doi.org/10.1186/s13643-016-0384-4 -
Page MJ, McKenzie JE, Bossuyt PM, Boutron I, Hoffmann TC, Mulrow CD, et al. The PRISMA 2020 statement: an updated guideline for reporting systematic reviews. BMJ. 2021;372:n71. https://doi.org/10.1136/bmj.n71
» https://doi.org/10.1136/bmj.n71 -
Parmar JK, L’Heureux T, Anderson S, Duggleby W, Pollard C, Poole L, et al. Optimizing the integration of family caregivers in the delivery of person-centered care: evaluation of an educational program for the healthcare workforce. BMC Health Serv Res. 2022;22(1):364. https://doi.org/10.1186/s12913-022-07689-w
» https://doi.org/10.1186/s12913-022-07689-w -
Koto-Shimada K, Fujita N, Matsuoka S, Jimba M, Touch S, Zwi AB. Medium-term outcomes of a program to upgrade the nursing faculty in Cambodia: A qualitative study. Nurse Educ Today. 2022;116:105438. https://doi.org/10.1016/j.nedt.2022.105438
» https://doi.org/10.1016/j.nedt.2022.105438 -
Santos RA, Mendes WV Júnior, Martins M. Quality in healthcare and patient safety: evaluation of the results of a distance learning program. Cien Saude Colet. 2021;26(10):4553-68. https://doi.org/10.1590/1413-812320212610.11082021
» https://doi.org/10.1590/1413-812320212610.11082021 -
Machado MGO, Sampaio CL. Training on common mental disorders at a hospital ward: the use of active methodologies in care construction. SMAD, Rev Eletrônica Saúde Mental Álcool Drog. 2021;17(1):75-83. https://doi.org/10.11606/issn.1806-6976.smad.2021.168134
» https://doi.org/10.11606/issn.1806-6976.smad.2021.168134 -
Jobst S, Windeisen M, Wuensch A, Meng M, Kugler C. Supporting migrants and refugees with posttraumatic stress disorder: development, pilot implementation, and pilot evaluation of a continuing interprofessional education for healthcare providers. BMC Med Educ. 2020;20(1):311. https://doi.org/10.1186/s12909-020-02220-3
» https://doi.org/10.1186/s12909-020-02220-3 -
Knobel R, Menezes MO, Santos DS, Takemoto MLS. Planning, construction and use of handmade simulators to enhance the teaching and learning in Obstetrics. Rev. Latino-Am. Enfermagem. 2020;28:e3302. https://doi.org/10.1590/1518-8345.3684.3302
» https://doi.org/10.1590/1518-8345.3684.3302 -
Castro JA Filho, Motta LB. Evaluation in distance learning: a case report of the UNASUS/UERJ postgraduate course in elderly health. Rev Bras Geriatr Gerontol. 2018;21(5):513-22. https://doi.org/10.1590/1981-22562018021.180021
» https://doi.org/10.1590/1981-22562018021.180021 -
Bijani M, Rostami K, Momennasab M, Yektatalab S. Evaluating the Effectiveness of a Continuing Education Program for Prevention of Occupational Exposure to Needle Stick Injuries in Nursing Staff Based on Kirkpatrick’s Model. J Natl Med Assoc. 2018;110(5):459-63. https://doi.org/10.1016/j.jnma.2017.11.002
» https://doi.org/10.1016/j.jnma.2017.11.002 -
LaMar RA. Using a Virtual Journal Club for Sharing Evidence-Based Practice Recommendations in Critical Care Registered Nurses. Teach Learn Nurs. 2017;12(1):53-8. https://doi.org/10.1016/j.teln.2016.08.006
» https://doi.org/10.1016/j.teln.2016.08.006 -
Liaw SY, Wong LF, Lim EYP, Ang SBL, Mujumdar S, Ho JTY, et al. Effectiveness of a Web-Based Simulation in Improving Nurses’ Workplace Practice With Deteriorating Ward Patients: A Pre- and Postintervention Study. J Med Internet Res. 2016;18(2):e37. https://doi.org/10.2196/jmir.5294
» https://doi.org/10.2196/jmir.5294 -
Lahti ME, Kontio RM, Välimäki M. Impact of an e-Learning Course on Clinical Practice in Psychiatric Hospitals: Nurse Managers’ Views. Perspect Psychiatr Care. 2016;52(1):40-8. https://doi.org/10.1111/ppc.12100
» https://doi.org/10.1111/ppc.12100 -
Maloney S, Haas R, Keating JL, Molloy E, Jolly B, Sims J, et al. Effectiveness of Web-Based Versus Face-To-Face Delivery of Education in Prescription of Falls-Prevention Exercise to Health Professionals: Randomized Trial. J Med Internet Res. 2011;13(4):e116. https://doi.org/10.2196/jmir.1680
» https://doi.org/10.2196/jmir.1680
-
Cómo citar este artículo
Miranda FM, Santos BV, Kristman VL, Mininel VA. Employing Kirkpatrick’s framework to evaluate nurse training: an integrative review. Rev. Latino-Am. Enfermagem. 2025;33:e4431 [cited año mes día]. Available from: URL . https://doi.org/10.1590/1518-8345.7250.4431
-
*
Artículo parte de la tesis de doctorado “Training Brazilian nurses to promote mental health at work”, presentada en la Universidade Federal de São Carlos, São Carlos, SP, Brasil. El presente trabajo fue realizado con apoyo de la Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES) - Código de Financiamiento 001, Brasil.
Editado por
-
Editora Asociada:
Maria Lúcia Zanetti
*WB = Web-based(virtual); †RN = Registered nurse(enfermero registrado); ‡EN = Enrolled nurse(enfermeiro reclutado); §CIPE = Continuing interprofessional education(Educación interprofesional continuada); ||VJC = Virtual journal club’s; ¶PCC = Person-centered and competency-based program(Programa centrado en la persona y basado en las competencias); **FF = Face-to-face(cara a cara); ††CEC = Continuing education course(Curso de educación continuada); ‡‡GI = Grupo de intervención; §§GC = Grupo control.
