Evaluación realista para programas y servicios en el área de la salud: una revisión integradora de la literatura teórico-metodológica

Acessibilidade / Reportar erro

Brasil

Revista Latino-Americana de Enfermagem

Español English

Brasil

Español English

sumário « anterior atual seguinte »

Sumário

Artículo de Revisión • Rev. Latino-Am. Enfermagem 28 • 2020 • https://doi.org/10.1590/1518-8345.3933.3255 copiar

Evaluación realista para programas y servicios en el área de la salud: una revisión integradora de la literatura teórico-metodológica

About the SCIMAGO INSTITUTIONS RANKINGS

Objetivo:

identificar y analizar conceptos de evaluación realista y metodologías recomendadas para su desarrollo en el área de la salud.

Método:

revisión integradora, que incluyó estudios teórico-metodológicos publicados en las siguientes bases de datos: COCHRANE Library, EVIPNet, Health Systems Evidence, LILACS, PDQ-Evidence, PubMed, Rx for Change, y SciELO, además de la base de datos de Tesis de CAPES y Google Académico, para la literatura gris. La categoría de mediación justificó el análisis.

Resultados:

se incluyeron 19 referencias, publicadas entre 1997 y 2018. Se trata de una propuesta innovadora para orientar el proceso de evaluación de programas, intervenciones y/o políticas de salud, con la participación democrática de las partes implicadas como usuarios, trabajadores, gestores e investigadores; se propone elaborar teorías sobre lo que funciona, para quién, en qué contexto y cómo. La categoría de mediación indicó la necesidad de que estas teorías no se limiten al microtexto, sino que incorporen los elementos de la macroestructura social a los que están conectadas.

Conclusión:

se indica que la evaluación realista se realice en 21 etapas. Tiene en cuenta métodos cualitativos y de procedimiento, lo que la capacita para comprender las relaciones humanas y sociales en el contexto analizado. Las teorías que provienen de la evaluación sobre el funcionamiento de los programas analizados tienen mayores posibilidades explicativas si se construyen con referencia a la totalidad social.

Descriptores:
Evaluación en Salud; Mediciones, Métodos y Teorías; Participación de los Interesados; Política Pública; Salud Pública; Implementación de Plan de Salud

Base de datos	Estrategia de búsqueda	Referencias identificadas
PubMed	"realist evaluation"[Title/Abstract]	278
LILACS	realist [Palavras] and evaluation [Palavras]	5
Cochrane	"Realist evaluation" in Title, Abstract, Keywords in Trials'	36
EVIPNet	ti:(Realist evaluation) OR mh:(Realist evaluation)	0
Health Systems Evidence	"Realist evaluation"	3
Rx for change	"Realist evaluation"	0
PDQ Evidence	"Realist evaluation"	0
SciELO	realist [Abstract] and evaluation [Abstract]	2
Base de datos de Tesis de CAPES	"avaliação realista"	5
Google Académico	"Realist evaluation"	99
Total		428

N	Autor(es)/Año/País de filiación del primer autor/Área de conocimiento del primer autor	Definiciones y finalidades de la evaluación realista
1	Pawson, Tilley (1997) Reino Unido Sociología y Política Social⁽⁶6 Pawson R, Tilley N. Realistic Evaluation. London: SAGE; 1997.⁾	Un nuevo paradigma de evaluación, basado en el realismo, que requiere el uso de diferentes métodos y análisis de datos que favorecen la explicación de la regularidad y la teoría que subyace a la lógica de la iteración de los contextos, mecanismos y resultados de la realidad estudiada.
2	Henry, Rog (1998) No describió otros datos⁽¹³13 Henry GT, Rog DJ. A realist theory and analysis of utilization. In: Henry GT, Julnes G, Mark MM, editors. Realist evaluation: an emerging theory in support of practice: new directions for evaluation. San Francisco: New Directions for Evaluation; 1998. p. 3-32.⁾	Desarrolla una comprensión contextual, que revela los mecanismos que generan diferentes resultados. Trata de comprender qué tipos de evaluaciones son útiles, para qué públicos, y en qué condiciones políticas. La evaluación realista puede aplicarse utilizando directamente los resultados en la toma de decisiones sobre los programas; utilizando los resultados para influir en la forma en que se considera un programa o sus efectos; o utilizando los resultados para justificar la decisión adoptada con relación a los programas.
3	Mark, Henry, Julnes (1998) No describió otros datos⁽¹⁴14 Mark MM, Henry GT, Julnes G. A realist theory of evaluation practice. In: Henry GT, Julnes G, Mark MM, editors. Realist evaluation: an emerging theory in support of practice. San Francisco: New Directions for Program Evaluation; 1998. p. 3-32.⁾	La evaluación realista emergente estima los efectos de los programas y evalúa las actividades, como evaluar qué valores sociales cumplen ciertos programas. Por lo tanto, trata de identificar los mecanismos que subyacen a los efectos del programa, las condiciones en las que estos mecanismos operan y los tipos de individuos para los que operan.
4	Tilley (2000) No describió otros datos⁽¹⁵15 Tilley N. Realistic evaluation: an overview. In: Founding Conference of the Danish Society; 2000 Sep. [Internet]. Nottingham: Notthingham Trent University; 2000. Available from: http://healthimpactassessment.pbworks.com/f/Realistic+evaluation+an+overview+-+UoNT+England+-+2000.pdf http://healthimpactassessment.pbworks.co... ⁾	Proporciona información para apoyar el proceso de toma de decisiones e implementación de políticas públicas. La pregunta de evaluación realista se compone de la siguiente manera: ¿qué funciona, para quién, y en qué circunstancias? Al comprender cómo las medidas producirán diversos efectos en diferentes circunstancias, se cree que el responsable de formular políticas estará mejor preparado para decidir qué políticas implementar y en qué condiciones.
5	Kazi, Rostila (2002) England Estudios de evaluación⁽¹⁶16 Kazi MAF, Rostila I. The practice of realist evaluation in two countries. [nternet]. Huddersfield: University of Huddersfield; 2002 [cited Sep 25, 2019]. Available from: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.510.423&rep=rep1&type=pdf http://citeseerx.ist.psu.edu/viewdoc/dow... ⁾	Agrega los principales mecanismos, contextos y componentes de los programas al proceso de evaluación. Una de las principales contribuciones del paradigma de evaluación realista es el concepto de inserción del evaluador en el proceso/estructura organizativa. La evaluación realista considera la influencia de las relaciones sociales y las estructuras organizativas que componen el sistema abierto en los resultados del programa. Dado que se constituye un sistema abierto, es necesario identificar algunas regularidades, es decir, características, factores, mecanismos que conducen a mejores o peores resultados e identificar las condiciones en las que se desencadenarán los mecanismos causales para producir los resultados.
6	Pawson, Tilley (2004) No describió otros datos⁽¹⁷17 Pawson R, Tilley N. Realist evaluation. [Internet]. 2004 [cited Dec 3, 2018]. Available from: http://www.communitymatters.com.au/RE_chapter.pdf http://www.communitymatters.com.au/RE_ch... ⁾	Evaluación orientada por la teoría, con una búsqueda explicativa. En el proceso de evaluación se prueban las teorías con el fin de refinarlas. Los autores destacaron la necesidad de comprender la naturaleza de los programas y cómo funcionan, teniendo en cuenta: 1) La naturaleza de los programas y cómo funcionan; 2) Conceptos básicos para comprender los programas que implican mecanismo, contexto y resultados. 3) Estrategias y métodos de evaluación realista; 4) Presentación y uso de los resultados de la evaluación realista por parte del responsable de formular políticas para comprender las cuestiones relacionadas con la política, la práctica y los límites organizativos que implica la implementación de un programa.
7	Wilson, Mccormack (2006) Australia Enfermería⁽¹⁸18 Wilson V, McCormack B. Critical realism as emancipatory action: the case for realistic evaluation in practice development. Nurs Philos. 2006 Jan 12;7(1):45-57. doi: 10.1111/j.1466-769X.2006.00248.x https://doi.org/10.1111/j.1466-769X.2006... ⁾	Se vincula fuertemente con los programas de Desarrollo de Prácticas Emancipadoras que sirven de base para preguntas de investigación eficaces que pondrán a prueba los resultados de la investigación e informarán sobre la transferencia de mecanismos en diferentes contextos. El resultado depende del contexto, ya que interfiere con los mecanismos. Se basa en los principios del realismo y busca captar lo verdadero (mecanismos que pueden o no desencadenarse), lo real (eventos que pueden o no ser observables pero que existen) y lo empírico (pruebas de las experiencias y observaciones realizadas). Las explicaciones requieren principalmente interpretaciones de datos cualitativos para descubrir el razonamiento y las circunstancias de los agentes en contextos específicos, y no en abstracción de ellos, lo que implica necesariamente la participación de los interesados y la identificación de la historia local.
8	Westhorp (2008) Reino Unido Filosofía⁽¹⁹19 Westhorp G. Development of realist evaluation models and methods for use in small-scale community based settings. [thesis]. Nottingham: Nottingham Trent University; 2008.⁾	Requiere que las teorías y/o suposiciones implícitas en un programa se hagan explícitas para determinar qué y cómo evaluar. Implica la identificación de los supuestos teóricos, los recursos y las actividades del programa, relacionados con los mecanismos que conducen a los resultados a corto, medio y largo plazo.
9	Keller, et al. (2009) Suecia Negocios⁽²⁰20 Keller C, Gäre K, Edenius M, Lindblad S. Designing for complex innovations in health care: design theory and realist evaluation combined. In: Proceedings of the 4th International Conference on Design Science Research in Information Systems and Technology; 2009 May 7-8; Philadelphia, Pennsylvania. New York: Association for Computing Machinery; 2009. doi: 10.1145/1555619.1555623 https://doi.org/10.1145/1555619.1555623... ⁾	Debe ser aplicada por quienes deseen planificar e implementar innovaciones teniendo en cuenta el contexto receptivo para el cambio, la preparación del sistema para la innovación, las relaciones de poder, el contexto sociopolítico externo. Una vez implementada la innovación, se puede aplicar una evaluación realista para explicar las pautas de resultados, según los mecanismos y las limitaciones contextuales.
10	Kontos, Poland (2009) Canadá Rehabilitación⁽²¹21 Kontos PC, Poland BD. Mapping new theoretical and methodological terrain for knowledge translation: contributions from critical realism and the arts. Implement Sci. [Internet]. 2009 Jan 5 [cited Dec 3, 2018];4:1. Available from: http://www.implementationscience.com/content/4/1/1 http://www.implementationscience.com/con... ⁾	La evaluación realista crítica deriva del realismo crítico, un enfoque que se propugna para implementar la innovación en materia de salud basada en evidencias. La evaluación es inherente al proceso de implementación y no algo fuera de lugar para medir resultados. Considera el contexto y el proceso, es decir, las condiciones que promovieron u obstaculizaron los cambios. Pueden evaluarse combinando datos cuantitativos y cualitativos, lo que promoverá la comprensión de por qué funcionó la intervención, para quién y en qué circunstancias.
11	Coryn, Noakes, Westine (2011) EE. UU. Evaluación⁽²²22 Coryn CLS, Noakes LA, Westine CD. A systematic review of theory-driven evaluation practice from 1990 to 2009. Am J Eval. 2010 Nov 12;32(2):199-226. doi: 10.1177/1098214010389321 https://doi.org/10.1177/1098214010389321... ⁾	Cinco principios para la evaluación orientada por teorías: 1) Las evaluaciones y/o los evaluadores orientados por teorías deben formular una teoría de programa plausible; 2) Las evaluaciones y/o los evaluadores orientados por teorías deben formular y priorizar cuestiones de evaluación en torno a una teoría de programa; 3) La teoría de programa debe utilizarse para orientar la planificación, el diseño y la ejecución de la evaluación en consideración de las contingencias pertinentes; 4) Las evaluaciones y/o los evaluadores orientados por la teoría deben medir los constructos postulados en la teoría del programa; 5) Las evaluaciones y/o los evaluadores orientados por la teoría deben identificar las rupturas, los efectos secundarios, determinar la efectividad (o eficacia) del programa y explicar las asociaciones de causa y efecto entre los constructos teóricos
12	Westhorp, et al. (2011) Australia No describió⁽²³23 Westhorp G, Prins E, Kusters CSL, Hultink M, Guijt IM, Brouwers JHAM. Realist Evaluation: an overview. [Internet]. Wageningen: Wageningen UR Centre for Development Innovation; 2011 [cited Dec 3, 2018]. Available from: http://library.wur.nl/WebQuery/wurpubs/fulltext/173918 http://library.wur.nl/WebQuery/wurpubs/f... ⁾	Parte del precepto de que la organización social se produce en forma de sistemas. Los sistemas sociales son abiertos: los elementos pueden entrar y salir del sistema. Como resultado, cualquier evento presenta muchas causas y, al mismo tiempo, puede tener muchas consecuencias. Esto también significa que cada resultado de un programa es el resultado de múltiples causas. Es probable que los hallazgos se centren en un subconjunto de mecanismos-contexto-resultados. En general, pueden indicar: • que una intervención específica funciona por separado. • que se implementa de diferentes maneras. • que es más eficaz con algunos grupos que con otros. • que se usará más en un lugar que en otro. • que presenta consecuencias involuntarias y no intencionales. • que es probable que sus efectos se mantengan.
13	Pawson, Manzano-Santaella (2012) Reino Unido Sociología y Política Social⁽²⁴24 Pawson R, Manzano-Santaella A. A realist diagnostic workshop. Evaluation. 2012 Apr 22;18(2):176-91. doi: 10.1177/1356389012440912 https://doi.org/10.1177/1356389012440912... ⁾	Se guía por la teoría y capta los resultados de todas las intervenciones, con el objetivo de identificar lo que funciona, para quién, bajo qué circunstancias, en qué aspectos, durante qué período y por qué. La compleja gama de resultados debe explicarse para verificar la eficacia del programa. Otro objetivo de la evaluación realista es mejorar los programas distinguiendo la eficacia de la implementación (efectiva o no efectiva).
14	Luskin, Ho (2013) EE. UU. No describió⁽²⁵25 Luskin RJ, Ho T. Comparing the intended consequences of three theories of evaluation. Eval Program Plann. 2013 Jun;38:61-6. doi:10.1016/j.evalprogplan.2012.03.015 https://doi.org/10.1016/j.evalprogplan.2... ⁾	Debe considerar la mejora social como el objetivo de las evaluaciones colectivas para que los desarrolladores de programas, los participantes, los responsables de las políticas y el público en general puedan tomar decisiones sobre los programas y las políticas.
15	Souza (2013) Singapur Educación⁽²⁶26 ouza DE. Elaborating the Context-Mechanism-Outcome configuration (CMOc) in realist evaluation: a critical realist perspective. Evaluation. 2013 Apr 12;19(2):141-54. doi: 10.1177/1356389013485194 https://doi.org/10.1177/1356389013485194... ⁾	Es posible considerar un programa social como el insumo que reconfigurará o activará de manera diferente los mecanismos causales subyacentes ubicados dentro de las estructuras sociales preexistentes para generar un cambio o un potencial diferente existente en el contexto de la acción. Un contexto de acción incluye aspectos de estructura, cultura, agencia y relaciones.
16	Manzano (2016) Reino Unido No describió⁽²⁷27 Manzano A. The craft of interviewing in realist evaluation. Evaluation. 2016 Apr 5;22(3):342-60. doi: 10.1177/1356389016638615 https://doi.org/10.1177/1356389016638615... ⁾	El proceso de investigación se iniciará con la teorización, que se pondrá a prueba, se refinará y se volverá a probar y, en este proceso iterativo, también se refinará la comprensión del mundo real.
17	Wong, et al. (2016) Reino Unido Atención Primaria⁽²⁸28 Wong G, Westhorp G, Manzano A, Greenhalgh J, Jagosh J, Greenhalgh T. RAMESES II reporting standards for realist evaluations. BMC Med. [Internet]. 2016 Jun 24 [cited Dec 03, 2018];14(1):96. Available from: https://bmcmedicine.biomedcentral.com/articles/10.1186/s12916-016-0643-1 https://bmcmedicine.biomedcentral.com/ar... ⁾	Debe explicar en detalle las teorías subyacentes de un programa, desarrollando hipótesis claras sobre cómo y para quién pueden funcionar los programas. Se trata de recopilar datos no solo sobre los efectos del programa o sobre los procesos de implementación del mismo, sino también sobre aspectos concretos del contexto que puedan afectar a los resultados previstos y no previstos del programa y sobre mecanismos específicos que puedan estar generando cambios. La evaluación debe describirse adecuadamente: en qué consiste, quién es el objetivo, quién lo proporciona, qué alcance geográfico tiene, qué se espera lograr, etc. Los datos reunidos deben incluir información sobre los efectos del programa y los procesos de implementación del mismo, sus aspectos específicos del contexto que pueden afectar a los resultados y la forma en que esos contextos configuran los mecanismos específicos que pueden estar creando cambios. Al buscar información de los participantes, se supone que los diferentes participantes tienen diferentes perspectivas, información y comprensión de cómo deben funcionar los programas y si realmente funcionan. La metodología realista es muy adecuada para el estudio de la Investigación Participativa Basada en la Comunidad. Las limitaciones generales y específicas de las evaluaciones realistas deben hacerse explícitas para que los lectores puedan interpretar las conclusiones a la luz de ellas. También se deben comunicar y describir los puntos o limitaciones impuestos por cualquier modificación realizada en los procesos de evaluación.
18	Wong, et al. (2017) Reino Unido Atención Primaria⁽²⁹29 Wong G, Westhorp G, Greenhalgh J, Manzano A, Jagosh J, Greenhalgh T. Quality and reporting standards, resources, training materials and information for realist evaluation: the RAMESES II project. [Internet]. Southampton: NIHR Journals Library; 2017 [cited Dec 03, 2018]. Available from: https://www.ncbi.nlm.nih.gov/books/NBK459059/pdf/Bookshelf_NBK459059.pdf⁾	Reúne aspectos específicos del contexto que pueden repercutir en los resultados previstos y no previstos del programa, y en los mecanismos específicos que pueden estar generando cambios en los resultados.
19	Wong (2018) Reino Unido Atención Primaria⁽³⁰30 Wong G. Getting to grips with context and complexity - the case for realist approaches. Gac Sanit. 2018 Mar/Apr;32(2):109-10. doi: 10.1016/j.gaceta.2017.05.010 https://doi.org/10.1016/j.gaceta.2017.05... ⁾	Comienza con la construcción de una teoría, es decir, una explicación de cómo, por qué, para quién, en qué contextos y sobre qué base se pretende que "funcione" una intervención. El resultado de cualquier fenómeno se deriva del contexto y del mecanismo (C+M=O). Las evaluaciones realistas son enfoques de investigación que vinculan de manera explícita y coherente el contexto con los resultados y proponen abordar cuestiones de complejidad.

Escola de Enfermagem de Ribeirão Preto / Universidade de São Paulo Av. Bandeirantes, 3900, 14040-902 Ribeirão Preto SP Brazil, Tel.: +55 (16) 3315-3451 / 3315-4407 - Ribeirão Preto - SP - Brazil
E-mail: rlae@eerp.usp.br

Acompanhe os números deste periódico no seu leitor de RSS

[1] Autor de correspondencia: Jeane Roza Quintans. E-mail: jeanequintans@gmail.com