Evaluación realista para programas y servicios en el área de la salud: una revisión integradora de la literatura teórico-metodológica

Resúmenes

Objetivo:

identificar y analizar conceptos de evaluación realista y metodologías recomendadas para su desarrollo en el área de la salud.

Método:

revisión integradora, que incluyó estudios teórico-metodológicos publicados en las siguientes bases de datos: COCHRANE Library, EVIPNet, Health Systems Evidence, LILACS, PDQ-Evidence, PubMed, Rx for Change, y SciELO, además de la base de datos de Tesis de CAPES y Google Académico, para la literatura gris. La categoría de mediación justificó el análisis.

Resultados:

se incluyeron 19 referencias, publicadas entre 1997 y 2018. Se trata de una propuesta innovadora para orientar el proceso de evaluación de programas, intervenciones y/o políticas de salud, con la participación democrática de las partes implicadas como usuarios, trabajadores, gestores e investigadores; se propone elaborar teorías sobre lo que funciona, para quién, en qué contexto y cómo. La categoría de mediación indicó la necesidad de que estas teorías no se limiten al microtexto, sino que incorporen los elementos de la macroestructura social a los que están conectadas.

Conclusión:

se indica que la evaluación realista se realice en 21 etapas. Tiene en cuenta métodos cualitativos y de procedimiento, lo que la capacita para comprender las relaciones humanas y sociales en el contexto analizado. Las teorías que provienen de la evaluación sobre el funcionamiento de los programas analizados tienen mayores posibilidades explicativas si se construyen con referencia a la totalidad social.

Descriptores:
Evaluación en Salud; Mediciones, Métodos y Teorías; Participación de los Interesados; Política Pública; Salud Pública; Implementación de Plan de Salud

Objective:

to identify and analyze the concepts of the realist evaluation and the methodologies recommended for its development in the health area.

Method:

an integrative review, which included theoretical and methodological studies published in the following databases: COCHRANE Library, EVIPNet, Health Systems Evidence, LILACS, PDQ-Evidence, PubMed, Rx for Change, and SciELO, in addition to Teses-CAPES and Google Scholar, for the gray literature. The mediation category underlay the analysis.

Results:

19 references were included, published between 1997 and 2018. It is an innovative proposal to direct the process of evaluating health programs, interventions, and/or policies, with the democratic participation of the parties involved, such as users, workers, managers and researchers; it proposes to elaborate theories about what works, for whom, in what context, and how. The mediation category indicated the need for these theories not to be restricted to the micro-context, but to incorporate the elements of the social macro-structure to which they are connected.

Conclusion:

It is indicated that the realist evaluation is to be conducted in 21 stages. It takes into account qualitative and procedural methods, which makes it powerful for understanding human and social relationships in the context analyzed. Theories that come from evaluating the functioning of the programs analyzed have greater explanatory chances if they are built by reference to the social totality.

Descriptors:
Health Evaluation; Measurements, Methods and Theories; Stakeholder Participation; Public Policy; Public Health; Health Plan Implementation

Objetivo:

identificar e analisar os conceitos de avaliação realista e as metodologias recomendadas para o seu desenvolvimento na área da saúde.

Método:

revisão integrativa, que incluiu estudos teórico-metodológicos publicados nas seguintes bases de dados: COCHRANE Library, EVIPNet, Health Systems Evidence, LILACS, PDQ-Evidence, PubMed, Rx for Change, SciELO, além de Teses-CAPES e Google Acadêmico, para a literatura cinza. A categoria mediação fundamentou a análise.

Resultados:

foram incluídas 19 referências, publicadas entre 1997 e 2018. Trata-se de proposta inovadora, para direcionar o processo de avaliação de programas, intervenções e/ou políticas de saúde, com a participação democrática das partes envolvidas, como usuários, trabalhadores, gestores e pesquisadores; propõe-se a elaborar teorias sobre o que funciona, para quem, em qual contexto e como. A categoria mediação indicou necessidade de que essas teorias não se restrinjam ao microcontexto, mas incorporem os elementos da macroestrutura social aos quais estão conectados.

Conclusão:

indica-se que a avaliação realista seja feita em 21 etapas. Ela toma em consideração métodos qualitativos e processuais, o que a torna potente para compreender as relações humanas e sociais no contexto analisado. As teorias que advêm da avaliação sobre o funcionamento dos programas analisados têm maiores chances explicativas se forem construídas por referência à totalidade social.

Descritores:
Avaliação em Saúde; Medidas, Métodos e Teorias; Participação dos Interessados; Política Pública; Saúde Pública; Implementação de Plano de Saúde

Introducción

La evaluación de intervenciones sanitarias complejas, como las políticas y programas de salud pública, se considera un desafío, especialmente si se asume que debe acompañar la formulación e implementación de esas intervenciones de manera orgánica⁽¹⁾.

La Organización Mundial de la Salud destaca la importancia de las evaluaciones basadas en los principios de los derechos humanos y defiende la participación de los llamados stakeholders (partes que tienen interés en los cambios que promueven los programas y las políticas), inclusive los beneficiarios, ya que pueden contribuir a una mejor comprensión de los procesos que producen cambios en una realidad determinada⁽²⁾.

Las intervenciones complejas suelen basarse en elementos de la experiencia y dependen de los recursos de los responsables de tomar decisiones en materia de salud. Por otra parte, se sabe que las hipótesis sobre el éxito de este tipo de intervención deben ser mejor comprendidas por los procesos de evaluación, ya que estos se producen concretamente en el marco de las relaciones sociales, lo que permite evaluar la plausibilidad de la intervención y ayuda a los evaluadores a decidir qué debe ser prioritario⁽³⁾.

El seguimiento de los procedimientos con acceso del equipo de evaluadores a los resultados intermedios se considera fundamental en la evaluación de los programas de salud complejos⁽⁴⁾.

Las evaluaciones indicadas para las intervenciones complejas implican etapas que van desde la identificación de las necesidades en materia de salud hasta el diseño e implementación de programas y políticas. Además, el proceso de evaluación debe tener en cuenta el debate sobre las prioridades de política y considerar la posibilidad de reunir datos en diversos momentos para captar los cambios que se produzcan a lo largo del tiempo⁽³⁾.

Los modelos tradicionales de evaluación de programas y políticas no presentan tales atributos. Proceden de marcos predominantemente positivistas y se centran en los intereses de las organizaciones e instituciones, en la lógica de los recursos humanos y en la relación costo-beneficio. Desde esta perspectiva, la estructura es vertical, el evaluador presenta un papel central y generalmente externo al contexto de la evaluación⁽⁵⁾.

La evaluación realista propone superar este enfoque tradicional. En este sentido, implica componentes cualitativos y cuantitativos, basados en la teoría, para promover la implementación de políticas y programas en contextos específicos⁽⁶⁾. La revisión realista, que comparte la misma perspectiva teórica que la evaluación realista, sostiene que las mejores evidencias deben provenir de un proceso de orientación teórica y situado localmente⁽⁷⁾.

En la revisión de la literatura se trazó un mapa de los conceptos de evaluación realista aplicados a la investigación de los sistemas de salud, sobre la base de estudios primarios que utilizaron esta metodología de evaluación. Los autores recomiendan mayor claridad en cuanto a las definiciones de los mecanismos y el contexto, dos elementos considerados estructurales de la evaluación realista, además del resultado⁽⁸⁾.

Así pues, el objetivo de esta revisión fue identificar y analizar los conceptos de evaluación realista y la metodología recomendada para su desarrollo en el ámbito de la salud.

Método

La pregunta de esta revisión es la siguiente: ¿cuáles son los conceptos y las etapas de la evaluación realista utilizada en el area de la salud? Se formuló a través de la estrategia PICo (P: Población; I: Fenómeno de Interés y Co: Contexto), con los elementos así delimitados: P - sin delimitación de población; I - conceptos y etapas de la evaluación realista; Co - área de la salud.

Se eligió la revisión integradora (RI) como metodología apropiada para contribuir a la síntesis de revisión de teorías y metodologías⁽⁹⁾, estimulando así la exposición y la comprensión de los marcos teórico-metodológicos sobre determinados fenómenos de la realidad. Las etapas de desarrollo pueden ser sistematizadas en ocho pasos de acuerdo con la literatura en el área: 1) Formar un grupo para desarrollar la RI; 2) Elaborar la introducción; 3) Formular la pregunta y el objetivo; 4) Describir la metodología; 5) Analizar e interpretar los datos; 6) Presentar los resultados; 7) Interpretar y discutir los resultados; y 8) Divulgar los resultados⁽¹⁰⁾.

En este sentido, después de las primeras fases que requirieron reuniones del grupo responsable, solo se incluyeron en la etapa 4 los estudios teórico-metodológicos publicados y la literatura gris, que analizaban y/o proponían teorías y/o metodologías para la evaluación realista. La búsqueda se llevó a cabo en agosto de 2019 e incorporó referencias publicadas en portugués, inglés y español en cualquier año, e indexadas en las bases de datos hasta julio de 2019.

Para la búsqueda de literatura científica y gris, se utilizó la expresión “Realist evaluation” en inglés o en portugués en las siguientes bases de datos: COCHRANE Library, EVIPNet, Health Systems Evidence, LILACS, PDQ-Evidence, PubMed, Rx for change, SciELO, además de la base de datos de Tesis de CAPES y Google Académico. Se adoptó la expresión “Realist evaluation” porque fue la estrategia de búsqueda más sensible, que permitió trazar un mapa de la mayor cantidad de posibles referencias sobre el tema. Por otro lado, garantizó una especificidad suficiente. Esta expresión no es un término MeSH, ya que se trata de un término relativamente nuevo. También se realizaron búsquedas manuales y entre las referencias de las referencias incluidas.

Después de identificar los estudios, las referencias fueron seleccionadas por título y resumen, lectura completa, inclusión/exclusión y extracción de datos por parte del equipo de cuatro revisores, al menos dos de ellos trabajando en forma independiente. Los datos se extrajeron mediante un instrumento compuesto por los siguientes elementos: 1) Título; 2) Año; 3) Autores; 4) País de afiliación del autor principal; 5) Área de conocimiento del primer autor; 6) Objetivo del estudio; 7) Definición y propósitos de la evaluación realista; 8) Marco teórico de referencia; 9) Etapas de desarrollo de la evaluación realista; y 10) Resumen del texto seleccionado.

No se realizó la evaluación de la calidad metodológica de los estudios incluidos, ya que el objeto de estudio era de tipo teórico, y no se incluyeron estudios empíricos.

Desde el punto de vista de la salud colectiva, en este estudio se adoptó el aspecto teórico del materialismo histórico y dialéctico⁽¹¹⁾, y se analizaron los elementos conceptuales esenciales de la evaluación realista según la categoría de mediación.

No hay conflictos de interés con relación a los autores de este artículo.

Resultados

Se identificaron 428 referencias provenientes de fuentes de datos, búsquedas manuales y referencias, como se muestra en la Figura 1.

Figura 1
Fuente de datos, estrategias de búsqueda y referencias identificadas y seleccionadas por título y resumen. São Paulo, Brasil, 2019

Base de datos	Estrategia de búsqueda	Referencias identificadas
PubMed	"realist evaluation"[Title/Abstract]	278
LILACS	realist [Palavras] and evaluation [Palavras]	5
Cochrane	"Realist evaluation" in Title, Abstract, Keywords in Trials'	36
EVIPNet	ti:(Realist evaluation) OR mh:(Realist evaluation)	0
Health Systems Evidence	"Realist evaluation"	3
Rx for change	"Realist evaluation"	0
PDQ Evidence	"Realist evaluation"	0
SciELO	realist [Abstract] and evaluation [Abstract]	2
Base de datos de Tesis de CAPES	"avaliação realista"	5
Google Académico	"Realist evaluation"	99
Total		428

Tras la exclusión de las publicaciones duplicadas, no disponibles y la selección por título y resumen, se analizaron 47 referencias en su totalidad. En total se incluyeron 19 referencias, según se indica en la Figura 2.

Figura 2
Diagrama de flujo del proceso de selección de los artículos. São Paulo, Brasil, 2019⁽¹²⁾

Cabe señalar que los estudios se publicaron entre 1997 y 2018, con nueve (47%) a partir de 2011. Los estudios fueron publicados por autores del Reino Unido, Australia, Canadá, Suecia, Estados Unidos y Singapur, en las siguientes áreas de conocimiento del primer autor: Atención primaria, Evaluación, Educación, Enfermería, Filosofía, Negocios, Rehabilitación, Desarrollo de tecnologías, Sociología, Política social e Investigación social. En la siguiente figura se presenta la síntesis integradora de las definiciones y los propósitos de la evaluación realista:

En la Figura 3 se describen los principales elementos de la extracción de datos de los 19 estudios incluidos.

Figura 3
Autor(es), año de publicación, país de filiación del autor principal, área de conocimiento del primer autor, y definiciones y propósito de la revisión realista. São Paulo, Brasil, 2019

N	Autor(es)/Año/País de filiación del primer autor/Área de conocimiento del primer autor	Definiciones y finalidades de la evaluación realista
1	Pawson, Tilley (1997) Reino Unido Sociología y Política Social(6)	Un nuevo paradigma de evaluación, basado en el realismo, que requiere el uso de diferentes métodos y análisis de datos que favorecen la explicación de la regularidad y la teoría que subyace a la lógica de la iteración de los contextos, mecanismos y resultados de la realidad estudiada.
2	Henry, Rog (1998) No describió otros datos(13)	Desarrolla una comprensión contextual, que revela los mecanismos que generan diferentes resultados. Trata de comprender qué tipos de evaluaciones son útiles, para qué públicos, y en qué condiciones políticas. La evaluación realista puede aplicarse utilizando directamente los resultados en la toma de decisiones sobre los programas; utilizando los resultados para influir en la forma en que se considera un programa o sus efectos; o utilizando los resultados para justificar la decisión adoptada con relación a los programas.
3	Mark, Henry, Julnes (1998) No describió otros datos(14)	La evaluación realista emergente estima los efectos de los programas y evalúa las actividades, como evaluar qué valores sociales cumplen ciertos programas. Por lo tanto, trata de identificar los mecanismos que subyacen a los efectos del programa, las condiciones en las que estos mecanismos operan y los tipos de individuos para los que operan.
4	Tilley (2000) No describió otros datos(15)	Proporciona información para apoyar el proceso de toma de decisiones e implementación de políticas públicas. La pregunta de evaluación realista se compone de la siguiente manera: ¿qué funciona, para quién, y en qué circunstancias? Al comprender cómo las medidas producirán diversos efectos en diferentes circunstancias, se cree que el responsable de formular políticas estará mejor preparado para decidir qué políticas implementar y en qué condiciones.
5	Kazi, Rostila (2002) England Estudios de evaluación(16)	Agrega los principales mecanismos, contextos y componentes de los programas al proceso de evaluación. Una de las principales contribuciones del paradigma de evaluación realista es el concepto de inserción del evaluador en el proceso/estructura organizativa. La evaluación realista considera la influencia de las relaciones sociales y las estructuras organizativas que componen el sistema abierto en los resultados del programa. Dado que se constituye un sistema abierto, es necesario identificar algunas regularidades, es decir, características, factores, mecanismos que conducen a mejores o peores resultados e identificar las condiciones en las que se desencadenarán los mecanismos causales para producir los resultados.
6	Pawson, Tilley (2004) No describió otros datos(17)	Evaluación orientada por la teoría, con una búsqueda explicativa. En el proceso de evaluación se prueban las teorías con el fin de refinarlas. Los autores destacaron la necesidad de comprender la naturaleza de los programas y cómo funcionan, teniendo en cuenta: 1) La naturaleza de los programas y cómo funcionan; 2) Conceptos básicos para comprender los programas que implican mecanismo, contexto y resultados. 3) Estrategias y métodos de evaluación realista; 4) Presentación y uso de los resultados de la evaluación realista por parte del responsable de formular políticas para comprender las cuestiones relacionadas con la política, la práctica y los límites organizativos que implica la implementación de un programa.
7	Wilson, Mccormack (2006) Australia Enfermería(18)	Se vincula fuertemente con los programas de Desarrollo de Prácticas Emancipadoras que sirven de base para preguntas de investigación eficaces que pondrán a prueba los resultados de la investigación e informarán sobre la transferencia de mecanismos en diferentes contextos. El resultado depende del contexto, ya que interfiere con los mecanismos. Se basa en los principios del realismo y busca captar lo verdadero (mecanismos que pueden o no desencadenarse), lo real (eventos que pueden o no ser observables pero que existen) y lo empírico (pruebas de las experiencias y observaciones realizadas). Las explicaciones requieren principalmente interpretaciones de datos cualitativos para descubrir el razonamiento y las circunstancias de los agentes en contextos específicos, y no en abstracción de ellos, lo que implica necesariamente la participación de los interesados y la identificación de la historia local.
8	Westhorp (2008) Reino Unido Filosofía(19)	Requiere que las teorías y/o suposiciones implícitas en un programa se hagan explícitas para determinar qué y cómo evaluar. Implica la identificación de los supuestos teóricos, los recursos y las actividades del programa, relacionados con los mecanismos que conducen a los resultados a corto, medio y largo plazo.
9	Keller, et al. (2009) Suecia Negocios(20)	Debe ser aplicada por quienes deseen planificar e implementar innovaciones teniendo en cuenta el contexto receptivo para el cambio, la preparación del sistema para la innovación, las relaciones de poder, el contexto sociopolítico externo. Una vez implementada la innovación, se puede aplicar una evaluación realista para explicar las pautas de resultados, según los mecanismos y las limitaciones contextuales.
10	Kontos, Poland (2009) Canadá Rehabilitación(21)	La evaluación realista crítica deriva del realismo crítico, un enfoque que se propugna para implementar la innovación en materia de salud basada en evidencias. La evaluación es inherente al proceso de implementación y no algo fuera de lugar para medir resultados. Considera el contexto y el proceso, es decir, las condiciones que promovieron u obstaculizaron los cambios. Pueden evaluarse combinando datos cuantitativos y cualitativos, lo que promoverá la comprensión de por qué funcionó la intervención, para quién y en qué circunstancias.
11	Coryn, Noakes, Westine (2011) EE. UU. Evaluación(22)	Cinco principios para la evaluación orientada por teorías: 1) Las evaluaciones y/o los evaluadores orientados por teorías deben formular una teoría de programa plausible; 2) Las evaluaciones y/o los evaluadores orientados por teorías deben formular y priorizar cuestiones de evaluación en torno a una teoría de programa; 3) La teoría de programa debe utilizarse para orientar la planificación, el diseño y la ejecución de la evaluación en consideración de las contingencias pertinentes; 4) Las evaluaciones y/o los evaluadores orientados por la teoría deben medir los constructos postulados en la teoría del programa; 5) Las evaluaciones y/o los evaluadores orientados por la teoría deben identificar las rupturas, los efectos secundarios, determinar la efectividad (o eficacia) del programa y explicar las asociaciones de causa y efecto entre los constructos teóricos
12	Westhorp, et al. (2011) Australia No describió(23)	Parte del precepto de que la organización social se produce en forma de sistemas. Los sistemas sociales son abiertos: los elementos pueden entrar y salir del sistema. Como resultado, cualquier evento presenta muchas causas y, al mismo tiempo, puede tener muchas consecuencias. Esto también significa que cada resultado de un programa es el resultado de múltiples causas. Es probable que los hallazgos se centren en un subconjunto de mecanismos-contexto-resultados. En general, pueden indicar: • que una intervención específica funciona por separado. • que se implementa de diferentes maneras. • que es más eficaz con algunos grupos que con otros. • que se usará más en un lugar que en otro. • que presenta consecuencias involuntarias y no intencionales. • que es probable que sus efectos se mantengan.
13	Pawson, Manzano-Santaella (2012) Reino Unido Sociología y Política Social(24)	Se guía por la teoría y capta los resultados de todas las intervenciones, con el objetivo de identificar lo que funciona, para quién, bajo qué circunstancias, en qué aspectos, durante qué período y por qué. La compleja gama de resultados debe explicarse para verificar la eficacia del programa. Otro objetivo de la evaluación realista es mejorar los programas distinguiendo la eficacia de la implementación (efectiva o no efectiva).
14	Luskin, Ho (2013) EE. UU. No describió(25)	Debe considerar la mejora social como el objetivo de las evaluaciones colectivas para que los desarrolladores de programas, los participantes, los responsables de las políticas y el público en general puedan tomar decisiones sobre los programas y las políticas.
15	Souza (2013) Singapur Educación(26)	Es posible considerar un programa social como el insumo que reconfigurará o activará de manera diferente los mecanismos causales subyacentes ubicados dentro de las estructuras sociales preexistentes para generar un cambio o un potencial diferente existente en el contexto de la acción. Un contexto de acción incluye aspectos de estructura, cultura, agencia y relaciones.
16	Manzano (2016) Reino Unido No describió(27)	El proceso de investigación se iniciará con la teorización, que se pondrá a prueba, se refinará y se volverá a probar y, en este proceso iterativo, también se refinará la comprensión del mundo real.
17	Wong, et al. (2016) Reino Unido Atención Primaria(28)	Debe explicar en detalle las teorías subyacentes de un programa, desarrollando hipótesis claras sobre cómo y para quién pueden funcionar los programas. Se trata de recopilar datos no solo sobre los efectos del programa o sobre los procesos de implementación del mismo, sino también sobre aspectos concretos del contexto que puedan afectar a los resultados previstos y no previstos del programa y sobre mecanismos específicos que puedan estar generando cambios. La evaluación debe describirse adecuadamente: en qué consiste, quién es el objetivo, quién lo proporciona, qué alcance geográfico tiene, qué se espera lograr, etc. Los datos reunidos deben incluir información sobre los efectos del programa y los procesos de implementación del mismo, sus aspectos específicos del contexto que pueden afectar a los resultados y la forma en que esos contextos configuran los mecanismos específicos que pueden estar creando cambios. Al buscar información de los participantes, se supone que los diferentes participantes tienen diferentes perspectivas, información y comprensión de cómo deben funcionar los programas y si realmente funcionan. La metodología realista es muy adecuada para el estudio de la Investigación Participativa Basada en la Comunidad. Las limitaciones generales y específicas de las evaluaciones realistas deben hacerse explícitas para que los lectores puedan interpretar las conclusiones a la luz de ellas. También se deben comunicar y describir los puntos o limitaciones impuestos por cualquier modificación realizada en los procesos de evaluación.
18	Wong, et al. (2017) Reino Unido Atención Primaria(29)	Reúne aspectos específicos del contexto que pueden repercutir en los resultados previstos y no previstos del programa, y en los mecanismos específicos que pueden estar generando cambios en los resultados.
19	Wong (2018) Reino Unido Atención Primaria(30)	Comienza con la construcción de una teoría, es decir, una explicación de cómo, por qué, para quién, en qué contextos y sobre qué base se pretende que "funcione" una intervención. El resultado de cualquier fenómeno se deriva del contexto y del mecanismo (C+M=O). Las evaluaciones realistas son enfoques de investigación que vinculan de manera explícita y coherente el contexto con los resultados y proponen abordar cuestiones de complejidad.

Se identificó que los conceptos presentados por los diferentes autores son congruentes entre sí. La evaluación realista se configura como una metodología estructurada según los supuestos filosóficos del realismo, que tiene por objeto abordar la complejidad de las intervenciones sanitarias, teniendo en cuenta la influencia de las relaciones sociales y las estructuras organizativas. Este enfoque se basa en la teoría y centra la evaluación en la obtención de respuestas sobre lo que funciona, para quién, en qué contexto y cómo^{(6,8,16,29-30)}.

La evaluación realista considera la articulación Contexto-Mecanismos-Resultados (Context-Mechanisms-Outcomes, CMO), a fin de comprender las disposiciones subyacentes que componen la situación estudiada^(6,15). Los mecanismos son la forma en la que los sujetos interpretan y actúan con referencia a la intervención y no siempre son explícitos, mientras que el contexto está representado por las características de las condiciones en que se introdujeron las intervenciones. Por último, los resultados son las consecuencias de la activación de diferentes mecanismos en diferentes contextos^(14,17), que producen teorías claras o modelos teóricos estructurados para explicar cómo las intervenciones promueven los resultados esperados⁽²²⁾.

La configuración CMO tiene el potencial de presentar un cuadro amplio y completo de lo que está sucediendo, a fin de dilucidar los elementos fundamentales que hicieron posible el empleo, o no, de intervenciones, programas y/o políticas públicas⁽¹³⁾, suponiendo que los diferentes contextos producen resultados distintos, mejores o peores^(15-16).

Otro aspecto innovador es el propósito de comprender la configuración de las pautas de los resultados obtenidos mediante la implementación de intervenciones. Los estudios de evaluación realista buscaron presentar los cambios resultantes de la implementación de intervenciones y la forma en que se produjeron e introdujeron esas medidas para modificar el contexto y el equilibrio de los mecanismos subyacentes^(15,20).

Para la comprensión de la realidad investigada, la evaluación realista debe iniciarse con la teorización que se pondrá a prueba y se perfeccionará de manera cíclica e iterativa estructurándose en el formato de proposiciones sobre cómo se produjeron los mecanismos en los contextos para producir resultados^{(6,17-19,21,27)}. En este sentido, los programas/intervenciones/políticas se evalúan a partir de los cambios producidos en los individuos, subgrupos y contextos involucrados, además de identificar los recursos sociales y culturales necesarios para sostener los cambios⁽⁶⁾. Para desarrollar una evaluación realista, es necesario: 1) formular una teoría sobre el programa, las intervenciones y/o las políticas evaluados; 2) formular y priorizar las cuestiones de evaluación en torno a la teoría; 3) llevar a cabo la planificación, el proyecto y la ejecución de la evaluación mediante la teoría; 4) identificar los constructos postulados en la teoría; y 5) determinar la eficacia o efectividad del programa, las intervenciones y/o las políticas evaluadas, explicar las asociaciones de causa y efecto entre los constructos teóricos y los factores que afectaron a la pauta de resultados. Estos principios son situacionales y no constituyen criterios rígidos, ya que su aplicación depende de la naturaleza del programa evaluado, del objetivo de la evaluación y de los individuos que la utilizarán⁽²²⁾.

Así, la evaluación permite un circuito que puede ser guiado por diferentes estrategias de aprehensión de la realidad en estudio^(6,12,19,21). La elección de los métodos de recopilación de datos debe estar guiada por la teoría, con el objetivo de poner a prueba los supuestos y/o las teorías y revelar las pautas y regularidades del programa, mediante observaciones, recopilación y análisis de datos, entre otros^(6,27). En programas complejos, el muestreo aleatorio, los ensayos clínicos aleatorizados o los proyectos cuasi experimentales pueden no ser capaces de identificar los elementos que interfieren con la participación de los implicados en el programa, porque la intervención posee procesos inesperados que no se pueden predecir a priori con fines estadísticos y no captan los resultados y los elementos contextuales^(20,27).

En esta dirección, es necesaria la inserción del evaluador en el proceso, que tiene la tarea de comprender y poner a prueba la teoría estudiada^(16,19). Este proceso debe seguir una perspectiva emancipadora, que requiere la participación de otras partes interesadas en la evaluación, en la identificación de la historia local y en las acciones transformadoras en las que se produce la práctica⁽¹⁸⁾. En este sentido, el autor comprende la emancipación como un proceso en el que los implicados identifican las necesidades de cambios en las prácticas, reflexionan sobre ellas y tratan de promover cambios culturales, basándose en las necesidades identificadas en ese contexto. Los análisis y los cambios se refieren a la dimensión cultural local de las relaciones sociales⁽¹⁸⁾. Las dimensiones políticas y económicas no son consideradas desde la perspectiva del autor.

La evaluación realista emergente es una de las modalidades de evaluación encontradas y se describe como aquella que tiene como objetivo la mejora social a través de la implementación de programas y políticas. El evaluador participa en el proceso de creación de conocimientos con los participantes, creyendo que el debate público informa a la sociedad para la toma de decisiones socialmente responsables. La evaluación, por lo tanto, no es una condición para decidir sobre el mérito de una política social, pero sirve para apoyar los procesos democráticos de decisión^(14,25).

La evaluación realista crítica deriva del realismo crítico, un enfoque que se propugna para implementar la innovación en materia de salud basada en evidencias. Desde esta perspectiva, se destaca que la evaluación es inherente al proceso de implementación y no algo fuera de lugar para medir resultados. La evaluación realista crítica parece mostrar de manera más explícita que forma parte del proceso de implementación más amplio, teniendo en cuenta las condiciones que promovieron u obstaculizaron los cambios⁽²¹⁾.

En resumen, la evaluación realista presenta la posibilidad de subvencionar la toma de decisiones y la formulación de políticas públicas, ya que los resultados se presentan de acuerdo con las diferentes realidades contextuales ubicadas en las estructuras sociales preexistentes, para generar un cambio que incluya aspectos de la estructura, la cultura y las relaciones sociales^(13,15,26).

La integración de las etapas fue posible sin necesidad de superar contradicciones, ya que todas los trabajos encontrados parten de los mismos marcos epistemológicos y teórico-metodológicos, con algunas variaciones no conflictivas, como la evaluación realista emergente y de la crítica. Así pues, a partir de la configuración CMO, las etapas para realizar la evaluación realista se integraron y se presentaron en la Figura 4.

Figura 4
Etapas de desarrollo de la evaluación realista. São Paulo, Brasil, 2019

1. Definición de la teoría y preguntas de evaluación(17,23)

2. Título(28)

3. Resumen(28)

Introducción ( 28 )

4. Presentación del tema del estudio(28)

5. Teoría del programa(28)

6. Preguntas de evaluación, objetivos y enfoque(28)

Métodos

7. Justificación para usar la evaluación realista(28)

8. Descripción de la política, iniciativa o producto del programa evaluado(28)

9. Lugar de la evaluación(28)

10. Describir y justificar el diseño de la evaluación(28)

11. Métodos de recopilación de datos(17,23,27-28)

12. Definición de los participantes(17,23,27-28)

13. Análisis de los datos(17,27-28)

14. Aprobación ética(28)

Resultados ( 17 , 28 )

15. Detalles de los participantes(28)

16. Principales resultados(28)

17. Prueba de teoría(17)

Discusión y consideraciones finales ( 28 )

18. Resumen de los hallazgos(28)

19. Puntos fuertes, limitaciones y direcciones futuras(28)

20. Discusión y conclusiones principales(28)

21. Financiamiento y conflicto de intereses(28)

A través de los estudios incluidos y de la categoría de análisis, se describieron las directrices específicas de cada etapa, considerando que el desarrollo de las mismas puede ocurrir de manera superpuesta e iterativa.

1. Definición de la teoría y preguntas de evaluación: Formular teorías sobre el programa (qué funciona, para quién, y en qué contexto)⁽¹⁷⁾. Comprender la teoría permite desarrollar escenarios experimentales de mecanismos y contextos. Considerar que la explicación de la realidad por la teoría se producirá en todas las etapas de la evaluación⁽²³⁾;

2. Título: Identificar el documento como una síntesis o evaluación realista⁽²⁸⁾;

3. Resumen: Incluir breves detalles sobre: la política, el programa o la iniciativa objeto de evaluación; la configuración del programa; el objetivo de la evaluación; la evaluación de las preguntas y/o los objetivos; la estrategia de evaluación; la recopilación de datos, la documentación y los métodos de análisis; los principales hallazgos y conclusiones⁽²⁸⁾;

Introducción:

4. Presentación del tema del estudio: Explicar el propósito de la evaluación con datos secundarios⁽²⁸⁾;

5. Teoría del programa: Describir la teoría inicial del programa (o teorías) que apoyan el programa, la política o la iniciativa⁽²⁸⁾;

6. Preguntas de evaluación, objetivos y enfoque: Indicar la(s) pregunta(s) de evaluación y especificar los objetivos de la misma. Describir si la teoría del programa se utilizó para definir el alcance y el enfoque de la evaluación⁽²⁸⁾;

Métodos:

7. Justificación para usar la evaluación realista: Explicar por qué se eligió y se adaptó (si procede) un enfoque de evaluación realista⁽²⁸⁾;

8. Descripción de la política, iniciativa o producto del programa evaluado: Proporcionar detalles pertinentes del programa, la política o la iniciativa evaluados⁽²⁸⁾;

9. Lugar de la evaluación: Describir y justificar la razón de la elección del lugar donde se realizó la evaluación⁽²⁸⁾;

10. Describir y justificar el diseño de la evaluación: En el documento en el que se presenten las principales conclusiones deberá incluirse una descripción y justificación del diseño de la evaluación (es decir, lo que se planificó, se realizó y por qué), al menos en forma resumida o como apéndice. De no hacerlo, la omisión debe justificarse y se debe dar una referencia o un vínculo al diseño de la evaluación. También puede ser útil publicar o poner a disposición gratuitamente (por ejemplo: en línea en un sitio web) cualquier documento original de diseño de evaluación original, si lo hubiera⁽²⁸⁾;

11. Métodos de recopilación de datos: Proporcionar detalles y justificaciones de las elecciones de métodos, que pueden ser cuantitativos o cualitativos: cuáles se utilizaron, por qué y cómo contribuyeron a desarrollar, apoyar, refutar o perfeccionar la teoría del programa. Los métodos cuantitativos se utilizan más en relación con el contexto, por ejemplo, la comparación de grupos. Los métodos cualitativos contribuyen a explorar las hipótesis e identificar elementos imprevistos del contexto y el resultado. La entrevista cualitativa semiestructurada es el método más común y disponible de recopilación de datos, de forma aislada o en combinación con otros métodos. Por lo general, contiene preguntas exploratorias basadas en el programa evaluado y que actúan como instrumentos para extraer las propeustas de la investigación general^{(17,23,27-28)};

12. Definición de los participantes: Describir la forma en la que se definió, invitó y atrajo a los participantes de la evaluación y cómo contribuyeron al desarrollo, apoyo, refutación o perfeccionamiento de la teoría del programa⁽²⁸⁾. Se considera que las partes interesadas son las principales fuentes de datos, ya que cuentan con experiencia en fases y procesos específicos dentro del programa evaluado⁽¹⁷⁾;

13. Análisis de los datos: Describir y justificar qué método de análisis se utilizó, cómo se desarrolló, apoyó, refutó y perfeccionó la teoría del programa, y si el análisis cambió a medida que se desarrollaba la evaluación⁽²⁸⁾. No existe un único método analítico apropiado, ya que depende de las teorías propuestas y de la disponibilidad de datos⁽²⁸⁾. En la teoría del programa realista se espera que haya diferentes estándares de resultados para diferentes grupos o contextos dentro del programa, y el análisis pone a prueba estas teorías⁽²³⁾;

14. Aprobación ética: Indicar si la evaluación realista requirió y obtuvo la aprobación ética de las autoridades pertinentes, proporcionando los detalles que correspondían. Explicar la razón si no es necesario para realizar la evaluación⁽²⁸⁾.

Resultados:

15. Detalles de los participantes: Informar (si procede) quiénes participaron de la evaluación, los detalles de los datos que proporcionaron y cómo se utilizaron los datos para desarrollar, apoyar, refutar o perfeccionar la teoría del programa⁽²⁸⁾;

16. Principales resultados: Presentar los principales resultados, vinculándolos a los contextos, mecanismos y configuraciones de los resultados. Mostrar cómo se usaron para desarrollar, probar o refinar la teoría del programa⁽²⁸⁾;

Discusión y consideraciones finales:

17. Prueba de teoría: Examinar y comprender las posibles configuraciones de estándar CMO para el perfeccionamiento de la teoría y el avance de los conocimientos⁽¹⁷⁾;

18. Resumen de los resultados: Resumir los principales resultados prestando atención a las cuestiones de evaluación, el propósito de la evaluación, la teoría del programa y las partes interesadas⁽²⁸⁾;

19. Puntos fuertes, limitaciones y direcciones futuras: Discutir los puntos fuertes de la evaluación y sus limitaciones, incluidas las consideraciones de todas las etapas de los procesos de evaluación. En muchas evaluaciones se espera que se proporcione orientación sobre las futuras direcciones del programa, la política o la iniciativa, su implementación y/o proyecto. Las implicaciones particulares derivadas de la naturaleza realista de los resultados deben reflejarse en estos debates. Considerar que las direcciones futuras subvencionan políticas públicas y son importantes instrumentos políticos de investigación socia⁽²⁸⁾;

20. Discusión y conclusiones principales: Comparar los resultados con la literatura existente y enumerar las principales conclusiones que justifican el análisis de los datos. Si procede, ofrecer recomendaciones acordes con un enfoque realista⁽²⁸⁾;

21. Financiamiento y conflicto de intereses: Indicar la fuente de financiación (si la hay) para la evaluación, el rol desempeñado por el financista (si lo hay) y cualquier conflicto de intereses de los evaluadores⁽²⁸⁾.

Las etapas anteriores, integradas a partir de los estudios reunidos en esta revisión, permiten orientar el desarrollo, así como la elaboración del informe final de una evaluación realista^(17,23,28).

Discusión

En este trabajo se asumió que el potencial de la evaluación realista radica en su capacidad de captar las interacciones inherentes al complejo CMO.

Este tipo de evaluación pone de relieve que los resultados encontrados en un determinado proceso de evaluación no son linealmente transferibles a otras realidades, ya que dependen de la interacción de determinados procesos sociales⁽²³⁾.

Las interacciones, tal como se analizan en la categoría de mediación en este trabajo, representan la articulación entre las partes de una totalidad compleja y, al mismo tiempo, el movimiento entre la singularidad y la totalidad, formado por estructuras socio-históricas, constituidas por interacciones con movimientos dinámicos y contradictorios, y no sólo por la suma cartesiana de las partes⁽³¹⁾.

La categoría de mediación trae consigo tanto la dimensión ontológica como la reflexiva, ya que existe independientemente del sujeto social, pudiendo apoyar procesos de reflexión de los individuos sobre una determinada realidad, captada por su esencia y no sólo en el plano de la apariencia⁽³²⁾.

La mediación constituye la ontología del ser social que se apoya en el propio movimiento de las categorías de la realidad, y no en conceptos lógicos ideales, estando presente en la sociabilidad del ser social. Por lo tanto, se sostiene desde la perspectiva de la relación entre el hombre y la naturaleza, y así la transformación de la naturaleza por el hombre (trabajo) es un condicionante de la existencia humana⁽³¹⁾. En la evaluación realista, parte de los mecanismos subyacentes, que pueden interferir en los resultados de un proyecto determinado, depende de esta reflexión del ser social sobre la intervención propuesta y la realidad en la que se introduce.

Este campo de mediaciones se concreta en la particularidad en que se produce la dialéctica entre lo universal y lo singular. Es en este campo de mediaciones que los hechos singulares están relacionados con las leyes de la universalidad, que se configura a partir de la realidad de lo singular. El individuo, al ser la menor unidad de la totalidad social, es portador de infinitas variaciones y, por lo tanto, de gran complejidad y particularidades⁽³¹⁾.

Lo particular representa la expresión de las categorías de mediación entre los sujetos singulares y la sociedad⁽³¹⁾. En la evaluación realista, el contexto se sitúa en la dimensión particular, ya que, según sus condiciones, se activarán o no los mecanismos subyacentes, que podrán influir en los resultados de la intervención propuesta por un programa, política o servicio determinado.

Se basa en la comprensión de que el ser social y sus complejos dinámicos se expresan de una manera particular. En la esfera de la universalidad, se encuentran las grandes determinaciones y leyes tendenciales de un determinado complejo social. Leyes y determinaciones que en la esfera de la unicidad están ocultas por la dinámica de los hechos⁽³¹⁾. Así pues, la categoría de mediación ayuda a aprehender el movimiento del ser social oculto en los individuos y, por lo tanto, sustenta la comprensión de los mecanismos subyacentes tratados por la evaluación realista.

Desde esta perspectiva, las mediaciones son categorías instrumentales a través de las cuales se lleva a cabo la operacionalización de la acción, es una forma de objetivar la práctica. La mediación se expresa en el conjunto de instrumentos, recursos, técnicas y estrategias que el sujeto conoce para penetrar en las tramas de la realidad como posibilidad de transformarla⁽³²⁾.

Con relación a las limitaciones, las evaluaciones realistas de los programas de demarcación de propiedades y de educación en los centros penitenciarios, descritas inicialmente por los creadores de la evaluación realista, no se basaban en marcos teóricos ni en teorías totalizadoras que explicaban lo que está en la raíz de los problemas que llevaron a la necesidad de crear estos programas. Tampoco se discutió, por ejemplo, la forma de organización de la sociedad y el modo de producción capitalista, que generan desigualdades sociales. Así pues, en su origen, la evaluación realista presentó cierto pragmatismo al buscar relaciones de causa y efecto⁽⁶⁾.

Otras limitaciones se refieren a la dimensión filosófica del realismo crítico, que hace hincapié en que la producción de varios autores que siguen la teoría realista crítica que se restringe a la abstracción histórica al no utilizar ninguna herramienta que permita comprender cómo pueden transformarse las estructuras sociales objetivas y cómo llevar a cabo la transformación. Así, afirma que los teóricos críticos no siempre desarrollan supuestos sobre el objeto de la investigación al analizar las relaciones sociales, lo que hace que el punto de partida de la investigación sea arbitrario. Desde esta perspectiva, los mecanismos causales están auto-referenciados y las estructuras solo existen como resultado del comportamiento humano y de que los poderes causales serían relacionales⁽³³⁾.

Esas limitaciones siguen siendo objeto de debate, incluso por parte de uno de los principales teóricos del realismo crítico - Roy Baskar - que ha tratado de sumar las dimensiones de la historicidad y totalidad, y la dialéctica, considerando las contradicciones de la realidad⁽³⁴⁾. Se ha argumentado que el uso de la dialéctica altera la estrategia de investigación del realismo crítico de varias maneras. En primer lugar, demuestra la necesidad de abstraer los poderes causales a través de conexiones dialécticas y contradicciones inherentes a varias totalidades interconectadas. En segundo lugar, el análisis histórico se convierte en un momento clave en este procedimiento dialéctico para superar un dualismo común en el pensamiento realista crítico entre las estructuras en sistemas cerrados y mecanismos contingentes en eventos históricos. La sociedad es vista como una totalidad histórica interconectada, de modo que los eventos concretos son, en sí mismo, momentos de esa totalidad. Así, los mecanismos son pensados como momentos de conexiones dialécticas en totalidades y momentos de contradicciones dialécticas específicas. Se puede observar que la dialéctica reformula los debates sobre la relación entre las partes y un todo.

Conclusión

Esta revisión integradora permitió mapear la producción científica del área de la salud sobre los conceptos, propósitos y etapas de la evaluación realista. Los estudios incluidos no presentaron discrepancias teóricas, lo que permitió conciliar epistemológicamente los conceptos y la metodología de este enfoque. La integración de los datos permitió presentar 21 etapas para desarrollar una evaluación realista de contextos complejos en materia de salud.

Así pues, puede decirse que la evaluación realista, al analizar los resultados de una determinada intervención, a partir de la comprensión de las interacciones que se producen en la realidad de las relaciones sociales, termina por identificar su potencial transformador y los elementos que interfieren en el resultado de las intervenciones.

Sin embargo, a partir de los hitos de la categoría de mediación, es necesario que estas teorías sean elaboradas incorporando los elementos de macroestructura social a la que están conectados los mecanismos.

En el caso de la salud colectiva, presenta implicaciones fundamentales para la investigación y las políticas de salud, ya que al tomar como referencia la totalidad social se amplía la explicación sobre la realidad y, por consiguiente, las posibilidades de transformación.

References

• ¹
  Craig P, Dieppe P, Macintyre S, Michie S, Nazareth I, Petticrew M. Developing and evaluating complex interventions: the new medical research council guidance. Int J Nurs Stud. 2013;50:587-92. doi: 10.1136/bmj.a1655.
  » https://doi.org/10.1136/bmj.a1655
• ²
  World Health Organization. Evaluation practice handbook. [Internet]. Geneva: WHO; 2013 April [cited Sep 24, 2019]. Available from: https://apps.who.int/iris/bitstream/handle/10665/96311/9789241548687_eng.pdf;jsessionid=994B9ADB4EF2005E1B07ECCFDBF7B840?sequence=1
  » https://apps.who.int/iris/bitstream/handle/10665/96311/9789241548687_eng.pdf;jsessionid=994B9ADB4EF2005E1B07ECCFDBF7B840?sequence=1
• ³
  Moore GF, Audrey S, Barker M, Bond L, Bonell C, Hardeman W, et al. Process evaluation of complex interventions: Medical Research Council guidance. BMJ. [Internet]. 2015 Mar [cited Dec 3, 2018];350:h1258. doi: 10.1136/bmj.h1258
  » https://doi.org/10.1136/bmj.h1258
• ⁴
  Fowler Davis S, Hinde S, Ariss S. Complex programme evaluation of a "new care model" vanguard: a shared commitment to quality improvement in an integrated health and care context. BMJ Open. 2020;10:e029174. doi:10.1136/bmjopen-2019-029174
  » https://doi.org/10.1136/bmjopen-2019-029174
• ⁵
  Tinoco DS, Souza LM, Oliveira AB. Public policies evaluation: traditional and pluralista models. Rev Pol Públ. [Internet] 2011 Jul/Dez [cited Jun 10, 2019];15(2):305-13. Available from: http://www.periodicoseletronicos.ufma.br/index.php/rppublica/article/view/847/869
  » http://www.periodicoseletronicos.ufma.br/index.php/rppublica/article/view/847/869
• ⁶
  Pawson R, Tilley N. Realistic Evaluation. London: SAGE; 1997.
• ⁷
  Yonekura T, Quintans JR, Soares CB, Negri Filho AAD. Realist review as a methodology for using evidence in health policies: an integrative review. Rev Esc Enferm USP. [Internet]. 2019 [cited Sep 25, 2019];53:1-12. Available from: http://www.scielo.br/scielo.php?script=sci_abstract&pid=S0080-62342019000100803&lng=en&nrm=iso
  » http://www.scielo.br/scielo.php?script=sci_abstract&pid=S0080-62342019000100803&lng=en&nrm=iso
• ⁸
  Marchal B, van Belle S, van Olmen J, Hoeree T. Is realist evaluation keeping its promise? A review of published empirical studies in the field of health system research. Evaluation. 2012 Apr;18(2):102-212. doi: 10.1177/1356389012442444
  » https://doi.org/10.1177/1356389012442444
• ⁹
  Whittemore R, Knafl K. The integrative review: updated methodology. J Adv Nurs. 2005 Nov 02;52(5):546-53. doi: 10.1111/j.1365-2648.2005.03621.x
  » https://doi.org/10.1111/j.1365-2648.2005.03621.x
• ¹⁰
  Soares CB, Hoga LAK, Peduzzi M, Sangaleti C, Yonekura T, Silva DRAD. Integrative review: concepts and methods used in nursing. Rev Esc Enferm USP. 2014 Jan 15;48(2):335-45. doi: 10.1590/S0080-623420140000200020
  » https://doi.org/10.1590/S0080-623420140000200020
• ¹¹
  Soares CB, Campos CMS, Yonekura T. Marxism as a theoretical and methodological framework in collective health: implications for systematic review and synthesis of evidence. Rev Esc Enferm USP. 2013 Sep 6;47(6):1403-9. doi: 10.1590/S0080-623420130000600022
  » https://doi.org/10.1590/S0080-623420130000600022
• ¹²
  Moher D1, Liberati A, Tetzlaff J, Altman DG, PRISMA Group. Preferred reporting items for systematic reviews and meta-analyses: the PRISMA statement. PLoS Med. 2009 Jul 21;6(7):e1000097. doi: 10.1371/journal.pmed.1000097
  » https://doi.org/10.1371/journal.pmed.1000097
• ¹³
  Henry GT, Rog DJ. A realist theory and analysis of utilization. In: Henry GT, Julnes G, Mark MM, editors. Realist evaluation: an emerging theory in support of practice: new directions for evaluation. San Francisco: New Directions for Evaluation; 1998. p. 3-32.
• ¹⁴
  Mark MM, Henry GT, Julnes G. A realist theory of evaluation practice. In: Henry GT, Julnes G, Mark MM, editors. Realist evaluation: an emerging theory in support of practice. San Francisco: New Directions for Program Evaluation; 1998. p. 3-32.
• ¹⁵
  Tilley N. Realistic evaluation: an overview. In: Founding Conference of the Danish Society; 2000 Sep. [Internet]. Nottingham: Notthingham Trent University; 2000. Available from: http://healthimpactassessment.pbworks.com/f/Realistic+evaluation+an+overview+-+UoNT+England+-+2000.pdf
  » http://healthimpactassessment.pbworks.com/f/Realistic+evaluation+an+overview+-+UoNT+England+-+2000.pdf
• ¹⁶
  Kazi MAF, Rostila I. The practice of realist evaluation in two countries. [nternet]. Huddersfield: University of Huddersfield; 2002 [cited Sep 25, 2019]. Available from: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.510.423&rep=rep1&type=pdf
  » http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.510.423&rep=rep1&type=pdf
• ¹⁷
  Pawson R, Tilley N. Realist evaluation. [Internet]. 2004 [cited Dec 3, 2018]. Available from: http://www.communitymatters.com.au/RE_chapter.pdf
  » http://www.communitymatters.com.au/RE_chapter.pdf
• ¹⁸
  Wilson V, McCormack B. Critical realism as emancipatory action: the case for realistic evaluation in practice development. Nurs Philos. 2006 Jan 12;7(1):45-57. doi: 10.1111/j.1466-769X.2006.00248.x
  » https://doi.org/10.1111/j.1466-769X.2006.00248.x
• ¹⁹
  Westhorp G. Development of realist evaluation models and methods for use in small-scale community based settings. [thesis]. Nottingham: Nottingham Trent University; 2008.
• ²⁰
  Keller C, Gäre K, Edenius M, Lindblad S. Designing for complex innovations in health care: design theory and realist evaluation combined. In: Proceedings of the 4th International Conference on Design Science Research in Information Systems and Technology; 2009 May 7-8; Philadelphia, Pennsylvania. New York: Association for Computing Machinery; 2009. doi: 10.1145/1555619.1555623
  » https://doi.org/10.1145/1555619.1555623
• ²¹
  Kontos PC, Poland BD. Mapping new theoretical and methodological terrain for knowledge translation: contributions from critical realism and the arts. Implement Sci. [Internet]. 2009 Jan 5 [cited Dec 3, 2018];4:1. Available from: http://www.implementationscience.com/content/4/1/1
  » http://www.implementationscience.com/content/4/1/1
• ²²
  Coryn CLS, Noakes LA, Westine CD. A systematic review of theory-driven evaluation practice from 1990 to 2009. Am J Eval. 2010 Nov 12;32(2):199-226. doi: 10.1177/1098214010389321
  » https://doi.org/10.1177/1098214010389321
• ²³
  Westhorp G, Prins E, Kusters CSL, Hultink M, Guijt IM, Brouwers JHAM. Realist Evaluation: an overview. [Internet]. Wageningen: Wageningen UR Centre for Development Innovation; 2011 [cited Dec 3, 2018]. Available from: http://library.wur.nl/WebQuery/wurpubs/fulltext/173918
  » http://library.wur.nl/WebQuery/wurpubs/fulltext/173918
• ²⁴
  Pawson R, Manzano-Santaella A. A realist diagnostic workshop. Evaluation. 2012 Apr 22;18(2):176-91. doi: 10.1177/1356389012440912
  » https://doi.org/10.1177/1356389012440912
• ²⁵
  Luskin RJ, Ho T. Comparing the intended consequences of three theories of evaluation. Eval Program Plann. 2013 Jun;38:61-6. doi:10.1016/j.evalprogplan.2012.03.015
  » https://doi.org/10.1016/j.evalprogplan.2012.03.015
• ²⁶
  ouza DE. Elaborating the Context-Mechanism-Outcome configuration (CMOc) in realist evaluation: a critical realist perspective. Evaluation. 2013 Apr 12;19(2):141-54. doi: 10.1177/1356389013485194
  » https://doi.org/10.1177/1356389013485194
• ²⁷
  Manzano A. The craft of interviewing in realist evaluation. Evaluation. 2016 Apr 5;22(3):342-60. doi: 10.1177/1356389016638615
  » https://doi.org/10.1177/1356389016638615
• ²⁸
  Wong G, Westhorp G, Manzano A, Greenhalgh J, Jagosh J, Greenhalgh T. RAMESES II reporting standards for realist evaluations. BMC Med. [Internet]. 2016 Jun 24 [cited Dec 03, 2018];14(1):96. Available from: https://bmcmedicine.biomedcentral.com/articles/10.1186/s12916-016-0643-1
  » https://bmcmedicine.biomedcentral.com/articles/10.1186/s12916-016-0643-1
• ²⁹
  Wong G, Westhorp G, Greenhalgh J, Manzano A, Jagosh J, Greenhalgh T. Quality and reporting standards, resources, training materials and information for realist evaluation: the RAMESES II project. [Internet]. Southampton: NIHR Journals Library; 2017 [cited Dec 03, 2018]. Available from: https://www.ncbi.nlm.nih.gov/books/NBK459059/pdf/Bookshelf_NBK459059.pdf
• ³⁰
  Wong G. Getting to grips with context and complexity - the case for realist approaches. Gac Sanit. 2018 Mar/Apr;32(2):109-10. doi: 10.1016/j.gaceta.2017.05.010
  » https://doi.org/10.1016/j.gaceta.2017.05.010
• ³¹
  Pontes RN. A Propósito da Categoria de Mediação. In: Serviço Social e Sociedade. São Paulo: Cortez; 1990. p. 61-74.
• ³²
  Martinelli ML. Notas sobre mediações: alguns elementos para sistematização da reflexão sobre o tema. Serv Soc Soc. 1993 Dez; (43):136-41.
• ³³
  Roberts JM. Marxism and Critical Realism: The Same, Similar, or Just Plain Different? Cap Cl. 2012;23(2): 21-49. doi:10.1177/030981689906800104
  » https://doi.org/10.1177/030981689906800104
• ³⁴
  Roberts JM. Critical Realism, Dialectics, and Qualitative Research Methods. J Theory Soc Behav. 2014;44(1):1-23. doi: 10.1111/jtsb.12056
  » https://doi.org/10.1111/jtsb.12056

Editado por

Editora Asociada: Regina Aparecida Garcia de Lima

Fechas de Publicación

• Publicación en esta colección
  19 Oct 2020
• Fecha del número
  2020

Histórico

• Recibido
  25 Set 2019
• Acepto
  31 Mayo 2020