La evaluación-sistematización: una propuesta metodológica para la evaluación en promoción de la salud. Un estudio de caso en Cali, Colombia

The evaluation-systematization: a methodological proposal for the evaluation of the Health Promotion Interventions. A case study in Cali, Colombia

ARTIGO ARTICLE

La evaluación-sistematización: una propuesta metodológica para la evaluación en promoción de la salud. Un estudio de caso en Cali, Colombia

The evaluation-systematization: a methodological proposal for the evaluation of the Health Promotion Interventions. A case study in Cali, Colombia

Ligia de Salazar^I; Constanza Díaz Grajales^II

^ICentro para el Desarrollo y Evaluación de Políticas y Tecnología en Salud Pública, CEDETES. Escuela de Salud Pública, Facultad de Salud, Universidad del Valle. Cali, Colombia. Calle 4B no 36 -00, San Fernando, Piso 1 A.A., 20637, Cali, Colombia. [e-mail] , [e-mail]

^IIProfesional Centro para el Desarrollo y Evaluación de Políticas y Tecnología en Salud Pública, CEDETES. Universidad del Valle. Cali, Colombia

RESUMEN

Un desafío en promoción de la salud es desarrollar métodos de evaluación que valoren procesos y resultados en su dimensión política, social y económica y en su contribución a la calidad de vida de las poblaciones, más allá de resultados numéricos. Este estudio presenta una propuesta metodológica de evaluación en promoción de la salud, aplicada a la estrategia Municipios Saludables, basada en la articulación evaluación-sistematización. La propuesta se diseñó y validó mediante su aplicación en el programa de Promoción de la Salud "Comuna Promotora de Salud", realizado en Cali, con el apoyo de la Fundación Kellogg. La evaluación valoró la intervención y los resultados intermedios con relación a la aproximación a objetivos y metas. La sistematización facilitó la relación entre procesos y resultados con su contexto y motivó la participación. Se presenta la metodología, resultados intermedios, debates e hipótesis de la aplicación del modelo propuesto.

Palabras claves: Evaluación en promoción de la salud, Municipios saludables, Capacidad comunitaria, Empoderamiento

ABSTRACT

One of the big challenges in Health Promotion today is to develop evaluation methodologies that value processes and results, in its political, social and economic dimension and in its contribution to the quality of the populations' life, beyond numeric results. This study presents a methodological proposal which articulate two processes, evaluation and systematization of health promotion interventions. The evaluation methodology was applied to a Healthy Municipalities strategy carried out in Cali, with the support of the W K Kellogg Foundation. Both the systematization and the evaluation presented indicators of success at the same time that intermediate results regarding capacity building to create healthy scenarios and changes in conditions affecting health. The main strengths and limitations of the strategy are highlighted at the same time that lessons learned, new hypothesis and debates around key aspects for the implementation of health promotion strategy.

Key words: Evaluation in Health Promotion, Healthy municipalities, Capacity building, Empowerment

Introducción

Llevar a la práctica la concepción teórica de promoción de la salud es en sí misma un desafío; pero, hablar de su evaluación es además un imperativo ético que se debe afrontar. La actividad evaluativa en promoción de la salud se ha convertido en un desafío metodológico y político, que demanda la aplicación de métodos apropiados para identificar, entender y valorar procesos y resultados de las intervenciones, en su dimensión política, social y económica, y en su contribución a la equidad y calidad de vida de las poblaciones (McDonald, Veen y Tones, 1996; Speller, Learmonth y Harrison, 1997; WHO, 2001; De Salazar, 2002).

El debate internacional sobre evaluación de programas e intervenciones en promoción de la salud gira alrededor de la construcción de evidencias. Mientras algunos consideran que el éxito de los programas de promoción de la salud depende de su habilidad para demostrar científicamente su efectividad, otros consideran que hay realidades que no son demostrables científicamente y responden más a un sistema de valores (McQueen, 2000; McDonald, Veen y Tones, 1996). Lo que no ha sido cuestionado es la necesidad de justificar las políticas e intervenciones en promoción de la salud, al igual que demostrar sus beneficios tangibles.

Los resultados de una revisión de la literatura sobre evidencias de efectividad en promoción de la salud en América Latina (De Salazar, Vélez y Ortiz; 2003), realizada en el marco de un proyecto promovido por la Unión Internacional de Promoción de la Salud y Educación para la Salud (UIPES), mostraron que la evaluación en nuestros países se ha caracterizado por la debilidad y poca relevancia de los diseños en relación con la teoría de promoción de la salud y, como consecuencia de ello, existe pobre validez y confiabilidad de la información.

De otro lado, la evaluación en promoción de la salud ha respondido más a intereses académicos que a una necesidad sentida por aquellos responsables de tomar las decisiones, gerenciar los programas y asignar recursos. Se requiere, por tanto, un replanteamiento en los sujetos y objetos de evaluación, del alcance de la misma, de los métodos para seleccionar las preguntas, de los indicadores para establecer valor al objeto evaluado, de la definición de criterios de validez y confiabilidad de la información, de las relaciones entre evaluadores y tomadores de decisión y de los medios para difundir y utilizar los resultados (De Salazar, 2002).

Con estas consideraciones y con el objetivo de introducir nuevos aportes al debate, el Centro para el Desarrollo y Evaluación de Políticas y Tecnología en Salud Pública (CEDETES), de la Universidad del Valle, en Cali (Colombia), diseñó y aplicó una propuesta metodológica de evaluación de iniciativas de promoción de la salud, aplicada a la estrategia de Municipios y Comunidades Saludables.

Esta propuesta se orienta a establecer relaciones entre las intervenciones alrededor de la estrategia de Municipios y Comunidades Saludables, sus resultados y efectos, explicadas mas allá de las asociaciones estadísticas, por asociaciones producto de marcos lógicos construidos socialmente a partir de la creación, validación y prueba de un modelo de evaluación que articula la evaluación participativa de proceso y la sistematización de la experiencia.

El modelo fue desarrollado en el marco del programa piloto de promoción de la salud "Comuna Promotora de Salud", diseñado e implementado desde 1998 en el municipio de Santiago de Cali, Colombia, como producto de un proyecto internacional financiado por la Fundación W. K. Kellogg, que promovió la construcción de alianzas estratégicas entre la comunidad, el gobierno y la universidad para el ejercicio de una nueva práctica de la salud pública, enfocada a la creación de municipios y comunidades saludables. La Universidad del Valle, a través del CEDETES, coordinó este proyecto durante cuatro años, tiempo en el cual consolidó este modelo piloto.

Este programa focalizó en la creación de un territorio modelo, en este caso una comuna en una área de la ciudad, en donde se construyeran y validarán intervenciones para construir escenarios promotores de salud. Fue así como "Comuna Promotora de Salud" se constituyó en una iniciativa de promoción de la salud, basada en la construcción de alianzas estratégicas entre universidad, gobierno y comunidades, que propiciaron el empoderamiento de personas e instituciones, e incrementaron su capacidad para controlar los determinantes de la salud y calidad de vida.

El programa respondió a las políticas colombianas de promoción de la salud y a la estrategia local y nacional de municípios saludables, buscando como propósito integrar el asunto de la calidad de vida y el bienestar de las comunidades, a la agenda pública y política de gobiernos locales, impactar en la formulación de políticas públicas saludables y construir capacidad comunitaria para el control de su propio bienestar, orientando los esfuerzos a la búsqueda de la paz.

Cuatro años después de su implementación, se hizo necesario conocer su grado de avance, de interpretar el proceso político para llevarlo a la práctica, el sentido y alcance de la alianza creada entre los tres socios – gobierno, comunidad y universidad –, así como el grado de éxito de las estrategias y resultados intermedios, preguntas a las cuales responde el modelo de evaluación propuesto.

El propósito del modelo evaluativo propuesto es contribuir a la construcción de municípios y comunidades saludables, mediante la generación de información que habilite a alcaldes y a todos aquellos responsables por la salud, la calidad de vida y el bienestar en los territorios, para tomar decisiones más equitativas, económicamente viables y socialmente coherentes con las necesidades de la población.

Métodos

Se diseñó y validó una metodología de evaluación centrada en la articulación de proceso-sistematización, para la estrategia Municipios y Comunidades Saludables, a través de la evaluación de la iniciativa "Comuna Promotora de Salud", que diera cuenta del proceso y los resultados intermedios de este programa.

Mediante la evaluación de proceso se midió y valoró las intervenciones y los resultados intermedios con relación a la aproximación a objetivos y metas. Con ella se respondió a preguntas desde la mirada de los promotores y usuarios del programa, teniendo como referente la teoría del programa, sus objetivos, estrategias, actividades, resultados a corto y mediano plazo y los factores determinantes del desempeño de las intervenciones.

Con la sistematización de experiencias se facilitó la relación entre los procesos y resultados intermedios con su contexto, y se motivó la participación en la evaluación por parte de todos los actores del proceso. Se interpretaron las realidades, identificando y relacionando actores, significados, valores, expectativas, lógicas, y todo aquello que sirviera como insumo para pensar, repensar, reorientar la intervención y suministrar información que diera cuenta de su efectividad.

Las categorías de análisis e indicadores de la evaluación de proceso incluyeron el grado de conciencia y compromiso del público y los políticos con la promoción de la salud y específicamente con la estrategia de Municipios y Comunidades Saludables; el desempeño de los gestores de la iniciativa en el proceso político; la capacidad de los actores para impulsar e implementar acciones dentro de los componentes esenciales de la anterior estrategia; la infraestructura local para dar sostenibilidad a la estrategia; y los resultados en relación con los cambios esperados en los componentes de promoción de la salud, especialmente en la construcción de capacidad comunitaria.

Los resultados intermedios de la evaluación identificaron los elementos centrales del proceso y visualizaron los cambios producidos en las comunidades y en las instituciones socias, medidos por cambios políticos, poblacionales, ambientales, sociales y sus potenciales efectos en la equidad y salud de la población. Los componentes en los que intervino el programa y sobre los cuales se concentraron las categorías de análisis de resultados intermedios fueron las alianzas estratégicas, las políticas públicas, la participación social, los ambientes promotores de salud y la sostenibilidad para el desarrollo local.

La sistematización de la experiencia

Através de la sistematización se relacionaron los procesos inmediatos con su contexto, y se confrontó el quehacer práctico con los supuestos teóricos, para obtener explicaciones sobre el cambio en los procesos.

Para orientar la sistematización se respondió a preguntas como: ¿qué sistematizar?, ¿qué métodos utilizar?, ¿cuáles dimensiones de análisis deben ser consideradas?, ¿cómo realizarla?, ¿con qué periodicidad?, ¿quién(es)?, ¿cómo se disemina y utiliza la información para reflexionar sobre el programa?, ¿en qué se diferencia la sistematización y la evaluación de proceso?, ¿cómo se articulan?.

La sistematización se realizó concomitantemente con la evaluación de proceso. Se definieron como momentos claves de la sistematización la construcción colectiva del problema, los intercambios entre actores para el diseño del programa y la implementación del mismo.

El proceso político de construcción de comunidades saludables y el empoderamiento comunitario fueron definidos como ejes centrales de la sistematización. Para esto se tuvo en cuenta la relevancia de lo político en la promoción de la salud, como componente que afecta significativamente los cambios en cuanto a calidad de vida en las comunidades, propiciados por la movilización y participación social y el avance en las políticas públicas.

Cuadros para consignar información sobre los ejes centrales del programa, desde la perspectiva de cada participante, fueron elaborados para identificar qué sistematizar. Se revisaron informes de evaluación, se conversó con diferentes participantes y se observaron diferentes encuentros con la comunidad.

Para facilitar el análisis de los ejes centrales se plantearon preguntas como: ¿cómo han actuado los representantes comunitarios en la política, en las políticas y como políticos?; ¿se han cualificado sus intervenciones como parte de un accionar político?; ¿cuáles son las creencias y comportamientos generalizados, que dejan entrever la cultura en lo político del proceso de construcción del programa?; ¿qué papel han jugado las alianzas en el empoderamiento de la comunidad?.

Talleres, grupos focales y entrevistas, así como cuadros, guías, preguntas y gráficos fueron empleados para "reconstruir" la historia del programa evaluado y organizar la información. El análisis y la interpretación de la información, fueron procesos permanentes durante la sistematización.

La sistematización arrojó información sobre aspectos relacionados con sus ejes centrales, entre ella, información sobre la creación y consolidación de alianzas para el desarrollo local – empoderamiento y sostenibilidad –, el fortalecimiento comunitario para el desarrollo local – empoderamiento de la comunidad y Gestión local –, el fortalecimiento de la institucionalidad y la gestión pública – compromiso del gobierno para el empoderamiento de las comunidades –, y el fortalecimiento en aspectos académicos de la universidad.

Desarrollo de la evaluación de proceso

Con la evaluación de proceso se identificó los indicadores que dan cuenta del desempeño del programa y de los resultados intermedios, comparando con lo esperado.

Se desarrolló una evaluación de corte cualitativo transversal, en fases secuenciales pero relacionadas: 1) exploración sobre utilidad y viabilidad de la evaluación, 2) identificación participativa de preguntas, 3) recolección y procesamiento de la información, 4) análisis y reflexión, 5) comunicación y diseminación de resultados y 6) utilización de resultados.

La fase de utilidad y viabilidad tuvo como propósito definir el "qué" de la evaluación y explorar el uso potencial de sus resultados. Se realizaron reuniones para la reflexión y documentación de conceptos manejados por los participantes alrededor de la promoción de la salud. Se realizaron entrevistas semiestructuradas con informantes claves de academia, gobierno y comunidad para contestar preguntas relacionadas con el grado de conocimiento y aceptación del programa; los aspectos que querían conocer para evaluar el desempeño del programa, con relación al proceso y al avance; la solidez y la relevancia de la teoría que sustenta la intervención; y qué tanto se sentían identificados con el programa. Mediante la sistematización se reconstruyó la teoría del programa así como las hipótesis de trabajo.

Responder a la pregunta ¿cuándo podemos decir que en la comuna o territorio se ha mejorado la capacidad local para desarrollar procesos de construcción de territorio saludable? permitió establecer acuerdos sobre resultados esperados, propósitos y objetivos de la evaluación, al igual que los criterios de desempeño.

En la segunda fase se identificaron colectivamente las preguntas de evaluación, los indicadores, dimensiones, técnicas de recolección y fuentes de información; así como el diseño y prueba de instrumentos. Las primeras preguntas se formularon a partir de los resultados esperados, identificados por los participantes. Los resultados de las reuniones de discusión y consenso de la primera fase se reformularon en forma de preguntas.

En total, 151 preguntas para explorar el proceso, los resultados intermedios y el impacto del programa, fueron formuladas y categorizadas. El consenso, la relevancia, la factibilidad de investigarlas, la integralidad, y la coherencia y utilidad para la toma de decisiones, fueron los criterios para seleccionarlas. Finalmente se obtuvieron 27 preguntas – 12 de proceso y 15 de resultados intermedios –, categorizadas por tipo de participante – comunidad, gobierno o universidad–, y por componentes de análisis (Cuadro 1).

Se emplearon indicadores cualitativos para explorar percepciones, evolución de los procesos, naturaleza de los eventos o condiciones en las cuales éstos sucedieron y las razones que explican los hechos; e indicadores cuantitativos para determinar el tipo o cantidad de acciones y el tipo o cantidad de resultados. La pregunta y el tipo de indicador determinaron la técnica y las fuentes de obtención de la información. Se elaboró un inventario de fuentes para garantizar un acceso más fácil y rápido a la información. La sistematización facilitó la identificación de la mayoría de de las fuentes de información.

La información fue recolectada mediante entrevistas semiestructuradas, grupos focales y revisión documental, y mediante otras técnicas como las entrevistas informales y la observación directa. Se entrevistaron 31 informantes de la academia, el gobierno local y líderes comunitarios. Se realizaron cuatro tipos de grupos focales y se revisaron documentos que recogen la vida del programa, producto del proceso de sistematización y documentación del mismo, para verificar la información e identificar alusiones que sustentaran los hallazgos.

Las entrevistas y grupos focales fueron grabados y transcritos en archivos codificados y procesados en Ethnograph versión 5.07, de acuerdo con las dimensiones y categorías de análisis.

La fase de reflexión y análisis participativo se orientó a tres propósitos: comparar lo hecho y los resultados alcanzados con lo propuesto en el programa; comprender e interpretar los hallazgos; y tomar decisiones político-gerenciales para reorientar el programa.

Se tuvo en cuenta la teoría del programa, la cual relaciona el propósito y objetivo con la estrategia y las intervenciones; los niveles de intervención; los resultados esperados, tanto en personas, grupos e instituciones; y los indicadores de éxito. Se realizó análisis horizontal y vertical, respondiendo preguntas como ¿qué se pretendía hacer?, ¿qué se ha hecho? y ¿qué se ha logrado? (Cuadro 2).

Los resultados del análisis fueron presentados ante los participantes para su debate, a través de documento resumen, presentación magistral y póster por cada componente de análisis, para finalmente construir las conclusiones por consenso. El consenso fue establecido a partir de preguntas dirigidas a cada participante, explorando aspectos como: ¿Se reconoce el proceso – lo que se hizo? ¿Se reconocen los resultados expresados – lo que se logro?, ¿Se ha logrado lo que se propuso?, ¿El proceso ha facilitado el logro de lo propuesto? ¿El interés del socio que usted representa se ve reflejado en estos resultados? Se cuantificaron las respuestas positivas y negativas y se establecieron porcentajes. Cuando las respuestas negativas superaron el 30% se escucharon los argumentos en contra y se sometió de nuevo a consideración del auditorio la pregunta.

Un punto de convergencia entre los dos análisis – Evaluación y Sistematización – fue la actividad denominada "Repensar el Programa", la cual permitió reconstruir el proceso, para tener una imagen más completa de la realidad y tomar decisiones participativas para reorientar la experiencia.

La comunicación y difusión de la evaluación fueron consideradas un proceso transversal a la actividad evaluativa. Para desarrollar la estrategia de comunicación se identificaron y perfilaron los potenciales escenarios de comunicación – comunes, mediáticos, institucionales y organizacionales – y se establecieron las audiencias o grupos de interés, de acuerdo con los objetivos de la evaluación – políticos, científicos y comunitarios.

Los resultados de este estudio, aunque intermedios, fueron comunicados a los grupos de interés teniendo en cuenta sus necesidades y preferencias en cuanto a cómo obtener y usar información. Para los públicos políticos y autoridades gubernamentales se trabajó en estrategias como la abogacía y lobby con políticos del nivel local y sublocal, a través de reuniones y participación en el análisis de la información; la abogacía en medios de comunicación, dirigida a políticos de nivel local; y publicaciones no científicas para políticos de ambos niveles, como resúmenes ejecutivos que muestren las preguntas de la evaluación y enfaticen en las respuestas a esas preguntas.

Para públicos académicos se privilegió información que resaltara los diseños metodológicos al igual que los resultados. Se emplearon estrategias como producción de resúmenes de investigación, presentaciones orales y resúmenes ejecutivos. Estrategias lúdicas y de expresión autóctona para presentar los resultados fueron trabajadas también con las comunidades.

La fase de utilización de resultados se orientó al aprovechamiento de las estrategias de comunicación, la diseminación efectiva de la información y al logro de dinámicas participativas para la reflexión, buscando influir en la extensión y replicabilidad de la experiencia.

Como resultado de la utilización de la evaluación, el programa Comuna Promotora de Salud está siendo ajustado y los participantes motivados para el desarrollo de estrategias de sostenibilidad. Algunas de las actividades producto de esta fase han sido la reorientación de programas formativos para líderes comunitarios, funcionarios gubernamentales y estudiantes universitarios de posgrado en salud pública; abogacía desde la academia y la comunidad ante autoridades locales para el mejoramiento de planes y programas; e identificación de líneas y preguntas de investigación en torno a promoción de la salud, específicamente en el área de municipios y comunidades saludables.

Resultados

La aplicación del modelo Evaluación-Sistematización para iniciativas de promoción de la salud permitió obtener dos tipos de hallazgos. Los primeros, relacionados con los aspectos relativos a la orientación estratégica del programa y de la evaluación, y los segundos, relacionados con el proceso y los resultados intermedios del programa, para los cinco componentes de análisis estudiados.

Los resultados relacionados con la orientación estratégica del programa mostraron que la intervención está acercándose al objetivo de crear capacidad local y empoderamiento de individuos, grupos e instituciones para ejercer control sobre los determinantes de la salud y calidad de vida.

Se encontró congruencia entre los componentes del marco teórico del programa y de la promoción de la salud y las percepciones de los socios sobre su realidad y su forma de intervenirla. Los socios se identificaron con el ideario del programa y propusieron niveles de resultados para influir en los problemas de su territorio y utilizar sus potencialidades.

Se trabajó la hipótesis de que el proceso de planificación local y los Planes de Desarrollo de los territorios son herramientas claves para operar el programa de Municipios y Comunidades Saludables, por su poder para convocar, orientar, unir voluntades y expectativas alrededor de la salud y el bienestar de los habitantes. Sin embargo, después de su formulación, los Planes perdieron credibilidad por la dificultad para articularse con las prioridades del gobierno. Dado que los Planes continúan siendo el eje orientador y el medio de financiación de las actividades y proyectos en los territorios, se debe trabajar más en equilibrar relaciones de poder entre las partes.

Producto del análisis de esta información ha surgido una nueva hipótesis de trabajo para el programa evaluado: una Red de Soporte Social con visión política, articulada e integrada frente al desarrollo local, es la estructura básica que permitirá el debate permanente, la construcción de opinión pública y la búsqueda de soluciones a los problemas prioritarios, utilizando su poder y sus capacidades para gestionar los recursos necesarios en los escenarios posibles.

Los resultados de la evaluación relacionados con el proceso y resultados intermedios en el componente de alianzas estratégicas, mostraron que la alianza entre el gobierno, la comunidad y la universidad se hace visible a través del proceso político de consolidación de las relaciones de confianza, de los acuerdos negociados, de la toma de decisiones y el accionar conjunto para cumplir con las agendas acordadas. Igualmente, se hicieron explícitas funciones de los participantes, la adherencia de nuevos interesados y la creación de una cultura de trabajo conjunto entre la Comunidad, el Gobierno y la Academia en el territorio de acción. Sin embargo, también se encontró que en el territorio sublocal – comuna – la alianza tiene limitaciones para incidir sobre la toma de decisiones; por lo tanto, el programa debe fortalecer las estrategias para afianzar las relaciones en la estructura central de gobierno.

En el componente de políticas públicas, el programa Comuna Promotora de Salud se percibe como una oportunidad política para que el municipio aborde la consolidación de la iniciativa "Cali Municipio Saludable", apoyado en la evidencia de experiencias exitosas. Se percibió como una forma de actuación entre el gobierno y la sociedad civil, posible de fortalecer en la medida en que se superen las limitaciones por la reestructuración del municipio y se reconsideren los procesos centralizados de toma de decisiones.

La evaluación hizo explícita entre los socios la naturaleza política del programa y de la Promoción de la Salud. El programa se constituye en una plataforma de experimentación y desarrollo de intervenciones políticas.

En cuanto a participación social se encontró que se han creado condiciones básicas para desarrollar niveles de empoderamiento en la comunidad. Se encontraron esfuerzos exitosos de origen comunitario para impactar instancias gubernamentales, en el ejercicio de los derechos y deberes en salud, así como algunas iniciativas para hacer seguimiento a acciones de gestión pública, ejecución de recursos, legislación, cumplimiento de normatividad y reglamentos de calidad en instituciones de salud, entre otras. La conformación de la Red Social, espacio en el que confluyen voluntariamente organizaciones comunitarias, movilizó hacia nuevas estrategias de participación, fortaleciendo además la vinculación de las instituciones gubernamentales en estas iniciativas comunitarias.

El componente de construcción de ambientes promotores de salud mostró que se ha logrado definir como punto de partida los escenarios de la planificación local, mejorando el acceso a la información, incidiendo en el ámbito escolar como escenario promotor de la salud y potenciando los esfuerzos intersectoriales con la participación de la comunidad. El acceso a información y el mejoramiento de la comunicación y la construcción de opinión pública, como instrumentos para trabajar por un ambiente promotor de la salud, se hallaron permanentemente atendidos por el programa.

Se ha enriquecido la estrategia de Escuela Saludable, siendo desarrollada en alianza entre el sector educativo y el sector salud con el apoyo de la academia y la participación de la comunidad. Sin embargo, la intersectorialidad, como estrategia vital en la construcción de ambientes promotores de salud, se halló como uno de los aspectos críticos del programa.

La sostenibilidad del programa se vio influenciada por la consolidación de procesos y tecnologías; el fortalecimiento de estructuras internas para que cada participante pueda continuar; la creación de opinión pública y abogacía orientada a la diseminación de resultados, como soporte para la negociación política; y la consolidación política de los cambios, mediante negociación para la adopción y extensión del programa.

Aunque las capacidades, especialmente de la comunidad, se han incrementado por efecto de las acciones del programa, se requiere poner en funcionamiento estrategias claramente dirigidas a ganar sostenibilidad para el programa, las cuales deben viabilizarse en los niveles políticos, gubernamentales y de organización comunitaria.

Discusión

Este estudio provee una metodología probada para la evaluación de iniciativas de promoción de la salud, específicamente aplicada a la estrategia de Municipios Saludables, y se constituye en una respuesta a una necesidad y a un permanente desafío en este campo para los países de América Latina, como es la evaluación.

La propuesta metodológica intenta responder a los retos de la evaluación en promoción de la salud, y aunque no es una respuesta acabada, sí plantea algunas soluciones e identifica aspectos claves para continuar la construcción de alternativas metodológicas de evaluación, que involucren las expectativas de los planificadores, investigadores y beneficiarios potenciales de las evaluaciones.

El estudio ratificó que la evaluación de iniciativas en promoción de la salud y su estrategia Municipios y Comunidades Saludables es un proceso complejo, pero posible. La propuesta evaluativa de municipios y comunidades saludables incorpora premisas como la necesidad de partir de la realidad existente; de comprometerse con un proceso más que con un estado a alcanzar; de definir como objetivo la promoción de la salud en términos de crear capacidad para alcanzar la equidad y calidad de vida; de vincular la participación de la sociedad civil, el gobierno y otros actores del desarrollo.

Principios definidos por un grupo de trabajo liderado por la Organización Panamericana de la Salud (OPS) han definido como guías para el desarrollo de la evaluación de iniciativas en promoción de la salud, que sea empoderadora, participativa, holística, intersectorial, guiada por intereses hacia la equidad, sostenible y multiestratégica (WHO, 2001).

El estudio también demostró la naturaleza de la evaluación en promoción de la salud: se trata de un proceso técnico y social con fines políticos. La evaluación no puede ser considerada una forma de tomar decisiones sin involucrar la política, porque dentro de cualquier organización, las decisiones se hacen a través de organización y acomodación dentro de la política (Weiss, 1984). El reto está en reconciliar dos mundos que operan bajo dos paradigmas diferentes: el de los evaluadores y el de la política (Battista, 1989).

Si bien este tipo de evaluación compromete a varios actores y se apoya en instrumentos técnicos y científicos, su propósito es político, al pretender incentivar y orientar el cambio para favorecer a grandes grupos poblacionales. Por esto, el informe técnico es insuficiente; éste debe ir acompañado de estrategias de comunicación, difusión y abogacía para motivar al cambio, sensibilizar a nuevos actores, ganar nuevas adhesiones y apoyos.

Si se acepta la naturaleza cambiante de iniciativas en promoción de la salud, se debe aceptar que el diseño metodológico de su evaluación debe tomar en cuenta este cambio permanente y, más importante aún, explicitar las razones que indujeron a él. Nutbeam (2000) afirma que no es suficiente saber qué funciona en promoción de la salud, sino entender cómo y por qué ha funcionado. Esta actividad se logra si hay un proceso permanente de documentación y reflexión sobre la experiencia, o sea si existe un proceso de sistematización.

El modelo Evaluación-Sistematización propuesto se constituye en un proceso pedagógico y de intervención popular y participativo. Mientras la evaluación se orienta a valorar lo hecho, respondiendo al qué y cuánto, la sistematización se orienta a comprender e interpretar la experiencia, para entender el por qué. Si bien las preguntas son diferentes en la evaluación de proceso y en la sistematización, ambas se complementan y articulan alrededor de un propósito común: suministrar información relevante, confiable y oportuna para tomar decisiones informadas.

Los resultados de la evaluación de proceso se constituyen en insumos importantes para reorientar la intervención. Pawson y Tilley (1997) afirman que la evaluación no debe responder simplemente qué funciona, sino para quién y en qué circunstancias. La pregunta es si estos resultados se constituyen en evidencias de efectividad para quienes deben tomar la decisión de consolidar, extender o replicar el programa. La respuesta es que a pesar de su importancia, los resultados son útiles a nivel interno del programa para quienes toman decisiones sobre su implementación, pero aún son insuficientes como insumo para apoyar decisiones en escenarios político-administrativos sobre la extensión o continuación del programa, o si se debe invertir más en el mismo.

La sistematización dio cuenta del proceso político del programa a partir del empoderamiento de los participantes y en términos de la comprensión de los factores que posibilitaron o dificultaron el proceso, los aprendizajes logrados, la asimilación de la experiencia y la capacidad de reconstruirla en forma creativa y crítica. Rodríguez y colaboradores (1999) definen la sistematización como un esfuerzo intencional para comprender la práctica y transformarla; es decir, elaborar teóricamente las vivencias para re-elaborar y revolucionar las nuevas vivencias. Quiroz y Morgan, (1987), Potvin, Haddad y Frohlich (2001) señalan que los programas de promoción de la salud constituyen una organización social, y como tal, deben estar caracterizados como sistemas vivientes.

Varias son las razones para articular la sistematización a la evaluación del programa. Entre ellas la necesidad de aumentar la relevancia y confiabilidad de la información, al disponer de información relacionada con los ejes orientadores identificados desde el análisis del problema y recogida en diferentes momentos del proceso; aumentar la probabilidad de pertinencia y uso de la información, al obtener datos que tengan sentido y utilidad para los actores del programa; fortalecer la participación activa de los actores durante todo el proceso; aumentar la viabilidad de realizar evaluación de proceso, al disminuir tiempo y recursos económicos por el uso de información recolectada en la cotidianidad del programa; aumentar validez y relevancia social y política de la evaluación, utilizando una metodología que recoja y utilice diferentes indicadores y enfoques para reconstruir la historia del programa-intervención, sus resultados y potencial interpretación de los hallazgos; y contribuir con la identificación de evidencias sobre efectividad de los programas-intervenciones.

En iniciativas que por naturaleza son cambiantes, se debe permanentemente reconstruir la base teórica y práctica de la intervención, a fin de usarla como referente de comparación entre lo esperado, lo realizado y resultados. La sistematización da cuenta de los cambios y las razones que lo impulsan, contribuyendo de esta forma con la evaluación de proceso.

Al contrastar las definiciones de evaluación de proceso y sistematización se encuentran grandes similitudes y diferencias, siendo la más importante diferencia el enfoque metodológico para develar e interpretar la realidad. La primera se fundamenta, enfatiza y utiliza el método deductivo; y la segunda, enfatiza el método inductivo.

Uno de los retos que se enfrentan al seleccionar este tipo de diseño para evaluar iniciativas de promoción de la salud es la confrontación entre validez interna y externa del estudio, en el marco de los principios que fundamentan la operación de la promoción. Existe contradicción entre los diseños cuantitativos, tradicionalmente usados para medir eficacia y efectividad de intervenciones y servicios de salud, y las premisas que deben orientar la evaluación de intervenciones en promoción de la salud. Se ha cuestionado la relevancia, complejidad, utilidad y viabilidad de aplicar diseños evaluativos de investigación etiológica considerados óptimos por su capacidad para controlar aspectos que afectan la precisión y validez del estudio, como es el caso de los estudios experimentales (WHO, 2001; Susser, 1994 citado por Borja-Aburto, 2000).

Autores como Fahey, Griffiths y Peters (1995) resaltan la poca aplicabilidad que los métodos epidemiológicos tradicionales tienen en este tipo de estudios, sobre todo si se acepta que los indicadores de impacto en salud y calidad de vida no son los únicos medios de evaluar estas intervenciones. McDonald, Veen y Tones (1996) abogan por el uso de métodos de triangulación fundamentados en una teoría que le dé sentido a los resultados, producto de metodologías pluralísticas.

Los dos enfoques del modelo Evaluación-Sistematización suministran información que por haber sido obtenida desde diferentes lógicas y métodos se constituye un una excelente oportunidad para triangular información, en busca de aumentar la validez que puedan dar métodos individuales.

Se requiere trabajar en estrategias para "gerenciar los resultados de la evaluación", así como validar la metodología en otros escenarios y, como producto de ello, complementarla, ajustarla o crear nuevos enfoques metodológicos para situaciones específicas. La creación de infraestructuras locales que hagan viable el desarrollo de la evaluación, es también parte de la agenda. Métodos de evaluación como el aquí propuesto, pueden ser complementados con metodologías flexibles de corte participativo, como la desarrollada actualmente por la OPS (OPS, 2003)

Agradecimientos

Esta experiencia se realizó gracias a la participación de líderes y organizaciones comunitarias de la comuna 7 de Cali (Colombia), funcionarios del gobierno municipal y representantes de la Universidad del Valle, a través del CEDETES, quienes mediante dinámicas de análisis y reflexión de los resultados, suministraron valiosos aportes para ajustar la metodología. La Fundación W. K. Kellogg, a través del Proyecto Nuevas Prácticas en Salud Pública y Municipio Saludable, brindó el apoyo financiero para la implementación de la propuesta.

Contribución de las autoras

Ligia de Salazar. Directora del Programa Comuna Promotora de Salud y de su evaluación. Diseñó la metodología de articulación entre la evaluación de proceso y la sistematización de experiencias. Autora de la concepción general del artículo, responsable de la revisión crítica de los borradores y aprobación de la versión final. Contribuyó en la redacción de la introducción y la discusión. Constanza Díaz Grajales. Coordinadora del Programa Comuna Promotora de Salud y de su evaluación. Colaboró en la redacción y revisión crítica de los borradores. Contribuyó en la redacción de la metodología y los resultados.

Referências bibliográficas

Battista R et al. 1989. An integrative framework for health related research. Journal of Clinical Epidemiology 42:1.155-1.160.

Borja-Aburto VH 2000. Estudios ecológicos. Salud Pública de México 42(6):533-538 noviembre-diciembre 2000.

De Salazar L 2002. Municipios y comunidades saludables. El reto de la evaluación. Centro para el Desarrollo y Evaluación de Políticas y Tecnología en Salud Pública, CEDETES. Universidad del Valle, Santiago de Cali.

De Salazar L, Vélez JA & Ortiz Y 2003. Revisión de literatura de evidencias de efectividad en promoción de la salud en América Latina. Proyecto Regional Latinoamericano de Evidencias de Efectividad en Promoción de la Salud. Unión Internacional de Promoción de la Salud y Educación para la Salud, UIPES, Santiago de Cali.

Fahey T, Griffiths S & Peters TJ 1995. Evidence based purchasing: understanding results of clinical trials and systematic reviews. British Medical Journal 311:1.056-1.959 (21 october).

McDonald G, Veen C & Tones K 1996. Evidence for success in health promotion: suggestions for improvement. Health Education Research 11(3):367-376.

McQueen D 2000. V Conferencia Mundial de Promoción de la Salud. Informe Técnico 1. Bases Científicas para la Promoción de la Salud. Ciudad de México, 5 al 9 de junio de 2000.

Nutbeam D 2000. Health promotion effectiveness. The questions to be answered. In The Evidence of Health Promotion Effectiveness. Shaping Public Health in a New Europe. A Report for the European Commission by the International Union for Health Promotion and Education.

Nutbeam et al. 1990. Evaluation in health education: a review of progress, possibilities and problems. Journal of Epidemiology and Community Health 44:83-89.

[OPS] Organización Panamericana de la Salud 2003. Healthy municipalities evaluation group. Evaluation of healthy municipalities: a practical toolkit. Draft Version. In publication. Washington, 2003

Pawson R & Tilley N 1997. Realistic evaluation. Sage Publications, Londres.

Potvin L, Haddad S & Frohlich K 2001. Beyond process and outcome evaluation: a comprehensive approach for evaluating health promotion programmes, pp. 45-62. In Rootman I et al. (eds.). Evaluation in Health Promotion: Principles and Perspectives. WHO Regional Publications European Series, No 92. Copenhague.

Quiroz T & Morgan M 1987. La sistematización y el trabajo social: dos experiencias con organizaciones populares femeninas y una reflexión metodológica. CELATS, Lima.

Rodríguez R et al. 1999. Compartiendo Secretos-Sistematizando desde la Equidad. Master Lithos s.a. San José. Costa Rica. 1999 .p. 27. <www.poam.org/articulos-estudios/equidad/modulo8.shtml>

Speller V, Learmonth A y Harrison D 1997. The search for evidence of effective health promotion. British Medical Journal 315:361-363.

Susser M 1994. The logic in ecological. The logic of análisis. American Journal of Public Health 84(5):825-829. Citado por Borja-Aburto, V H 2000. Estudios ecológicos. Salud Pública de México 42(6) noviembre-diciembre 2000.

Weiss C 1984. Evaluation research. Methods of assessing program effectiveness. Methods of Social Science Series. Prentice-Hall, Inc. Englewood Cliffs, N. J.

[WHO] World Health Organization 2001. Evaluation in health promotion. Principles and perspectives. Editado por: Irving Rootman et al. WHO Regional Publications, European Series, No 92.

Artigo apresentado em 26/4/2004

Aprovado em 20/5/2004

Versão final apresentada em 20/6/2004

Fechas de Publicación

• Publicación en esta colección
  05 Jun 2007
• Fecha del número
  Set 2004

Histórico

• Recibido
  26 Abr 2004
• Revisado
  20 Mayo 2004
• Acepto
  20 Jun 2004