SciELO - Scientific Electronic Library Online

 
vol.25 issue1Encouragement of culture: Brazilian experiences of public policies - interests in the area of Information ScienceOpen educational repository features for Brazilian sign language users author indexsubject indexarticles search
Home Pagealphabetic serial listing  

Services on Demand

Journal

Article

Indicators

Related links

Share


Transinformação

Print version ISSN 0103-3786

Transinformação vol.25 no.1 Campinas Jan./Apr. 2013

http://dx.doi.org/10.1590/S0103-37862013000100006 

a06v25n1

COMUNICAÇÃO COMMUNICATION

 

Un sistema de indicadores para el seguimiento y evaluación de la gestión sostenible del patrimonio cultural1

 

A system of indicators for monitoring and evaluating the sustainable management of cultural heritage

 

 

Vicente Coll-Serrano; Olga Blasco-Blasco; Salvador Carrasco-Arroyo; Luis Vila-Lladosa

Profesores Doctores, Universidad de Valencia, Departamento de Economía Aplicada, Métodos Cuantitativos para la Medición de la Cultura. Av. Dels Tarongers, s/n., 46022, Valencia, España. Correspondencia a nombre de/Correspondence to: V. Coll-Serrano. E-mail: <vicente.coll@uv.es>

 

 


RESUMEN

En este trabajo se describe el procedimiento general seguido en la construcción de un sistema de indicadores para la monitorización y evaluación de la Estrategia de Cultura y Desarrollo de la cooperación española. Tomando como marco de referencia la Gestión Sostenible del Patrimonio Cultural, en el estudio presentado se abordan cuestiones relativas al: 1) proceso de evaluación de un catálogo de indicadores por parte de un panel de especialistas por medio de la técnica Delphi, 2) la definición y cálculo de un índice de operatividad relativo, 3) el proceso de selección de indicadores y, por último, 4) de qué forma éstos fueron asignados para formar parte de la dimensión básica o de la dimensión estratégica en que se estructura el sistema.

Palabras-clave: Delphi. Estrategia de cultura y desarrollo. Patrimonio cultural. Política pública. Seguimiento y evaluación. Sistema de indicadores.


ABSTRACT

This paper describes the general procedure followed to build a system of indicators for monitoring and evaluating the Strategy for Culture and Development of Spanish Cooperation. Taking the Sustainable Management of Cultural Heritage as a reference, in this study an approach is made to questions relative to: 1) the process of evaluating a list of indicators by a panel of experts using the Delphi technique, 2) the definition and calculation of a relative operational index, 3) the process of indicator selection, and lastly, 4) how the selected indicators were assigned to form part of the basic or strategic dimension on which the system is structured.

Keywords: Delphi. Strategy for culture and development. Cultural heritage. Public policy. Monitoring and evaluation. System of indicators.


 

 

Introducción

La Cooperación Española tiene como finalidad la contribución al bienestar colectivo, siendo su objetivo general Fomentar las oportunidades y capacidades culturales, materiales e inmateriales de personas y comunidades como elementos sustanciales del desarrollo humano sostenible. Para alcanzar este objetivo, la cooperación española contribuirá a (Agencia Española de Cooperación Internacional para el Desarrollo, 2007):

1) Fortalecer el desarrollo del sector cultural como factor de cohesión social en los países socios, impulsando la institucionalidad y las políticas públicas inclusivas y potenciando la articulación del tejido social y cultural (Objetivo específico 1).

2) Fomentar el desarrollo económico desde el sector cultural, apoyando a los movimientos creativos, promoviendo la producción cultural y explorando nuevas formas de distribución (Objetivo específico 2).

3) Impulsar los derechos individuales y colectivos de acceso, creación y difusión de expresiones culturales, en el marco del fomento de la diversidad cultural (Objetivo específico 3).

Para suministrar información sobre el desempeño y los resultados de las intervenciones de la Cooperación Española, el seguimiento y la evaluación de la política de desarrollo constituyen herramientas de análisis imprescindibles. Consciente de la importancia de medir el impacto de las acciones culturales en el desarrollo humano, en el año 2007 la Agencia Española de Cooperación Internacional para el Desarrollo (AECID) impulsó el proceso de construcción de indicadores para evaluar la implementación de su Estrategia de Cultura y Desarrollo (ECD)(Agencia Española de Cooperación Internacional para el Desarrollo, 2009). La ECD se estructura en siete líneas estratégicas de actuación: 1) Formación de capital humano para la gestión cultural con énfasis en proyectos de cultura y desarrollo; 2) Dimensión política de la cultura en su contribución al desarrollo; 3) Dimensión económica de la cultura en su contribución al desarrollo; 4) Relación y complementariedad entre Educación y Cultura; 5) Gestión Sostenible del Patrimonio Cultural para el desarrollo; 6) Relaciones entre Comunicación y Cultura con impacto en el desarrollo; y 7) Impulso a los procesos de reconocimiento de los Derechos Culturales. A su vez, cada una de estas líneas estratégicas se organiza en un número variable de actuaciones prioritarias conducentes a la obtención de los objetivos planteados en aquellas.

En este trabajo se presentan los avances que se han realizado en el diseño de un sistema de información que facilite el seguimiento y evaluación de la Estrategia de Cultura y Desarrollo. Para mostrar los resultados alcanzados nos referiremos a un módulo concreto del sistema, el correspondiente a la Gestión Sostenible del Patrimonio Cultural2, que se articula en seis Actuaciones Prioritarias (AP) (Anexo 1).

La Gestión Sostenible del Patrimonio Cultural para el Desarrollo contribuye a lograr el objetivo específico a través del apoyo y el trabajo con los múltiples procesos existentes en conservación, restauración, preservación y revalorización de los bienes patrimoniales, relacionados tanto con los activos tangibles como intangibles, buscando la contribución que todos estos esfuerzos puedan aportar al desarrollo sostenible (Agencia Española de Cooperación Internacional para el Desarrollo, 2007).

Indicadores culturales vinculados con la gestión sostenible del patrimonio cultural

Como se ha comentado anteriormente, en el año 2007 la AECID promovió la reflexión y definición de indicadores de evaluación que sirvieran tanto a 1) los técnicos responsables de la ejecución de la Estrategia como a 2) los agentes y promotores de proyectos de cooperación cultural que buscan referentes para el diseño, seguimiento y evaluación de sus iniciativas. El resultado de este proceso fue el diseño de una metodología de trabajo para la creación de indicadores de evaluación y la definición de un total de 312 indicadores culturales (Agencia Española de Cooperación Internacional para el Desarrollo, 2009). Posteriormente, este catálogo de indicadores fue complementado con la inclusión de otros indicadores provenientes de distintas fuentes (por ejemplo, Oficinas de Estadística y Ministerios de Cultura de los países socios de la cooperación española).

De esta forma, el diseño y construcción del sistema de información ad hoc para la ECD arrancó con este catálogo amplio de indicadores. Sin embargo, dado que originalmente éste estaba formado por un total de 508 indicadores, de los cuales 52 integraban el módulo de Gestión Sostenible del Patrimonio Cultural, desde el principio se consideró que su dimensión era de tal porte, que resultaría inviable en la práctica. Por este motivo, se sometieron los indicadores a un proceso de selección, basado en el análisis y consenso de un grupo de expertos. Para ello se recurrióa la técnica Delphi.

Tecnica Delphi

Entre las principales características del Delphi cabe destacar (Dalkey et al., 1969; Linstone; Turoff, 1975; Landeta Rodriguez, 2002; Loo, 2002):

- Anonimato de los participantes: ningún miembro del panel de expertos debe conocer quiénes son los otros integrantes del grupo. De esta manera se evita el sesgo proveniente del contacto entre ellos (Landeta Rodriguez, 2002), al eliminarse las influencias negativas que en las respuestas individuales pudieran tener factores relativos a la personalidad (Green et al., 2007) y/o reputación del resto de los expertos participantes.

- Iteración y realimentación controlada: la iteración se consigue al presentar en sucesivas rondas el mismo cuestionario. Además, al inicio de cada ronda se facilita a los expertos un resumen de los resultados de la ronda anterior y, en caso de producirse, las observaciones significativas realizadas por los participantes. Al incorporar esta información, los expertos puedan mantener o modificar su opinión.

- Respuesta del grupo en forma estadística: en la respuesta final debe estar representada la opinión de todos y cada uno de los participantes y no sólo el punto de vista de la mayoría.

En nuestra investigación el Delphi se estructuró, como es habitual, en tres fases: Inicial, Exploratoria y Final.

Fase inicial

Durante esta primera fase del proceso se formó el equipo encargado de la coordinación y supervisión del Delphi, se definió claramente el contexto y objetivo de la investigación y se seleccionaron los expertos.

El panel de participantes en el Delphi estuvo compuesto por expertos pertenecientes a colectivos vinculados a los programas a desarrollar en los Centros Culturales de España en el Exterior (CCE), que son los potenciales usuarios directos del producto final a alcanzar (Linstone; Turoff, 1975; Jones; Hunter, 1995). También se contactó con expertos conocedores de la Estrategia en Cultura y Desarrollo y ajenos a las instituciones implicadas.

Para evaluar los indicadores de Gestión Sostenible del Patrimonio Cultural se contó con la participación de un total 16 expertos.

Fase exploratoria

Esta segunda fase se inició con la recopilación de los datos. Se consideró realizar dos rondas porque la mayoría de los cambios ocurren en la transición de la primera a la segunda ronda (Zolingen; Klaasen, 2003; Hanafin et al., 2007) - y porque la evaluación de un conjunto de indicadores, cada uno de ellos en base a tres criterios, es una labor tediosa y se pensó que la realización de un mayor número de rondas provocaría la pérdida de interés y/o abandono de los expertos (Loo, 2002).

Los expertos tenían que evaluar cada indicador del catálogo de 52 que integraban el módulo de Gestión Sostenible del Patrimonio Cultural, en base a tres criterios:

- Relevancia: grado de importancia y utilidad que tiene el indicador para medir potencialmente el fenómeno observado, posibilitando la toma de decisiones por parte del usuario.

- Especificidad: en qué medida la variación del indicador responde efectivamente a variaciones del fenómeno que se desea monitorizar y minimiza el efecto de factores exógenos en su variación.

- Factibilidad: posibilidad de fijar un valor deseado para el indicador, es decir, en qué medida es posible asignar un objetivo cuantificable basado en el indicador evaluado.

Asimismo, se solicitó a los expertos que valorasen la importancia relativa de cada uno de estos criterios (Yong; Wenhao, 2011) con la finalidad de utilizar estas puntuaciones para determinar el peso de cada uno de ellos.

La primera ronda de evaluación se inició a mediados de enero de 2010, siendo la duración prevista de 3 semanas. Los cuestionarios en la segunda ronda, personalizados para cada experto, debían: 1) mantener la evaluación realizada en la ronda anterior, 2) mostrar las principales medidas estadísticas (mediana y recorrido intercuartílico) de los resultados globales y 3) permitir al experto mantener o modificar su valoración inicial al comparar ésta con la información estadística facilitada acerca de la respuesta del conjunto de expertos. En esta ronda únicamente podían participar los expertos que habían completado la evaluación de indicadores de la ronda anterior.

La recopilación de información de la segunda ronda se prolongó entre la segunda quincena de febrero y marzo de 2010. La tasa de respuesta del módulo de Gestión Sostenible del Patrimonio Cultural se situó en el 62,5%.

Fase final

Esta fase estuvo orientada al tratamiento y análisis estadístico de la información recopilada y la realización de un informe final.

Análisis de resultados: selección de indicadores y estructura del sistema

En base a las valoraciones de los expertos, la selección de indicadores que configurarán el sistema de información para el seguimiento y evaluación de la Estrategia de Cultura y Desarrollo se realizó atendiendo a la definición ad hoc de un Índice sintético de Operatividad Relativa (IOR).

En lo que se refiere al IOR, parece razonable definirlo y construirlo a partir de las puntuaciones de relevancia, efectividad y factibilidad otorgadas por los expertos para aquellos indicadores del catálogo, considerando el tiempo y la importancia que éstos le atribuyen a los citados criterios. Así, para un indicador cualquiera del sistema, denotado por Ij, la formulación general del Índice de Operatividad Relativa IOR(Ij) puede escribirse como:

donde Rj ,Ej y Fj representan las puntuaciones medianas obtenidas por el indicador j con respecto a los criterios de relevancia, especificad y factibilidad. wR, wE y wF denotan las ponderaciones o pesos respectivos de cada criterio en el índice (Grandzol; Gershon, 1994; Tague, 2004), que inicialmente han sido prefijadas a los valores modales de las puntuaciones dadas por los expertos (wR=0,5, wE =0,25y wF=0,25).

Los indicadores que exhiban un mejor comportamiento global dentro de cada acción prioritaria, al alcanzar un mayor índice de operatividad relativa, serán seleccionados para integrar, en función de su tipología: la dimensión básica o la dimensión estratégica del sistema.

En el Anexo 2 pueden consultarse los IOR correspondientes a los indicadores de la Actuación Prioritaria - 13.

Selección de indicadores

Para que la selección de indicadores sea representativa de las múltiples acciones que integran las políticas de Cultura y Desarrollo, parece adecuado imponer la restricción de que, para una determinada línea estratégica, todas las actuaciones prioritarias aporten indicadores que queden representados en el sistema de indicadores de seguimiento y evaluación. Por otra parte, cabe tener presente que si un indicador es, según su definición, por ejemplo, muy relevante y específico pero los expertos lo consideran escasamente factible, no parece adecuado seleccionarlo, puesto que existen dudas con respecto a la posibilidad de llegar a observar o calcular, en la realidad, sus correspondientes valores numéricos; resultaría inútil haberlo seleccionado.

Bajo estas premisas, la selección de indicadores se lleva a cabo mediante el establecimiento de un valor mínimo o umbral de factibilidad, diferente por actuación prioritaria, que delimita qué indicadores son los más factibles según el juicio de los expertos. Si los expertos valoran globalmente a un indicador como escasamente factible, cabe suponer que albergan dudas de que sea posible asignarle valores numéricos objetivos, lo que implicaría la conveniencia de considerar dicho indicador como no elegible para formar parte del sistema.

Para el módulo de Gestión Sostenible del Patrimonio Cultural, en la Tabla 1 se muestran los umbrales de factibilidad utilizados que permiten retener al menos dos indicadores entre los correspondientes a cada actuación prioritaria. Los indicadores retenidos se escalan en orden decreciente en función del valor del IOR bajo la condición de que alcancen el umbral de factibilidad prefijado para dicha actuación prioritaria.

La aplicación del procedimiento de evaluación descrito resultó en la selección final de un total de 12 indicadores. En la Tabla 2 se reflejan los indicadores seleccionados junto con sus correspondientes IOR. No obstante, el administrador del sistema, personal de la AECID, puede incrementar o disminuir el umbral de factibilidad para permitir que un mayor o menor número de indicadores resulten seleccionados.

Estructura del sistema: dimensión básica y estratégica

La metodología de selección, basada en la operatividad relativa de los indicadores y en los umbrales de factibilidad por actuación prioritaria, obtenidos a partir de las opiniones de los expertos, proporciona una preselección reducida de indicadores que cubren equilibradamente todas las acciones de las diferentes líneas estratégicas.

Seguidamente, los indicadores retenidos para formar el sistema de seguimiento y evaluación de la Estrategia de Cultura y Desarrollo se clasifican en dos niveles o dimensiones (Coll-Serrano et al., 2012):

- Dimensión básica: integrada por indicadores sencillos y operativos que permitan dar a conocer, en base a la planificación realizada, actividades, beneficiariosy resultados de la acción cultural. En general, esta dimensión estará formada por indicadores (a corto plazo) de recursos (o insumos), procesos y productos (Bonefoy; Armijo, 2005; Agencia Española de Cooperación Internacional para el Desarrollo, 2007).

- Dimensión estratégica: indicadores vinculados con la planificación específica de cada gobierno local o institución y, por tanto, relacionados directamente con los resultados, con la consecución de los logros esperados en comparación con las metas propuestas a medio y largo plazo. Así, esta dimensión estará formada por indicadores vinculados a la estrategia y a los resultados a alcanzar, a medio y largo plazo, relacionándose principalmente con los efectos e impactos.

Con respecto a la dimensión estratégica del sistema, hay que tener en cuenta que éste debe estar necesariamente orientado, de cara a una mayor efectividad de la cooperación española en Cultura y Desarrollo, a facilitar y apoyar la toma de decisiones por parte de los responsables del diseño e implementación de las políticas de cooperación. En consecuencia, se enfatiza la necesidad de considerar, a la hora de vincular indicadores a la dimensión estratégica del sistema, cuáles son los objetivos específicos que orientan la realización de acciones y la aplicación de políticas vinculadas con, en este caso, la Gestión Sostenible del Patrimonio Cultural. Por tanto, los indicadores propuestos para integrar la dimensión estratégica del sistema deben poseer capacidad para señalizar el grado o ritmo de avance con respecto al logro de los distintos objetivos específicos, que son:

1) Apoyar los múltiples procesos existentes en conservación, restauración, preservación y revalorización de los bienes patrimoniales, tanto los materiales como los inmateriales, analizando la contribución que todos estos esfuerzos de carácter multisectorial puedan aportar al desarrollo sostenible e;

2) Intervenir, de forma prioritaria y mediante una actuación rápida en casos de conflicto o de catástrofes naturales, contribuyendo a partir de su recuperación y puesta en valor, a establecer el desarrollo social, económico y cultural, regenerando las señas de identidad y anclajes históricos de los habitantes de la zona damnificada.

La puesta en valor del patrimonio material e inmaterial es un objetivo cuya evaluación implica considerar los múltiples tipos de bienes patrimoniales materiales e inmateriales sobre los que actúa la Cooperación Española y las principales características de cada uno de ellos. La efectividad de las intervenciones rápidas para la preservación del patrimonio frente a catástrofes y conflictos puede comprobarse mediante el catálogo de intervenciones realizadas y las características específicas de cada una de ellas, en particular los costes incurridos y los resultados obtenidos, así como el tiempo de reacción.

Atendiendo a la tipología de indicador (recurso, proceso, producto, efecto e impacto) y las consideraciones realizadas respecto de la dimensión estratégica, los indicadores retenidos son asignados o a la dimensión básica o a la dimensión estratégica del sistema (Tabla 3):

 

Conclusiones

En este estudio se han descrito las grandes líneas de trabajo, realizadas con la finalidad de disponer de un sistema de indicadores para el seguimiento y evaluación de la ECD, ejemplificando el proceso para el módulo de Gestión Sostenible del Patrimonio Cultural.

La complejidad en la formulación de un sistema para evaluar globalmente la ECD, conjuntamente con la escasez y dispersión de la información y la falta de consenso en la obtención de indicadores en el sector cultural, determina la necesidad de aplicar procedimientos metodológicos adecuados que dilaten en el tiempo, la obtención del propio sistema. El sistema de indicadores propuesto para el seguimiento de la Gestión Sostenible del Patrimonio Cultural en el ámbito de la Cooperación Española ha sido concebido como un instrumento práctico, manejable y selectivo cuyos destinatarios potenciales son tanto los responsables y técnicos que diseñan la estrategia como los agentes que participan en su implementación, incluyendo expresamente el personal de los Centros Culturales en el Exterior y de las Oficinas Técnicas de Cooperación.

Cabe destacar que el sistema de indicadores elaborado goza de un elevado grado de versatilidad, estando los usuarios facultados para incorporar o eliminar indicadores en función de las condiciones reales bajo las que cada uno opera. En este sentido, conviene enfatizar la necesidad de realizar, en una etapa futura, un pilotaje del sistema de indicadores como procedimiento para adecuar los instrumentos de captación de información a la realidad diversa de los Centros Culturales en el Exterior y de las Oficinas Técnicas de Cooperación.

 

Referencias

AGENCIA ESPAÑOLA DE COOPERACIÓN INTERNACIONAL PARA EL DESARROLLO. Estrategia de cultura y desarrollo de la cooperación española. Madrid: AECID, 2007.         [ Links ]

AGENCIA ESPAÑOLA DE COOPERACIÓN INTERNACIONAL PARA EL DESARROLLO. Cómo evaluar proyectos de cultura para el desarrollo: una aproximación metodológica a la construcción de indicadores. Madrid: AECID, 2009.         [ Links ]

BONEFOY, J.C.; ARMIJO, M. Indicadores de desempeño en el sector público. Santiago de Chile: Instituto Latinoamericano y del Caribe de Planificación Económica y Social, 2005.         [ Links ]

COLLSERRANO, V. et al. Design of a basic system of indicators for monitoring and evaluating Spanish cooperation's culture and development strategy. Evaluation Review, v.36, n.4, p.271-300, 2012.         [ Links ]

DALKEY, N.; BROWN, B.; COCHAN, S. The Delphi method III: use of self rating to improve group estimates. Santa Monica: The Rand Corp, 1969.         [ Links ]

GRANDZOL, J.; GERSHON, M. Multiple criteria decision making. Quality Progress, v.27, p.69-73, 1994.         [ Links ]

GREEN, K.C.; ARMSTRONG, J.S.; GRAEFE, A. Methods to elicit forecasts from groups: delphi and prediction markets compared. Foresight: The International Journal of Applied Forecasting, v.8, n.8, p.17-21, 2007.         [ Links ]

HANAFIN, S. et al. Achieving consensus in developing a national set of child well-being indicators. Social Indicators Research, v.80, p.79-104, 2007.         [ Links ]

JONES, J.; HUNTER, D. Consensus methods for medical and health services research. Journal of British Medical, v.311, p.379-370, 1995.         [ Links ]

LANDETA RODRÍGUEZ, J. El método Delphi: una técnica de previsión del futuro. Barcelona: Ariel, 2002.         [ Links ]

LINSTONE, H.; TUROFF, M. The Delphi method: techniques and applications. Reading: Addison-Wesley, 1975.         [ Links ]

LOO, R. The Delphi method: a powerful tool for strategic management. Policing: An International Journal of Police Strategies and Management, v.25, n.4, p.762-769, 2002.         [ Links ]

TAGUE, N. The quality toolbox. Milwauke: Quality, 2004.         [ Links ]

YONG, G.; WENHAO, C. Developing a city governance index: based on surveys in five major Chinese cities. Social Indicators Research, 2011. Available from: <http://link.springer.com/article/10.1007/s11205-011-9904-8?null>. Cited: 31 May 2012.         [ Links ]

ZOLINGEN, S.J.; KLAASEN, C.A. Selection process in a Delphi study about key qualifications in senior secondary vocational education. Technological Forecasting and Social Change, v.70, p.317-340, 2003.         [ Links ]

 

 

Recibido el día 18/6/2012
aceptado para su publicación el 24/9/2012.

 

 

1 Esta investigación ha sido financiada por la Agencia Española de Cooperación Internacional, proyecto 08-CAP-0795.
2 El mismo procedimiento se ha reproducido en los módulos correspondientes a las restantes líneas estratégicas.
3 Por cuestiones de espacio no es posible reproducir el listado completo. El lector interesado en los IOR del conjunto de indicadores considerados puede solicitarlos mediante correo electrónico a los autores.

 

 

ANEXO 1

Actuaciones prioritarias de Gestión Sostenible del Patrimonio Cultural.

Actuación prioritaria 1: Apoyar las tareas de identificación, inventariado y estudio de los elementos patrimoniales, buscando el uso y los aportes económicos, sociales y culturales que los mismos puedan generar en las sociedades, desde una visión integral que contemple las diferentes manifestaciones que conforman el patrimonio.

Actuación prioritaria 2: Lograr una participación directa de la ciudadanía y las comunidades locales en los programas de conservación del patrimonio y la memoria colectiva, estableciendo una lista de las mejores prácticas, para las políticas de patrimonio.

Actuación prioritaria 3: Respetar y proteger los sistemas de conocimiento tradicionales, especialmente los de las poblaciones autóctonas, reconocer la contribución de los conocimientos tradicionales a la protección del medio ambiente y a la gestión de los recursos naturales, y favorecer las sinergias entre la ciencia moderna y los conocimientos locales.

Actuación prioritaria 4: Apoyar la creación de instrumentos para aumentar la capacitación y el empleo en el sector de la rehabilitación y puesta en valor del patrimonio.

Actuación prioritaria 5: Intervenir con rapidez ante diferentes catástrofes para la reconstrucción de los espacios con significación social y valor patrimonial.

Actuación prioritaria 6: Ayudar a la preservación de los nuevos bienes patrimoniales del siglo XX, celuloide, cintas de audio, discos duros, cintas de video etc.

 

haga clic para agrandar

Creative Commons License All the contents of this journal, except where otherwise noted, is licensed under a Creative Commons Attribution License