Modelo procedimental de la evaluación de las políticas públicas a través de la ludificación

Modelo procedimental na avaliação das políticas públicas por meio da gamificação

Resumen

Este artículo tiene por objeto proponer un modelo procedimental diseñado para optimizar la experiencia de la ciudadanía en la toma de decisiones de las políticas públicas a través de la ludificación. Se parte de la consideración que la ludificación promueve la motivación hacia una actividad prolongando su participación dentro de un ámbito específico. En este caso, se encamina su aplicación para motivar la integración de los ciudadanos en la toma de decisiones. Para ello se contrastan tres modelos de evaluación de políticas públicas que incorporan la participación civil en tres roles diferentes: auditor, pasivo y activo. Al aplicar la metodología Delphi, los resultados de fiabilidad y consistencia interna demuestran que el modelo de participación activa tiene mayor valoración por parte de los expertos respecto a la ludificación, Como conclusión, el modelo generado abre una nueva área de conocimiento dentro de la evaluación de políticas públicas imbuida en la interactividad del contexto mediático.

Palabras clave:
políticas públicas; participación ciudadana; ludificación; modelo de evaluación; experiencia del usuario.

Resumo

Este artigo tem como objetivo propor um modelo procedimental concebido para otimizar a experiência dos cidadãos na tomada de decisões de políticas públicas por meio da gamificação. Parte-se do pressuposto de que a gamificação promove a motivação para uma atividade, aumentando a participação dentro de um âmbito específico. Nesse caso, a gamificação é utilizada para incentivar o envolvimento dos cidadãos na tomada de decisões. Com esse objetivo, comparam-se três modelos de avaliação de políticas públicas que incorporam a participação civil em três papéis diferentes: auditor, passiva e ativa. Ao aplicar a metodologia Delphi, os resultados de fidelidade e consistência interna revelam que o modelo de participação ativa é alvo de uma valoração superior por parte dos especialistas, no que se refere à gamificação. Em conclusão, o modelo gerado abre uma nova área de conhecimento no âmbito da avaliação de políticas públicas, integrada na interatividade do contexto midiático

Palavras-chave:
políticas públicas; participação cidadã; gamificação; modelo de avaliação; experiência do usuário.

Abstract

This article proposes a procedural model designed to optimize the experience of citizens in decision making of public policies through gamification. The study assumes that gamification increases motivation and contributes to increase involvement within a specific area. In this case, gamification is used to encourage citizens’ engagement in decision-making, based on three models of evaluation of public policies that incorporate civil participation in three different roles: auditor, passive and active. After applying the Delphi methodology, the results of reliability and internal consistency show that experts attribute a higher value to the model of active participation using gamification. In conclusion, the model designed opens a new area of knowledge within the evaluation of public policies, embedded in the interactivity of the media context.

Keywords:
public policies; citizen participation; gamification; evaluation model; user experience.

1. Introducción

En la actualidad, la innovación tecnológica se presenta como recurso para atender las necesidades de los ciudadanos y para motivar la participación a través de dinámicas inclusivas se erige como estandarte en los procesos de representatividad y democratización política (Zurbriggen y Lago, 2014). Por tanto, la integración de técnicas como es el caso de la ludificación sirve de alternativa para involucrar a la sociedad civil en procesos dispuestos exclusivamente a los funcionarios de la administración pública.

El término ludificación, proveniente del anglicismo gamification, puede definirse como el uso de elementos de diseño de juego en contextos no lúdicos (Deterding et al., 2011:2). En modo general, el objetivo se centra en el comportamiento de las personas, apelando a la persuasión para prolongar su participación dentro de un ámbito específico (Scoltock, 2016; Werbach y Hunter, 2012). Es decir, se enfoca en aumentar el compromiso y motivación de las personas hacia una actividad haciéndola más divertida con la finalidad de estimular su aprendizaje (Landers y Callan, 2011; Simões, Redondo y Fernández-Vilas, 2013). La vinculación entre ludificación y políticas públicas puede observarse principalmente como recurso para optimizar el cambio de comportamiento, favoreciendo la participación (Bista et al., 2014) y el fortalecimiento de valores comunitarios (Dirienzo, Krishnan y Santos, 2014; Martí et al., 2012; Sox, Kline y Crews, 2014).

Profundizando en el análisis de las políticas públicas, se evidencia como un campo prolífero compuesto al mismo tiempo de un marco analítico para la política y para las políticas. Las políticas públicas disponen, de acuerdo con los marcos teóricos de las ciencias sociales, de un terreno vasto para explorar el comportamiento político y las instituciones.

El objetivo y la relación del análisis con las políticas públicas son diversos. En ocasiones el análisis es un proceso de determinación de los problemas y soluciones que puede pensarse en un rango de actividades. Ese rango se da desde dos perspectivas: el conocimiento de las políticas públicas y el conocimiento para las políticas públicas (Parsons, 1999).

El proceso de análisis de las políticas públicas incluye dos etapas: su determinación y contenido. El primero se refiere a cómo, por qué, cuándo y para quién se realiza la política. El segundo es la descripción particular de la política y sus antecedentes, también puede conformarse de un marco teórico o analítico.

El proceso de monitoreo y evaluación no pertenece a ninguna de las dos categorías y se encarga específicamente de medir el desempeño con respecto a los objetivos específicos de la política. Es importante que se considere el impacto en el problema, lo que amerita un nuevo examen sobre la comunidad o sociedad objetivo. Los resultados pueden proveer innovación y mejores prácticas para ser implementadas en el futuro para ofrecer una solución.

En tercer lugar, el análisis para las políticas consta de dos etapas propias. El apoyo de las políticas involucra modificar la agenda dentro y fuera del gobierno. Esto explícitamente hace referencia a argumentos e investigación sobre las políticas con la pretensión de lograr cambios en estas. La información para las políticas pretende proveer investigación detallada, consejos o juicios ayudando a generar mayores opciones para las soluciones específicas que las políticas se plantean.

En esta línea este estudio, se valora la incorporación de la sociedad civil tanto en la aprehensión del conocimiento de las políticas públicas, en el monitoreo y evaluación, y por último en la transmisión del conocimiento para las políticas públicas. Como bien existen referencias concretas que respaldan la utilidad del uso de elementos de juego (Asquer, 2013; Hu y Chen, 2015; Mahnic, 2014; Nacke y Deterding, 2017; Thiel y Fröhlich, 2017), esta investigación pretende dar un paso más dentro del ámbito académico configurando un modelo procedimental sustentado por el uso de la ludificación.

En concordancia con la teoría revisada se valora la adaptación de la ludificación en tres modelos genéricos de evaluación de políticas públicas que incorporan a la sociedad civil en el proceso. Por ende, el objetivo general de esta investigación se fundamenta en proponer un modelo procedimental en la determinación de políticas públicas asociado a la ludificación. Los objetivos específicos de esta investigación son:

1. Contrastar los modelos de evaluación de políticas en base a la categorización de las dimensiones asociadas a la ludificación.

2. Aplicar los indicadores de la ludificación al modelo de evaluación de políticas públicas con mayor aceptación entre los expertos.

2. Antecedentes y consideraciones teóricas

La interdisciplinariedad de aspectos provenientes de las políticas públicas, nuevas tecnologías y psicología determinan una investigación sin precedentes, sobre todo cuando se incorpora el concepto de ludificación como factor innovador del enfoque.

En el campo de las políticas públicas no se han encontrado estudios similares al que se trata de llevar a cabo. No obstante, el Modelado y Simulación del Impacto de Políticas Públicas en Pequeña y Mediana Empresa (Mosips) analiza las políticas públicas sin profundizar en la educación ciudadana, aplicando elementos de juego pero sin precisar en la ludificación (Pablo-Martí et al., 2012). De hecho, Koch (2014) explican que se trata de un proceso de ejecución de las políticas públicas que estima la necesidad de incluir la participación de múltiples actores sociales, afianzar la retroalimentación a través de las redes sociales y empoderar a los ciudadanos otorgándole la oportunidad de reunir información y discutir sobre las políticas públicas.

Otra iniciativa es la promovida por Hu y Chen (2015) creando un foro online para el desarrollo de políticas públicas aplicando un diseño gamificado, demostrando así el impacto de las mecánicas como las medallas y la tabla de posiciones en el intercambio de información entre los participantes y el traslado de aspectos motivacionales de las ciencias empresariales a las ciencias sociales. Sin embargo, en este caso, el éxito constatado de la ludificación se observa al producir una experiencia atrayente entre los usuarios, una atmósfera competitiva en el foro, y generando cambios dentro de un sistema que se preveía como poco eficiente (Bremner y Zastrow, 2008) y destructivo (Zastrow, 2014).

En cambio, el campo de las nuevas tecnologías dentro del escenario europeo está presente en esta temática mediante el programa de investigación e innovación Horizon 2020, en el que se propone el espacio para proyectos relacionados con Advanced digital gaming/gamification technologies con la finalidad de desarrollar nuevas metodologías, herramientas y evidencia científica en contextos digitales no lúdicos para el beneficio de gobiernos, empresas e individuos. Entre los 28 proyectos seleccionados, ninguno relaciona sus objetivos con la evaluación de políticas públicas.

En consiguiente, la base teórica que permite conectar los elementos de juego con el contexto no lúdico se desarrolla según los principios de interacción del área denominada Experiencia del Usuario (Deterding et al., 2013; Kumar, 2013), es decir, para aplicar la ludificación es necesario que las mecánicas estén imbuidas en los principios aceptados por la Experiencia del Usuario, destacando su carácter subjetivo dado que depende de los aspectos emocionales resultantes de cada usuario (Hassenzahl, 2003; Battarbee y Koskinen, 2005; Law et al., 2009), holístico, porque la interacción producida se observa como un todo (Battarbee y Koskinen, 2005; Hassenzahl y Tractinsky, 2006; Bargas-Avila y Hornbæk, 2011) y dinámico ya que la experiencia puede cambiar durante el proceso de interacción (Law et al., 2009; Karapanos et al., 2009; Bargas-Avila y Hornbæk, 2011). Al fin y al cabo, la experiencia del usuario se puede definir como la valoración subjetiva, holística y dinámica del proceso de interacción de los ciudadanos en la evaluación de las políticas públicas.

Si bien existen múltiples categorizaciones respecto a los elementos que componen la experiencia del usuario (Castañeda, Muñoz-Leiva y Luque, 2007; Law et al., 2009; Garrett, 2010; Park et al., 2013; Jang et al., 2016). La propuesta emitida por Jang y colaboradores (2016), evidencia con exclusividad su asociación con el diseño de elementos de juego en contexto no lúdico, por tanto, el modelo diseñado hacia las políticas públicas se prescribe de acuerdo con las siguientes dimensiones:

• Atribución hedónica: Se refiere a experiencias internas del disfrute del usuario.

• Serendipia: Experiencia positiva inesperada. Está relacionada con imprevisibilidad, creatividad y facilitación de la experiencia del usuario. Jugabilidad: Experiencias internas agradables de los usuarios respecto a un servicio en particular dentro de un contexto determinado.

• Atribución utilitaria: Propósito práctico del servicio. Se refiere a factores de rendimiento, proporcionar experiencias útiles, beneficios instrumentales y la realización de tareas.

• Compatibilidad: Grado en que la tecnología permite la ordenación de los valores y experiencias existentes con la finalidad de aumentar la percepción de eficacia y reducir la percepción de riesgo en su uso.

• Consistencia: Transferencia de habilidades de la experiencia a otras situaciones, aumentando la confianza y el valor utilitario del servicio.

• Nivel de autonomía: Se refiere al grado de control o independencia del usuario respecto al servicio con el que interactúa.

• Personalización: Basado en el modo cómo los usuarios pueden cambiar el sistema según sus preferencias y circunstancias. Se enfoca en reconocer la flexibilidad del proceso y proporcionar al usuario la libertad de gestión en circunstancias específicas.

• Adaptabilidad: Se enfoca en valorar cómo el sistema se ordena a los deseos de los usuarios. Los usuarios juzgan la importancia y el valor de uso de la información recopilada.

En referencia a la evaluación de las políticas públicas, Johnson (1975), Epstein y colaboradores (1977), Peters (2012), y Villoria (2014) consideran que se trata de un conjunto articulado de procesos que tienen la finalidad de medir, analizar, planificar e interpretar el cumplimiento de objetivos, valorar los resultados de las políticas, recibir retroalimentación y controlar la distribución de recursos de la administración pública. Específicamente, la necesidad de evaluar las políticas públicas tiene tres propósitos: legitimar la acción pública de las instituciones, rendir cuentas de la gestión de los recursos públicos (accountability), y por último afianzar los valores democráticos. Emery, Mulder y Frewer (2015) sentencian la problematización respecto a su evaluación, precisamente sobre el seguimiento del impacto, comprensión y supervisión ya formalizada como política.

Al centrar el abordaje de la evaluación de políticas públicas en modelos actuales que permitan interponer técnicas de ludificación sin producir modificaciones axiomáticas dentro de la evaluación, se ordenan tres modelos que tienen la particularidad de incorporar a los ciudadanos en el proceso de aprehensión del conocimiento de las políticas públicas, en el monitoreo y evaluación, y en la transmisión del conocimiento para las políticas públicas. Los modelos son: orientado al cliente (Vedung, 2009), evaluación de la satisfacción de los usuarios (Vargas, 2009) y evaluación participativa (Vargas, 2009).

El modelo orientado al cliente definido por Vedung (2009) como el valor expresado por los deseos, expectativas, supuestos y objetivos de los clientes. La idea de considerar la proximidad Estado-ciudadanos es una reacción a la relación clientelar proveniente de ideología política proveniente del sistema capitalista, ya que, en el libre mercado, se cree que la presión del consumidor hacia un servicio puede generar cambios en la prestación de los mismos, dando lugar a su mejora y el aumento de la satisfacción.

Este modelo se aplica particularmente para la evaluación de la provisión de servicios locales (servicios médicos, prevención del crimen, servicios para discapacitados y jóvenes), programas culturales (bibliotecas, museos, teatros), programas de recreación (parques nacionales, piscinas, campos de fútbol) y entre otros programas (limpieza y mantenimiento, tráfico urbano. La esencia de la evaluación en este modelo se enfoca a criterios propios de los ciudadanos para la evaluación. Según Schmidt (1977) estos criterios pueden determinarse de acuerdo con las siguientes dimensiones: calidad del servicio, satisfacción del servicio, comprensión del proceso, orientación centrada al cliente, adaptación a las reglas de las necesidades y coordinación del personal. Por su parte el criterio logro de metas limita las dimensiones clientelares a los objetivos del nivel del gobierno que se evalúe. Es decir, nunca será igual la determinación de las prioridades del gobierno nacional, estatal o local. Aunque dicho modelo sea preferentemente utilizado a nivel local (Stufflebeam, 1983:34). Las seis dimensiones referidas por Schmidt (1977) son las únicas sobre las que existe evidencia en la aplicación del “modelo orientado al cliente” en el sector público:

• Calidad del servicio: Grado de cumplimiento de las expectativas del ciudadano a largo plazo. Actitud global hacia un servicio.

• Satisfacción del servicio: Juicio transitorio de los ciudadanos basado en la experiencia específica respecto a un servicio.

• Compresión del proceso: El procedimiento requerido para la obtención de servicios debe ser comprensible. Depende la experiencia y conocimiento de los ciudadanos en la tramitación de solicitudes.

• Orientación centrada al cliente: Es la medida en que los ciudadanos perciben que la administración pública vela por sus intereses.

• Adaptación de las reglas a las necesidades particulares: Personalización de la interacción y flexibilidad de las normas para satisfacer las necesidades específicas de los ciudadanos.

• Coordinación del personal: Perspectiva de los ciudadanos sobre la sincronización de los funcionarios al trabajar en conjunto en las actividades para satisfacer las necesidades.

El segundo lugar, el modelo de evaluación de la satisfacción de los usuarios ha estado encaminado precisamente a la evaluación de políticas sanitarias (Crow et al., 2002; Ruggeri, Farrington y Brayne, 2013). Asimismo, los avances en torno a la información y a las nuevas tecnologías han facilitado su implementación resultando en nuevas experiencias capaces de identificar los requerimientos de la sociedad (Alawneh, Al-Refai, y Batiha, 2013). A nivel general, este tipo de modelo diseñado previamente para medir los servicios privados se ha adaptado a la percepción de la calidad de los servicios públicos según dos paradigmas: expectativas-disconformidad de los ciudadanos y el desempeño en los deberes de los funcionarios de la administración pública (Carvalho y Brito, 2012). Si bien la evaluación del desempeño posee su propio sistema prominente de medición denominado Servperf (Cronin y Taylor, 1992), el mismo se construye en base a un sistema de expectativas-disconformidad previo denominado Servqual, que en la actualidad posee tres versiones: 1^o: Versión original (Parasuraman, Zeithaml y Berry, 1988); 2^o: Modificaciones y sustento teórico posterior a la creación del sistema de medición de la calidad de desempeño (Parasuraman, Zeithaml y Berry, 1994); 3^o: Versión electrónica (Parasuraman, Zeithaml y Malhotra, 2005).

En las tres versiones se persiste en la aplicación de las cinco dimensiones propuestas en la versión original (Parasuraman, Zeithaml y Berry, 1988):

• Fiabilidad: Capacidad para cumplir con los objetivos con el menor número de errores posibles.

• Capacidad de respuesta: Disposición para ayudar a los usuarios y prestar un servicio de inmediato.

• Seguridad: Profesionalidad, habilidad para inspirar confianza en el servicio prestado.

• Empatía: Atención individualizada y personalizada a las necesidades de los ciudadanos.

• Elementos tangibles: Apariencia y utilidad del equipamiento, infraestructura, instalaciones y materiales de comunicación.

Por último, el modelo de evaluación participativa, definido como “intervención o investigación expertos y no expertos en una temática concreta trabajando conjuntamente y al mismo nivel en un proyecto concreto” (Úcar, 2014:15). En efecto, se traduce como un modelo endógeno formado sobre los valores y aspiraciones de los participantes de una sociedad pluralista a lo largo del proceso de evaluación. De acuerdo con Izquierdo (2008) y Dos Santos (2016), implica a los ciudadanos en la colaboración y participación del proceso permitiendo exaltar el sentido de pertenencia en el diseño de las políticas y en los resultados generando acciones que motiven el aprendizaje colectivo.

Cousins y Whitmore (1998) propusieron tres dimensiones donde confluyen la corriente transformativa (Pursley, 1996) y la corriente práctica (Owen y Lambert, 1995; Torres, Preskill y Piontek, 1997) de la evaluación participativa: control de proceso de evaluación, elección de los participantes y profundidad de la participación. Dos décadas después Daigneault y Jacob (2014:16) en la revisión de los instrumentos de medida de la validación y revisión de la evaluación participativa confirman la vigencia de tales dimensiones al expresar que “el nivel general de participación en las políticas públicas se deriva de las dimensiones de la diversidad de participantes, grado de participación y control”:

• Control en la toma de decisiones: Se ordena en base a la relación de equilibrio en las decisiones que fundamentan el programa (balanceada, predomina los participantes, predomina los técnicos, predomina el evaluador).

• Selección de los participantes: Son los grupos legitimados, beneficiarios y delegados para llevar a cabo la toma de decisiones e implementación del programa (usuarios primarios, todos los grupos legitimados, no especifica).

• Profundidad de la participación: Número de fases en las que pueden participar los ciudadanos (limitada, moderada y extensa).

Resumiendo, el modelo de evaluación orientado al cliente (Vedung, 2009) considera al ciudadano como un auditor activo en las actividades y servicios relacionados con el servicio público guiado explícitamente por sus propios deseos, valores, metas, preocupaciones, expectativas y suposiciones, el modelo de evaluación de satisfacción del usuario (Vargas, 2009) el ciudadano es un actor pasivo, que no está involucrado con el sector público, tratando de delegar la toma de decisiones a sus representantes y sólo participar en situaciones específicas, y el modelo de evaluación participativa (Vargas, 2009) considera la noción de ciudadano activo que participa en las actividades del sector público, centrado en alcanzar las necesidades comunes de una sociedad.

3. Metodología

La investigación se encamina hacia un diseño no experimental, en el que se realiza una aproximación sistemática conducida por la metodología Delphi asegurando la validación del proceso al identificar las dimensiones que ilustran la estandarización de la toma de decisiones del modelo central relacionado con la experiencia del usuario y la evaluación de políticas públicas. El cuestionario es un instrumento común en la metodología Delphi ya que sistematiza y pone de manifiesto la convergencia de opiniones del grupo de expertos (Astigarraga, 2003; García-Valdés y Suárez-Marín, 2013). Respecto al tamaño del panel de expertos que conforman el Delphi, existe muy poca evidencia empírica sobre el efecto del número de participantes en los procesos de consenso orientados a la fiabilidad y validez variando según los recursos y el enfoque del problema (Keeney, Hasson y McKenna, 2001). En definitiva, Powell (2003) considera que más allá del tamaño del panel, la cualificación de los expertos contiene mayor repercusión en la visión imparcial de los hallazgos y en el logro de los objetivos. Por lo tanto, en este estudio, los expertos se dividieron en dos grupos, el primero formado por expertos en Tecnologías de la Comunicación, Orientación e Intervención Sociocultural, que supervisaron el cuestionario tanto en la redacción del contenido como en las inferencias estadísticas proporcionando las correcciones necesarias para emitir la versión final. De acuerdo a los cambios propuestos por este grupo de expertos, la versión final del cuestionario está compuesta por los tres modelos de evaluación de políticas públicas mencionados, cada modelo tiene tres dimensiones donde se reparten los 71 ítems incorporados. El modelo orientado al cliente posee 30 ítems, 17 a la atribución hedónica, seis a la atribución utilitaria y siete a la atribución de autonomía; el de satisfacción del usuario lo componen 24 ítems, 12 pertenecen a la atribución hedónica, cinco a la atribución utilitaria y siete a la atribución de autonomía; y el tercer modelo contiene 17 ítems, siete están en la atribución hedónica, seis en la atribución utilitaria y cuatro en la atribución de autonomía. Los tres modelos se presentan en las mismas condiciones, manteniendo una consistencia interna aceptable y una validez positiva entre los elementos de cada asignación.

Tabla 1
coeficiente de cronbach modelo 1

Modelo 1: modelo de Evaluación orientado al cliente
Atribución hedónica	Atribución utilitaria	Atribución autonomía
Alfa de Cronbach: ,943	Alfa de Cronbach: ,767	Alfa de Cronbach: ,738
No de indicadores: 17	No de indicadores: 6	No de indicadores: 7

• Fuente: Elaborada por los autores.

Tabla 2
coeficiente de cronbach modelo 2

Modelo 2: modelo de la evaluación de la satisfacción de los usuarios
Atribución hedónica	Atribución utilitaria	Atribución autonomía
Alfa de Cronbach: ,957	Alfa de Cronbach: ,931	Alfa de Cronbach: ,897
No de indicadores: 12	No de indicadores: 5	No de indicadores: 7

• Fuente: Elaborada por los autores.

Tabla 3
Coeficiente de cronbach modelo 3

Modelo 3: modelo de evaluación participativa
Atribución hedónica	Atribución utilitaria	Atribución autonomía
Alfa de Cronbach: ,717	Alfa de Cronbach: ,800	Alfa de Cronbach: ,719
No de indicadores: 7	No de indicadores: 6	No de indicadores: 4

• Fuente: Elaborada por los autores.

El segundo grupo, dispuesto para completar el cuestionario, son representantes de la Universidad de Gotemburgo (Suecia)pertenecientes al Departamento de Tecnología Aplicada de la Universidad de Gotemburgo, al Departamento de Educación, Comunicación y Aprendizaje de la Universidad de Gotemburgo, quienes por sus antecedentes académicos se han visto involucrados en múltiples proyectos orientados a los juegos en la administración pública.

4. Resultados

Tras obtener las respuestas del segundo grupo, se calculó el grado de aceptación atendiendo a las medias de cada modelo, observando que el modelo de evaluación participativa es el que mayor grado de acuerdo presenta. Sin embargo, otorgándole un mayor rigor a esta comparación se realizó un Anova. Según Gueorguieva y Krystal (2004) Anova es un tipo de prueba paramétrica que se aplica cuando existen más de dos muestras independientes para contrastar la hipótesis nula. Por su parte, también se calculó la significación estadística (Sig.), la cual informa sobre si se alcanza el supuesto de Normalidad (>0,05). En los tres modelos analizados puede observarse su cumplimiento:

Tabla 4
Prueba de normalidad de los tres modelos

Prueba de Normalidad
	Kolmogorov-Smirnova
	Estadístico	gl	Sig.
Modelo 1	,255	10	,064
Modelo 2	,171	10	,200
Modelo 3	,149	10	,200

• Fuente: Elaborada por los autores.

Las pruebas estadísticas demuestran que el modelo de evaluación participativa (Vargas, 2009) y la atribución de autonomía son los que mayor grado de acuerdo presentan entre los expertos respecto a la valoración de la experiencia del usuario. Las diferencias más relevantes se encuentran entre el modelo 2 y el modelo 3, siendo estos últimos los que presentan un menor y mayor grado de acuerdo y una mayor y menor desviación estándar respectivamente a las respuestas obtenidas.

El tercer modelo, modelo de evaluación participativa (Vargas, 2009), se caracteriza por la intervención de actores de la sociedad civil representando la pluralidad de sistemas de valores en la gestión, diseño e implementación de políticas públicas. En este tipo de evaluación se vislumbra como método especialmente eficaz para formular recomendaciones a las autoridades competentes en el programa o la política (Horta y Ysa, 2007).

Por su parte, la experiencia del usuario desde el modelo de Jang y colaboradores (2016) toma en cuenta la calidad de la experiencia y criterios de juicio según la percepción de los usuarios validando la interacción de los factores que lo componen. Particularmente, su asociación con diseño de juego, plataformas digitales y con dimensiones relacionadas al comportamiento formalizan el encuadramiento con el modelo de evaluación participativa.

Al combinar los criterios del modelo de evaluación participativa (Vargas, 2009) con las tres atribuciones y los seis constructos de la experiencia del usuario (Jang et al., 2016) en la confección del cuestionario se demuestra lo siguiente:

Ítem 1: Las experiencias positivas inesperadas en los usuarios afectan el control de la toma de decisiones (hedónica).

Ítem 5: Las experiencias divertidas en los usuarios afectan el control en la toma de decisiones (hedónica).

Ítem 8: El uso de la tecnología en la experiencia de los usuarios afecta el control en la toma de decisiones (utilitaria).

Ítem 10: El uso de la tecnología en la experiencia de los usuarios afecta la profundidad de la participación en la toma de decisiones (utilitaria).

Ítem 13: La adaptación del sistema a los deseos del usuario afecta la profundidad de la participación en la toma de decisiones (utilitaria).

El alto grado de aceptación de los resultados obtenidos respecto al modelo de evaluación participativa combinado con las atribuciones de experiencia del usuario le otorga una consistencia teórica y metodológica asentando las bases antes de incorporar elementos de ludificación.

Por ende, el último objetivo, aplicar los indicadores de la ludificación al modelo de evaluación de políticas públicas con mayor aceptación entre los expertos, implica que la aceptación del tercer modelo abre la oportunidad de incorporar elementos de ludificación proporcionando elementos para cada atribución de la experiencia del usuario.

La serendipia y la jugabilidad, ambos derivados de la atribución hedónica exaltan el uso de elementos de diseño de juego. La serendipia se entiende como una experiencia positiva inesperada, por ello, los elementos lúdicos aleatorios plasman su impacto al generar asombro, deleite y emoción fomentando cambios en el comportamiento (Liang, 2012). Independientemente de la herramienta que se aplique, se debe promover el azar como objetivo dentro de la actividad lúdica. Por su parte, la jugabilidad se refiere a experiencias internas agradables de los usuarios respecto a un servicio en particular, si bien va a depender del tipo de servicio que se preste, el estudio de Fitz-Walter y colaboradores (2013) estima la inserción de un sistema de logros, tutoriales y elementos competitivos.

La compatibilidad y consistencia, indicadores provenientes de la atribución utilitaria también prescriben la utilización de elementos de juego. La compatibilidad es el grado en que la tecnología permite la ordenación de los valores y experiencias existentes. En este caso, la tecnología no debe suponer una limitación al momento de aplicar elementos de juego. La utilización de interfaces que produzca sensación de seguridad en los usuarios y que facilite la interacción. Cuanto más compatible sea la plataforma, mayor feedback habrá del usuario. La consistencia en la experiencia del usuario es la transferencia de habilidades de la experiencia a otras situaciones. Los retos y los niveles son elementos de juego aplicados para valorar la adquisición de habilidades, operando como sistema clasificatorio sobre el progreso realizado (Silpasuwanchai, Ma, Shigemasu y Ren, 2016).

La personalización y adaptabilidad forman parte de la atribución de autonomía. La personalización es el modo en que los usuarios pueden cambiar el sistema según sus preferencias y circunstancias, su implicación en el diseño de juego depende de los objetivos planteados, por ello, es imprescindible incluir una sección que se encuentre bajo dominio exclusivo del usuario y pueda establecer sus intereses (Chauhan, Taneja y Goel, 2015). La adaptabilidad se enfoca en valorar cómo el sistema se ordena a los deseos de los usuarios. En esta ocasión, los elementos de juego deben permitir que el usuario comparta los resultados, aconseje alternativas de uso e impulse el feedback con sus pares facilitando así la recopilación de datos con la finalidad de mejorar la interacción (Scoltock, 2016).

Al y fin y al cabo, el diseño de la ludificación para la evaluación de políticas públicas desde la perspectiva de experiencia del usuario está compuesto por elementos aleatorios, sistemas de logros, tutoriales, elementos competitivos, feedback, retos, niveles y personalización del perfil de usuario. Asimismo, la plataforma debe utilizar un lenguaje adaptado al usuario, idioma, expresiones, recursos discursivos con el objetivo de crear una sensación de pertenencia.

Los elementos aleatorios: potencian la incertidumbre y la diversión, rompen con la linealidad de una actividad. Los sistemas de aleatoriedad más comunes son los dados, cartas, generadores de números al azar, entre otros. La aleatoriedad afecta la toma de decisiones, por tanto, debe producirse un equilibrio entre la sensación de dominio del usuario en la plataforma y los elementos dispuestos al azar. En este caso, la aleatoriedad debe orientarse a beneficios extras para el usuario, recompensas inesperadas.

Sistema de logros: Se emite una recompensa al completar una meta deseada. Existen múltiples elementos, entre ellos están la información histórica, progreso, puntos, medallas, etc. En este caso, se optará por la implementación de las mecánicas PBL (points, badges y leaderboards), puntos, medallas y tabla de posiciones. Los puntos otorgados de manera continua al completar una actividad, las medallas al sumar una serie de actividades realizadas y la tabla de posiciones de manera visible y pública.

Tutoriales: Al inicio es necesario que exista una explicación didáctica sobre el uso de la plataforma. Misión, visión, valores ya es anacrónico. En este caso, se debe promover una meta clara y precisa que permita fomentar un objetivo común y de esa manera explicar las dinámicas de juego que la conforman.

Elementos competitivos: Impulsan la motivación intrínseca. Es más factible que las personas internalicen los objetivos cuando comprenden que poseen habilidades relevantes para alcanzarlos. Al fin y al cabo, los obstáculos y desafíos incitan a la persona avanzar. Los retos y los niveles además de proveer consistencia al sistema también potencian la jugabilidad.

Feedback: Es la mecánica más importante de los procesos de ludificación, ya que refuerza comportamientos que deben ser repetidos. Se presenta como la información que se le devuelve a un jugador después de realizar una acción, por tal motivo, se considera que está íntimamente relacionado con los puntos y el progreso. Permite a los usuarios reconocer su desempeño en las actividades y valorar la oportunidad de seguir participando. En el ámbito de las políticas públicas se establece cierta prioridad en la aplicación del feedback interpretativo centrado en la percepción de los ciudadanos sobre aquellos aspectos del programa político que ejercen influencia en su estilo de vida. No obstante, el feedback recursivo también se incorpora de manera determinística para moldear los patrones de comportamiento que determinan la capacidad cívica y la participación de los ciudadanos.

Personalización del perfil de usuario: Reconociendo que en la actualidad se evidencian múltiples tácticas de desinformación, la plataforma busca asumir la transparencia como premisa. El usuario debe acceder a la plataforma con datos reales que nutran su acercamiento con la administración pública. Principalmente deberá presentar su nombre, fecha de nacimiento e intereses. Los intereses están subordinados al nivel gubernamental. En la Administración central corresponden a las políticas de los siguientes sectores: Económicos: fiscal, monetaria y controles; Políticos: institucionales y participativas; sociales: educativas, seguridad social y salud pública; culturales: comunicativas y valores. A nivel local: agrario, bienestar, cultura, deportes, empleo, patronato cultural, turismo, urbanismo y juventud.

Figura 1
modelo final de evaluación de políticas públicas

En el modelo se visualiza al usuario como el eje central del proceso. Para acceder se identifica con su nombre y apellido, email (para que tenga un modo de contacto), fecha de nacimiento (+16 o +18 años de edad para permitirle participar) e intereses, los cuales depende del nivel gubernamental al que se aplica. Para comenzar se procede a emitir un tutorial explicando el uso de la plataforma y los desafíos.

El sistema se ordena en tiempo real al programa de políticas públicas. Sin embargo, el usuario decide cuando se suma a la participación, la única condición es hacerlo durante el proceso de discusión o posterior a él. Este modelo está compuesto por tres niveles, si bien el usuario puede incursionar en todos sin un orden pautado, se entiende que los retos en el nivel 3 tienen mayor dificultad que los retos del nivel 1. El nivel 1 se basa en el control de las decisiones, en este caso, se reduce a conocer las opiniones de los representantes delegados expresadas en la interface de manera anónima, aceptando y rechazando cada argumentación, aceptación implica libertad, rechazo es limitación. Cada intervención tiene un número aleatorio de puntos, cuanto mayor sea el número de intervenciones sobre el que se interactúe mayor la oportunidad para ganar puntos. Por su parte las medallas se otorgan respecto a la acumulación sobre un número determinado de puntos.

El nivel 2 denominado selección de los participantes recoge igualmente la intervención de los representantes, sin embargo, en este caso más allá de aceptar o rechazar una propuesta, se debe seleccionar el nivel de estudio y experiencia profesional en dicho ámbito de la persona quien expresó dicho argumento, la cual aparece anónima. Cuanto más cerca está el acierto el usuario sobre la respuesta, mayor número de puntos, en este caso, también se otorgará medallas por cumplir objetivos.

En el nivel 3, profundidad de la participación, el usuario debe emitir su opinión sobre el nivel de profundidad de los argumentos evidenciados en las discusiones sobre una política pública específica. Al igual que en el nivel 1, cada argumento tiene una puntuación dispuesta al azar, cuantas más se contesten mayor puntaje obtiene el usuario y más cerca de las medallas. Si bien pareciera tener la misma dificultad que el nivel 1, este nivel amerita una serie de conocimientos previos sobre la terminología antes de predisponer la emisión de las respuestas. Asimismo, completar el tercer paso implica la transmisión de los datos de la tercera fase de manera anónima a la administración pública.

En la sección inferior, todo usuario registrado al inicio de cada sesión destapa tres cartas al azar, cuando en las mismas aparezca la imagen de su Ayuntamiento o Diputación si es a nivel local o las Cortes Generales, Parlamento si es a nivel central, se le enviará automáticamente un mail solicitando fecha y hora para la reunión con el concejal de un ámbito en particular. Posibilitando que la interacción personal de la sociedad civil con los representantes de políticas públicas específicas.

En última instancia, este modelo de evaluación busca que el usuario evalúe las decisiones de la administración pública, tome decisiones y se involucre activamente en los programas de políticas públicas, en especial a los jóvenes, quienes afrontarán la orientación de las políticas públicas del futuro.

5. Conclusiones

En convergencia con los objetivos planteados. El objetivo general proponer un modelo procedimental en la determinación de políticas públicas asociado a la ludificación, el cual fue determinado en base al modelo de evaluación participativa (Vargas, 2009) aplicando los siguientes componentes de ludificación: elementos aleatorios, sistemas de logros, tutoriales, elementos competitivos, feedback, retos, niveles y personalización del perfil de usuario. Satisfaciendo de ese modo los objetivos específicos predispuestos: {1} Contrastar los modelos de evaluación de políticas en base a la categorización de las dimensiones de la experiencia del usuario y {2} Aplicar los indicadores de la ludificación al modelo de evaluación de políticas públicas con mayor aceptación entre los expertos.

Según el primer objetivo, el Modelo de Evaluación Participativa (Vargas, 2009) y la atribución de autonomía son los que consiguen un mayor grado de acuerdo entre los expertos en cuanto a la evaluación de la experiencia del usuario. Esto significa que el modelo seleccionado para la incorporación de los elementos de ludificación es aquel que concibe al ciudadano activo que participa en las actividades del sector público, centrado en alcanzar las necesidades comunes de una sociedad.

Si bien a nivel teórico, la evaluación participativa despuntaba como método de evaluación de la administración pública, los datos recabados en este trabajo demuestran que este modelo de evaluación de políticas públicas se adapta a los factores de influencia de la experiencia del usuario. El modelo de evaluación participativa además de ser eficaz también es compatible dentro del ámbito de las nuevas tecnologías. Además, se considera que la perspectiva de la experiencia del usuario impulsa la capacitación e influencia del ciudadano activo en la evaluación de las políticas públicas.

Por su parte, para cumplir el segundo objetivo fueron proporcionados elementos de ludificación seleccionados específicamente para la atribución de la experiencia del usuario: elementos aleatorios, el sistema de logros, tutoriales, elementos competitivos, retroalimentación, retos, niveles y personalización de perfil de usuario, los cuales fueron incorporados en el diseño final manteniendo al usuario como centro del modelo. Al fin y al cabo, este es un primer esbozo que permite abrir una nueva área de conocimiento dentro de las nuevas tecnologías e innovación, demostrando formalmente y siguiendo parámetros metodológicos propios de las ciencias sociales, la posibilidad de agregar elementos de juego en un modelo de evaluación de políticas públicas.

La mayor aportación se relaciona con la ludificación. La técnica de la ludificación ha pasado de tecnología emergente a tecnología fija dentro del marketing digital, no obstante, dentro del ámbito teórico, más allá de pinceladas al conductismo, se ha mantenido predispuesta a estudios empíricos dentro del ámbito empresarial. Este estudio trata de dar un paso en la aceptación de la ludificación en el entorno académico en el que se busca sustituir su visualización como técnica multidisciplinar que pretende valerse de la incorporación de puntos, medallas y tablas de posiciones para buscar beneficios a corto plazo por la de un proceso derivado de la perspectiva de la experiencia del usuario y a su vez generar cambios de comportamientos en cualquier ámbito de estudio.

El abordaje innovador de esta investigación ha invitado hacer un recorrido entre las posibilidades que ofrece las nuevas tecnologías y los juegos. Aunque todavía existe dominio de los juegos desde la perspectiva trivial, la portabilidad, la avanzada capacidad multimedia, los servicios en la nube, los gráficos en tres dimensiones y las pantallas táctiles han facilitado su incursión en el sector público como técnica aplicada en programas específicos de políticas públicas, entre los que destaca el ámbito educativo y sanitario, dejando aparte su aplicación en la evaluación de políticas públicas.

Al fin y al cabo, se entiende que este modelo procedimental busca que la sociedad evalúe de forma interactiva y entretenida a los funcionarios durante las intervenciones para la toma de decisiones públicas otorgándole suficiente importancia al discurso que construyen y las ideas que expresan respecto necesidades comunes de los habitantes, activando de ese modo la participación popular.

Actualmente, la credibilidad y legitimidad otorgada por la formalización y valoración de la investigación, apoyada secuencialmente por un grupo de investigación con profesionales de diversas áreas académicas refuerza la potencial anexión del modelo a la administración pública, garantizando la aplicación del modelo procedimental en el plano empírico de la administración pública a nivel central y local formalizando los resultados en próximas publicaciones.

REFERENCIAS

• ALAWNEH, Ali; AL-REFAI, Hasan; BATIHA, Khaldoun. Measuring user satisfaction from e-Government services: Llessons from Jordan. Government Information Quarterly, v. 30, n. 3, p. 277-288, 2013.
• ASQUER, Alberto. Not just videogames: gamification and its potential application to public services. En: DIGITAL PUBLIC ADMINISTRATION AND E-GOVERNMENT IN DEVELOPING NATIONS: POLICY AND PRACTICE, 2013, IGI Global.
• ASTIGARRAGA, Eneko. El método Delphi San Sebastián: Universidad de Deusto, 2003.
• BARGAS-AVILA, Javier A.; HORNBÆK, Kasper. Old wine in new bottles or novel challenges: a critical analysis of empirical studies of user experience. En: PROCEEDINGS OF THE SIGCHI CONFERENCE ON HUMAN FACTORS IN COMPUTING SYSTEMS, 2011, ACM.
• BATTARBEE, Katja; KOSKINEN, Ilpo. Co-experience: user experience as interaction. CoDesign, v. 1, n. 1, p. 5-18, 2005.
• BISTA, Sanat Kumar et al. Gamification for online communities: a case study for delivering government services. International Journal of Cooperative Information Systems, v. 23, n. 2, p. 201-225, 2014.
• BREMNER, Judith; ZASTROW, Charles. Advanced standing revisited: Current status, structure, and issues. Journal of Teaching in Social Work, v. 28, n. 1-2, p. 101-116, 2008.
• CARVALHO, Cláudia; BRITO, Carlos. Assessing users’ perceptions on how to Improve public services quality. Public Management Review, v. 14, n. 4, p. 451-472, 2012.
• CASTAÑEDA, J. Alberto; MUÑOZ-LEIVA, Francisco; LUQUE, Teodoro. Web Acceptance Model (WAM): moderating effects of user experience. Information & Management, v. 44, n. 4, p. 384-396, 2007.
• CHAUHAN, Jyoti; TANEJA, Shilpi; GOEL, Anita. Enhancing MOOC with augmented reality, adaptive learning and gamification. En: MOOCS, INNOVATION AND TECHNOLOGY IN EDUCATION (MITE), IEEE 3RD INTERNATIONAL CONFERENCE, 2015, IEEE.
• COUSINS, J. Bradley; WHITMORE, Elizabeth. Framing participatory evaluation. New Directions for Evaluation, v. 19, n. 80, p. 5-23, 1998.
• CRONIN JR, J. Joseph; TAYLOR, Steven A. Measuring service quality: a reexamination and extension. The Journal of Marketing, v. 56, n. 3, p. 55-68, 1992.
• CROW, Rosemarie et al. The measurement of satisfaction with healthcare: implications for practice from a systematic review of the literature. Health Technol Assess, v. 6, n. 32, p. 1-244, 2002.
• DAIGNEAULT, Pierre-Marc; JACOB, Steve. Unexpected but most welcome mixed methods for the validation and revision of the participatory evaluation measurement instrument. Journal of Mixed Methods Research, v. 8, n. 1, p. 6-24, 2014.
• DETERDING, Sebastian et al. From game design elements to gamefulness: defining gamification. En: PROCEEDINGS OF THE 15TH INTERNATIONAL ACADEMIC MINDTREK CONFERENCE: ENVISIONING FUTURE MEDIA ENVIRONMENTS, 2011, ACM.
• DETERDING, Sebastian et al. Designing gamification: creating gameful and playful experiences. En: CHI’13 EXTENDED ABSTRACTS ON HUMAN FACTORS IN COMPUTING SYSTEMS, 2013, ACM.
• DIRIENZO, Thomas; KRISHNAN, Nathan; SANTOS, Joost. Effects of smart appliances on residential consumption patterns. En: SYSTEMS AND INFORMATION ENGINEERING DESIGN SYMPOSIUM (SIEDS), 2014, IEEE.
• DOS SANTOS, Priscilla R. Inovações participativas, diálogo social e construção de consensos. Rev. Adm. Pública, v. 50, n. 3, p. 501-511, maio/jun. 2016.
• EMERY, Steven; MULDER, Henk; FREWER, Lynn. Maximizing the policy impacts of public engagement: a European study. Science, Technology, & Human Values, v. 40, n. 3, p. 421-444, 2015.
• EPSTEIN, Irwin et al. Research techniques for program planning, monitoring, and evaluation New York: Columbia University Press, 1977.
• FITZ-WALTER, Zachary et al. Driven to drive: designing gamification for a learner logbook smartphone application. En: PROCEEDINGS OF THE FIRST INTERNATIONAL CONFERENCE ON GAMEFUL DESIGN, RESEARCH, AND APPLICATIONS, 2013, ACM.
• GARCÍA VALDÉS, Margarita; SUÁREZ MARÍN, Mario. El método Delphi para la consulta a expertos en la investigación científica. Revista Cubana de Salud Pública, v. 39, n. 2, p. 253-267, 2013.
• GARRETT, Jesse James. Elements of user experience: the user-centered design for the web and beyond. Nueva Jersey: Pearson Education, 2010.
• GUEORGUIEVA, Ralitza; KRYSTAL, John H. Move over anova: Progress in analyzing repeated-measures data andBits reflection in papers published in the archives of general psychiatry. Archives of General Psychiatry, v. 61, n. 3, p. 310-317, 2004.
• HASSENZAHL, Marc. The thing and I: understanding the relationship between user and product. En: BLYTHE, Mark et al. (Ed.). Funology Houten: Springer Netherlands, 2003. p. 31-42.
• HASSENZAHL, Marc; TRACTINSKY, Noam. User experience-a research agenda. Behaviour & Information Technology, v. 25, n. 2, p. 91-97, 2006.
• HORTA, Xavier Bertrana; YSA, Tamyko. Los retos de la evaluación de políticas públicas: entre la participación y la responsabilidad. Nuevas Políticas Públicas: Anuario Multidisciplinar para la Modernización de las Administraciones Públicas, n. 3, p. 129-142, 2007.
• HU, Shueh-Cheng; CHEN, I-Ching. A gamified online forum inspiring group intelligence distillation for policy making. En: INTERNATIONAL CONFERENCE IN SWARM INTELLIGENCE, 2015, Springer International Publishing.
• IZQUIERDO, Beatriz. De la evaluación clásica a la evaluación pluralista: criterios para clasificar los distintos tipos de evaluación. Empiria: Revista de Metodología de Ciencias Sociales, n. 16, p. 115-134, 2008.
• JANG, Jinkyu et al. Application of experiential locus of control to understand users’ judgments toward useful experience. Computers in Human Behavior, v. 54, p. 326-340, 2016.
• JOHNSON, Ronald W. Research objectives for policy analysis. Public Policy Evaluation, v. 2, p. 76-83, 1975.
• KARAPANOS, Evangelos et al. Measuring the dynamics of remembered experience over time. Interacting with Computers, v. 22, n. 5, p. 328-335, 2010.
• KEENEY, Sinead; HASSON, Felicity; MCKENNA, Hugh. A critical review of the Delphi technique as a research methodology for nursing. International Journal of Nursing Studies, v. 38, n. 2, p.195-200, 2001.
• KOCH, Andreas, Strengthening intangible infrastructures: a commitment to communities. Newcastle: Cambridge Scholars Publishing, 2014.
• KUMAR, Janaki. Design gamification at work: Designing engaging business software. User experience, and usability. Health, learning, playing, cultural, and cross-cultural user experience. Lecture Notes Computer Sci, v. 8013, p. 528-537, 2013.
• LANDERS, Richard N.; CALLAN, Rachel C. Casual social games as serious games: The psychology of gamification in undergraduate education and employee training. En: MA, Minhua; OIKONOMOU, Andreas; JAIN, Lakhmi (Ed.). Serious games and edutainment applications Londres: Springer, 2011. p. 399-423.
• LAW, Effie Lai-Chong et al. Understanding, scoping and defining user experience: a survey approach. En: PROCEEDINGS OF THE SIGCHI CONFERENCE ON HUMAN FACTORS IN COMPUTING SYSTEMS, 2009, ACM.
• LIANG, Rung-Huei. Designing for unexpected encounters with digital products: Case studies of serendipity as felt experience. International Journal of Design, v. 6, n. 1, p. 41-58, 2012.
• MAHNIC, Nika. Gamification of politics: start a new game! Teorija in Praksa, v. 51, n. 1, p. 143-161, 2014.
• MARTÍ, Irene et al. Mobile application for noise pollution monitoring through gamification techniques. En: ENTERTAINMENT COMPUTING-ICEC, 2012, Springer-Verlag.
• NACKE, Lennart; DETERDING, Sebastian. The maturing of gamification research. Computers in Human Behavior, v. 71, p. 450-454, 2017.
• OWEN, John M.; LAMBERT, Faye C. Roles for evaluation in learning organizations. Evaluation, v. 1, n. 2, p.237-250, 1995.
• PABLO MARTÍ, Federico et al. Mosips Agent-based model for predicting and simulating the impact of public policies on SMEs. En: PROCEEDINGS OF THE EUROPEAN CONFERENCE ON COMPLEX SYSTEMS, 2012, Springer International Publishing.
• PARASURAMAN, Arun; ZEITHAML, Valarie A.; BERRY, Leonard L. Servqual. Journal of Retailing, v. 64, n. 1, p. 12-40, 1988.
• PARASURAMAN, Ananthanarayanan; ZEITHAML, Valarie A.; BERRY, Leonard L. Reassessment of expectations as a comparison standard in measuring service quality: implications for further research. The Journal of Marketing, v. 58, n. 1, p. 111-124, 1994.
• PARASURAMAN, Ananthanarayanan; ZEITHAML, Valarie A.; MALHOTRA, Arvind. ES-QUAL a multiple-item scale for assessing electronic service quality. Journal of Service Research, v. 7, n. 3, p. 213-233, 2005.
• PARK, Jaehyun et al. Developing elements of user experience for mobile phones and services: survey, interview, and observation approaches. Human Factors and Ergonomics in Manufacturing & Service Industries, v. 23, n. 4, p. 279-293, 2013.
• PARSONS, Wayne. Public policy: an introduction to the theory and practice of policy analysis. Northampton: Edward Elgar, 1999.
• PETERS, Guy. American public policy: Promise and performance. Washington: Cq Press, 2012.
• POWELL, Catherine. The Delphi technique: myths and realities. Journal of Advanced Nursing, v. 41, n. 4, p. 376-382, 2003.
• PURSLEY, Linda Arlene. Empowerment and utilization through participatory evaluation. Nueva York: Cornell University, 1996.
• RUGGERI, Kai; FARRINGTON, Conor; BRAYNE, Carol. A global model for effective use and evaluation of e-learning in health. Telemedicine and e-Health, v. 19, n. 4, p. 312-321, 2013.
• SCHMIDT, Stuart M. Client-oriented evaluation of public agency effectiveness. Administration & Society, v. 8, n. 4, p. 403-422, 1977.
• SCOLTOCK, Judith. Adaptive design: how to build an effective learning experience. En: CONFERENCE PROCEEDINGS. THE FUTURE OF EDUCATION, 2016, libreriauniversitaria. it Edizioni.
• SILPASUWANCHAI, Chaklam; MA, Xiaojuan; SHIGEMASU Hiroaki; REN, Xiangshi. Developing a comprehensive engagement framework of gamification for reflective learning. En: PROCEEDINGS OF THE 2016 ACM CONFERENCE ON DESIGNING INTERACTIVE SYSTEMS, 2016, ACM.
• SIMÕES, Jorge; REDONDO, Rebeca; FERNÁNDEZ-VILAS, Ana. A social gamification framework for a K-6 learning platform. Computers in Human Behavior, v. 29, n. 2, p. 345-353, 2013.
• SOX, Carole B.; KLINE, Sheryl; CREWS Tena. Identifying best practices, opportunities and barriers in meeting planning for Generation Y. International Journal of Hospitality Management, n. 36, p. 244-254, 2014.
• STUFFLEBEAM, Daniel L. The CIPP model for program evaluation. En: EVALUATION MODELS, pp. 117-141. Springer Netherlands, 1983.
• THIEL, Sarah-Kristin; FRÖHLICH, Peter. Gamification as motivation to engage in location-based public participation? En: PROGRESS IN LOCATION-BASED SERVICES, 2017, Springer International Publishing.
• TORRES, Rosalie T.; PRESKILL, Hallie S.; PIONTEK, Mary E. Communicating and reporting: Practices and concerns of internal and external evaluators. American Journal of Evaluation, v. 18, n. 2, p. 105-125, 1997.
• ÚCAR, Xavier. Evaluación participativa y empoderamiento. Pedagogia Social, n. 24, p. 13-19, 2014.
• VARGAS, Carlos S. La evaluación y el análisis de políticas públicas. Opera, v. 9, n. 9, p. 23-51, 2009.
• VEDUNG, Evert. Public policy and program evaluation New Brunswick: Transaction Publishers, 2009.
• VILLORIA, Manuel. Integridad. Eunomía Revista en Cultura de la Legalidad, v. 2, n. 1, p. 107-113, 2014.
• WERBACH, Kevin; HUNTER, Dan. For the win: How game thinking can revolutionize your business. Pennsylvania: Wharton Digital Press, 2012.
• ZASTROW, Charles. Social work with groups: a comprehensive worktext. Boston: Congage Learning, 2014.
• ZURBRIGGEN, Cristina; LAGO, Mariana G. Innovación y co-creación. Nuevos desafíos para las políticas públicas. Revista de Gestión Pública, v. 3, n. 2, p. 329-361, 2014.

Fechas de Publicación

• Publicación en esta colección
  Sep-Oct 2017

Histórico

• Recibido
  02 Oct 2016
• Acepto
  27 Jun 2017