Serious games como estrategia educativa para control de la obesidad infantil: revisión sistemática de la literatura¹

RESUMEN

Objetivos:

identificar, en la literatura, la eficacia del uso de serious games para la mejora del conocimiento y/o realizar cambios de comportamientos en niños con sobrepeso u obesidad.

Método:

se realizó una Revisión Sistemática de la Literatura. Se tomó como base el método para revisión sistemática de la Cochrane. Los estudios fueron recogidos de las bases de datos Public Medline, Web Of Science, Science Direct, Literatura Latinoamericana y del Caribe en Ciencias de la Salud, Health Game Research y Cumulative Index to Nursing & Allied Health Literature. Los descriptores utilizados fueron video games y obesity y la palabra clave serious games. Los criterios de inclusión establecidos fueron estudios clasificados como Ensayos Clínicos Aleatorios; en tres idiomas inglés, español y portugués; y que fuesen sobre niños (población de interés).

Resultados:

en la busca inicial, 2.722 estudios fueron localizados, siendo seis estudios seleccionados para la muestra final. Los artículos enfocaron en el estímulo a introducir cambios de comportamiento del niño jugador; por ejemplo, incentivar la actividad física y mejorar los hábitos alimenticios. Los estudios mostraron que el uso de serious games, como una estrategia, puede auxiliar positivamente al enfrentamiento de la obesidad infantil.

Conclusión:

se piensa que la investigación en esa área es una estrategia en expansión y promisora. Los serious games se presentan como alternativas en la educación en salud de niños.

Descriptores:
Niño; Salud del Niño; Obesidad Pediátrica; Juegos de Video; Promoción de la Salud; Educación en Salud

ABSTRACT

Objectives:

to identify in the literature the efficacy of serious games to improve knowledge for and/or behavioral changes among overweight or obese children.

Method:

Systematic Literature Review. The Cochrane Systematic Reviews Handbook was used. The studies were collected from the following databases: Public Medline; Web Of Science; Science Direct; Latin American and Caribbean Health Sciences Literature; and the Health Game Research and Cumulative Index to Nursing & Allied Health Literature. The descriptors were video games and obesity, while the key word was serious games. Inclusion criteria were: studies classified as Randomized Clinical Trials written in English, Spanish or Portuguese and in which children were the subjects of the study.

Results:

2,722 studies were identified in the initial search and six studies remained in the final sample. The papers focused on encouraging behavioral changes in players, including physical exercise and improved eating habits. The studies report that serious games are a potential strategy to encourage positive coping with childhood obesity.

Conclusion:

research in this field is an expanding and promising strategy and serious games represent an alternative means to provide health education to children.

Descriptors:
Child; Child Health; Pediatric Obesity; Video Games; Health Promotion; Health Education

RESUMO

Objetivo:

identificar, na literatura, a eficácia do uso de serious games para a melhoria do conhecimento e/ou das mudanças de comportamentos em crianças com sobrepeso ou obesidade.

Método:

realizou-se uma revisão sistemática da literatura. Tomou-se como base o método para revisão sistemática da Cochrane. Os estudos foram coletados nas bases de dados Public Medline, Web Of Science, ScienceDirect, Literatura Latino-Americana e do Caribe em Ciências da Saúde, Health Games Research e Cumulative Index to Nursing & Allied Health Literature. Utilizaram-se os descritores “videogames” e “obesity” e a palavra-chave “serious games”. Os critérios de inclusão estabelecidos foram: estudos classificados como ensaios clínicos randomizados, nos idiomas inglês, espanhol e português e que tivessem crianças como público-alvo.

Resultados:

2.746 estudos foram localizados na busca inicial e seis foram selecionados para a amostra final. Os artigos focaram tanto no estímulo a mudanças de comportamento do jogador quanto no incentivo à atividade física e melhoria de hábitos alimentares. Os estudos mostraram que o uso de serious games como estratégia pode auxiliar positivamente no enfrentamento da obesidade infantil.

Conclusão:

acredita-se que a pesquisa nessa área é uma estratégia em expansão e promissora e que tais jogos figuram como alternativas na educação em saúde de crianças.

Descritores:
Criança; Saúde da Criança; Obesidade Pediátrica; Jogos de Vídeo; Promoção da Saúde; Educação em Saúde

Introducción

La obesidad infantil es una condición compleja relacionada con condiciones genéticas, ingestión nutricional, niveles de actividad física y factores ambientales. De acuerdo con la literatura, se define el sobrepeso como el Índice de Masa Corporal (IMC) con rango de percentil entre 85 y 97 y la obesidad para IMC superior o igual al percentil 97¹.

Actualmente, el sobrepeso y la obesidad son fenómenos sociales y epidemiológicos. Algunos estudios apuntan que 42 millones de niños menores de cinco años son considerados obesos o con sobrepeso² y se estima que para el año 2025 ese número aumentará para 70 millones³.

Muchos estudios de intervención fueron conducidos para abordar el problema de sobrepeso y obesidad entre los niños, siendo que esa condición es considerada un problema de salud pública^4-5. Debido al elevado uso de la tecnología entre los niños de las nuevas generaciones, se vislumbran oportunidades de promoción de la salud con el uso de dispositivos informáticos, ya que estos son actualmente utilizadas por ellos⁶. En la última década, varias intervenciones que hicieron uso de tecnología para prevenir la obesidad fueron realizadas en ambientes escolares y en la práctica clínica objetivando la educación en salud del público infantil^7-8.

La educación en salud es considerada como una forma de mejorar la comprensión del paciente sobre la enfermedad, lo que, a su vez, conduce a mejorar su estado general y reducir la utilización de los recursos de salud⁹. A pesar de que los programas educacionales individualizados son eficaces, estos son considerados caros¹⁰. Por otro lado, métodos más tradicionales de educación del paciente, como conferencias o material de lectura impreso, son más accesibles, pero no mejoraron substancialmente los resultados clínicos¹¹.

A partir de eso, se han creado nuevos sistemas de intervenciones educativas, con características innovadoras y más favorables a los sujetos de interés. Con base en evidencias científicas, esas intervenciones buscan proporcionar educación en salud de manera más próxima a sus clientes. Uno de esos abordajes tiene como base el uso de juegos como un medio para mejorar los conocimientos de salud y como una herramienta adicional en tratamientos médicos, terapia o administración de enfermedades¹².

A partir del aumento de la popularidad de los video games en los últimos 30 años, los investigadores comenzaron a explorar su potencial para propósitos serios¹³; nos referimos a los llamados “serious games” (juegos serios); estos son definidos como juegos en un escenario educacional, con objetivos de aprendizaje específicos, para que el jugador, además de jugar, también aprenda al hacer uso de ellos ⁽¹⁴.

El aprendizaje basado en juegos digitales tiene el potencial de promover interés en los jugadores, motivándolos a involucrarse en el juego, regularmente, por un largo período de tiempo. Esas son comportamientos muchas veces difíciles de obtener a través de materiales y abordajes de aprendizaje tradicionales; por tanto, esos juegos pueden ser responsables ​​por una diferencia positiva en la eficacia educacional^15-16.

De acuerdo con la literatura, los serious games para la salud pueden ser métodos innovadores y potencialmente eficaces para mejorar el conocimiento; ellos pueden contener mensajes persuasivos y ayudar a cambiar comportamientos, así como influenciar en programas de salud¹⁷.

Dentro de este asunto, el objetivo de este estudio fue identificar, en la literatura, la eficacia del uso de serious games para mejorar el conocimiento y/o introducir cambios de comportamientos en niños con sobrepeso u obesidad.

Métodos

Se realizó una revisión sistemática de la literatura conforme al método Preferred Reporting Items for Systematic Reviews and Meta-Analyses (PRISMA)¹⁸ sobre el uso de serious games como intervención educativa para enfrentamiento de la obesidad infantil.

La revisión sistemática objetiva reunir todas las evidencias disponibles conforme criterios de elegibilidad especificados con antecedencia, a fin de responder a una pregunta de investigación específica. Para tanto, se utiliza un método sistemático, que proporciona resultados más confiables, a partir de los cuales es posible tirar conclusiones y establecer la toma de decisiones¹⁹.

La revisión sistemática propuesta fue sometida a la Plataforma International prospective register of systematic reviews - PROSPERO para obtención de registro, la que fue aprobada con el nº CRD42016042272.

Se tomó como base el método para revisión sistemática de la Cochrane¹⁹ y las etapas propuestas por la literatura²⁰, las que fueron: construcción del protocolo; definición de la pregunta; busca de los estudios; selección de los estudios; evaluación crítica; recogida de los datos; y síntesis de los datos.

Para la elaboración de la pregunta de investigación se utilizó la estrategia PICO, del “Patient population/disease, Intervention or issue of interest, Comparison intervention or issue of interest y Outcome”²¹. La Figura 1 presenta los componentes de la pregunta de investigación de esta revisión, según el anagrama PICO.

Figura 1
Anagrama de la pregunta de investigación utilizando la estrategia PICO

Así, para guiar esta revisión sistemática, se formuló la siguiente pregunta de investigación: “¿El uso de un serious game como estrategia educativa produce mejora del conocimiento y/o cambio de comportamiento de niños con relación a la obesidad cuando comparadas a la estrategia clínica tradicional?”.

Para la definición, se consideró como estrategia clínica tradicional de control de la obesidad infantil el acompañamiento y tratamiento por un pediatra regular, abarcando la asesoría nutricional y la motivación para el ejercicio físico, pudiendo o no involucrar otros profesionales como nutricionistas y educadores físicos^22-23.

Para la selección de los artículos fueron utilizadas las siguientes bases de datos: PUBMED, Web Of Science, Science Direct, LILACS, Health Game Research y CINAHL. En relación a la terminología utilizada para la busca se tomó como base el Medical Subject Headings (MeSH/PUBMED) y los Descriptores en Ciencia de la Salud (DECS), respectivamente, video games y obesity y como palabra clave se optó por utilizar el término serious games.

La estrategia de busca fue iniciada utilizando los primeros cruzamientos apenas para los descriptores controlados, siendo inseridos a continuación los no controlados, esto en todas las bases de datos. Inicialmente, se preseleccionaron los artículos localizados en las buscas por medio de la lectura del título y resumen, y también cuando surgieron dudas en relación al contenido de los trabajos, los que fueron preseleccionados para un posterior análisis de su contenido completo.

Los criterios de inclusión establecidos fueron: artículos indexados en las bases de datos arriba citados; en los idiomas inglés, español y portugués; sin límite de tiempo de publicación; con niños como población de interés; y, solamente estudios clasificados como Ensayos Clínicos Aleatorios. El levantamiento ocurrió en el mes de enero de 2018; fueron excluidas las publicaciones secundarias como artículos de revisión, libros, monografías, tesis y disertaciones.

Para extracción y análisis de los datos de los estudios seleccionados, fue utilizado el instrumento propio para análisis de Ensayos Clínicos Aleatorios de la Consolidated Standars of Reporting Trials - CONSORT²⁴, con el cual se verificó si los mismos contenían las informaciones necesarias para ser incluidos en la selección de los estudios. El instrumento CONSORT facilita la interpretación crítica de los resultados, ya que permite al investigador extraer detalles del estudio, así como utilizar el modo de conducción y el tipo de análisis estadístico²⁴.

De forma independiente, dos investigadores realizaron la selección de estudios en fases; primeramente se excluyeron estudios a partir de la lectura de títulos (primer análisis), después examinando resúmenes (segundo análisis) y por último leyendo textos completos (tercer análisis). En caso de discordancia o duda, un tercer investigador con experiencia era consultado.

Los artículos fueron leídos completamente; después de la lectura, un modelo del instrumento era llenado para cada estudio considerado; se registró detalladamente si cada etapa de los estudios describía lo que era necesario para ser considerado un ensayo clínico aleatorio.

Posteriormente, los datos captados por el instrumento de análisis fueron organizados en una planilla Excel de la Microsoft. Después de la lectura completa de los estudios seleccionados, fue realizado el análisis con la finalidad de describir y clasificar los resultados, evidenciando el conocimiento producido.

Un total de 2.746 estudios fue localizado en la busca inicial en las bases de datos. Se realizó la lectura de todos los títulos y resúmenes; se siguieron los criterios de inclusión y al final de ese proceso, seis estudios atendieron los criterios y fueron seleccionados.

La síntesis del proceso de selección de los estudios según el modelo PRISMA puede ser vista en la Figura 2.

Figura 2
Síntesis del proceso de selección de estudios según el modelo PRISMA

Resultados

Para mejor identificación de cada estudio seleccionado, los artículos fueron organizados en secuencia alfanumérica, iniciando en A1 hasta A6 (Figura 3).

Figura 3
Estudios seleccionados para la muestra final de la revisión

Con relación al año de publicación, en los años de 2003, 2011, 2015 y 2016, se seleccionó un estudio en cada año. El año de 2013 contó con dos artículos. Referente al local de las investigaciones, tres ensayos clínicos fueron hechos en los Estados Unidos (EUA), uno en España y uno en Bélgica. El tamaño de las muestras varió de 1.578 sujetos (mayor muestra) hasta 44 sujetos del estudio (menor muestra). Los niños, sujetos de interés de las investigaciones, tenían edades entre ocho y 15 años.

El primer estudio analizado²⁵⁾ fue hecho con una muestra de 101 niños; esos niños fueron seleccionados aleatoriamente, siendo 51 clasificados en el grupo control y 50 en el grupo de intervención. El estudio se enfocó en la utilización del serious game para mejorar el conocimiento sobre nutrición saludable y los beneficios de incluir buenos hábitos alimenticios y ejercicios diarios en la prevención de la obesidad. Niños de etnia latina, de 8 a 15 años de edad fueron reclutados para el estudio.

El grupo de Intervención jugó el serious game en cuanto el asistente de investigación observaba. El grupo Control recibió materiales de educación impresos en inglés/español, que promovían dieta y ejercicio; el estudio permitía dejar a esos niños libres para jugar online en sus casas juntamente con su responsable; los participantes fueron acompañados a lo largo del estudio por teléfono, para responder a posibles dudas y problemas de acceso. Sin embargo, los autores indicaron que a pesar de esa facilidad, pocos sujetos llegaron hasta el final del juego.

En la investigación de satisfacción, la mayoría de los sujetos declaró haber gustado del juego y que les gustaría reproducirlo futuramente. Los autores creen que al utilizar el juego en la asistencia clínica y con el debido acompañamiento profesional se pueda involucrar más a las familias en el programa de enfrentamiento de la obesidad²⁵.

El segundo estudio²⁶⁾ presenta los resultados de la evaluación de un serious game online que presentaba frutas y vegetales a los niños de manera variada, como una estrategia adicional de promoción de la salud. Se evaluaron los resultados verificando la ingestión de frutas y vegetales en el corto y largo plazo.

La evaluación contó con cuatro grupos de niños escolares (entre 9 y 11 años) distribuidos aleatoriamente, con tres períodos de recogida de datos: inicio, P1 (post intervención, tres meses después del inicio), y P2 (tres meses después de la última evaluación). Los cuatro grupos jugaron 10 episodios del serious game online ¡Squire’s Quest II! Los grupos variaron apenas en el tipo de implementación de la intervención creada denominados como: Action, Coping, Both and None. El grupo Action estableció una meta de alimentación de frutas y vegetales y creó un plan de acción para ella, especificando como llegarían a esa meta. El grupo Coping también creó una meta de comer más frutas y vegetales y crearon un plan de enfrentamiento, que identificaba las barreras potenciales que pudiesen dejarlos lejos de la meta. El grupo Both hizo los dos planos de acción y el último grupo (None) no hizo ningún plan.

Cuatrocientas parejas (responsables y niños) fueron reclutadas. Hubo respuesta significativa de mayor consumo de frutas, legumbres y verduras (p <0,001) encontrada en apenas el grupo Action, que mostró aumentos significativos en el consumo de frutas y vegetales en el post 1 (p <0,0001) y post 2 (p <0,0001). En ningún otro grupo fueron observadas interacciones significativas. Como conclusión, los autores relatan que el establecimiento de un plan de acción puede ser un componente importante de intervenciones exitosas, para aumentar y mantener la ingestión de frutas y vegetales en niños preadolescentes. Los video games de promoción de hábitos alimenticios saludables ofrecen una intervención eficaz para un posible cambio de comportamiento en niños.

El tercer estudio²⁷ analizado realizó un ensayo clínico aleatorio en Bélgica. En ese estudio, todos los niños con exceso de peso en la fase final de un programa de tratamiento hospitalario de 10 meses, fueron convidados a participar; la investigación se realizó en un centro médico pediátrico. La intervención era un entrenamiento incorporado en un mundo gamificado. El serious game desarrollado fue llamado de “Braingame Brian”; el nombre del personaje principal del juego fue “Brian”. El grupo control continuó con la asistencia de rutina de la unidad para el combate de la obesidad.

El niño entraba en contacto con el juego de computador en la clínica después del horario escolar. El juego consistió en 25 sesiones de entrenamiento de cerca de 40 minutos cada uno. Cada sesión contenía dos bloques (cerca de 20 minutos) de tareas. Durante un período de seis semanas el niño entrenaba cerca de cuatro veces por semana en días fijos. Sin embargo, el niño no jugó más de una sesión de 40 minutos por día. Para mejorar la motivación, cada bloque completo de tareas de entrenamiento resultaba en una elaboración del mundo del juego o en poderes extras para el personaje principal (Brian). Con sus poderes extras, Brian, creaba invenciones para ayudar a las personas en su aldea, dando como resultando aldeas felices. En toda sesión, un asistente de investigación asistía al juego y respondía a posibles dificultades sobre el mismo.

Los autores concluyeron que los niños del grupo de intervención mostraron mejora significativa cuando comparados a niños del grupo control; ellos también eran más capaces de mantener su pérdida de peso hasta ocho semanas después del entrenamiento. Ese estudio muestra evidencias promisoras para la eficacia de un entrenamiento con uso de serious game como intervención adicional para niños obesos²⁷.

El cuarto estudio²⁸, presente en esta revisión, tuvo por objetivo analizar la eficacia del website Etiobe Mates que contenía algunos serious games como una herramienta para perfeccionar los procesos de aprendizaje nutricional para niños, así como para saber cuál sería la aceptabilidad y facilidad de jugar de los juegos disponibles en el ETIOBE Mates.

Después del consentimiento de los padres, los investigadores fueron a cuatro escuelas a explicar el programa; 228 niños (con edad entre 10 y 13 años) fueron aleatoriamente seleccionados para participar del estudio. El grupo intervención contó con 73 niños y el control con 115. En el primer encuentro los niños llenaron cuestionarios pretest; a continuación, el grupo control recibió folletos con informaciones nutricionales que contenían lo mismo que el nutricional del ETIOBE Mates, pero como folleto. El grupo control fue orientado a leer el folleto cuantas veces quisiese. Ya, el grupo experimental recibió usuario y seña para hacer log in en el ETIOBE Mates, site que contenía diversos contenidos nutricionales y hábitos saludables en forma de serious games.

El Grupo Intervención fue instruido a navegar en la plataforma y usar todo, sin restricciones, por un período de dos semanas. Después de dos semanas todos llenaron nuevamente los cuestionarios (postest). Los participantes del grupo experimental también llenaron cuestionarios sobre la aceptación y facilidad de juego del ETIOBE mates. Al final del estudio los niños del grupo control recibieron login y seña del ETIOBE Mates para jugar también.

Ambos grupos aumentaron sus puntuaciones en el conocimiento nutricional; no obstante, la interacción en tiempo utilizado por el grupo experimental fue estadísticamente significativa e indicó que la adquisición del conocimiento nutricional fue superior en ese grupo. Los niños consideraron la plataforma de serious games como un medio útil para mejorar su conocimiento nutricional. Al final del estudio, los autores afirmaron que el serious game online pueden ser un método eficaz, presentado de manera diferente al tradicional, para mejorar el conocimiento de prevención y de tratamiento de enfermedades²⁸.

El quinto estudio²⁹⁾ buscó evaluar los resultados de jugar dos serious games “Escape from Diab” y “Nano Swarm”, relacionados con alimentación infantil, actividad física y adiposidad. Se trató de un ensayo clínico aleatorio con 153 niños (103 en el grupo de intervención y 50 en el grupo de control) de 10 a 12 años. Los niños fueron reclutados principalmente con anuncios de radio dirigidos a niños afroamericanos e hispánicos, en Houston, Texas. Un especialista en reclutamiento bilíngue realizó la clasificación preliminar. Entre 2008 y 2009, fue realizado un sorteo de los participantes de los dos grupos. El grupo de intervención jugó dos serious games: “Escape from Diab” y “Nano Swarm”.

Las evaluaciones fueron realizadas en el inicio de la intervención e inmediatamente después de terminado el serious game. Hubo nueve sesiones para jugar y cada una duró, por lo menos, 40 minutos. Cada participante en el grupo de intervención recibió un computador (prestado), ya con los juegos instalados. Los coordinadores de intervención monitorizaron el progreso de los juegos a través de e-mails enviados automáticamente cuando una sesión era concluida; también respondieron a preguntas que surgieron durante la intervención. El grupo control no jugó ningún serious game, pero recibió una actividad en la Internet para obtener mejora de los conocimientos en dos partes; cada una de las partes incluía ocho sesiones en sites de juegos variados sobre la salud. La experiencia del grupo control fue ofrecida para atender a las expectativas de jugar video games relacionados con la salud y para evitar un mayor porcentaje de abandono de los participantes. Las preguntas de inmersión solo fueron aplicadas al grupo de intervención, el grupo control fue excluido de los análisis en ese asunto.

Las principales medidas de resultado evaluadas fueron: porciones de frutas, vegetales, agua y minutos de actividad física moderada a vigorosa. Se evaluaron los participantes en tres días no consecutivos, con cuestionarios de 24 horas (recordatorios de alimentación) y en cinco días consecutivos de actividad física (utilizando acelerómetros), así como evaluación de peso, altura, circunferencia de la cintura y dobladura cutánea del tríceps. Como resultados se encontró que los niños que jugaron “Escape from Diab” aumentaron el consumo de frutas y vegetales en cerca de 0,67 porciones por día (p = 0.018), pero no de agua y actividad física moderada a vigorosa, o composición corporal. Los autores concluyeron que jugando los serious games hubo un aumento en la ingestión de frutas y vegetales, no obstante todavía era necesaria una investigación sobre la concepción ideal de componentes de juegos para maximizar el cambio de comportamiento en niños²⁹.

El sexto y último estudio³⁰ relata la aplicación de un serious game como intervención en 26 escuelas primarias de la ciudad de Houston, en EUA. La intervención estuvo compuesta por el juego ¡Squire’s Quest!, un juego multimedia psicoeducacional que presenta frutas y vegetales de forma variada a los niños.

Los niños fueron distribuidos de forma aleatoria en los grupos de Intervención y Control. El grupo Intervención contó con diez sesiones del juego ¡Squire’s Quest!. El serious game fue aplicado durante dos meses, siendo cada sesión realizada en el tiempo de 25 minutos. Con relación al grupo control, este no recibió ninguna intervención y apenas respondió a los instrumentos necesarios para posterior comparación de las variables entre grupos. Los datos de los 1.578 niños participantes fueron recogidos inmediatamente antes y después del programa.

Se evaluaron cuatro días de ingestión dietética, antes y después de la intervención. Los investigadores utilizaron el Food Intake Recording Software System (FIRSSt), instrumento que evalúa la ingestión alimentar de 24 horas directamente en los niños. La comparación de las variables categóricas entre los grupos de intervención y control fue realizada por el método estadístico chi-cuadrado. Las diferencias entre esos grupos en las ingestiones de porciones medias de frutas y vegetales fueron comprobadas por el test t de Student.

Como resultados los autores notaron que los niños que participaron de la intervención con el ¡Squire’s Quest! aumentaron el consumo de frutas y vegetales en más de un por ciento si comparados a los niños que no recibieron el programa. Los investigadores concluyeron que los juegos psicoeducativos tienen potencial para alterar substancialmente el comportamiento alimenticio.

Discusión

Con base en los estudios seleccionados y analizados en esta revisión, se puede concluir que el uso de serious games como estrategia para enfrentamiento de la obesidad es un campo en expansión y su aplicación trae resultados promisores, los que no deben ser ignorados. Sin embargo - considerando la escasa cantidad de estudios que cumplieron todos los criterios de inclusión - es un campo todavía incipiente de ensayos clínicos aleatorios para comprobar la eficacia de esos juegos como intervención.

Cabe destacar que, a pesar de no haber volumen suficiente de ensayos clínicos para afirmar que serious game es una estrategia efectiva de tratamiento, los seis estudios analizados apuntaron para la satisfacción de los participantes, tres estudios llegaron a resultados significativos en cuanto al cambio de hábitos alimenticios; uno provocó la mejora en la adquisición de conocimientos y otro además apuntó para la mejora en la reducción del peso corporal.

Con relación al serious game utilizado como intervención por los estudios, la mayoría de los autores desarrolló su propio juego, lo validó y posteriormente lo aplicó en los sujetos de interés^25-28,30; apenas un autor utilizó como intervención juegos comerciales relacionados al tema ya desarrollados anteriormente²⁹.

Hubo diferencias en cuanto al tiempo de intervención, que varió de un mes a seis meses. Fue observado que cuanto mayor es el tiempo de exposición y aplicación de los serious games, mayor será la fijación de contenido y cambio de comportamiento de los niños.

Los estudios convergieron en diversos aspectos, como: gran interés de los niños por la intervención y mayor motivación por tratarse de un juego digital; mejoras significativas en la dieta y selección de alimentos más saludables; cambios de comportamiento de los niños y mayores índices de actividad física; y mejora de los conocimientos relacionados a la alimentación saludable. De manera general, los juegos fueron bien aceptados por los niños, constituyéndose en una estrategia diferenciada para el enfrentamiento de la obesidad^26-29.

Solamente uno de los estudios mostró resultados más controvertidos²⁵, en el cual gran parte de los niños no completó la intervención conforme previsto, existiendo interrupción del juego durante su uso. Los autores no elucidaron las causas para ese comportamiento, a pesar de eso el juego recibió una buena evaluación de los niños y padres. Ese estudio también fue el único que dejó a los sujetos libres para jugar el serious game en casa a través de la internet, sin el investigador al lado del niño en todo momento, lo que pudo haber comprometido la continuación de los sujetos en la intervención.

La literatura científica también corrobora lo encontrado por los estudios seleccionados en esta revisión: el uso de serious games como estrategia puede auxiliar positivamente en el enfrentamiento de la obesidad infantil. Esos juegos figuran entre las alternativas educacionales para la educación en salud de niños. El uso de esa tecnología es flexible y puede ofrecer apoyo educacional, así como incentivar una aprendizaje más activo^31-32.

La introducción de serious games, como componentes adicionales en programas de enfrentamiento de la enfermedad, puede aumentar la motivación y la conformidad, y mejorar, por tanto, el resultado de esas intervenciones³³.

Existen evidencias en la literatura que corroboran esos resultados. Un metaanálisis utilizó 64 serious games que promueven estilos de vida saludables y ​​reveló que los juegos tuvieron efectos estadísticamente significativos en cambios de comportamiento³⁴. Otros autores realizaron una revisión sistemática de 19 estudios sobre cambios de comportamientos de salud o seguridad entre jóvenes y reveló que de ese total, 17 estudios mostraron, al menos, un efecto estadísticamente significativo con relación al comportamiento³⁵.

Además, una revisión sistemática analizó 28 juegos publicados objetivando la prevención de la obesidad infantil entre 2005 y 2013, encontrando que 40 por ciento de los estudios analizados obtuvieron el efecto deseado sobre una variable relacionada a la adiposidad⁷. Así, evidencias substanciales apoyan la eficacia de serious games con relación a la mejora de los conocimientos, cambios comportamentales o también a mejores resultados de salud.

Otro punto levantado por los estudios de esta revisión fue el hecho de que la atención del niño es captada naturalmente por el video game. El tiempo que los niños pasan jugando puede ser también utilizado para promover la educación en salud³¹. Es interesante desarrollar juegos dirigidos para la reducción de la obesidad que incentiven esa generación de niños habituados al uso de tecnologías de informática como modo de diversión, también con juegos con algún contenido educacional, para así aumentar la capacidad de conocimiento y auto-cuidado de ese público.

Además, a pesar de que los juegos encontrados en la revisión eran juegos inactivos y de comportamiento sedentario (son jugados en tablets o computadores) existe un mejor uso de ese tiempo por el niño, ya que se encuentran online, jugando o utilizando dispositivos móviles en su día a día.

Cuando comparada con la literatura, pocas revisiones sistemáticas examinaron el impacto de las intervenciones basadas en tecnología para combatir la obesidad infantil. Algunos autores exploraron el efecto de intervenciones tecnológicas, en cuanto otros se enfocaron, particularmente en el uso de video games sobre salud para prevención de la obesidad infantil^7,36. En el caso de esta revisión, se buscó verificar si el uso de serious games era una categoría más específica de los video games.

Fue percibido que para realizar nuevas investigaciones es necesario también incluir a familiares y responsables, aspecto que apenas un estudio de la revisión lo hizo²⁵. El papel de los padres es importante para la adhesión y mejora de los resultados de los hijos causada por la intervención, ya que ellos son modelos para una buena alimentación, nutrición y hábitos de actividad para sus hijos, así como también controlan el medio ambiente y experiencias de esos niños³⁷. Usar juegos digitales como una herramienta para dirigir o involucrar a los padres, también debe suministrar una buena relación costo beneficio. Los padres también pueden ser activados, dándoles acceso a los juegos y realizando las tareas recomendadas por el programa, en conjunto o en paralelo con sus hijos.

Además de eso, la educación para la salud vinculada a escuelas también puede ser una buena idea. Las escuelas se beneficiarían al incorporar serious games en sus currículos, volviendo el tema más atractivo para los estudiantes como también se aproximando de su día a día con la presencia de la tecnología³⁸.

Sin embargo, a fin de alcanzar mejores resultados, todavía es necesario analizar más estudios sobre el tema, con el objetivo de obtener mayores esclarecimientos y determinar la aplicación más apropiada y efectiva de los serious games, en programas de prevención y tratamiento de la obesidad infantil.

Además, se encontró mucha heterogeneidad en términos de resultados, tanto con relación a las métricas utilizadas como a los métodos de evaluación. El análisis de los juegos examinados en el presente estudio ayudó a suministrar una estructura para la organización de los diversos resultados e impactos de los serious games en niños, pero también evidenció las persistentes dificultades asociadas a la evaluación de los resultados del aprendizaje o cambios de comportamiento.

A partir de los hallazgos, se percibe que los serious games estimulan cambios de comportamiento y mejoras en el conocimiento de niños; no obstante, es importante reforzar la necesidad de una estandarización para evaluar esos juegos. A pesar de que se hubiesen encontrado mejoras en el conocimiento y cambios positivos en el comportamiento de niños, es necesario realizar más ensayos clínicos para aportar evidencias cada vez más precisas de su eficacia.

Conclusiones

A partir de los resultados encontrados en esta revisión sistemática, se percibió que existe interés y es importante hacer inversiones para el desarrollo y uso de serious games en la mejora del conocimiento y en la introducción de cambios de comportamiento en niños con sobrepeso u obesidad. Al considerar el potencial y la popularización de los serious games en el área de la salud se piensa que la investigación en ese campo es una estrategia en expansión y promisora.

Los juegos seleccionados en esta revisión enfocaron tanto en la cuestión de estimular cambios de comportamiento del jugador como en incentivar la actividad física y la mejora de hábitos alimenticios.

Vale destacar que en la mayoría de las investigaciones analizadas, los autores desarrollaron su propio juego y lo presentaron de forma ya funcional a los niños, con el enfoque en el uso del juego en la práctica clínica y aplicación del mismo como una intervención educativa. Apenas un autor utilizó juegos comerciales ya bien difundidos, los que tenían por objetivo su utilización en la práctica dentro de programas de enfrentamiento de la obesidad y promoción de la salud.

Con los resultados encontrados se percibe que el uso de juegos, como una estrategia para el enfrentamiento de la obesidad, fue bien recibido por el público infantil y reconocido como un posible motivador para la manutención de los niños en las intervenciones propuestas. Solamente un estudio obtuvo resultados contradictorios, su juego presentó buena satisfacción por los sujetos, sin embargo, parte de los sujetos no completó la intervención por entero.

Como limitación de esta revisión se destaca que no fue posible realizar un metaanálisis con los estudios incluidos debido a la heterogeneidad de los mismos. Además, fueron escogidos ensayos clínicos aleatorios a fin de controlar los sesgos comunes en investigaciones experimentales, tales como selección y confusión. En lugar de eso, podrían haber sido incluidos ensayos controlados no aleatorios, aumentando la cantidad de estudios en esta revisión. Sin embargo, ese tipo selección volvería menos válidas las estimativas, una vez que habrían sido incluidas intervenciones con validad interna más cuestionable.

References

• ¹
  Han JC, Lawlor DA, Kimm SYS. Childhood Obesity - 2010: Progress and Challenges. Lancet. [Internet]. 2010 [cited 2018 Jan 3];375(9727):1737-48. Available from: http://www.pediatric.theclinics.com/article/S0031-3955(15)00041-3/pdf
  » http://www.pediatric.theclinics.com/article/S0031-3955(15)00041-3/pdf
• ²
  Malik VS, Willett WC, Hu FB. Global obesity: trends, risk factors and policy implications. Nat Rev Endocrinol. [Internet]. 2013 [cited 2017 Oct 3];9(1):13-27. Available from: https://www.nature.com/articles/nrendo.2012.199
  » https://www.nature.com/articles/nrendo.2012.199
• ³
  Hassanzadeh-Rostami Z, Kavosi E, Nasihatkon A. Overweight and obesity among preschool children from Fars province of Iran: prevalence and associated factors. J Res Health Sci. [Internet]. 2016 [cited 2017 Sep 19];16(1):26-30. Available from:http://journals.umsha.ac.ir/index.php/JRHS/article/view/2422/pdf
  » http://journals.umsha.ac.ir/index.php/JRHS/article/view/2422/pdf
• ⁴
  FeliuRovira A, Paris Miro N, Zaragoza-Jordana M, Chiné SM, Sabench PF, Escribano SJ. Clinical and metabolic effectiveness of a new motivational therapy for the treatment of obesity in adolescents (OBEMAT). An Pediatr. (Barc) [Internet]. 2013 [cited 2017 Sep 10];78(3):157-66. Available from: http://europepmc.org/abstract/med/22832041
  » http://europepmc.org/abstract/med/22832041
• ⁵
  Gourlan M, Sarrazin P, Trouilloud D. Motivational interviewing as a way to promote physical activity in obese adolescents: a randomized controlled trial using self-determination theory as an explanatory framework. Psychol Health. [Internet]. 2013 [cited 2017 Sep 10];28(11):1265-86. Available from: http://www.tandfonline.com/doi/abs/10.1080/08870446.2013.800518
  » http://www.tandfonline.com/doi/abs/10.1080/08870446.2013.800518
• ⁶
  Christison A, Khan HA. Exergaming for health: a community-based pediatric weight management program using active video gaming. Clin Pediatr. (Phila) [Internet]. 2012 [cited 2017 Sep 10];51(4):382-8. Available from: http://journals.sagepub.com/doi/abs/10.1177/0009922811429480
  » http://journals.sagepub.com/doi/abs/10.1177/0009922811429480
• ⁷
  Lu AS, Kharrazi H, Gharghabi F, Thompson D. A systematic review of health videogames on childhood obesity prevention and intervention. Games Health J [Internet]. 2013 [cited 2017 Aug 24];2(3):131-41. Available from: http://online.liebertpub.com/doi/abs/10.1089/g4h.2013.0025
  » http://online.liebertpub.com/doi/abs/10.1089/g4h.2013.0025
• ⁸
  Lavelle HV, Mackay DF, Pell JP. Systematic review and meta-analysis of school-based interventions to reduce body mass index. J Public Health. (Oxf) [Internet]. 2012 [cited 2017 Aug 24];34(3):360-369. Available from: https://academic.oup.com/jpubhealth/article/34/3/360/1557761/Systematic-review-and-meta-analysis-of-school
  » https://academic.oup.com/jpubhealth/article/34/3/360/1557761/Systematic-review-and-meta-analysis-of-school
• ⁹
  Charlier N, Zupancic N, Fieuws S, Denhaerynck K, Zaman B, Moons P. Serious games for improving knowledge and self-management in young people with chronic conditions: a systematic review and meta-analysis. J Am Med Inform Assoc. [Internet]. 2016 [cited 2017 Jul 27];23:230-9. Available from: https://academic.oup.com/jamia/article/23/1/230/2380055/Serious-games-for-improving-knowledge-and-self
  » https://academic.oup.com/jamia/article/23/1/230/2380055/Serious-games-for-improving-knowledge-and-self
• ¹⁰
  Battersby M, Von Korff M, Schaefer J, Davis C, Ludman E, Greene SM, et al. Twelve evidence-based principles for implementing self-management support in primary care. Joint Comm J Qual Patient Safety. [Internet]. 2010 [cited 2017 Jul 25];36(12):561-70. Available from: http://www.sciencedirect.com/science/article/pii/S1553725010360843
  » http://www.sciencedirect.com/science/article/pii/S1553725010360843
• ¹¹
  Nascimento LS, de Gutierrez MG, De Domenico EB. Educative programs based on self-management: an integrative review. Rev Gaúcha Enferm. [Internet]. 2010 [cited 2017 Aug 10];31(2):375-82. Available from: https://www.ncbi.nlm.nih.gov/pubmed/21500520
  » https://www.ncbi.nlm.nih.gov/pubmed/21500520
• ¹²
  Rocha RV, Zem-Lopes AM, Pedro LZ, Bittencourt II, Isotani S. Methodology for Development of Serious Games: specification of open source tools. RBIE. [Internet]. 2016 [cited 2017 Oct 4];24(03):109. Available from:http://www.br-ie.org/pub/index.php/rbie/article/view/6437/4976
  » http://www.br-ie.org/pub/index.php/rbie/article/view/6437/4976
• ¹³
  Torres RS, Nunes FLS. Applying entertaining aspects of serious game in medical training: Systematic review and implementation. Virtual Reality (SVR), 2011 XIII IEEE Symposium [Internet]. 2011 [cited 2017 Sep 15];18-27. Available from: http://ieeexplore.ieee.org/xpls/icp.jsp?arnumber=5951831
  » http://ieeexplore.ieee.org/xpls/icp.jsp?arnumber=5951831
• ¹⁴
  Cruz-Cunha MM (Ed). Handbook of Research on Serious Games as Educational, Business and Research Tools [Internet]. IGI Global: Hershey; 2012 [cited 2017 Sep 15]. Available from:https://web.fe.up.pt/~niadr/PUBLICATIONS/LIACC_publications_2011_12/pdf/CL7_chapter_New_Forms_of_Interaction_PAR_PMM_LPR.pdf
  » https://web.fe.up.pt/~niadr/PUBLICATIONS/LIACC_publications_2011_12/pdf/CL7_chapter_New_Forms_of_Interaction_PAR_PMM_LPR.pdf
• ¹⁵
  Prensky M. Digital Game-based Learning [Internet]. New York: McGraw-Hill; 2001 [cited 2017 Sep 18]. Available from: https://pdfs.semanticscholar.org/6647/f32582c749022144b79f337c73db4da2a99c.pdf
  » https://pdfs.semanticscholar.org/6647/f32582c749022144b79f337c73db4da2a99c.pdf
• ¹⁶
  Squire K. From content to context: videogames as designed experiences. Educ Res. [Internet]. 2006 [cited 2017 Sep 18];35(8):19-29. Available from: http://www.arcadetheory.org/wp-content/uploads/2014/03/2006squire.pdf
  » http://www.arcadetheory.org/wp-content/uploads/2014/03/2006squire.pdf
• ¹⁷
  Baranowski T, Blumberg F, Buday R, DeSmet A, Fiellin LE, Green CS, et al. White paper: games for health for children - current status and needed research. Games Health J Res Dev Clin. [Internet]. 2016 [cited 2017 Sep 18];Appl. 5(1):1-12. Available from: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC4770851/
  » https://www.ncbi.nlm.nih.gov/pmc/articles/PMC4770851
• ¹⁸
  Moher D, Hopewell S, Schulz KF, Montori V, Gøtzsche PC, Devereaux PJ, et al. CONSORT 2010 Explanation and elaboration: updated guidelines for reporting parallel group randomised trials. BMJ. [Internet]. 2010 [cited 2017 Aug 10]:340. Available from: https://boris.unibe.ch/1151/1/Moher%20BMJ%202010.pdf
  » https://boris.unibe.ch/1151/1/Moher%20BMJ%202010.pdf
• ¹⁹
  Higgins J, Green S. Cochrane Handbook for Systematic Reviews of Interventions Version 5.0.1. Cochrane Collaboration. [Internet]. 2008 [cited 2017 Aug 10]. Available from: http://www.cochrane-handbook.org
  » http://www.cochrane-handbook.org
• ²⁰
  Galvão CM, Sawada NO, Trevizan MA. Systematic review: a resource that allows for the incorporation of evidence into nursing practice. Rev. Latino-Am. Enfermagem. [Internet]. 2004 [cited 2017 Sep 19];12(3):549-56. Available from: http://www.scielo.br/pdf/rlae/v12n3/v12n3a14.pdf
  » http://www.scielo.br/pdf/rlae/v12n3/v12n3a14.pdf
• ²¹
  Costa Santos CM, de Mattos Pimenta CA, Nobre MR. The PICO strategy for the research question construction and evidence search. Rev. Latino-Am. Enfermagem. [Internet]. 2007 [cited 2017 Sep 19];15(3):508-11. Available from: http://www.scielo.br/pdf/rlae/v15n3/v15n3a23.pdf
  » http://www.scielo.br/pdf/rlae/v15n3/v15n3a23.pdf
• ²²
  Matson KL, Fallon RM. Treatment of obesity in children and adolescents. J Pediatr Pharmacol Ter. [Internet]. 2012 [cited 2017 Sep 18];17(1):45-57. Available from: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3428187/
  » https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3428187
• ²³
  Dolinsky DH, Armstrong SC, Kinra S. The clinical treatment of childhood obesity. Indian J Pediatr. [Internet]. 2013 [cited 2017 Sep 18];80 Suppl 1:S48-54. Available from: https://link.springer.com/article/10.1007/s12098-012-0766-0
  » https://link.springer.com/article/10.1007/s12098-012-0766-0
• ²⁴
  Altman DG, Schulz KF, Moher D, Egger M, Davidoff F, Elbourne D, et al. The revised CONSORT statement for reporting randomized trials: Explanation and elaboration. Ann Intern Med. [Internet]. 2001 [cited 2017 Aug 10];134:663-94. Available from: http://annals.org/aim/article/714409/revised-consort-statement-reporting-randomized-trials-explanation-elaboration
  » http://annals.org/aim/article/714409/revised-consort-statement-reporting-randomized-trials-explanation-elaboration
• ²⁵
  Amresh A, Salla R, Sinha M, Birr R. Design, implementation and evaluation of a game-based intervention targeting latino children for improving obesity outcomes. IEEE SeGAH. [Internet]. 2016 [cited 2017 Sep 15]; 1-8. Available from: http://ieeexplore.ieee.org/document/7586280/
  » http://ieeexplore.ieee.org/document/7586280
• ²⁶
  Thompson D, Bhatt R, Vazquez I, Cullen KW, Baranowski J, Baranowski T, Liu Y. Creating action plans in a serious video game increases and maintains child fruit-vegetable intake: a randomized controlled trial. Int J Behav Nutr Phys. [Internet]. 2015 [cited 2017 Sep 15];12(1):39. Available from: https://ijbnpa.biomedcentral.com/articles/10.1186/s12966-015-0199-z
  » https://ijbnpa.biomedcentral.com/articles/10.1186/s12966-015-0199-z
• ²⁷
  Verbeken S, Braet C, Goossens L, van der Oord S. Executive function training with game elements for obese children: a novel treatment to enhance self-regulatory abilities for weight-control. Behav Res Ther. [Internet]. 2013 [cited 2017 Sep 15];51:290-9. Available from: https://biblio.ugent.be/publication/4088822/file/6800853.pdf
  » https://biblio.ugent.be/publication/4088822/file/6800853.pdf
• ²⁸
  Banos RM, Cebolla A, Oliver E, Alcaniz M, Botella C. Efficacy and acceptability of an Internet platform to improve the learning of nutritional knowledge in children: The ETIOBE mates. Health Educ Res. [Internet]. 2013[cited 2017 Sep 15];28:234-48. Available from: https://academic.oup.com/her/article/28/2/234/593702/Efficacy-and-acceptability-of-an-Internet-platform
  » https://academic.oup.com/her/article/28/2/234/593702/Efficacy-and-acceptability-of-an-Internet-platform
• ²⁹
  Baranowski T, Baranowski J, Thompson D, Buday R, Jago R, Griffith MJ, et al. Video game play, child diet, and physical activity behavior change: A randomized clinical trial. Am J Prev Med. [Internet]. 2011[cited 2017 Sep 15]];40(1)33-8. Available from: http://www.sciencedirect.com/science/article/pii/S0749379710005544
  » http://www.sciencedirect.com/science/article/pii/S0749379710005544
• ³⁰
  Baranowski T, Baranowski J, Cullen KW, Marsh T, Islam N, Zakeri I, et al. Squire’s Quest!: Dietary outcome evaluation of a multimedia game. Am J Prev Med. [Internet]. 2003 [cited 2018 Jan 8]; 24(1):52-61. Available from: http://www.ajpmonline.org/article/S0749-3797(02)00570-6/fulltext
  » http://www.ajpmonline.org/article/S0749-3797(02)00570-6/fulltext
• ³¹
  Guy S, Ratzki-Leewing A, Gwadry-Sridhar F. Moving beyond the stigma: systematic review of video games and their potential to combat obesity. Int J Hypertension. [Internet]. 2011 [cited 2017 Aug 24];2011:1-13. Available from: http://downloads.hindawi.com/journals/ijht/2011/179124.pdf
  » http://downloads.hindawi.com/journals/ijht/2011/179124.pdf
• ³²
  Strack MH, Bauer MS, Mattos LB, Cazella SC, Magalhães CR. Use of information and communication technologies in health education for adolescents: integrative review. Renote. [Internet]. 2016 [cited 2017 Aug 24]; 14(1):1-9. Available from: http://seer.ufrgs.br/index.php/renote/article/view/67358
  » http://seer.ufrgs.br/index.php/renote/article/view/67358
• ³³
  Fernandez-Aranda F, Jimenez-Murcia S, Santamaria JJ, Giner-Bartolome C, Mestre-Bach G, Granero R, et al. The use of videogames as complementary therapeutic tool for cognitive behavioral therapy in bulimia nervosa patients. Cyber Psych Beh Soc N. [Internet]. 2015 [cited 2017 Aug 24];18(12):744-51. Available from: https://doi.org/10.1089/cyber.2015.0265
  » https://doi.org/10.1089/cyber.2015.0265
• ³⁴
  DeSmet A, Van Ryckeghem D, Compernolle S, Baranowski T, Thompson D, Crombez G, et al. A meta-analysis of serious digital games for healthy lifestyle promotion. Prev Med. [Internet]. 2014 [cited 2017 Aug 24];69:95-107. Available from: https://www.ncbi.nlm.nih.gov/pubmed/25172024
  » https://www.ncbi.nlm.nih.gov/pubmed/25172024
• ³⁵
  Hieftje K, Edelman EJ, Camenga DR, Fiellin LE. Electronic media-based health interventions promoting behavior change in youth: a systematic review. JAMA Pediatr. [Internet]. 2013 [cited 2017 Aug 24];167(6):574-80. Available from: http://jamanetwork.com/journals/jamapediatrics/fullarticle/1675658
  » http://jamanetwork.com/journals/jamapediatrics/fullarticle/1675658
• ³⁶
  Ng M, Fleming T, Robinson M, Thomson B, Graetz N, Margono C, et al. Global, regional, and national prevalence of overweight and obesity in children and adults during 1980-2013: a systematic analysis for the Global Burden of Disease Study. Lancet. [Internet] 2014 [cited 2017 Aug 24];384:766-81. Available from: http://www.sciencedirect.com/science/article/pii/S1470204514711234
  » http://www.sciencedirect.com/science/article/pii/S1470204514711234
• ³⁷
  Vaughn AE, Ward DS, Fisher JO, Faith MS, Hughes SO, Kremers SP, et al. Fundamental constructs in food parenting practices: a content map to guide future research. Nutr Rev. [Internet]. 2015 [cited 2017 Sep 10];74(2):98-117. Available from: https://academic.oup.com/nutritionreviews/article/74/2/98/1924177/Fundamental-constructs-in-food-parenting-practices
  » https://academic.oup.com/nutritionreviews/article/74/2/98/1924177/Fundamental-constructs-in-food-parenting-practices
• ³⁸
  Mack I, Bayer C, Schäffeler N, Reiband N, Brölz E, Zurstiege G, et al. Chances and Limitations of Video Games in the Fight against Childhood Obesity - A Systematic Review. Eur Eat Disord Rev. [Internet]. 2017 [cited 2017 Sep 10]; 25:237-67. Available from: http://onlinelibrary.wiley.com/doi/10.1002/erv.2514/full
  » http://onlinelibrary.wiley.com/doi/10.1002/erv.2514/full

• 1
  Apoyo financiero de lo Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq), Proceso nº140217/2016-9, Brasil.

Fechas de Publicación

• Publicación en esta colección
  2018

Histórico

• Recibido
  04 Oct 2017
• Acepto
  20 Mayo 2018