Open-access Enseñando investigación cualitativa en salud: evaluación de un curso de formación en la perspectiva de los alumnos

Teaching qualitative health research: evaluation of an educational program based on the students' point of view

Ensinando pesquisa qualitativa em saúde: avaliação de um curso de formação na perspectiva dos alunos

Resúmenes

Se implementaron numerosas intervenciones educativas visando la capacitación en pesquisa cualitativa. No obstante son escasos los trabajos que valoran sus procesos o resultados, sobre todo considerando la perspectiva de los participantes. Este estudio valora un curso de especialización en pesquisa cualitativa en salud a partir de la perspectiva de los alumnos. El curso se realizó en cuatro ocasiones, siendo su valuación de tipo cualitativo. Aproximadamente ochenta profesionales de salud y ciencias sociales participaron del curso. Para la obtención de los datos se utilizó triangulación de métodos: cuestionarios con preguntas abiertas, entrevistas individuales y la retro-alimentación de los participantes. Una variante del método SWOT fue utilizada. Se empleó el análisis de contenido para el tratamiento de las informaciones. Según los alumnos, el curso les permitió adquirir conocimientos y aprender teorías sobre pesquisa cualitativa y, en menor escala, elaborar proyectos de pesquisa. También se refirieron a dificultades y obstáculos, como falta de tiempo, de recursos y de apoyo. Se sugieren varias estrategias para perfeccionar el proceso de formación valuado.

Investigación cualitativa; Enseñanza; Salud; Evaluación


Several educational strategies have been used to teach qualitative research. However, few studies have evaluated its processes and results, particularly from the participants' point of view. This paper reports on an evaluation of a specialization in qualitative health research from the student's perspective. The course was carried-out on four different occasions and its evaluation was a qualitative one. Approximately eighty health and social science professionals attended and evaluated the course. Triangulation methods were used for data gathering: an open-ended questionnaire, individual interviews, and participants' feed-back; a modified SWOT method was also used. Data was analyzed using content analysis. From the participants' point of view, the course allowed them to acquire knowledge on qualitative research approaches and methods and, to lesser extent, on how to write a research project. Participants encountered difficulties: lack of time, limited resources as well as lack of support. Several strategies are suggested for improving the course.

Qualitative research; Teaching; Health; Evaluation


Numerosas intervenções educativas foram implementadas visando à capacitação em pesquisa qualitativa. Contudo, são escassos os trabalhos que avaliam seus processos ou resultados, sobretudo considerando a perspectiva dos participantes. Este estudo avalia um curso de especialização em pesquisa qualitativa em saúde com base na perspectiva dos alunos. O curso foi realizado em quatro ocasiões, sendo sua avaliação de tipo qualitativo. Aproximadamente oitenta profissionais de saúde e ciências sociais participaram do curso. Para a obtenção dos dados utilizou-se triangulação de métodos: questionários com perguntas abertas, entrevistas individuais e a retroalimentação dos participantes. Uma variante do método SWOT foi utilizada. Empregou-se a análise de conteúdo para o tratamento das informações. Segundo os alunos, o curso lhes permitiu adquirir conhecimentos e aprender teorias sobre pesquisa qualitativa e, em menor escala, a elaborar projetos de pesquisa. Também se referiram a dificuldades e obstáculos: como falta de tempo, recursos e apoio. Sugerem-se várias estratégias para aperfeiçoar o processo de formação avaliado.

Pesquisa qualitativa; Ensino; Saúde; Avaliação


ARTIGOS

Enseñando investigación cualitativa en salud: evaluación de un curso de formación en la perspectiva de los alumnos

Teaching qualitative health research: evaluation of an educational program based on the students' point of view

Ensinando pesquisa qualitativa em saúde: avaliação de um curso de formação na perspectiva dos alunos

Francisco Mercado-MartínezI; Luz María Tejada-TayabasII; Elizabeth Alcántara-HernándezIII; Abel Mercado-MartínezIV; Irma Xóchitl Fuentes-UribeV; Brenda Trigueros-BecerraVI

IMédico. Centro Universitario de Ciencias de la Salud, Universidad de Guadalajara. Sierra Mojada, n. 950 CP 44340 Col. Independencia Guadalajara, Jalisco México. fjaviermercado@ yahoo.com.mx

IILicenciada en Enfermería. Facultad de Enfermería, Universidad Autónoma de San Luís Potosí

IIIMédica. Centro Universitario de Ciencias de la Salud, Departamento de Salud Pública, Universidad de Guadalajara

IVLicenciado en Sociología. Centro Universitario de Ciencias Económicas y Administrativas, Universidad de Guadalajara

VLicenciada en Administración. Centro Universitario de Ciencias Económico Administrativas, Universidad de Guadalajara

VIMédica. Centro Universitario de Ciencias de la Salud, Universidad de Guadalajara

RESUMEN

Se implementaron numerosas intervenciones educativas visando la capacitación en pesquisa cualitativa. No obstante son escasos los trabajos que valoran sus procesos o resultados, sobre todo considerando la perspectiva de los participantes. Este estudio valora un curso de especialización en pesquisa cualitativa en salud a partir de la perspectiva de los alumnos. El curso se realizó en cuatro ocasiones, siendo su valuación de tipo cualitativo. Aproximadamente ochenta profesionales de salud y ciencias sociales participaron del curso. Para la obtención de los datos se utilizó triangulación de métodos: cuestionarios con preguntas abiertas, entrevistas individuales y la retro-alimentación de los participantes. Una variante del método SWOT fue utilizada. Se empleó el análisis de contenido para el tratamiento de las informaciones. Según los alumnos, el curso les permitió adquirir conocimientos y aprender teorías sobre pesquisa cualitativa y, en menor escala, elaborar proyectos de pesquisa. También se refirieron a dificultades y obstáculos, como falta de tiempo, de recursos y de apoyo. Se sugieren varias estrategias para perfeccionar el proceso de formación valuado.

Palabras clave: Investigación cualitativa. Enseñanza. Salud. Evaluación.

ABSTRACT

Several educational strategies have been used to teach qualitative research. However, few studies have evaluated its processes and results, particularly from the participants' point of view. This paper reports on an evaluation of a specialization in qualitative health research from the student's perspective. The course was carried-out on four different occasions and its evaluation was a qualitative one. Approximately eighty health and social science professionals attended and evaluated the course. Triangulation methods were used for data gathering: an open-ended questionnaire, individual interviews, and participants' feed-back; a modified SWOT method was also used. Data was analyzed using content analysis. From the participants' point of view, the course allowed them to acquire knowledge on qualitative research approaches and methods and, to lesser extent, on how to write a research project. Participants encountered difficulties: lack of time, limited resources as well as lack of support. Several strategies are suggested for improving the course.

Key words: Qualitative research. Teaching. Health. Evaluation.

RESUMO

Numerosas intervenções educativas foram implementadas visando à capacitação em pesquisa qualitativa. Contudo, são escassos os trabalhos que avaliam seus processos ou resultados, sobretudo considerando a perspectiva dos participantes. Este estudo avalia um curso de especialização em pesquisa qualitativa em saúde com base na perspectiva dos alunos. O curso foi realizado em quatro ocasiões, sendo sua avaliação de tipo qualitativo. Aproximadamente oitenta profissionais de saúde e ciências sociais participaram do curso. Para a obtenção dos dados utilizou-se triangulação de métodos: questionários com perguntas abertas, entrevistas individuais e a retroalimentação dos participantes. Uma variante do método SWOT foi utilizada. Empregou-se a análise de conteúdo para o tratamento das informações. Segundo os alunos, o curso lhes permitiu adquirir conhecimentos e aprender teorias sobre pesquisa qualitativa e, em menor escala, a elaborar projetos de pesquisa. Também se referiram a dificuldades e obstáculos: como falta de tempo, recursos e apoio. Sugerem-se várias estratégias para aperfeiçoar o processo de formação avaliado.

Palavras-chave: Pesquisa qualitativa. Ensino. Saúde. Avaliação.

Introducción

La investigación cualitativa (IC) ha sido objeto de creciente atención en diversas áreas y disciplinas tanto en países desarrollados como en vías de desarrollo (Denzin, Lincoln, 2000). El tema no ha pasado desapercibido en el área de la salud (Pope, Mays, 2006). Cada vez más se publican estudios cualitativos en revistas médicas y se organizan e implementan actividades de formación, docencia y capacitación en instituciones educativas y sanitarias (Amescua, Garricondo, 2002), además de que numerosas agencias de financiamiento apoyan trabajos que utilizan metodologías cualitativas. La enseñanza de la investigación cualitativa, paralelamente, ha tenido en años recientes un crecimiento espectacular en los países anglosajones e Iberoamericanos en el ámbito de la salud (Gastaldo et al., 2002), ya sea en cursos de licenciatura y postgrado ó en programas de capacitación y actualización de los profesionales. Las instituciones educativas, por su parte, han mostrado interés por organizar modalidades académicas para capacitar sus recursos humanos dedicados a la docencia, la investigación y la asistencia. La investigación cualitativa, por todo ello, se ha convertido en un tema obligado para quienes toman decisiones en las instituciones educativas y de servicios. Estos han respondido de distintas formas; mientras algunos implementan cursos de actualización, otros proponen reorganizar los contenidos de los planes de estudio.

No obstante las numerosas iniciativas realizadas hasta el momento, se cuenta con pocos trabajos que hayan evaluado los procesos y los productos de las propuestas académicas impulsadas para enseñar la investigación cualitativa. A diferencia de lo ocurrido en otros campos como en la educación (Bogdan, 1983); la antropología (Grant, May, 1999), la gerencia y los negocios (Humphreys, 2006; Harlos, Mallon, Jones, 2003) y la mercadotecnia (Hopkinson, Hogg, 2004), pocos trabajos han evaluado este proceso formativo en el campo de la salud (Eakin, Mykhalovskiy, 2007; Rifkin, Hartley, 2001). Más aún, los escasos trabajos publicados en esta área se han orientado a evaluar los niveles de licenciatura y postgrado (Clark, Lang, 2002; Kleiman, Copp, Henderson, 1997; Charmaz, 1991) o a dar cuenta del proceso desde la perspectiva de los docentes (Stallings, 1995; Talley, Timmer, 1992). Pero hasta donde tenemos conocimiento, ningún trabajo ha evaluado la perspectiva de los profesionales que atienden alguna modalidad de enseñanza / aprendizaje de la investigación cualitativa en un proceso de actualización.

Hasta hoy en día tampoco se ha llevado a cabo en Ibero América una evaluación sistemática de los seminarios, los cursos, los diplomados, los talleres y las conferencias de pregrado que se han organizando desde hace años en el área de la salud. A diferencia de las evaluaciones sobre la enseñanza de otras disciplinas como la salud pública o la atención primaria (Carvalho, 2006). El asunto es relevante porque suele asumirse que cualquier intervención educativa es benéfica tanto para quien participa como para las instituciones involucradas. Tales beneficios comprenderían la capacitación de investigadores, el desarrollo de proyectos de investigación y el fortalecimiento académico de las instituciones, sea para impulsar la investigación o justificar el uso de los recursos. En este sentido reviste fundamental importancia evaluar la pertinencia y utilidad de las actividades académicas implementadas en este campo, en la medida que ello permitirá incorporar las acciones necesarias para enfrentar los obstáculos detectados a la par que fortalecer los avances y logros alcanzados. Por todo lo anterior, el propósito de este trabajo ha sido evaluar un Diplomado de actualización implementado para la enseñanza de la investigación cualitativa en salud.

Metodología

Se llevó a cabo una evaluación cualitativa de un Diplomado de investigación cualitativa en salud. El mismo fue implementado en cuatro ocasiones entre 2001 y 2007. Las sedes fueron tres universidades públicas mexicanas (Universidad Autónoma de San Luis Potosí, Universidad Autónoma de Guanajuato y Universidad Autónoma de Querétaro), la cuarta fue en una universidad privada colombiana (Universidad del Bosque). Cada Diplomado se impartió en la ciudad sede de la dependencia organizadora.

Los participantes. En promedio acudieron 18 asistentes a cada Diplomado. Todos eran profesionales de diversas disciplinas, sobre todo de la salud y aproximadamente 75% del total eran mujeres. Participaron principalmente enfermeras, médicos, psicólogos y odontólogos; pero también hubo profesionales de las ciencias sociales, como sociólogos y antropólogos. La mayoría eran académicos de alguna universidad pública, otros estudiaban un postgrado y unos cuantos eran asistentes de investigación, aunque también acudió personal de los servicios de salud. En general, los participantes tenían nula o mínima experiencia previa en investigación cualitativa, o bien era de tipo cuantitativa. Algunos residían en la ciudad sede pero otros tenían que viajar desde su lugar de origen, en un caso hasta ocho horas en autobús. La mayoría de los alumnos asistió a todos los módulos del Diplomado; aunque unos cuantos acudieron solo a algunos, sea porque un tema no era de su interés particular o porque no les fue posible asistir a la totalidad de ellos. En estas circunstancias se les consideró como alumnos en cursos de actualización.

Obtención, manejo y análisis de la información. La información se obtuvo mediante la triangulación de estrategias: Previo al inicio del primer módulo se entregó a los asistentes un formato con la finalidad de conocer sus datos socio-demográficos, sus experiencias e intereses en investigación cualitativa, así como sus expectativas sobre el Diplomado. Al final de cada módulo se les solicitó llenar un cuestionario con preguntas abiertas. Así se obtuvieron 180 evaluaciones en total. Se utilizó el método denominado Fortalezas, Obstáculos, Debilidades y Amenazas (SWOT, por sus siglas en inglés). Este constituye una herramienta proveniente del análisis estratégico que permite obtener un panorama de los factores internos y externos que inciden en un programa u organización (Koontz, Weihrich, 1998; Morrisey, 1996). Si bien esta herramienta fue empleada originalmente en el ámbito de los negocios, la misma ha sido aplicada en áreas tan diversas como el análisis de proyectos de renovación urbana, planeación de carreras, diseño de páginas Web y evaluación de centros de investigación académica. De todo ello ha resultado evidente que la herramienta puede ser aplicada para evaluar y guiar cualquier actividad humana organizada para lograr un objetivo (Rizzo, Kim, 2005).

Así, y en base a la experiencia de un trabajo previo (Mercado et al., 2005), cada módulo del Diplomado fue evaluado en función de cuatro temas: a) las expectativas de los asistentes sobre el mismo; b) sus logros, avances y beneficios; c) los obstáculos, problemas y dificultades enfrentados y d) las sugerencias y propuestas para mejorar tanto el módulo como el Diplomado. Tal información se caracterizó por ser confidencial y basada en el anonimato. A lo largo del Diplomado también se llevaron a cabo entrevistas informales a aproximadamente la tercera parte de los asistentes.

El análisis de la información se hizo mediante análisis de contenido (Weber, 1990). Tres autoras (EA, XF, BT) hicieron una revisión preliminar de la información, identificaron los temas centrales de cada módulo, y posteriormente clasificaron los temas en un esquema general donde se incluían observaciones y citas textuales. Los temas generales y específicos sirvieron para comparar las similitudes y diferencias entre los módulos y para hacer un análisis conjunto de la información. Posteriormente se sistematizó y comparó la información de los cuatro Diplomados. Por último, otro autor (FJM) revisó y contrastó los análisis preliminares de cada uno de los módulos y los Diplomados e hizo un análisis conjunto de la información. El resultado se compartió con el resto de los coautores. El análisis final es producto del diálogo y consenso de todos los autores. Una vez elaborado un documento preliminar, el mismo fue enviado por correo electrónico a los profesores participantes y a todos los asistentes a fin de conocer sus reacciones. Por esta vía también se recibieron comentarios y sugerencias, las cuales se incorporaron al documento final.

El diplomado

El Diplomado de Investigación Cualitativa en Salud se organiza anualmente bajo la iniciativa del Programa de Investigación y Evaluación Cualitativa en Salud (Progiecs <www.cucs.udg.mx/progics>), ubicado en la Universidad de Guadalajara, en México. El Diplomado ha sido rotatorio por lo que se ha impartido en colaboración con diferentes universidades. El mismo se dirige a la formación y capacitación de profesionales del área de la salud y las ciencias sociales con interés en la investigación cualitativa. Sus objetivos son dos: brindar a quienes participan herramientas teórico conceptuales, metodológicas y técnicas de la investigación cualitativa aplicada al estudio de la salud-enfermedad-atención y establecer un espacio que promueva el diseño e implementación de proyectos de investigación con un enfoque cualitativo. Su propósito final es que los asistentes elaboren un protocolo de investigación a lo largo del mismo.

El Diplomado se divide en seis módulos, impartiéndose uno cada mes, por lo cual se lleva a cabo durante seis meses. Su duración es de 180 horas; y cada módulo se cursa de forma intensiva una semana al mes. Cada módulo requiere de 24 horas presenciales y al menos seis horas adicionales para la lectura de los materiales bibliográficos, la elaboración de los resúmenes así como de los avances del proyecto de investigación. Incluye contenidos sobre los fundamentos teóricos del tema, aspectos metodológicos y actividades de integración planeadas de manera secuencial y ejercicios prácticos. Ello permite a los participantes integrar los contenidos revisados para la concreción del proyecto de investigación. Los asistentes trabajan en un proyecto individual, excepto en casos extraordinarios cuando colaboran dos o más personas en un estudio. Estos avances son enviados por correo electrónico al respectivo docente de cada módulo para su lectura y retroalimentación.

El módulo I comprende los orígenes, el contexto, las propuestas, las orientaciones y las características de la investigación cualitativa (en salud). El Modulo II analiza las similitudes y diferencias entre las perspectivas cuantitativas y cualitativas de la investigación, las bases conceptuales y técnicas implicadas en la construcción del objeto de estudio, fuentes de ideas para formular un problema de investigación y particularmente las interrogantes, los objetivos y las hipótesis. El Módulo III revisa diferentes diseños metodológicos, la selección del área y los informantes, así como la calidad y el rigor de la investigación cualitativa. El Módulo IV incluye la revisión de las estrategias y técnicas empleadas en las metodologías cualitativas y el diseño de instrumentos para la recolección de la información. Se llevan a cabo ejercicios para la aplicación de técnicas de obtención de datos cualitativos, las estrategias para la trascripción de la información y la elaboración de notas y el diario de campo. El Módulo V abarca el análisis cualitativo de los datos y particularmente de métodos como el análisis de contenido y la teoría fundamentada, así como generalidades sobre el análisis cualitativo asistido por computadora. El Módulo VI se centra en la redacción de textos cualitativos, sus componentes, características y puntos problemáticos y las condiciones sociales que rodean la redacción de un escrito científico. Se efectúan ejercicios para la redacción de cada apartado de un artículo y la preparación de un manuscrito para su envío a una revista indizada y de reconocimiento internacional.

Para la admisión al Diplomado se solicita a los aspirantes contar con título de Licenciatura en el área de la salud o en ciencias sociales, tener conocimientos generales sobre metodología de la investigación y contar con un tema, problema o interrogante de investigación. La finalidad última es desarrollar el protocolo durante el Diplomado así como presentarlo al término del mismo. Los proyectos de investigación sobre los cuales han trabajado los participantes versan sobre temas tan diversos como la familia y los cuidadores, la experiencia del padecimiento crónico, la violencia intra-familiar, la investigación educativa, el proyecto de vida de los estudiantes, perspectiva de los aspirantes a primer ingreso, proceso de aprendizaje, los procesos de reprobación y deserción; la evaluación de programas de salud, agricultura y políticas públicas, las mujeres en el área de medicina, el embarazo en la adolescencia, el consumo de drogas y la prostitución infantil. Aproximadamente la mitad de los asistentes han terminado el Diplomado elaborando su respectivo proyecto de investigación. En las dos últimas ediciones se ha organizado una sesión final de presentación de los protocolos, las cuales han sido abiertas al debate de la comunidad académica, además han contado con la participación de investigadores invitados como comentaristas externos.

Este Diplomado no forma parte de los cursos regulares de la universidad; el mismo es parte de las actividades de actualización. Su costo aproximado ha sido de 800 US dólares por participante. La mayoría de ellos han obtenido apoyo de su respectiva institución para el pago de la inscripción y unos cuantos fueron becados. Los participantes foráneos han tenido que cubrir gastos de hospedaje y alimentación durante los días de su estancia en la ciudad sede.

Además del coordinador académico general, cada módulo cuenta con un docente a quien se le considera como coordinador o facilitador. Todos los docentes colaboran sistemáticamente con el Progiecs y a excepción de una, todos cuentan con el grado de doctor (Antropología Urbana, Antropología Social, Salud Pública y Ciencias Sociales). Cuatro pertenecen al Sistema Nacional de Investigadores de México. Al momento de participar en el Diplomado, todos ejercían funciones de investigación y docencia. Sólo una docente también ejercía funciones clínico-asistenciales. Ninguno residía en la ciudad donde se llevaron a cabo los Diplomados. Los docentes están adscritos a la Universidad de Guadalajara, una a la Universidad Autónoma de San Luis Potosí y otro al Instituto Mexicano del Seguro Social (IMSS).

Resultados

Un mismo inicio, propósitos diferentes

No encontramos diferencias en las expectativas de los asistentes a los cuatro Diplomados; más bien, tales diferencias se dan en otros sentidos y respondiendo a circunstancias particulares. Entre quienes asisten por primera vez a un diplomado o curso de naturaleza semejante se aspira por lo general a adquirir nuevos conocimientos, técnicas y metodologías de investigación cualitativa en función de tres propósitos: a unos les interesa conocer en términos generales el objeto de la investigación cualitativa, o sea, se trata eminentemente de una actividad exploratoria en la cual suele prevalecer una actitud cercana al escepticismo. Para otros, en cambio, el Diplomado les representa la posibilidad de enriquecer su trabajo docente en tanto esperan aprender herramientas que les permitan combinar las metodologías cuantitativas y las cualitativas. Otro tercer subgrupo reducido, pero no por ello menos significativo, espera asistir y cumplir con el programa en un mar de actividades académicas y administrativas que llevan a cabo en la institución donde laboran. En este caso, su intención es asistir lo más posible a fin de estar al día en cuanto a los nuevos enfoques en materia de investigación para enriquecer su trabajo de planeación, conducción o evaluación de los programas educativos.

A diferencia de los anteriores, otras expectativas parecen prevalecer entre quienes asisten al Diplomado pero contando con conocimientos o experiencias previas sobre la investigación cualitativa. El propósito de algunos de ellos es formarse como investigadores en tanto su intención es dedicarse a la investigación cualitativa en el futuro. Otros dos propósitos complementarios suelen ser mencionados paralelamente: algunos asistentes se proponen aprender en especial el tipo de investigación cualitativa que llevan a cabo ciertos docentes que lo imparten porque han leído sus trabajos y están convencidos de que se trata del enfoque idóneo para orientar su proyecto. Algunos otros se proponen concluir el Diplomado habiendo enriquecido las investigaciones que llevan a cabo en el área de la salud o la educación. Estos últimos, por lo general, son mujeres, jóvenes y docentes que estudian en forma paralela algún programa de postgrado, sobre todo un doctorado en el extranjero, por lo cual están sumamente comprometidas con la realización de su tesis.

Entre avances y logros, sus razones

Los alumnos de los cuatro Diplomados aquí evaluados destacan haber obtenido una variedad importante de logros y avances, lo que en conjunto trasmite una imagen bastante positiva del proceso. Al agruparlos en orden de importancia, tales logros remiten al aprendizaje de nuevos conocimientos, sobre todo teorías, la elaboración del protocolo de investigación, situaciones vinculadas a la mejoría de la docencia y otros logros aislados. De hecho, varios asistentes hacen referencia a múltiples beneficios obtenidos durante el Diplomado, tal como se desprende del comentario de una docente de San Luis Potosí "de manera personal he podido definir de forma clara mi estudio, he despejado dudas y he podido encaminar mi proyecto de una manera más sólida. Mis perspectivas de la investigación (cualitativa) también son más claras".

Según la mayoría de los asistentes, el principal logro obtenido en el Diplomado consiste en haber adquirido conocimientos, sobre todo enfoques y teorías relacionadas con la investigación cualitativa. Entre otras cosas, destacan la adquisición de nuevos conceptos, enfoques teóricos y determinadas técnicas, especialmente las relacionadas con los programas de cómputo para el manejo y análisis de la información; así como el tener mayor claridad en cuanto a la elaboración de un artículo. Entre tantos comentarios semejantes, otra participante de San Luis Potosí señala sobre este particular "(el Diplomado me ha permitido) contar con un amplio panorama acerca de los paradigmas que han surgido y que nos permiten tener un acercamiento a las implicaciones de la investigación cualitativa en cuanto a métodos, estrategias y experiencias relacionadas con este campo".

En un siguiente plano, algunos participantes reconocen que el Diplomado les ha posibilitado enriquecer sus proyectos de investigación al solucionar múltiples problemas que enfrentaban en función de la elaboración del objeto de estudio, el esclarecimiento de sus bases metodológicas, la selección de determinadas estrategias para la obtención de la información y el análisis de los datos. Precisamente a ello hace referencia una participante del Diplomado realizado en la Universidad de Guanajuato

estaba llevando a cabo (mi investigación) de manera empírica, y por sentido común. Y conforme hemos avanzado en los temas del Diplomado he podido entender y reflexionar sobre la metodología cualitativa, lo que me ha servido para darle un fundamento teórico a todas esas acciones que realizaba por sentido común.

Otro conjunto de señalamientos positivos de los asistentes hacen referencia a los mismos docentes que imparten los módulos. Entre otras cosas, suelen destacar de forma constante, aunque también en términos bastante escuetos, la calidad de los docentes, su disposición a apoyar, su apertura, sus conocimientos amplios sobre el tema y su profesionalismo.

Por último, una serie de comentarios de diversa índole también son mencionados en términos bastante positivos. Entre ellos, aquel que reconoce la posibilidad de interactuar con los profesores y demás asistentes, aprender a hacer lecturas críticas y a pensar de forma diferente respecto a los modelos tradicionales de hacer investigación. Precisamente a ello se refiere una participante de la Universidad Autónoma de Querétaro cuando señala "se motiva al alumno a pensar de un modo alternativo, real y humanista acerca de la investigación".

Dificultades en el camino

Los participantes reconocen la existencia de un buen número de logros y avances al cursar el Diplomado de investigación cualitativa, pero ello no les impide reconocer una cantidad semejante de obstáculos y dificultades que enfrenta durante el proceso. Vale la pena mencionar al respecto que casi la mitad de los participantes sistemáticamente refiere no haber encontrado problema o dificultad alguna en el módulo o Diplomado correspondiente al que asistieron. Aunque tal señalamiento no se aplica de forma homogénea a todos los módulos, ya que mientras algunos módulos sobresalen por la nula o mínima referencia a problemas, de otros se hacen múltiples reportes sobre las dificultades enfrentadas durante el proceso. Entre ellos destacan los relativos a la escasez de tiempo, y en menor grado, a las dificultades en la comunicación y vinculación entre los docentes de los diversos módulos y los organizadores, así como a los obstáculos para entender determinados contenidos. Se mencionaron también otros temas de índole diversa, como la falta de recursos y apoyos, sobre todo de sus instituciones de adscripción.

La falta de tiempo es el motivo principal de queja y preocupación por parte de los asistentes al Diplomado. Para algunos se trata de un programa demasiado corto para los fines propuestos, esto es, para la elaboración de un protocolo de investigación cualitativa. También destacan el hecho de que debido a la carga académica y/o administrativa que tienen asignada, muchos asistentes no disponen del tiempo necesario para hacer las lecturas correspondientes, avanzar en el proyecto de investigación, redactar las tareas solicitadas, revisar los trabajos asignados y recibir asesorías de los docentes. Por ejemplo, la queja principal de los asistentes de la universidad colombiana fue la dificultad para avanzar en sus proyectos de investigación al no recibir apoyo de los administradores para reducir su carga laboral que les posibilitara dedicar más tiempo al Diplomado. En muchos casos, se trata de profesores de tiempo parcial que dedican parte importante de su labor a las tareas docentes por lo cual cualquier actividad dedicada a la investigación habrá de llevarse a cabo durante su tiempo libre. En otros casos se trata de docentes de tiempo completo que tienen asignadas múltiples actividades docentes y administrativas motivo por el cual no tienen tiempo para hacer las lecturas previas, ni avanzar en sus protocolos respectivos, aunado a que deben salir de las sesiones con cierta frecuencia ante las demandas académicas y administrativas de que son objeto.

En un plano siguiente, al cual se le da relativamente menos importancia, un grupo de asistentes con poca o nula experiencia y conocimientos en investigación cualitativa destaca la falta de coordinación entre los docentes y los coordinadores, pero ante todo entre los mismos docentes. En particular mencionan la diversidad de puntos de vista entre los docentes de los módulos, lo cual genera confusión entre los asistentes al no contar con elementos que les permitan evaluar lo apropiado y útil entre posturas discrepantes sobre el mismo tema. Una asistente al Diplomado realizado en la Universidad de Guanajuato lo plantea de la siguiente forma "la investigación cualitativa es una metodología nueva para mí y en este curso es difícil unificar las ideas porque los profesores que imparten los módulos opinan de forma diferente. Existe contradicción (entre ellos), es necesario unificar criterios para mejorar el protocolo de investigación".

Muchas otras dificultades de índole diversa son mencionadas, aunque cada una de forma esporádica. Entre estas vale la pena resaltar una serie de cuestionamientos críticos ante el uso de textos en inglés y la imposibilidad de comprenderlos. También se menciona el costo del alojamiento y del traslado a la ciudad sede; así como el costo elevado de la inscripción, sobre todo por ser gastos cubiertos por algunos asistentes que viajan desde lugares distantes. Algunos asistentes reciben apoyo económico de sus centros laborales, como es el caso de algunas universidades, pero ello no siempre aplica entre quienes trabajan en otros espacios, tales como los centros asistenciales y algunas universidades privadas, ya que se les otorga el permiso de asistir pero sin goce de sueldo y sin apoyo para cubrir la incscipción. El comentario de una asistente al Diplomado en la Universidad Autónoma de Querétaro refleja esta preocupación "(un problema que enfrento es) el costo, porque solo se me dio un descuento de 20% (en la inscripción) y mi institución no pagó nada...".

Las alternativas propuestas

Los participantes de los cuatro Diplomados a que hacemos referencia distan de ofrecer un cuadro homogéneo de sugerencias y propuestas para mejorar el programa, su proceso o los productos. No obstante las diferencias específicas encontradas en los módulos y los mismos Diplomados, vistas en conjunto, tales sugerencias aluden a temas bien delimitados que se desprenden de los apartados anteriores. Entre otras cosas, se propone continuar con la dinámica empleada, incrementar o disminuir el tiempo asignado al Diplomado, la entrega de materiales con mayor tiempo de anticipación, una mejor coordinación y organización entre los docentes y una variedad de propuestas aisladas.

Cerca de la tercera parte de las evaluaciones recibidas no hacen sugerencia alguna para mejorar el Diplomado; sin embargo, un número semejante propone seguir la dinámica tal cual se lleva a cabo hasta ese momento. La razón que subyace en esta propuesta es que la incorporación de docentes con conocimientos y experiencias en el campo es vital para el aprendizaje, aunado a que los docentes participantes suelen estar abiertos a la discusión e interesarse en las necesidades de los asistentes. Los comentarios de dos participantes del Diplomado realizado en Irapuato reflejan la imagen de las características deseables de los docentes a que hacen referencia comentarios de esta índole "contar con expositores con paciencia y sobre todo conocimiento y retroalimentación es lo más importante, porque (eso) hace sentir muy bien al alumno", "un ponente con lenguaje sencillo y ameno me hace sentir muy bien, da confianza al exponer, dan muchas ganas de participar. Sugiero continúen así".

El siguiente grupo de propuestas alude al tiempo, en términos aparentemente contradictorios. Por un lado, hay quienes sugieren ampliar el tiempo dedicado al Diplomado a fin de cumplir con el objetivo propuesto de elaborar el protocolo de investigación. En torno a ello hay propuestas específicas como aquella en la cual se sugiere eliminar el primer módulo dedicado a los paradigmas y teorías, o a destinar un módulo a la teoría y otro a la práctica; otra propone dedicar más tiempo para trabajar en los protocolos de investigación; y otra donde se sugiere invertir más tiempo en la elaboración de apartados específicos de los proyectos. Y más que asignar tiempo a la revisión teórica o a determinados autores, la mayoría de los asistentes parecen coincidir en su interés en trabajar más en talleres o en recibir asesorías de los docentes en torno a sus proyectos específicos en tanto se comparte la preocupación de que no se avanza suficientemente en el protocolo.

Un siguiente bloque de comentarios sugiere proporcionar los materiales bibliográficos, o los insumos empleados antes de iniciar el Diplomado. Esto se hizo bastante evidente en los dos primeros Diplomados impartidos. No obstante, el asunto pasó prácticamente desapercibido en el último Diplomado realizado en la Universidad Autónoma de Querétaro al ser resuelto porque los materiales fueron enviados a los asistentes por correo electrónico al menos una semana antes de su inicio. El problema de fondo respecto a la bibliografía en estas instituciones educativas radica en que no cuentan con la infraestructura básica para adquirir los materiales bibliográficos necesarios para un Diplomado de esta naturaleza; por lo cual, los organizadores deben generar mecanismos para obtener, reproducir y distribuir dichos materiales. Otros comentarios de los asistentes en torno a la bibliografía remiten a dos situaciones interrelacionadas. Por una parte, algunos de ellos refieren tener dificultades cuando se les proporciona los materiales en inglés, y otros se quejan de la mala calidad de algunos textos; sobre todo de los escritos en castellano, al intentar sustituir los textos en inglés.

Unos cuantos participantes también proponen mejorar la coordinación y organización entre los propios docentes. Entre otras propuestas se sugiere una mejor organización en la presentación de algunos módulos y, ante todo, intentar llegar a acuerdos entre los mismos docentes, sea para no repetir los temas ó las actividades realizadas o para no confundir a los asistentes menos familiarizados con la investigación cualitativa al adoptar posturas distintas, así como emplear técnicas didácticas alternativas.

Por último, diversas propuestas aisladas son mencionadas por los asistentes para mejorar esta modalidad educativa. Entre otras observaciones se consigna la necesidad de incrementar la participación del grupo ante la pasividad de algunos asistentes, reducir las entradas y salidas constantes de los asistentes a las sesiones para evitar las distracciones, mejorar las condiciones del lugar donde se llevan a cabo las sesiones de trabajo, fomentar las redes entre los asistentes que trabajen en temas semejantes y hacer cambios en los horarios de las sesiones iniciales y finales de los módulos, teniendo en consideración la situación de quienes no viven en la ciudad sede.

Discusión

El objetivo de este trabajo ha sido evaluar cualitativamente una intervención educativa desde la perspectiva de los asistentes. Tal Diplomado se ha orientado a la capacitación de profesionales de diversas disciplinas en la investigación cualitativa en salud. Un trabajo de esta naturaleza intenta favorecer la comprensión de las intervenciones educativas desde la perspectiva de los profesionales interesados en ella. El propósito final es contribuir a llenar un vació existente en torno al tema, sobre todo en Ibero América.

La enseñanza de la metodología de la investigación a los profesionales de las ciencias sociales y de la salud constituye un desafío, al igual que la enseñanza de la investigación cualitativa en salud, temas íntimamente relacionados (Mercado, Lizardi, Villaseñor, 2002). Por ello, el Diplomado ha pretendido resolver limitantes que enfrentan modalidades académicas cortas para la enseñanza de la investigación cualitativa, tales como los cursos, los talleres o los seminarios, ya que si bien éstos suelen revisar de manera sucinta un tema o profundizar en determinado aspecto teórico-conceptual o técnico, por lo general sus resultados distan de favorecer el aprendizaje de la investigación cualitativa, sobre todo la elaboración e implementación de proyectos de investigación. En este sentido, el propósito del Diplomado ha sido contribuir a la apertura y consolidación de un espacio teórico y práctico ligado a la educación permanente en salud (Ceccim, 2005).

No obstante los propósitos de los organizadores sobre los productos del Diplomado, desde la perspectiva de los asistentes uno de sus logros más significativos ha sido el aprendizaje a nivel teórico y conceptual. A la par, una de las mayores dificultades ha sido avanzar en la elaboración del proyecto de investigación y su consecuente implementación. Varios motivos podrían explicar esta situación: un número importante de asistentes no cuenta con la experiencia en el tema y sus expectativas y actividad prioritaria no se centran en la investigación, ya que la misma pasa con frecuencia a segundo termino frente a su carga docente, administrativa o asistencial. Teniendo en consideración el contexto universitario donde labora la mayoría de los asistentes a este Diplomado, incluso pareciera que el aprendizaje de la investigación cualitativa consiste en una práctica contradictoria ya que por un lado, las instituciones educativas favorecen la realización de programas de esta índole, pero al mismo tiempo, limitan al máximo los apoyos necesarios para que los docentes destinen el tiempo y cuenten con los recursos necesarios para formarse en este campo. Estos hallazgos concuerdan con quienes señalan que la investigación habrá de consolidarse en la medida que se destinen más recursos y se otorgue más tiempo a la misma (Organisation for Economic Co-operation and Development, 1998).

Otra constante referida por los asistentes remite al tiempo. Para algunos de ellos se requiere más tiempo para cumplir los objetivos del Diplomado, mientras que para otros se necesita menos. Los primeros son aquellos para quienes la investigación (cualitativa) les representa una actividad vital, sea como parte de un proyecto personal, académico o social. Para este grupo los seis meses que dura el Diplomado son insuficientes ya que no sólo se comprometen en la elaboración del protocolo de investigación, sino también al desarrollo del estudio. Ante esta circunstancia se requeriría más tiempo y actividades complementarias para elaborar el protocolo, implementar el estudio y trabajar en el análisis y presentación de los resultados. En cambio, seis meses es a todas luces demasiado tiempo para aquellos participantes cuyas expectativas se reducen a explorar y conocer el campo, sea como parte de un proyecto personal, académico o administrativo. De ser validos estos hallazgos, una propuesta derivada como consecuencia es que se requieren modalidades educativas diferentes para ambos grupos, ya que la versión actual no satisface ni a los unos ni a los otros. Una alternativa para los primeros sería ampliar el programa pero en una modalidad más cercana a una maestría, o abrir un segundo diplomado para la implementación del estudio y la elaboración de los productos (Mercado et al., 2005). Una de las estrategias posibles en esta dirección sería implementar una modalidad educativa basada en los nuevos sistemas de información, particularmente de la internet.

¿Por qué una parte significativa de los asistentes no reporta haber tenido problemas ni dificultades durante el Diplomado? No nos parece que se trate de una respuesta políticamente correcta. Desde nuestra perspectiva, ello pudiera obedecer a varias situaciones que confluyen en las expectativas de los asistentes. Para quienes se enfrentan por primera vez con la investigación cualitativa y buscan un conjunto de modelos establecidos, al igual que con la investigación tradicional o cuantitativa, las principales preocupaciones tienen que ver con la comprensión de una propuesta homogénea y la búsqueda de estrategias relativamente claras. En cambio, las dificultades y problemas entre quienes se proponen enriquecer su proyecto de investigación se vinculan más con el cómo avanzar en el protocolo y la elaboración de los apartados para lo cual se requiere contar con asesoría individualizada y pertinente. De allí sus propuestas específicas a dedicar más tiempo al proyecto de investigación y a tener más contacto con los docentes del curso.

Otra dificultad reportada por algunos asistentes remite a la diversidad de perspectivas y conceptos entre los docentes de distintos módulos que ocasiona confusión entre ellos. Sin embargo, para algunos, tal diversidad evidencia la heterogeneidad que caracteriza la investigación cualitativa, la multiplicidad de enfoques existentes así como de perspectivas teóricas y tradiciones que confluyen a su interior. ¿Cómo resolver este conflicto cuando uno de los principios del Diplomado subraya la necesidad de elaborar investigaciones con solidez teórica a la par que aspira a terminar el protocolo en un periodo determinado? El asunto no es de fácil solución, por lo menos si se tiene en mente la falta de formación teórica de la mayoría de los asistentes al provenir del área de la salud y, por otra parte, ante su falta de experiencia en investigación. Pero el asunto también colinda con otros temas de igual o mayor complejidad, tal como el reconocimiento de múltiples perspectivas al interior de la investigación cualitativa y el debate en torno al otro y la otredad (Mercado, Bosi, 2007). Otro asunto que subyace es aquella postura de la investigación tradicional en la cual se asume la existencia de verdades únicas y eternas. En este contexto, nos parece que programas educativos de esta naturaleza deben insistir en que uno de los elementos centrales de la investigación cualitativa es el asunto de la diferencia.

La información obtenida en este trabajo concuerda entre los diferentes métodos empleados, sea en las entrevistas, los cuestionarios o la retroalimentación de los participantes, a diferencia de lo reportado en otros trabajos. Por ejemplo, Oliver-Hoyo y Allen (2006); así como Bryans y Mavin (2006) reportan haber encontrado coincidencias en las entrevistas y el diario de campo, mas no con los cuestionarios. En nuestro estudio todo indica que hay coincidencias en los métodos empleados, aunque reconocemos la necesidad de explorar el tema utilizando otras estrategias.

¿Cuáles son las limitaciones que reconocemos en este trabajo? La primera y más evidente es la de haber centrado la atención en la voz de uno de los actores involucrados: los alumnos asistentes. Esta decisión deja de lado la posibilidad de escuchar a otros actores cuyos argumentos y razones diferentes pueden tener igual o más peso. Pudimos haber entrevistado a los coordinadores de los Diplomados, los docentes, el personal administrativo involucrado, entre muchos otros. Por otro lado, tampoco podemos pasar por alto posibles limitantes del método SWOT empleado. Frente a las fortalezas del tal método, no podemos sino preguntarnos cuales hubieran sido los resultados si hubiéramos empleado otras estrategias como la observación participante e incluso los grupos focales o los nominales. Aún con las limitaciones de la información obtenida mediante esta estrategia, estamos convencidos que los hallazgos encontrados son valiosos no solo para repensar la pertinencia de seguir organizando diplomados semejantes, sino también para valorar otras experiencias educativas sobre el mismo tema.

Agradecimientos

A los coordinadores de cada Institución donde se llevó a cabo el Diplomado por su colaboración y profesionalismo. A quienes dedicaron su tiempo a la evaluación de una versión previa. A los docentes por su colaboración desinteresada y sus comentarios, particularmente a Bernardo Jiménez, Teresa Torres y Enriqueta Valdez; a María Lúcia Bosi y Dense Gastaldo por su apoyo en la traducción.

Colaboradores

Francisco Mercado concibió la idea original, analizó la bibliografía, revisó y modificó el análisis y participó en la redacción. Luz María Tejada hizo la búsqueda bibliográfica, organizó la información y su análisis, redactó partes del artículo y estuvo a cargo de la edición. Elizabeth Alcántara participó en la búsqueda y análisis de la bibliografía, revisó los materiales, participó en la obtención, y análisis de la información y en la revisión de versiones previas del manuscrito. Abel Mercado participó en la revisión de bibliografía y del material y su análisis, y en la revisión de las versiones previas. Irma Xóchitl Fuentes participó en la organización y análisis de la información así como en la elaboración del manuscrito. Brenda Trigueros participó en la obtención, organización y análisis de la información.

Recebido em 22/06/07. Aprovado em 19/02/08.

Referencias bibliográficas

  • AMEZCUA, M.; GARRICONDO, A. Investigación cualitativa en España. Análisis de la producción bibliográfica en salud. In: Mercado, F.J.; Gastaldo, D.; CALDERÓN, C. (Orgs.). Paradigmas y diseños de la investigación cualitativa en salud: una antología Iberoamericana. Guadalajara: Universidad de Guadalajara/Universidad Autónoma de Nuevo León/Servicio Vasco de Salud/ Asociación Médica de Jalisco/Instituto Jalisciense de Cancerología, 2002. p.120-32.
  • Bogdan, R. Teaching fieldwork to educational researchers. Anthropol. Educ. Q., v.14, n.3, p.171-218, 1983.
  • BRYANS, P.; MAVIN, S. Visual images: a teaching to surface conceptions of research and researchers. Qual. Res. Org. Manage. Int. J., v.1, n.2, p.113-28, 2006.
  • CARVALHO, S. O ensino da saúde coletiva no curso médico da Unicamp: experiências inovadoras junto a unidades básicas de saúde. Interface - Comunic., Saúde, Educ, v.10, n.20, p.457-71, 2006.
  • CECCIM, R.B. Educaçâo permanente em saúde: desafio ambicioso e necessário. Interface - Comunic., Saúde, Educ., v.9, n.6, p.161-77, 2005.
  • Charmaz, K. Translating graduate qualitative methods into undergraduate teaching: intensive interviewing as a case example. Teach. Sociol., v.19, p.384-95, 1991.
  • Clark, R.; Lang, A. Balancing yin and yang: teaching and learning qualitative data analysis within an undergraduate quantitative data analysis course. Teach. Sociol., v.30, p.348-60, 2002.
  • DENZIN, N.; LINCOLN, Y. Handbook of qualitative research. Thousand Oaks: Sage, 2000.
  • Eakin, J. M.; Mykhalovskiy, E. Teaching against the grain: a workshop on teaching qualitative research in the health sciences. Conference report: a national workshop on teaching qualitative research in the health sciences [43 paragraphs]. Forum Qual. Soc. Res., v.6, n.2, 2005. Disponible en: <http://www.qualitative-research.net/fqs-texte/2 -05/05-2-42-e.htm1>. Acceso en: 6 abr. 2007.
  • Gastaldo, D. et al. Qualitative health research in Iberoamerica: the current state of science. J. Transcult. Nurs., v.13, n.2, p.91-109, 2002.
  • Grant, L.; May, R. The promises and perils of ethnography in the new millennium: lessons from teaching. J. Contemp. Ethnogr., v.28, n.5, p.549-60, 1999.
  • Harlos, K.P.; Mallon, M.; Jones, C. Teaching qualitative methods in management classrooms. J. Manage. Educ., v.27, n.3, p.304-22, 2003.
  • Hopkinson, G.C.; Hogg, M.K. Teaching and learning about qualitative research in the social sciences: An experimental learning approach amongst marketing students. J. Further Higher Educ., v.28, n.3, p.307-20, 2004.
  • Humphreys, M. Teaching qualitative research methods: I'm beginning to see the light. Qual. Res. Org. Manage. Int. J., v.1, n.3, p.173-88, 2006.
  • Kleiman, S.; Copp, M.A.; HENDERSON, K.A. Qualitatively different: teaching fieldwork to graduate students. J. Contemp. Ethnogr., v.25, n.4, p.469-99, 1997.
  • KOONTZ, H.; WEIHRICH, H. Administración: una perspectiva global. México: McGraw Hill, 1998.
  • Mercado, F.J.; Bosi, M.L. Introducción. In: Bosi, M.L.; Mercado F.J. (Orgs.). Investigación cualitativa en los servicios de salud Buenos Aires: Lugar, 2007. p.23-71.
  • Mercado, F.J. et al. La enseñanza de la investigación cualitativa en salud: voces desde Iberoamérica. Salud Colect., v.1, n.1, p.97-116, 2005.
  • Mercado, F.; Lizardi, A., Villaseñor, M. Investigación cualitativa en salud en América Latina: una aproximación. In: Mercado, F.; Gastaldo, D.; Calderon, C. (Orgs.). Paradigmas y diseños de la investigación cualitativa en salud: una antología Iberoamericana. Guadalajara: Universidad de Guadalajara/Universidad Autónoma de Nuevo León/Servicio Vasco de Salud/Asociación Médica de Jalisco/Instituto Jalisciense de Cancerología, 2002. p.133-57.
  • Morrisey, G.L. Planeación a largo plazo: creando su propia estrategia. México: Prentice Hall, 1996.
  • ORGANISATION FOR ECONOMIC CO-OPERATION AND DEVELOPMENT - OCDE. University research in transition Paris: OCDE, 1998.
  • Oliver-Hoyo, M.E; Allen, D.D. The use of triangulations methods in qualitative educational research. J. Coll. Sci. Teach., v.35, n.4, p.42-7, 2006.
  • POPE, C.; MAYS, N. Qualitative research in health care. London: Blackwell Publishing/BMJ Books, 2006.
  • Rifkin, S.B.; Hartley, D. Learning by doing; teaching qualitative methods to health care personnel. Educ. Health, v.14, n.1, p.75-85, 2001.
  • RIZZO, A.; KIM, G.J. A SWOT analysis of the field of virtual reality rehabilitation and therapy. Presence Teleoperators Virtual Environ., v.14, n.2, p.119-46, 2005.
  • Stallings, W.M. Confessions of a quantitative educational researcher trying to teach qualitative research. Educ. Res., v.24, n.3, p.31-2, 1995.
  • Talley, K.D.; Timmer, D.A. A qualitative methods exercise: student and faculty interpretations of classroom teaching. Teach. Sociol., v.20, n.1, p.75-9, 1992.
  • Weber, R. Basic content analysis Newbury Park: Sage, 1990.

Fechas de Publicación

  • Publicación en esta colección
    31 Ago 2012
  • Fecha del número
    Set 2008

Histórico

  • Recibido
    22 Jun 2007
  • Acepto
    19 Feb 2008
location_on
UNESP Distrito de Rubião Jr, s/nº, 18618-000 Campus da UNESP- Botucatu - SP - Brasil, Caixa Postal 592, Tel.: (55 14) 3880-1927 - Botucatu - SP - Brazil
E-mail: intface@fmb.unesp.br
rss_feed Stay informed of issues for this journal through your RSS reader
Acessibilidade / Reportar erro