Accessibility / Report Error

EVALUACIÓN DEL IMPACTO SOCIAL DE UN PROYECTO DE EDUCACIÓN NO FORMAL EN CIENCIAS

EVALUATION OF THE SOCIAL IMPACT OF A NON-FORMAL SCIENCE EDUCATION PROJECT

AVALIAÇÃO DO IMPACTO SOCIAL DE UM PROJETO NÃO FORMAL DE EDUCAÇÃO CIENTÍFICA

RESUMEN

En este artículo se presenta la evaluación del impacto social de una actividad no formal de enseñanza de ciencias para promover vocaciones científicas en niños y niñas de Educación Primaria y mejorar competencias en el uso de la metodología de la indagación (IBSE) de maestros y maestras en formación. A partir del modelo lógico del proyecto, diversos instrumentos (cuestionarios, entrevistas y observación no participativa) fueron aplicados a los grupos objetivo de la intervención en tres ediciones. Las evidencias encontradas (mejora en actitudes y habilidades de maestros y maestras en formación para aplicar IBSE; interés y motivación de niños y niñas; y aumento del interés de escuelas en participar y realizar actividades innovadoras en ciencias) indican que los resultados previstos han sido mayormente alcanzados y el impacto fue significativo.

Palabras-clave
Impacto social; Educación no formal; Enseñanza de las ciencias; Enseñanza primaria; Formación docente

ABSTRACT

This paper presents the evaluation of the social impact of a non-formal science teaching activity to promote scientific vocations in primary school children and improve competences for the use of the inquiry methodology (IBSE) of pre-service teachers. The logical model of the project was used and various instruments (questionnaires, interviews and non-participatory observation) were applied to the target groups of the intervention in three editions. The evidence found (improvement in the attitudes and skills of pre-service teachers to apply IBSE; interest and motivation of children; and increased interest of educational centers to participate and carry out innovative activities in science) indicate that the expected results have been mostly achieved and the social impact was significative.

Keywords
Social impact; Non-formal education; Science teaching; Primary education; Teacher education

RESUMO

Este artigo apresenta a avaliação do impacto social de uma atividade não formal de ensino de ciências para promover vocações científicas em crianças do Ensino Fundamental e melhorar as competências para o uso da metodologia da indagação (IBSE) de professores em formação. A partir do modelo lógico do projeto, vários instrumentos (questionários, entrevistas e observação não participativa) foram aplicados aos grupos-alvo da intervenção em três etapas. As evidências encontradas (melhora nas atitudes e habilidades dos professores em formação para aplicar IBSE; interesse e motivação das crianças; e aumento do interesse dos centros educacionais em participar e realizar atividades diferenciadas em ciências) indicam que os resultados esperados foram alcançados e o impacto foi significativo.

Palavras-chave
Impacto social; Educação não formal; Ensino de ciências; Educação primaria; Formação de professores

Introducción

E n los últimos años se han multiplicado las acciones destinadas a mejorar los conocimientos y actitudes de la población hacia la ciencia y la tecnología, dada la necesidad de que toda la ciudadanía las comprenda mejor para participar de forma activa y responsable en procesos de toma de decisión (EUROPEAN COMMISSION, 2015EUROPEAN COMMISSION. Science education for responsible citizenship. Brussels: Directorate-General for Research and Innovation, 2015.). En ese sentido, cabe destacar el rol que cumple el vasto conjunto de agentes de educación no formal e informal – actividades extraescolares, museos, bibliotecas, TV, radio, libros, etc. (FALK; DIERKING, 2010FALK, J. H.; DIERKING, L. D. The 95% solution: school is not where most Americans learn most of their science. American Scientist, Oregon, v. 98, n. 6, p. 486-493, 2010. https://doi.org/10.1511/2010.87.486
https://doi.org/10.1511/2010.87.486...
) – cuyos proyectos son potenciados desde entidades nacionales e internacionales.

La evaluación del impacto social de estas actividades es relevante para las agencias financiadoras y los agentes sociales que las desarrollan, que desean comprender, definir y comunicar mejor sus programas. Los métodos de medición del impacto social pueden definirse como aquellos apropiados para capturar, medir y evaluar los efectos que pueden considerarse resultado de una acción, proyecto, política, etc., sobre la comunidad en general o sobre los grupos foco de la acción. Este impacto puede ser negativo o positivo, intencional, involuntario o una combinación de estos (MILDENBERGER et al., 2012MILDENBERGER, G.; MÜNSCHER, R.; SCHMITZ, B. Dimensionen der Bewertungge-meinnütziger Organisationen. Wiesbaden: VS Verlag, 2012.). Además, las intervenciones pueden tener un impacto directo o indirecto en personas, organizaciones e instituciones que no son directamente parte de la intervención ni participan en ella. Generalmente, el impacto social se basa en la observación de algún tipo de cambio, atribuible a la intervención en el grupo objetivo de la intervención. Para los análisis de impacto es importante que se identifique el resultado y que se comprenda cómo funcionan las acciones analizadas. ¿Qué actividades se realizan, qué servicios se brindan y qué efectos aparecen como consecuencia de ellos? Esto se puede representar en un modelo lógico de una manera compacta.

Cabe destacar que la evaluación del impacto social de proyectos educativos no formales1 1 Adoptamos como definición de educación no formal la definición clásica propuesta en 1974 por Coombs y Ahmed: toda actividad organizada, sistemática, educativa, realizada fuera del marco del sistema oficial, para facilitar determinadas clases de aprendizajes a subgrupos particulares de la población, tanto adultos como niños. presenta múltiples desafíos, varios de ellos comunes a la evaluación de impacto de cualquier proyecto educativo o social. Entre estos desafíos se encuentran: la dificultad de especificar con precisión los objetivos y los cambios producidos por la ejecución del programa en sí; la dificultad de definir los indicadores de impacto, que en la mayoría de los casos deben ser medidos durante la ejecución del proyecto, aunque a veces, su impacto pueda observarse a más largo plazo; la variabilidad de las evaluaciones y la escasa cantidad de abordajes e instrumentos estandarizados de medición del impacto, y la escala, muchas veces modesta de estos esfuerzos, que puede no justificar una evaluación costosa y a largo plazo (BOSE et al., 2003BOSE, M.; FEDATO, C.; MENDONÇA, L. Monitoramento de projetos sociais: um desafio para as alianças intersetoriais. In: ENCONTRO ANUAL DA ANPAD, 27, Atibaia, 2003. Anais [...]. Atibaia: ANPAD, 2003.; JANNUZZI, 2005JANNUZZI, P. M. Indicadores para diagnóstico, monitoramento e avaliação de programas sociais no Brasil. Revista do Serviço Público, Brasília, v. 56, n. 2, p. 137-160, abr.–jun. 2005. https://doi.org/10.21874/rsp.v56i2.222
https://doi.org/10.21874/rsp.v56i2.222...
; UCKO, 2008UCKO, D. A. Introduction to evaluating impacts of NSF informal science education projects. In: FRIEDMAN, A. (ed.). Framework for evaluating impacts of informal science education projects. Report from a National Science Foundation workshop. [S. l.]: National Science Foundation/Multimedia Research, 2008. p. 9-13. On-line. Disponible en: http://insci.org/resources/Eval_Framework.pdf. Acceso en: 27 oct. 2019.
http://insci.org/resources/Eval_Framewor...
).

Dadas estas dificultades y la importancia y variedad de las actividades no formales en el área de enseñanza de las ciencias, parece relevante la investigación de diferentes estrategias para la evaluación de su impacto. Por ello, este trabajo tiene por objetivo evaluar el impacto social de una actividad no formal en esta área a lo largo de tres ediciones, que se corresponden con tres cursos académicos consecutivos, justificando el modelo evaluativo utilizado que aúna estrategias cualitativas y cuantitativas.

El Proyecto

Descripción

Sábados de Ciencia es un proyecto de carácter no formal, de extensión universitaria, realizado por la Universidad de Burgos desde el curso 2015/2016. Consiste en talleres sobre ciencia para niños y niñas de 6 a 11 años, dirigidos por estudiantes del cuarto curso del Grado en Maestro de Educación Primaria (GMEP). La metodología didáctica utilizada es la Enseñanza de las Ciencias Basada en la Indagación (IBSE; en inglés, Inquiry-based Science Education) en su versión guiada (MARTIN-HANSEN, 2002MARTIN-HANSEN, L. Defining inquiry. The Science Teacher, Normal, v. 69, n. 2, p. 34-37, 2002.), ya que parece propiciar el aprendizaje de los niños y niñas en ciencia y sobre ciencia, aumentando su interés y estimulando el desarrollo de vocaciones científicas (EUROPEAN COMMISSION, 2015EUROPEAN COMMISSION. Science education for responsible citizenship. Brussels: Directorate-General for Research and Innovation, 2015.; MINNER et al., 2010MINNER, D.; LEVY, A.; CENTURY, J. Inquiry-based science instruction—What is it and does it matter? Results from a research synthesis years 1984 to 2002. Journal of Research in Science Teaching, New York, v. 47, p. 474-496, 2010. https://doi.org/10.1002/tea.20347
https://doi.org/10.1002/tea.20347...
). Varios estudios han señalado que los docentes en formación, aun pudiendo adquirir las destrezas necesarias para la aplicación de IBSE (GIL et al., 2008GIL M. J. et al. De la universidad a la escuela: no es fácil la indagación científica. Revista Interuniversitaria de Formación del Profesorado, Zaragoza, v. 63, n. 22, p. 81-100, 2008.; VÍLCHEZ; BRAVO, 2015VÍLCHEZ, J. M.; BRAVO, B. Percepción del profesorado de ciencias de Educación Primaria en formación acerca de las etapas y acciones necesarias para realizar una indagación escolar. Enseñanza de las Ciencias, Barcelona, v. 33, n. 1, p. 185-202, 2015. https://doi.org/10.5565/rev/ensciencias.1529
https://doi.org/10.5565/rev/ensciencias....
), tienen dificultades para convertir el conocimiento adquirido en su formación (conocimiento para la práctica), en acciones didácticas para situaciones escolares concretas (conocimiento en la práctica) (ZANGORI; FORBES, 2013ZANGORI, L.; FORBES, C. T. Preservice elementary teachers and explanation construction: knowledge-for-practice and knowledge-in-practice. Science Education, New York, v. 97, n. 2, p. 310-330, 2013. https://doi.org/10.1002/sce.21052
https://doi.org/10.1002/sce.21052...
; GRECA, 2016GRECA, I. M. Supporting pre-service elementary teachers in their understanding of inquiry teaching through the construction of a third discursive space. International Journal of Science Education, London, v. 38,n. 5, p. 791-813, 2016. https://doi.org/10.1080/09500693.2016.1165892
https://doi.org/10.1080/09500693.2016.11...
). Por ello, es necesario que practiquen esta metodología repetidamente, re-interpretando sus experiencias para poder producir soluciones válidas para los problemas a los que se enfrentan (organización de las sesiones, trabajo grupal, comportamiento de la clase, falta de confianza en su conocimiento científico) (LUEHMANN, 2007LUEHMANN, A. L. Identity development as a lens to science teacher preparation. Science Education, New York, v. 91, p. 822-839, 2007. https://doi.org/10.1002/sce.20209
https://doi.org/10.1002/sce.20209...
). Con este objetivo, el proyecto está destinado tanto a los estudiantes del cuarto curso del GMEP, como a los niños y niñas de centros escolares de Educación Primaria de la provincia de Burgos. Asimismo, también pretende llamar la atención de actores sociales responsables de un cambio efectivo en la enseñanza de las ciencias (equipos directivos de centros escolares, docentes y familias). Los objetivos que persigue el proyecto son: colaborar en la promoción de vocaciones científicas de los niños y niñas a partir de su participación en actividades de indagación; propiciar el desarrollo de competencias para la implementación de la IBSE en estudiantes del GMEP, y crear una cultura de indagación en las escuelas. Cabe destacar que, tratándose de alumnado de Educación Primaria, esta colaboración en la promoción de las vocaciones científicas se realiza a través del fomento de actitudes positivas hacia la ciencia en general y hacia la ciencia escolar en particular (POTVIN; HASNI, 2014POTVIN, P.; HASNI, A. Interest, motivation and attitude towards science and technology at K-12 levels: a systematic review of 12 years of educational research. Studies in Science Education, Nafferton, v. 50, n. 1, p. 85-129, 2014. https://doi.org/10.1080/03057267.2014.881626
https://doi.org/10.1080/03057267.2014.88...
). En este trabajo entendemos que la actitud es un constructo complejo que contiene muchos sub-constructos, entre los que se incluye interés, disfrute, motivación y deseo por continuar carreras científicas, entre otros (MURPHY et al., 2006MURPHY, C.; AMBUSAIDI, A.; BEGGS, J. Middle East meets West: comparing children’s attitudes to school science. International Journal of Science Education, London, v. 28, n. 4, p. 405-422, 2006. https://doi.org/10.1080/09500690500339696
https://doi.org/10.1080/0950069050033969...
).

El proyecto se encuadra dentro de las acciones de la Unidad de Cultura Científica de la Universidad de Burgos y ha sido financiado, desde su inicio, por la Universidad de Burgos y la FECyT (Fundación Española para la Ciencia y la Tecnología). Cuenta, además, con el apoyo de la Dirección Provincial de Educación de Burgos que, cada año, envía a los centros bajo su jurisdicción información sobre las inscripciones a la edición correspondiente.

Operacionalmente, Sábados de Ciencia consiste en talleres científicos desarrollados un sábado al mes, durante siete meses dentro del curso escolar, de los cuales seis se realizan en las aulas y laboratorios de la Facultad de Educación y uno en un museo. El proyecto fue diseñado inicialmente para la ciudad-capital de la provincia de Burgos, que concentra el 49% de su población, pero desde la primera edición se promovió la participación de niños y niñas del resto de la provincia, mediante la subvención del traslado a la capital. En estos talleres, que duran dos horas y media, los niños y niñas tienen que resolver, utilizando la IBSE, de forma experimental y manipulativa, los problemas que se les plantean (algunos ejemplos en el Anexo, ver material complementario que aparece en: http://hdl.handle.net/10259/5458). En los talleres se busca que los participantes desarrollen varias de las acciones propuestas por el National Research Council (2012)NATIONAL RESEARCH COUNCIL. A framework for K-12 science education: practices, cross-cutting concepts, and core ideas. Washington: The National Academies Press, 2012.: formular preguntas científicas definiendo el problema de investigación; planificar y desarrollar experimentos; analizar e interpretar datos; construir una argumentación objetiva acorde a las evidencias encontradas; evaluar los resultados y sintetizar la información encontrada, y comunicar los resultados obtenidos. Dada la duración de los talleres, no es posible cerrar este ciclo con actividades de modelización, como las propuestas por Romero-Ariza (2017)ROMERO-ARIZA, M. El aprendizaje por indagación, ¿existen suficientes evidencias sobre sus beneficios en la enseñanza de las ciencias? Revista Eureka sobre Enseñanza y Divulgación de las Ciencias, Cádiz, v. 14, n. 2, p. 286-299, 2017. https://doi.org/10.25267/Rev_Eureka_ensen_divulg_cienc.2017.v14.i2.01
https://doi.org/10.25267/Rev_Eureka_ense...
. Los temas de los talleres están relacionados con el currículo de Ciencias Naturales de Educación Primaria. Los niños y niñas son agrupados por rangos de edad, en grupos de 15 a 20. En 2017 y 2018, algunos de los talleres, usando la misma metodología, fueron realizados en inglés debido al número creciente de centros bilingües.

El mecanismo de participación comienza con la adhesión voluntaria de los centros educativos interesados en el proyecto, pudiendo participar una única vez por edición y con un número limitado de plazas. Esta organización permite la rotación de centros y de su alumnado. Las personas encargadas de diseñar y ejecutar los talleres son estudiantes del GMEP que participan al menos en tres sábados, con el apoyo de docentes universitarios. Los estudiantes participan de forma voluntaria, sin que esto influya en la calificación de asignaturas del GMEP. Su experiencia anterior con la IBSE es la resultante de un proyecto de innovación para la formación de los futuros docentes en dicha metodología implantado desde 2014 y 2015 en el GMEP (GRECA, 2016GRECA, I. M. Supporting pre-service elementary teachers in their understanding of inquiry teaching through the construction of a third discursive space. International Journal of Science Education, London, v. 38,n. 5, p. 791-813, 2016. https://doi.org/10.1080/09500693.2016.1165892
https://doi.org/10.1080/09500693.2016.11...
).

En cada taller hay de dos a cuatro docentes en formación en grupos que varían cada sábado (dependiendo de su disponibilidad, necesidades del taller o temática abordada). El profesorado universitario participante2 2 En esta labor de organización se han sumado, a partir de la segunda edición, alumnado ya formado, que han querido seguir con la experiencia. organiza estos grupos teniendo en cuenta los diferentes niveles de experiencia (aunque la mayoría son noveles, hay estudiantes con alguna experiencia en el uso de la IBSE en contextos escolares al trabajar con ella en sus prácticas o ediciones anteriores). Así, al comienzo de cada edición los estudiantes con más experiencia actúan como tutores. Aunque los temas de los talleres son muy diversos, todos siguen un esquema parecido que aporta homogeneidad, resultando más sencillo crear nuevos talleres después de la primera experiencia. Los talleres son diseñados teniendo en cuenta la edad de los niños y niñas, tanto en la adaptación de los contenidos, como en el material utilizado (por ejemplo, en indagaciones sobre electricidad se ha utilizado plastilina para los circuitos en los primeros cursos y elementos más tradicionales para cursos superiores). En la Tabla 1 se sintetizan las acciones que estudiantes del GMEP y alumnado de primaria realizan antes, durante y después de los talleres. Al finalizar la edición se ponen a disposición de la comunidad educativa, a través de la página web del proyecto, los talleres que han funcionado exitosamente.

Tabla 1
Síntesis de las acciones que estudiantes y niños realizan antes, durante y después de los talleres

Modelo Lógico

Un modelo lógico ayuda a describir el enfoque de un programa, a presentar las actividades planificadas y a detallar los resultados anticipados y las medidas que serán utilizadas para evaluar si esos resultados se han logrado. Hay diferentes modelos lógicos; en Sábados de Ciencia se ha usado la versión del modelo lógico de Wisconsin (TAYLOR-POWELL et al., 1996TAYLOR-POWELL, E.; STEELE, S.; DOUGLAH, M. Planning a program evaluation. Program Development and Evaluation. Wisconsin: University of Wisconsin–Extension/Cooperative Extension, 1996. Disponible en: http://learningstore.uwex.edu/assets/pdfs/G3658-1.pdf. Acceso en: 09 sep. 2019.
http://learningstore.uwex.edu/assets/pdf...
) que incluye:

  1. Input: los recursos que se traen a un proyecto, por lo general, definidos en términos de fuentes de financiamiento.

  2. Actividades: las acciones que se realizan para lograr el resultado deseado.

  3. Output: los resultados inmediatos de una acción que documentan el grado de implementación de una actividad particular. Son normalmente expresados numéricamente (número de personas que realizan las actividades previstas en el apartado anterior, grado de satisfacción, etc.).

  4. Resultados esperados: los cambios a largo plazo que muestran el movimiento hacia el logro de los objetivos finales del proyecto.

En la Fig. 1 aparece el modelo lógico de Sábados de Ciencia.

Figura 1
Modelo lógico de la acción Sábados de Ciencia

Categorías para la Medición del Impacto

Existen varios modelos para la evaluación del impacto social, con bastantes diferencias entre ellos, aunque todos coinciden en la necesidad de realizar una evaluación sumativa al final de la actividad. Sin embargo, tal como menciona un documento para la evaluación de actividades no formales en educación en ciencias de la National Science Foundation (NSF), realizar una evaluación sumativa rigurosa en este tipo de actividades es muchas veces complejo (FRIEDMAN, 2008FRIEDMAN, A. (ed.). Framework for evaluating impacts of informal science education projects. Report from a National Science Foundation workshop. [S. l.]: National Science Foundation/Multimedia Research, 2008. On-line. Disponible en: http://insci.org/resources/Eval_Framework.pdf. Acceso en: 27 oct. 2019.
http://insci.org/resources/Eval_Framewor...
), sobre todo en aquellas muy acotadas temporalmente, con alta rotación y pocas posibilidades de seguimiento de los participantes, como es el caso de Sábados de Ciencia. La evaluación que hemos realizado es una evaluación sumativa no experimental, a lo largo de tres cursos académicos consecutivos. Para la evaluación se han escogido las categorías propuestas por la NSF (FRIEDMAN, 2008FRIEDMAN, A. (ed.). Framework for evaluating impacts of informal science education projects. Report from a National Science Foundation workshop. [S. l.]: National Science Foundation/Multimedia Research, 2008. On-line. Disponible en: http://insci.org/resources/Eval_Framework.pdf. Acceso en: 27 oct. 2019.
http://insci.org/resources/Eval_Framewor...
) para la evaluación de proyectos no formales e informales en educación en ciencias. Esta categorización está basada en la investigación en el área y engloba los cinco aspectos (listados a seguir) considerados más relevantes para una mejoría en la comprensión o en las actitudes hacia aspectos científico-tecnológicos (que fueron considerados cuando se diseñó Sábados de Ciencia). A continuación, se presentan los aspectos evaluables en cada categoría (DIERKING, 2008DIERKING, L. D. Evidence and categories of ISE Impacts. In: FRIEDMAN, A. (ed.). Framework for evaluating impacts of informal science education projects. Report from a National Science Foundation workshop. [S. l.]: National Science Foundation/Multimedia Research, 2008, p. 17-27. On-line. Disponible en: http://insci.org/resources/Eval_Framework.pdf. Acceso en: 27 oct. 2019.
http://insci.org/resources/Eval_Framewor...
, p. 19-20), reformulados para nuestro proyecto.

  1. Conocimiento y/o comprensión de conceptos o procesos: evaluación de la mejora en el conocimiento o la comprensión de un concepto o fenómeno científico. Evidencia de este impacto pueden ser cambios en los conocimientos de los participantes (evaluables tanto de forma directa, como a través de sus opiniones). En esta categoría se ha considerado la percepción que los niños y niñas participantes tienen de su comprensión sobre los conceptos científicos después de asistir a los talleres, así como el material didáctico final elaborado (resultado de la mejora de la comprensión de los estudiantes del GMEP de IBSE y de los conceptos científicos abordados).

  2. Interés: evaluación del cambio o mejora del interés en conceptos y actividades científicas, en los que incluimos el interés en el uso de IBSE. En esta categoría se evalúa el número de centros que han vuelto a inscribirse, los niños y niñas inscritos y la valoración de la actividad por los docentes en formación.

  3. Actitudes: evaluación del cambio o mejora en las actitudes (o en la percepción de las capacidades relativas) hacia los conceptos o fenómenos científicos y hacia el uso de IBSE. En esta categoría incluimos la opinión de los estudiantes del GMEP sobre sus capacidades para implementar la IBSE en el futuro.

  4. Comportamientos resultantes de la experiencia: evaluación del cambio o mejora en los comportamientos hacia tópicos científicos o hacia IBSE, por ejemplo, a través de respuestas de intenciones de cambio en los comportamientos de los participantes o estudios longitudinales para determinar si los cambios han ocurrido o no. Una evidencia en Sábados de Ciencia en esta categoría es el número de estudiantes participantes que han usado IBSE durante sus períodos de práctica obligatorios.

  5. Habilidades basadas o resultantes de la experiencia: estos son aspectos procedimentales del conocimiento. Habilidades típicamente observables que incluyen habilidades de investigación científica (observación, clasificación, exploración, cuestionamiento, predicción o experimentación), así como habilidades muy específicas relacionadas al uso de instrumentos y dispositivos científicos. En Sábados de Ciencia esto implica la observación del desarrollo de habilidades en los niños y niñas sobre el manejo de algunos instrumentos de medida (termómetros, probetas, dinamómetros) o la mejoría en las habilidades de los estudiantes para implementar IBSE. Como los niños y niñas solamente asisten una vez por año a Sábados de Ciencia no es posible observar el cambio, en el tiempo, de las habilidades de indagación.

En la Tabla 2, aparece la correspondencia de estas categorías con los outputs y resultados del modelo lógico de Sábados de Ciencia.

Tabla 2
Tabla de correspondencia de las categorías con los outputs y resultados del modelo lógico

Metodología

Desde el punto de vista metodológico, este es un estudio descriptivo, con instrumentos y técnicas de análisis cuantitativos y cualitativos, desarrollado durante los cursos escolares 2015–2016, 2016–2017, y 2017–2018.

Sujetos

Los sujetos foco de la acción fueron los niños y niñas que asistieron al taller – con edades comprendidas entre 6 y 11 años –, los docentes en formación responsables de los talleres y los centros educativos a los que pertenecían los niños y niñas participantes (Tabla 3).

Tabla 3
Participantes en las tres ediciones y valores promedio del universo de sujetos y centros educativos del área de influencia del proyecto

Instrumentos

Se han usado cuestionarios, entrevistas y observación (participativa y no participativa), que aparecen en el Anexo, utilizándose para la evaluación del impacto solo algunos de los datos obtenidos.

  1. Cuestionarios para niños y niñas: dos cuestionarios con preguntas tipo Likert en una escala del 0 al 3, además de una pregunta sobre el sexo y otra sobre el curso. Uno de ellos es un cuestionario que evalúa las actitudes hacia la ciencia de los niños y niñas participantes con 14 ítems (a de Crombach = 0,75), tomados del test TOSRA, y validado con una muestra de 960 niños y niñas (TOMA et al., 2019TOMA, R. B.; ORTIZ-REVILLA, J.; GRECA, I. M. ¿Qué actitudes hacia la ciencia posee el alumnado de Educación Primaria que participa en actividades científicas extracurriculares? Ápice – Revista de Educación Científica, La Coruña, v. 3, n. 1, p. 55-69, 2019. https://doi.org/10.17979/arec.2019.3.1.4599
    https://doi.org/10.17979/arec.2019.3.1.4...
    ). Por su complejidad, se aplicó solo a niños y niñas desde tercer curso. El otro (CINA) recoge la opinión de los niños y niñas con respecto al taller y su visión de lo aprendido, y fue aplicado a niños y niñas a partir de segundo curso. Las preguntas eran: “¿Te ha gustado el taller?”; “Trabajando como en este taller, ¿Te han interesado más las Ciencias de la Naturaleza?”; “¿Te ha gustado trabajar en grupo?”; “¿Te ha gustado la temática del taller?” En 2017 y 2018 se agregó una pregunta simple, de múltiple opción, relacionada con los contenidos trabajados en el taller para evaluar su impacto sobre las ideas de los niños y niñas (por ejemplo, si se había trabajado sobre electricidad se pedía que identificasen en qué circuito de los propuestos podía lucir una bombilla). Los cuestionarios fueron administrados al finalizar cada taller y los niños y niñas tardaban entre 10 y 15 minutos en responderlos.

  2. Cuestionario on-line para la directiva de los centros escolares: tiene preguntas de respuesta cerrada, con escala del 1 al 10, usado para conocer la opinión de los centros sobre Sábados de Ciencia. En 2017 y 2018, el cuestionario fue ampliado, agregando cuestiones referidas al uso de IBSE en los centros. Este cuestionario fue pasado al finalizar el curso escolar. El porcentaje de respuesta ha sido del 59% en 2015–2016; 58% en 2016–2017, y 61% en 2017–2018.

  3. Entrevista grupal y encuesta on-line para docentes en formación: en 2015 y 2016 se utilizó una entrevista grupal semiestructurada con los estudiantes que habían participado. El objetivo era conocer su opinión sobre la experiencia; su percepción de las habilidades adquiridas para enseñar ciencia con metodologías más activas, y su motivación e interés para aplicarla durante sus prácticas y futuro profesional. A partir de esas entrevistas se elaboró un cuestionario on-line, con 10 preguntas tipo Likert, con valores entre 1 y 5. Tanto la entrevista, como el cuestionario fueron realizados dos meses después de finalizada cada edición. El porcentaje de respuesta fue del 30% en 2015–2016; 48% en 2016–2017, y 62,8% en 2017–2018. Se cuenta además con información sobre el número de estudiantes que usaron IBSE en sus prácticas.

  4. Observación participativa y no participativa: durante la realización de los talleres, una de las autoras realizó breves observaciones selectivas (no todos los talleres eran observados cada sábado) del trabajo en los talleres, centrando su foco tanto en las actividades de los niños y niñas como en los docentes en formación. En 2017 y 2018, se elaboró una escala de estimación para llevar a cabo una observación sistemática en los talleres en inglés (Ver material complementario en http://hdl.handle.net/10259/5458).

Técnicas de Análisis

Para el análisis cuantitativo se utilizó estadística descriptiva y análisis correlacional no paramétrico. Para el análisis cualitativo de las respuestas abiertas de los cuestionarios se procedió por simple categorización, y en el caso de las entrevistas se utilizó el análisis de contenido para determinar temas recurrentes en las respuestas de los docentes en formación.

Resultados

Los primeros datos para evaluar el impacto son los del número de participantes de los diferentes grupos foco del proyecto (outputs 1, 2 y 7) que aparecen en la Tabla 3, en la sección de Metodología. Esos números son bastante superiores a los esperados: se estimaban para la primera edición 300 niños y niñas y 15 docentes en formación. Además, hay que tener en cuenta que la cifra de participación de los niños y niñas es inferior al deseo de participación – desde el primer sábado ha habido un mayor número de inscritos que el cupo disponible. A estos números hay que agregar una sesión especial que se ha realizado cada año en un centro educativo que, habiendo participado en Sábados de Ciencia, mostró un particular interés en comprobar cómo funcionaba, dentro de sus aulas, la propuesta: en 2015–2016, 120 niños/as; en 2016–2017, 300 niños/as; y en 2017–2018, 80 niños/as.

No hay prácticamente diferencia en el número de participantes por sexo (Tabla 3). En relación con el curso escolar, los porcentajes son bastante homogéneos, entre un 13 y 20% por curso (Fig. 2), con algunos picos inferiores en sexto curso. Al analizar las actitudes de los niños y niñas participantes hacia la ciencia en relación con el curso escolar, en las tres ediciones los participantes de 5º y 6º curso han manifestado una actitud algo menos positiva (aunque continúa siendo alta) hacia las clases de ciencia y las carreras científicas que los de cursos más bajos, tal como muestra el Fig. 3.

Figura 2
Porcentajes de niños participantes por curso, en cada edición de Sábados de Ciencia.
Figura 3
Actitudes hacia la ciencia de los niños participantes según curso escolar (escala de 0 a 3).

El número de estudiantes del GMEP, así como de centros participantes ha ido creciendo. Entre los estudiantes hay docentes en formación que, aunque se han graduado, siguen colaborando en Sábados de Ciencia. Sobre el número de centros, si tenemos en cuenta que en Burgos capital hay 40 centros de Educación Primaria, en la tercera edición de Sábados de Ciencia se ha alcanzado casi la mitad.

En la Tabla 4 aparece un resumen de las categorías, los indicadores y las evidencias de impacto obtenidos a lo largo de las tres ediciones. Los resultados parecen indicar que el impacto ha sido alto en todas las categorías analizadas.

Tabla 4
Categorías, indicadores y evidencias de impacto de la acción Sábados de Ciencia en las ediciones 2015–2016, 2016–2017 y 2017–2018.

Discusión

A seguir, discutimos los resultados obtenidos teniendo en cuenta el impacto en cada colectivo evaluado.

Impacto en los niños y niñas: Los niños y niñas valoran positivamente los talleres y perciben la actividad experimental realizada como efectiva para su aprendizaje, lo que coincide con el índice alto de acierto en las preguntas sobre los contenidos abordados (2017–2018) (Fig. 4) y la observación de los talleres.

Figura 4
Respuestas correctas al finalizar el taller por asuntos abordados en 2018-2018: 81,3% respuestas correctas en promedio

Destacamos que no se ha encontrado ninguna relación estadísticamente significativa entre la edad o el sexo de los niños y niñas y la temática de los talleres. Lo que parece relevante es la propia estructura de los talleres, que les permite experimentar y trabajar como científicos/as (frase repetida por los niños/as). Por otra parte, las actitudes de los niños y niñas hacia la ciencia son en general altas. Analizando las correlaciones entre las variables del test TOSRA, se encuentran correlaciones significativas que parecen indicar una relación entre las vocaciones científicas, el gusto por las ciencias naturales; el deseo de mayor formación, y el ocio científico (Tabla 5). Claramente, no es posible afirmar con los datos obtenidos que Sábados de Ciencia haya influido en las actitudes de los niños y niñas hacia la ciencia. Para poder evaluarlo, hubiera sido necesario pasar el cuestionario antes y después de la actividad, lo que no es factible en una actividad tan corta. Sin embargo, como se ha encontrado una correlación positiva y significativa entre ocio científico y deseo de ser científico del cuestionario TOSRA (Tabla 5), parece plausible que la actividad pueda colaborar con la promoción de vocaciones científicas, al ofrecer un innovador espacio de ocio científico. Hay que resaltar que, aunque significativas, las correlaciones encontradas son bajas. Consideramos que esto puede deberse a diversos factores, entre ellos, a las consecuencias de la enseñanza tradicional, que desliga el contenido enseñado en las asignaturas del proceso y de los sujetos que producen ese conocimiento.

Tabla 5
Correlaciones no paramétricas significativas (p < 0,01) entre variables de actitudes de los niños hacia la ciencia.

Otro indicio indirecto es el aumento de la participación en el concurso de proyectos científicos presentados por alumnado de los centros educativos que han acudido a Sábados de Ciencia en la Feria de Ciencia y Tecnología de Castilla y León (Fig. 5).

Figura 5
Número de proyectos presentados de centros que han asistido a Sábados de Ciencia y que se inscriben en el concurso científico para el nivel de Educación Primaria en la Feria.

Impacto en los docentes en formación: los estudiantes valoran positivamente la experiencia tanto a nivel personal, como profesional y varios de ellos siguen participando, aunque se hayan graduado. Además, un porcentaje importante ha comenzado a incorporar IBSE en sus prácticas obligatorias. Resaltamos la percepción que tienen de sentirse cómodos con la metodología – a pesar de ser conscientes de sus dificultades y limitaciones – cuando han participado entre tres y cuatro talleres. Esto parece indicar que consiguen, paulatinamente, adquirir las habilidades necesarias para implementarla3 3 El análisis detallado de la evolución de las habilidades para usar la metodología de la indagación de los maestros en formación, para el caso específico de los talleres en inglés, se encuentra en Mata Torres, Greca Y Sanz de la Cal (2018). . Destacamos la relevancia de la participación de los estudiantes ya egresados, que han servido de mentores a los nuevos participantes, aspecto valorado positivamente por los estudiantes noveles para enfrentarse al taller: No es un profe quien lo hace, es un igual con mi misma formación.

Impacto en los centros escolares: las respuestas positivas de los equipos directivos y el elevado porcentaje de centros que vuelve a inscribirse cada año, parecen indicar que Sábados de Ciencia ha tenido un impacto alto en los centros, teniendo en cuenta la fuerte influencia de los equipos directivos como agentes para el cambio en las prácticas pedagógicas en las escuelas (BARBER; MOURSHED, 2008BARBER, M.; MOURSHED, M. Cómo hicieron los sistemas educativos con mejor desempeño para alcanzar sus objetivos. Santiago: PREAL y Cinde, 2008.; PONT et al., 2008PONT, B.; NUSCHE, D.; MOORMAN, H. Improving school leadership. París: OECD, 2008. (Volume 1: Policy and practice.)). La Fig. 6 muestra cómo aplican IBSE los centros educativos que han respondido el cuestionario en 2017 y 2018. Este cambio es significativo teniendo en cuenta que en el cuestionario de 2015 y 2016, el 60% de los centros que respondieron (6 centros) se planteaban comenzar a aplicar IBSE, mientras 4 centros consideraban que no lo haría.

Figura 6
Aplicación de la IBSE en los centros participantes de Sábados de Ciencia, según datos de 2017–2018. Las actividades extracurriculares que indican son: talleres de experimentación; semana de la ciencia que organiza la Universidad de Burgos; semana cultural sobre la ciencia; participación en la First Lego League, robótica.

Consideraciones Finales

Como se ha indicado, las actividades no formales e informales para incentivar el interés de la población en la ciencia y la tecnología cumplen un papel necesario e importante, siendo preciso analizar su impacto, es decir, en qué medida los esfuerzos realizados por los agentes promotores repercuten en cambios en los grupos foco de la acción. En este trabajo hemos presentado y evaluado el impacto social a lo largo de tres ediciones de una actividad no formal en el área de ciencias, usando el modelo lógico de la actividad que permite relacionar los inputs y las actividades específicamente desarrolladas con los outputs (resultados a corto plazo) y los resultados (cambios a más largo plazo). Las evidencias encontradas permiten afirmar que los resultados previstos han sido mayormente alcanzados.

Con relación al primer objetivo, Sábados de Ciencia ha conseguido que los niños y niñas participantes se entusiasmen con esta forma de trabajo, al punto de afirmar que así les han interesado más las Ciencias Naturales y que aumente la participación en la Feria de Ciencia y Tecnología del alumnado de centros que han participado en Sábados de Ciencia. Sin embargo, no es posible afirmar en qué medida el proyecto ha colaborado efectivamente en el desarrollo de vocaciones científicas. El objetivo relacionado con el desarrollo de competencias para la implementación de IBSE en estudiantes del GMEP para que las utilicen en el futuro parece haber sido alcanzado, dado el grado de satisfacción que manifiestan y su uso en los períodos de práctica obligatorios. En cuanto a la creación de una cultura de indagación en los centros, también hay indicios que muestran que el objetivo ha sido alcanzado: aumento de la participación, evaluación positiva de los equipos directivos, participación reiterada en la actividad y un aumento de las actividades programadas en los centros relacionadas con la ciencia y tecnología.

El proyecto ha tenido impacto directo en tres agentes del ecosistema educativo: alumnado de Educación Primaria, equipos directivos de centros educativos y docentes en formación, tal como indican los resultados obtenidos. También, ha tenido un impacto indirecto en otros agentes: los docentes de los centros educativos que han participado en la acción (a través de su alumnado participante); los tutores de los centros a través de los estudiantes del GMEP que han aplicado la IBSE en sus períodos de prácticas; el profesorado universitario que se ha ido uniendo al proyecto; y, por último, las familias de los niños y niñas que han seguido inscribiéndoles en otras actividades extraescolares científico-tecnológicas. Todos estos actores sociales han demostrado tener un gran interés y alto nivel de implicación. Por ello, consideramos que el proyecto ha colaborado en la consecución de los objetivos planteados por los diversos agentes que han apoyado su realización: ayudar a mejorar la educación científico-técnica en todos los niveles e incrementar la cultura científica – tecnológica e innovadora de la sociedad.

Queremos destacar el impacto en las escuelas. Es evidente que no todo el cambio reflejado en la Fig. 2 es fruto de Sábados de Ciencia. Las diferentes leyes educativas exigen un cambio en la enseñanza de las ciencias hacia los enfoques usados en este proyecto desde los primeros años de la enseñanza obligatoria y existen diversos proyectos, información y formación a nivel autonómico, nacional y europeo que apuntan en el mismo sentido. Sin embargo, los propios equipos directivos y docentes de los centros han manifestado la influencia que ha tenido Sábados de Ciencia en su cambio de actitud, porque les ha permitido constatar que es posible trabajar la indagación en el aula con los niños y niñas, quienes no solo disfrutan, sino también aprenden trabajando con esta metodología, y porque les proporciona material didáctico producido y mejorado para sus contextos escolares.

Este proyecto sigue en funcionamiento como una opción no formal para aquellos estudiantes del GMEP que quieren profundizar, en la práctica, en el dominio de metodologías innovadoras de enseñanza de la ciencia (en el curso 2018 y 2019 se han introducido talleres con la metodología del diseño de ingeniería). En términos de investigación, estamos estudiando la evolución de las actitudes hacia la ciencia y hacia la ciencia escolar de los niños y las niñas que han participado en el proyecto, así como la evolución en las metodologías didácticas para la enseñanza de las ciencias impulsadas por los centros educativos participantes.

Notas

  • 1
    Adoptamos como definición de educación no formal la definición clásica propuesta en 1974 por Coombs y Ahmed: toda actividad organizada, sistemática, educativa, realizada fuera del marco del sistema oficial, para facilitar determinadas clases de aprendizajes a subgrupos particulares de la población, tanto adultos como niños.
  • 2
    En esta labor de organización se han sumado, a partir de la segunda edición, alumnado ya formado, que han querido seguir con la experiencia.
  • 3
    El análisis detallado de la evolución de las habilidades para usar la metodología de la indagación de los maestros en formación, para el caso específico de los talleres en inglés, se encuentra en Mata Torres, Greca Y Sanz de la Cal (2018)MATA TORRES, S.; GRECA, I. M.; SANZ DE LA CAL, E. Aplicación de la indagación científica en inglés. In: MARTÍNEZ LOSADA, C.; GARCÍA BARROS, S. (eds.). 28 Encuentros de Didáctica de las Ciencias Experimentales: Iluminando el cambio educativo. Universidad de La Coruña: La Coruña, 2018,=. p. 733-738. (Línea 3. Investigación en la enseñanza de las ciencias.) https://doi.org/10.17979/spudc.9788497496896
    https://doi.org/10.17979/spudc.978849749...
    .

Agradecimientos

Las autoras quieren agradecer a todos los maestros y maestras en formación y personas egresadas de la Universidad de Burgos que han participado de Sábados de Ciencia desde su inicio.

  • Este proyecto ha sido financiado por la FECYT (Fundación Española para la Ciencia y la Tecnología), referencias: FCT-15- 9835; FCT-16-10972 y FCT-17-12219.

Referencias

  • BARBER, M.; MOURSHED, M. Cómo hicieron los sistemas educativos con mejor desempeño para alcanzar sus objetivos Santiago: PREAL y Cinde, 2008.
  • BOSE, M.; FEDATO, C.; MENDONÇA, L. Monitoramento de projetos sociais: um desafio para as alianças intersetoriais. In: ENCONTRO ANUAL DA ANPAD, 27, Atibaia, 2003. Anais [...] Atibaia: ANPAD, 2003.
  • DIERKING, L. D. Evidence and categories of ISE Impacts. In: FRIEDMAN, A. (ed.). Framework for evaluating impacts of informal science education projects Report from a National Science Foundation workshop. [S. l.]: National Science Foundation/Multimedia Research, 2008, p. 17-27. On-line Disponible en: http://insci.org/resources/Eval_Framework.pdf Acceso en: 27 oct. 2019.
    » http://insci.org/resources/Eval_Framework.pdf
  • EUROPEAN COMMISSION. Science education for responsible citizenship Brussels: Directorate-General for Research and Innovation, 2015.
  • FALK, J. H.; DIERKING, L. D. The 95% solution: school is not where most Americans learn most of their science. American Scientist, Oregon, v. 98, n. 6, p. 486-493, 2010. https://doi.org/10.1511/2010.87.486
    » https://doi.org/10.1511/2010.87.486
  • FRIEDMAN, A. (ed.). Framework for evaluating impacts of informal science education projects Report from a National Science Foundation workshop. [S. l.]: National Science Foundation/Multimedia Research, 2008. On-line Disponible en: http://insci.org/resources/Eval_Framework.pdf Acceso en: 27 oct. 2019.
    » http://insci.org/resources/Eval_Framework.pdf
  • GIL M. J. et al. De la universidad a la escuela: no es fácil la indagación científica. Revista Interuniversitaria de Formación del Profesorado, Zaragoza, v. 63, n. 22, p. 81-100, 2008.
  • GRECA, I. M. Supporting pre-service elementary teachers in their understanding of inquiry teaching through the construction of a third discursive space. International Journal of Science Education, London, v. 38,n. 5, p. 791-813, 2016. https://doi.org/10.1080/09500693.2016.1165892
    » https://doi.org/10.1080/09500693.2016.1165892
  • JANNUZZI, P. M. Indicadores para diagnóstico, monitoramento e avaliação de programas sociais no Brasil. Revista do Serviço Público, Brasília, v. 56, n. 2, p. 137-160, abr.–jun. 2005. https://doi.org/10.21874/rsp.v56i2.222
    » https://doi.org/10.21874/rsp.v56i2.222
  • LUEHMANN, A. L. Identity development as a lens to science teacher preparation. Science Education, New York, v. 91, p. 822-839, 2007. https://doi.org/10.1002/sce.20209
    » https://doi.org/10.1002/sce.20209
  • MARTIN-HANSEN, L. Defining inquiry. The Science Teacher, Normal, v. 69, n. 2, p. 34-37, 2002.
  • MATA TORRES, S.; GRECA, I. M.; SANZ DE LA CAL, E. Aplicación de la indagación científica en inglés. In: MARTÍNEZ LOSADA, C.; GARCÍA BARROS, S. (eds.). 28 Encuentros de Didáctica de las Ciencias Experimentales: Iluminando el cambio educativo. Universidad de La Coruña: La Coruña, 2018,=. p. 733-738. (Línea 3. Investigación en la enseñanza de las ciencias.) https://doi.org/10.17979/spudc.9788497496896
    » https://doi.org/10.17979/spudc.9788497496896
  • MILDENBERGER, G.; MÜNSCHER, R.; SCHMITZ, B. Dimensionen der Bewertungge-meinnütziger Organisationen Wiesbaden: VS Verlag, 2012.
  • MINNER, D.; LEVY, A.; CENTURY, J. Inquiry-based science instruction—What is it and does it matter? Results from a research synthesis years 1984 to 2002. Journal of Research in Science Teaching, New York, v. 47, p. 474-496, 2010. https://doi.org/10.1002/tea.20347
    » https://doi.org/10.1002/tea.20347
  • MURPHY, C.; AMBUSAIDI, A.; BEGGS, J. Middle East meets West: comparing children’s attitudes to school science. International Journal of Science Education, London, v. 28, n. 4, p. 405-422, 2006. https://doi.org/10.1080/09500690500339696
    » https://doi.org/10.1080/09500690500339696
  • NATIONAL RESEARCH COUNCIL. A framework for K-12 science education: practices, cross-cutting concepts, and core ideas. Washington: The National Academies Press, 2012.
  • PONT, B.; NUSCHE, D.; MOORMAN, H. Improving school leadership París: OECD, 2008. (Volume 1: Policy and practice.)
  • POTVIN, P.; HASNI, A. Interest, motivation and attitude towards science and technology at K-12 levels: a systematic review of 12 years of educational research. Studies in Science Education, Nafferton, v. 50, n. 1, p. 85-129, 2014. https://doi.org/10.1080/03057267.2014.881626
    » https://doi.org/10.1080/03057267.2014.881626
  • ROMERO-ARIZA, M. El aprendizaje por indagación, ¿existen suficientes evidencias sobre sus beneficios en la enseñanza de las ciencias? Revista Eureka sobre Enseñanza y Divulgación de las Ciencias, Cádiz, v. 14, n. 2, p. 286-299, 2017. https://doi.org/10.25267/Rev_Eureka_ensen_divulg_cienc.2017.v14.i2.01
    » https://doi.org/10.25267/Rev_Eureka_ensen_divulg_cienc.2017.v14.i2.01
  • TAYLOR-POWELL, E.; STEELE, S.; DOUGLAH, M. Planning a program evaluation. Program Development and Evaluation Wisconsin: University of Wisconsin–Extension/Cooperative Extension, 1996. Disponible en: http://learningstore.uwex.edu/assets/pdfs/G3658-1.pdf Acceso en: 09 sep. 2019.
    » http://learningstore.uwex.edu/assets/pdfs/G3658-1.pdf
  • TOMA, R. B.; ORTIZ-REVILLA, J.; GRECA, I. M. ¿Qué actitudes hacia la ciencia posee el alumnado de Educación Primaria que participa en actividades científicas extracurriculares? Ápice – Revista de Educación Científica, La Coruña, v. 3, n. 1, p. 55-69, 2019. https://doi.org/10.17979/arec.2019.3.1.4599
    » https://doi.org/10.17979/arec.2019.3.1.4599
  • UCKO, D. A. Introduction to evaluating impacts of NSF informal science education projects. In: FRIEDMAN, A. (ed.). Framework for evaluating impacts of informal science education projects Report from a National Science Foundation workshop. [S. l.]: National Science Foundation/Multimedia Research, 2008. p. 9-13. On-line Disponible en: http://insci.org/resources/Eval_Framework.pdf Acceso en: 27 oct. 2019.
    » http://insci.org/resources/Eval_Framework.pdf
  • VÍLCHEZ, J. M.; BRAVO, B. Percepción del profesorado de ciencias de Educación Primaria en formación acerca de las etapas y acciones necesarias para realizar una indagación escolar. Enseñanza de las Ciencias, Barcelona, v. 33, n. 1, p. 185-202, 2015. https://doi.org/10.5565/rev/ensciencias.1529
    » https://doi.org/10.5565/rev/ensciencias.1529
  • ZANGORI, L.; FORBES, C. T. Preservice elementary teachers and explanation construction: knowledge-for-practice and knowledge-in-practice. Science Education, New York, v. 97, n. 2, p. 310-330, 2013. https://doi.org/10.1002/sce.21052
    » https://doi.org/10.1002/sce.21052

Fechas de Publicación

  • Publicación en esta colección
    23 Nov 2020
  • Fecha del número
    2020

Histórico

  • Recibido
    28 Oct 2019
  • Acepto
    26 Ago 2020
Centro de Estudos Educação e Sociedade - Cedes Av. Berttrand Russel, 801 - Fac. de Educação - Anexo II - 1 andar - sala 2, CEP: 13083-865, +55 12 99162 5609, Fone / Fax: + 55 19 3521-6710 / 6708 - Campinas - SP - Brazil
E-mail: revistas.cedes@linceu.com.br