Acessibilidade / Reportar erro

El papel de la internacionalización de la educación superior en la producción científica brasileña 1 1 Esta investigación se ha realizado dentro del proyecto 0846-13-9 subvencionado por la Coordinación de Perfeccionamiento de Personal de Nivel Superior (Capes) de Brasil.

O papel da internacionalização do ensino superior na produção científica brasileira

The role of the internationalization of higher education in Brazilian scientific production

Resumen

Este trabajo analiza la internacionalización de la educación superior en Brasil entre 2000-2015. Se centra en las publicaciones científicas indexadas en bases de datos internacionales enfocándose en la colaboración internacional. A través de un acercamiento bibliométrico se obtuvo la evolución de la producción en colaboración y su relación con el impacto y la visibilidad. Se consideran también indicadores del Programa Ciencia sin Fronteras para analizar su posible impacto sobre la internacionalización. Los resultados muestran que la producción en colaboración ha tenido oscilaciones pero, el número de citas recibidas y el cuartil de las revistas de publicación mejoran considerablemente con la colaboración internacional. Los principales colaboradores son países destinatarios de estudiantes e investigadores participantes en programas de movilidad internacional, entre ellos el Programa Ciencia sin Fronteras.

Internacionalización; Colaboración científica; Movilidad académica; Indicadores bibliométricos; Brasil

Resumo

Este artigo analisa a internacionalização do ensino superior no Brasil entre os anos 2000-2015. Centra-se em publicações científicas indexadas em bases de dados internacionais com foco na colaboração internacional. Através de uma abordagem bibliométrica, obteve-se a evolução da produção em colaboração e sua relação com impacto e visibilidade. Os indicadores do programa “Ciência sem Fronteiras” também foram considerados para analisar seu possível impacto na internacionalização. Os resultados mostram que a produção em colaboração teve oscilações, mas o número de citações recebidas e o quartil dos periódicos de publicação melhoraram consideravelmente com a colaboração internacional. Os principais colaboradores são países beneficiários de estudantes e pesquisadores que participam de programas de mobilidade internacional, incluindo o Ciência sem Fronteiras.

Internacionalização; Colaboração científica; Mobilidade acadêmica; Indicadores bibliométricos; Brasil

Abstract

This paper analyzes the internationalization of higher education in Brazil between 2000 and 2015. It focuses on scientific publications indexed in international databases emphasizing international collaboration. Through a bibliometric approach, the evolution of collaborative production and its relationship with impact and visibility was obtained. Indicators of the Science without Borders Program are also considered to analyze its possible impact on internationalization. The results show that the collaborative production has had oscillations, but the number of citations received and the quartile of the publication journals, improve considerably with the international collaboration. The main collaborators are recipient countries of students and researchers participating in international mobility programs, including the Science without Borders.

Internationalization; Scientific collaboration; Academic mobility; Bibliometric indicators; Brazil

1 Introducción

La internacionalización de la educación superior está relacionada con el conjunto de políticas y prácticas desarrolladas por los sistemas académicos, las universidades y los investigadores para hacer frente a la globalización ( ALTBACH; KNIGHT, 2007 ALTBACH , P. G. ; KNIGHT , J. The internationalization of higher education: motivations and realities . Journal of Studies in International Education , v. 11 , n. 3-4 , p. 290 - 305 , sep . 2007 . https://doi.org/10.1177/1028315307303542
https://doi.org/10.1177/1028315307303542...
). Se trata de una de las maneras en que un país responde a los requerimientos y desafíos de la sociedad (LUCE; FAGUNDES; MEDIEL, 2016). Involucra investigación, enseñanza y prestación de servicios para la sociedad. Es actualmente uno de los principales temas de interés para la comunidad científica, por su transversalidad y la posibilidad de ser estudiada desde diferentes perspectivas. Genera, además, un intenso debate y está cada vez más presente en las agendas gubernamentales, sobre todo en los países emergentes como es el caso de Brasil (SANTIN; VANZ; STUMPF, 2016).

La internacionalización es considerada esencial para la mejora de la calidad y la visibilidad de las universidades, por lo que en las últimas décadas los gestores y tomadores de decisiones se vieron obligados a reconsiderar el papel tradicional de los sistemas nacionales de Ciencia, Tecnología e Innovación (CTI) (MACEDO et al., 2005). Con el apoyo de agencias de financiación, pusieron en marcha una serie de iniciativas para la inserción de la dimensión internacional en las políticas y estrategias científicas, en los diferentes instrumentos de fomento, en los modos de producción del conocimiento y también en la difusión y transferencia de los resultados ( GONZÁLEZ, 2007 GONZÁLEZ , J. H. Internacionalización de la educación superior . Universidades , n. 33 , p. 3 - 10 , ene./abr . 2007 . ; ACOSTA, 2013 ACOSTA , G. E . Globalización e internacionalización de la educación superior: un enfoque epistemológico . Omnia , Maracaibo , v. 19 , n. 1 , p. 75 - 85 , ene./abr . 2013 . ; STIASNY, 2015 STIASNY , M . Internacionalización de la educación superior . Integración y Conocimiento , Córdoba , v. 4 , n. 3 , nov . 2015 . ).

Las relaciones que se crean a partir de la realización de estancias o movilidad permiten establecer nuevos contactos con el personal investigador, consolidar los vínculos con científicos de instituciones extranjeras y consecuentemente hacer que se incremente la colaboración internacional (DE FILIPPO; SANZ CASADO; GÓMEZ, 2009). Una universidad que facilita y apoya la movilidad de su personal y de sus estudiantes podrá competir con más eficacia en el mercado internacional para atraer estudiantes e investigadores de alto nivel, para obtener fondos de investigación y financiación de programas internacionales y para dotar a sus estudiantes de un necesario bagaje lingüístico, cultural y formativo-vivencial que les posibilitará enfrentarse posteriormente a los retos de la sociedad actual globalizada, con mayor garantía de éxito.

En el caso de la educación superior brasileña, la producción del conocimiento está concentrada prioritariamente en los programas de postgrado, responsables del 90% de toda la producción científica nacional ( MOROSINI, 2011 MOROSINI , M. C. Internacionalização na produção de conhecimento em IES brasileiras: cooperação internacional tradicional e cooperação internacional horizontal . Educação em Revista , Belo Horizonte , v. 27 , n. 1 , p. 93 - 112 , abr . 2011 . https://doi.org/10.1590/S0102-46982011000100005
https://doi.org/10.1590/S0102-4698201100...
). En este ámbito se ha dado un especial fomento a la internacionalización a través de estrategias como el estímulo a la asistencia a congresos académicos y eventos científicos con el objetivo de promover la formación de redes, asociaciones y nuevos proyectos internacionales. Se incentivó también la creación de nuevos programas de investigación con el extranjero, la firma de acuerdos intercontinentales y la movilidad académica para estudiantes, docentes e investigadores.

Uno de los principales programas gubernamentales puesto en marcha en Brasil en los últimos años fue el Ciencia sin Fronteras (CsF), lanzado en diciembre de 2011. La filosofía que preside la promoción de la internacionalización parte de la conciencia sobre la necesidad del país de preparar a sus profesionales con la formación adecuada para el escenario mundial de la producción y de la diseminación del conocimiento de vanguardia, a fin de suplir las demandas de crecimiento y desarrollo e insertarlos definitivamente en el campo de la ciencia, la tecnología y la innovación internacional ( ARCHANJO, 2016 ARCHANJO , R . Knowledge without borders: policies for post-modern migrations . DELTA: Documentação de Estudos em Lingüística Teórica e Aplicada , v. 32 , n. 2 , p. 515 - 41 , ago . 2016 . https://doi.org/10.1590/0102-4450790718885409696
https://doi.org/10.1590/0102-44507907188...
). El CsF tuvo un impacto significativo en el incremento de las becas para el exterior, en la ampliación de los convenios y acuerdos institucionales con agencias de investigación y universidades, especialmente de Europa y Estados Unidos.

Uno de los resultados científicos tangibles de la internacionalización son las publicaciones que permiten analizar la dinámica de la cooperación. La publicación conjunta es una de las expresiones más explícitas de la colaboración internacional (SANTIN; VANZ; STUMPF, 2016). Asimismo, el estudio de las co-publicaciones es un instrumento válido para medir la colaboración entre investigadores, instituciones o países. En este sentido, la bibliometría aporta técnicas adecuadas para analizar distintos aspectos relevantes de este proceso de colaboración. De hecho, trabajos bibliométricos como los de Narin, Stevens y Whitlow (1991), Glänzel y Moed (2002) GLÄNZEL , W. ; MOED , H. F. Journal impact measures in bibliometric research . Scientometrics , v. 53 , n. 2 , p. 171 - 93 , feb . 2002 . https://doi.org/10.1023/A:1014848323806
https://doi.org/10.1023/A:1014848323806...
y Persson, Glänzel y Danell (2004) detectaron que, claramente, existe un efecto positivo de la colaboración internacional en la productividad científica nacional. Específicamente en el ámbito brasileño, Packer y Meneghini (2006) PACKER , A. L. ; MENEGHINI , R. Articles with authors affiliated to brazilian institutions published from 1994 to 2003 with 100 or more citations: I - the weight of international collaboration and the role of the networks . Anais da Academia Brasileira de Ciências , Rio de Janeiro , v. 78 , n. 4 , p. 841 - 53 , 12 . 2006 . https://doi.org/10.1590/S0001-37652006000400017
https://doi.org/10.1590/S0001-3765200600...
pusieron en evidencia que el papel desempeñado por las redes internacionales ejerció una fuerte influencia en el impacto de los artículos altamente citados de Brasil.

Indicadores del estado de la ciencia en el mundo, a partir de publicaciones en la Web of Science (WoS), muestran que la participación brasileña durante 2002-2006 aumentó en todas las áreas de conocimiento y ocupó una posición de liderazgo entre los países de América Latina, representando aproximadamente el 50% de la producción de esta región ( RÍOS GÓMEZ; HERRERO SOLANA, 2005 RÍOS GÓMEZ , C. ; HERRERO SOLANA , V . La producción científica latinoamericana y la ciencia mundial: una revisión bibliográfica (1989-2003) . Revista Interamericana de Bibliotecología , Medellín , v. 28 , n. 1 , p. 43 - 61 , ene./jun . 2005 . ). Sin embargo, al evaluar la producción científica de un país es importante tener en cuenta no solo su volumen y cuota en la producción mundial, sino también su impacto y visibilidad internacional. Es fundamental obtener indicadores que permitan estudiar si la internacionalización de la educación superior repercutió en el impacto y en la visibilidad de la producción elaborada en colaboración internacional.

Teniendo en cuenta la importancia de la internacionalización de la educación superior, el objetivo de este trabajo es analizar el impacto de las políticas llevadas a cabo en Brasil en los últimos años. Se estudia la evolución de la producción científica brasileña para detectar si la colaboración internacional aumentó y/o mejoró, tras la implementación de las políticas públicas de internacionalización en Brasil. Como la expansión de los programas de movilidad académica es una de las principales características de la internacionalización actual del país, se ha elegido el CsF como objeto de análisis, por ser considerado como el que representa un marco en la visibilidad internacional de la educación superior brasileña y en movimiento de internacionalización del país ( LUCCHESI; MALANGA, 2014 LUCCHESI , M. A. S. ; MALANGA , E. B. The internacionalization of higher education: an analysis of the science without borders program in Brazil, paths and challenges . Revista Internacional de Ciencias Sociales , Madrid , v. 3 , n. 1 , mar . 2014 . ).

El artículo está organizado en cinco sesiones. La Introducción plantea el tema del estudio y aborda, a través de una revisión de literatura pertinente, el concepto de la internacionalización en la educación superior, sus funciones y beneficios. El apartado Material y Métodos se centra en los aspectos metodológicos de la investigación; se describen las fuentes de información y los softwares utilizados, así como los procedimientos que fueron desarrollados para la construcción de los indicadores cienciométricos. En la tercera sesión se presentan los resultados de la internacionalización de la educación superior brasileña a través del Programa CsF y la producción científica elaborada en colaboración entre los años 2000 y 2015, detallando su impacto y visibilidad. Posteriormente se interpretan dichos resultados y se discuten comparándolos con otros estudios académicos similares. Finalmente, se ofrecen las principales conclusiones obtenidas.

2 Material y métodos

2.1 Fuentes de información

Fueron utilizadas dos fuentes de información distintas:

  • Página web oficial del CsF, que presenta datos sobre la implantación del Programa en las universidades públicas brasileñas, consultada durante el mes de agosto de 2016 1 1 http://www.cienciasemfronteiras.gov.br/web/csf/home . .

  • Plataforma internacional Web of Science y sus bases de datos Science Citation Index Expanded , Social Sciences Citation Index y Arts and Humanities Citation Index.

También fueron consultados dos recursos de la WoS: Essential Science Indicators y Journal Citation Reports , que define el Factor de Impacto de una publicación 2 2 https://www.fecyt.es/es/recurso/web-science El acceso a estas bases de datos ha sido posible desde la Universidad Carlos III de Madrid (UC3M), mediante la entrada que proporciona la Fundación Española para la Ciencia y la Tecnología (FECYT), perteneciente al Ministerio de Economía y Competitividad de España, que es la gestora de la licencia nacional desde al año 2004. .

Habitualmente el uso de las bases de datos WoS genera un intenso debate debido al sesgo en cuanto a cobertura de países no anglosajones, el predominio de publicaciones en inglés, de los artículos frente a otros tipos documentales y la sobrerrepresentación de las Ciencias Puras y Experimentales frente a las Ciencias Sociales y, en mayor medida, las Humanidades ( GÓMEZ CARIDAD; BORDONS GANGAS, 1996 GÓMEZ CARIDAD , I. ; BORDONS GANGAS , M. Limitaciones en el uso de los indicadores bibliométricos para la evaluación científica . Política Científica , n. 46 , p. 21 - 5 , 12 . 1996 . ). Sin embargo, a pesar de tales limitaciones, las bases WoS tienen la particularidad de registrar nombres y direcciones de todos los autores de los documentos, lo que las hace imprescindibles para realizar los estudios de colaboración científica. Por eso sigue siendo un marco de referencia para el seguimiento de la actividad científica internacional.

2.2 Procedimientos metodológicos

Para el análisis de la información proveniente de la web oficial del CsF se siguieron los siguientes pasos:

  • Descarga de todos los datos disponibles desde el inicio del Programa;

  • Construcción de tablas con la información sobre las becas CsF concedidas;

  • Elaboración de indicadores sobre la distribución del número de becas implementadas por modalidad, por institución brasileña de origen y por los principales países de destino.

En el caso de la WoS las siguientes etapas fueron seguidas:

  • Descarga de los documentos provenientes de Brasil entre 2000 y 2015 según la estrategia de búsqueda (CU=Brazil and PY=2000-2015);

  • Construcción de una base de datos relacional en MySQL con la información obtenida;

  • Obtención de los siguientes indicadores:

- Producción: Número de documentos brasileños publicados y promedio de crecimiento interanual en el periodo analizado.

- Colaboración: Evolución del número y porcentaje de publicaciones en colaboración a lo largo de 2000-2015, ranking de los principales países que colaboran con Brasil; distribución del número de autores e índice de coautoría (número de firmas por documento). Se consideraron dos tipos de colaboración: nacional (aquella firmada por más de una institución de Brasil) e internacional (cuando al menos uno de los centros firmantes no sea de Brasil), así como los documentos sin colaboración. En cuanto al sistema de asignación de documentos, se optó por trabajar con el método de asignación total, o sea, si una publicación pertenece a diferentes autores, instituciones o países, se contabiliza un documento para cada uno. A pesar de que con esta forma se duplica el número real de documentos, se optó por el conteo total porque, frente al recuento fraccionado, al ponderado o a la asignación solo al primer autor, este brinda una visión completa y un panorama más cercano a la realidad ( PRAVDIC; OLUIC-VUKOVIC, 1991 PRAVDIC , N. ; OLUIC-VUKOVIC , V. Distribution of scientific productivity: ambiguities in the assignment of author rank . Scientometrics , v. 20 , n. 1 , p. 131 - 44 , 1 . 1991 . https://doi.org/10.1007/BF02018151
https://doi.org/10.1007/BF02018151...
);

- Impacto: Citas por documento y año, según el tipo de colaboración; documentos y citas en colaboración internacional según el número de países colaboradores; Hot Papers de Brasil: estadísticas sobre los documentos brasileños publicados en los dos últimos años y que, además, recibieron suficientes citas entre mayo/junio de 2017 para situarlas en el primer 0,1% de los artículos más citados en sus campos de investigación.

- Visibilidad: Distribución de la producción científica brasileña por cuartiles, años y países colaboradores. Estos indicadores fueron obtenidos a partir del listado de revistas indexadas en el JCR y ordenadas de forma descendente según el Factor de Impacto, lo que permitió evaluar la importancia relativa de una revista en el total de revistas de su categoría temática y relacionarla con el tipo de colaboración. Dado que una revista puede estar adscrita a más de una categoría y estar posicionada en diferentes cuartiles, cada título fue considerado una única vez y en el cuartil que más le favorece.

Utilizando el complemento estadístico XLSTAT, se calculó el grado de significación estadística (valor p) para determinar en qué medida la colaboración científica afecta el impacto y la visibilidad. Los resultados fueron representados gráficamente con los softwares Microsoft Excel 2013 y Tableau .

3 Resultados

3.1 Internacionalización de la educación superior brasileña

Como indicador de fomento a la internacionalización de la educación superior, se consideraron los datos del CsF, que tenía previsto ofrecer 101 mil becas en cuatro años para promover la movilidad académica en el exterior y también en Brasil. 75.000 becas serían financiadas con recursos del Gobierno Federal y 26.000 serían concedidas con recursos de la iniciativa privada. El balance oficial del Programa, por medio de datos detallados actualizados hasta enero de 2016, evidencia que ya fueron implementadas 92.880 ( Tabla 1 ).

Tabla 1
Distribución de las becas CsF implementadas y metas a alcanzar por cada modalidad.

Las becas del CsF fueron ofertadas para siete tipos distintos de público: tanto para estudiantes en el exterior, como para atraer investigadores extranjeros, interesados en desarrollar actividades profesionales en el país; así como para jóvenes científicos de talento en el inicio de su carrera en Brasil. Sin embargo, la gran mayoría de las becas CsF implementadas están relacionadas con cursos de grado y postgrado – tanto de Máster como Doctorado – en la modalidad sándwich . Este último se refiere a estudios realizados inicialmente en Brasil, intercalados con estudios en el exterior y con retorno al país para su finalización. De ahí la imagen figurada de “ sándwich ”, o sea, algo diferente en medio de dos partes iguales. En Europa esta modalidad se designa como movilidad para la obtención de créditos ( credit mobility ) o movilidad de corta duración ( short-term mobility ), es decir, la movilidad integrada en el plano de estudios.

Con un 89% de las becas ya implementadas, el sándwich ofrece a los estudiantes y/o científicos la posibilidad de realizar un proyecto de investigación en una universidad o centro de investigación oficialmente reconocido en el extranjero para, posteriormente, recibir su grado de la institución brasileña de origen.

Sobre la implementación de las becas en Brasil por institución de origen, desde que el CsF fue creado en el año 2011, 880 instituciones brasileñas ya fueron acreditadas, consideradas elegibles para enviar estudiantes en intercambio al extranjero. De ellas, 133 son universidades públicas, siendo 67% federales, 28% estatales y 5% municipales. La Figura 1 presenta la distribución de las principales universidades de origen de los estudiantes brasileños.

Figura 1
Distribución de becas implementadas por institución de origen.3

Las becas del CsF se concentraron en unas pocas instituciones brasileñas. La USP fue la que más se destacó, con un 7% de todas las becas implementadas. A continuación, están las universidades estaduales UNICAMP y UNESP, que ocupan respectivamente el segundo y tercer lugar en el ranking , con 2.384 y 2.173 becas concedidas.

El gobierno brasileño estableció convenios de cooperación con casi todos los países del mundo (en mayor concentración en Europa y América del Norte), que, a su vez, definieron el número de estudiantes que cada uno podría recibir. Cada país tuvo una forma diferente de gestionar el CsF y de identificar las plazas disponibles en las universidades. Estos países socios en el exterior eran, además, las organizaciones responsables de definir los mejores cursos e instituciones para los becarios brasileños. Estados Unidos fue el primero entre los 46 países participantes en recibir becarios, además de haber sido también el país que más estudiantes brasileños tuvo matriculados en sus instituciones de educación superior durante el período de realización del intercambio ( Figura 2 ). Le siguen Reino Unido (11,56%), Canadá (7,87%) y Francia (7,84%).

Figura 2
Distribución de becas del CsF implementadas por país de destino.

3.2 Producción científica brasileña publicada en colaboración

Entre 2000-2015 se recogieron 495.950 publicaciones científicas brasileñas en las tres bases de datos WoS (SCIE, SSCI y A&HCI). El último año analizado es el que presenta mayor número de documentos publicados (9,96% del total de Brasil). Considerando la colaboración entre autores, se distinguen tres tipos: un 28,50% en colaboración internacional, un 32,22% en colaboración nacional y un 39,29% sin colaboración. La Figura 3 presenta la distribución de la producción (eje vertical derecho) y del porcentaje de los tres tipos de colaboración (eje vertical izquierdo) a lo largo de los años analizados (eje horizontal). Es posible observar un descenso casi constante de los documentos sin colaboración institucional.

Figura 3
Evolución del número de documentos publicados y porcentaje de colaboración

El número de documentos brasileños aumentó un 264% en el periodo, pasando de 13.558 en 2003 a 49.420 publicaciones en 2015, con un promedio de crecimiento interanual del 8,12%. No obstante, la expansión de la colaboración científica nacional ha sido superior (527%) con un promedio de crecimiento interanual también mayor (11,25%). Por otro lado, la colaboración internacional sufrió algunas oscilaciones en el periodo y un descenso de 5,24 puntos porcentuales entre 2004 y 2009, retomando un crecimiento constante desde 2010.

A continuación, se consideró la colaboración internacional en función de países. En la Tabla 2 se observa que un 11% de los documentos ha sido firmado en colaboración con los Estados Unidos. En la distribución de los TOP 15 prevalecen mayoritariamente los países norteamericanos seguidos por los europeos.

Tabla 2
Ranking de los principales países que colaboran con Brasil, número de documentos publicados y respectivos porcentajes.

Si se considera la distribución del número de autores que firman conjuntamente las publicaciones y el índice de coautoría, en el análisis de la evolución se puede apreciar que ambos son bastante superiores en los documentos publicados en colaboración internacional, especialmente a partir de 2009 ( Figura 4 ). Entre 2000 y 2015, el número de autores que publicaron documentos con colaboraciones internacionales aumentó de 45.953 a 719.760 (incremento del 93%) y la media de autores por documento pasó de 10.83 a 41.93 (incremento del 74%). Por otro lado, el número de autores por documentos en colaboración nacional y sin colaboración apenas sufrió variaciones a lo largo del período. Esto puede indicar un cambio de tendencias en el nivel de colaboración; llaman la atención, sobre todo, las cifras del año 2012.

Figura 4
Evolución del número de autores e índice de coautoría según tipo de colaboración.

En los 15 años analizados, los documentos publicados en colaboración internacional tuvieron un índice de coautoría promedio de 22,07 firmas por documento, con tasa de crecimiento interanual del 14,61%. También son estas las que encabezan el ranking del número máximo de autores por documento (5.154). Por otro lado, las cifras de las publicaciones elaboradas en colaboración nacional y sin colaboración institucional son muy inferiores ( Tabla 3 ).

Tabla 3
Indicadores estadísticos de autores según tipo de colaboración

3.3 Impacto

Los 495.950 documentos publicados por Brasil recibieron un total de 4.754.474 citas desde el momento de su publicación hasta agosto de 2016 (fecha de recogida de los datos). Si bien hay que recordar que, al tratarse de valores acumulativos, los documentos más antiguos son los que tienen más posibilidades de ser citados, las publicaciones en colaboración internacional del año 2008 son las que recibieron mayor número de citas (195.765).

Considerando la evolución del número de citas por documento en función del tipo de colaboración ( Tabla 4 ), se detectaron diferencias significativas en el promedio de citas recibidas ya que el valor-p computado en el grado de significación estadística es menor (< 0,0001) que el nivel de significación alfa=0,05. Son también las publicaciones en colaboración internacional las que reciben los mayores valores de citación. Mientras en promedio la colaboración internacional recibió 16,43 citas por documento publicado, los demás tipos de colaboración presentan valores bastante inferiores.

Tabla 4
Citas por documento según el tipo de colaboración.

En la Tabla 5 se observa una tendencia a la cooperación bilateral (dos países) y trilateral (tres países) (87% de los documentos publicados). A medida que aumenta el número de países (hasta un máximo de 15) se produce de forma paralela un aumento en el número de citas por documento.

Tabla 5
Documentos y citas en colaboración internacional según el número de países.

Los 17 documentos elaborados en colaboración con más de 50 países alcanzaron un promedio de 200 citas/doc. Esta relación entre el número de colaboradores y el incremento del impacto es más evidente aún al considerar los hot papers con más de 100 citas ( Tabla 6 ) 12 de ellos fueron firmados por más de 5 países y 4 documentos se realizaron en colaboración entre más de 30 países.

Tabla 6
Hot Papers de Brasil.

3.4 Visibilidad

El porcentaje de documentos en revistas del primer cuartil (Q1) de cada categoría temática es mayor en el conjunto de publicaciones en colaboración internacional (49,44%) ( Figura 5 ). Puesto que el valor-p computado en el grado de significación estadística es menor (< 0,0001) que el nivel de significación alfa = 0,05, se confirma la dependencia entre las variables posición del cuartil y el tipo de colaboración científica. Es decir, un aumento en el número de publicaciones de colaboración internacional también se corresponde con un incremento del número de publicaciones en el 25% de revistas más citadas del área.

Figura 5
Distribución de la producción científica brasileña por cuartiles, según tipo de colaboración.

Al analizar la evolución de las posiciones de los cuartiles según el tipo de colaboración, se observa que la producción científica brasileña aumentó en todos los cuartiles entre 2000 y 2015; sin embargo, el perfil ha ido cambiando a lo largo del periodo analizado ( Tabla 7 ). Es a partir del año 2012 que el porcentaje de documentos en Q1 empieza a aumentar a medida que se incrementa el porcentaje de documentos en colaboración internacional.

Tabla 7
Distribución del número y porcentaje de documentos en los cuartiles según el tipo de colaboración.

Se analizaron también las publicaciones en colaboración internacional en el Q1 en función del número de países firmantes. El porcentaje de publicaciones en Q1 aumenta a medida que se incrementa también el número de países que colaboran con Brasil ( Tabla 8 ). Mientras las publicaciones realizadas entre dos países representan el 44% en Q1, este porcentaje se duplica cuando están presentes las grandes redes de 31 a 50 países.

Tabla 8
Relación entre el número de países colaboradores y el porcentaje de documentos publicados en colaboración internacional por cuartiles.

4 Discusión

El proceso de internacionalización de la educación superior no es una práctica reciente, pero adquiere mayor relevancia a finales del siglo XX y comienzos del XXI, como producto de la globalización ( SONNENWALD, 2007 SONNENWALD , D. H. Scientific collaboration . Annual Review of Information Science and Technology , v. 41 , n. 1 , p. 643 - 81 , 1 . 2007 . https://doi.org/10.1002/aris.2007.1440410121
https://doi.org/10.1002/aris.2007.144041...
). El trabajo de Qiang (2003) QIANG , Z . Internationalization of higher education: towards a conceptual framework . Policy Futures in Education , v. 1 , n. 2 , p. 248 - 70 , jun . 2003 . https://doi.org/10.2304/pfie.2003.1.2.5
https://doi.org/10.2304/pfie.2003.1.2.5...
presenta un marco conceptual y organizativo que contribuye al entendimiento sobre el significado y la definición del término. De todos modos, la internacionalización no ocurre de la misma manera en todos los países y ni siquiera en todas las instituciones de educación superior. En este sentido, Lima y Maranhão (2019) señalan que puede suceder de dos maneras: por la internacionalización activa – cuando los países mantienen políticas de Estado dirigidas a atracción y acogida académica, ofrecen servicios educativos en el exterior, tienen movilidad de expertos en áreas de interés estratégico, exportan programas e instalan campus en el extranjero; y por la internacionalización pasiva – que se caracteriza por la definición de criterios de políticas para el envío de académicos (principalmente de profesores e investigadores) para formarse en los grandes centros y de esta manera invertir en una élite intelectual capaz de influir sobre los procesos de modernización de algunos sectores. Además, la capacidad instalada (normalmente en países periféricos) en cuanto a recursos humanos, materiales y tecnológicos para ofrecer servicios educativos en el exterior, ya sea con el desarrollo de programas, creación de campus, etc. es limitada y ni siquiera puede cubrir la demanda interna.

En Brasil, la internacionalización académica se hizo más visible con el Programa CsF en 2011, una ambiciosa política pública en forma de programa de movilidad internacional creado por el gobierno federal. El objetivo fundamental fue aumentar la presencia de estudiantes, profesores e investigadores brasileños en instituciones de excelencia en el exterior, así como incrementar la presencia de estudiantes y académicos extranjeros en instituciones brasileñas. La iniciativa fue fruto del esfuerzo conjunto de los Ministerios de CTI y de Educación, a través de sus instituciones de fomento. Experiencias internacionales similares fueron implementadas en Argentina con el programa Bec.Ar , en el extremo sudoeste de América del Sur con el Becas Chile y en el Programa Erasmus de la Unión Europea ( PEREIRA, 2015 PEREIRA , V. M. Arranjos de uma política: uma análise sobre o programa ciência sem fronteiras . NAU Social , Salvador , v. 6 , n. 10 , p. 103 - 17 , mayo/oct . 2015 . ). Un trabajo sobre la educación superior en Rusia demostró que este tipo de capacitación de estudiantes conduce a un proceso de estudio más activo y efectivo; incorpora un enfoque individual para cada alumno y contribuye a un desarrollo más eficiente de las competencias profesionales ( SAVELEVA, 2019 SAVELEVA , N. N . Un modelo de entrenamiento orientado a la formación personalizada de licenciados de perfil técnico para industrias de alta tecnología . Ensaio: Avaliação e Políticas Públicas em Educação , Rio de Janeiro , v. 27 , n. 102 , p. 69 - 87 , ene./mar . 2019 . https://doi.org/10.1590/s0104-40362018002601734
https://doi.org/10.1590/s0104-4036201800...
).

La gran mayoría de las becas CsF fueron concedidas para la Graduación Sándwich (78,98%), seguido del Doctorado Sándwich (10,43%), Postdoctorado en el Exterior (5,01%) y Doctorado completo en el exterior (3,61%). Las cifras alcanzadas en un periodo tan breve de tiempo son impresionantes y según Cachero Laseca (2016) reflejan dos hechos: el primero, que el CsF rompió con la tradición brasileña de privilegiar el postgrado en los programas de internacionalización; y el segundo, que Brasil nunca había realizado un proceso de movilidad internacional de esas proporciones, principalmente en la modalidad sándwich . Para tener una idea del crecimiento, el mayor número de becas concedidas para el exterior por CAPES antes de la creación del CsF fue en 2010, y su total fue de 4.500. Con la puesta en marcha del programa, el número de becas implementadas solamente en los dos primeros años del programa fue de 33.179.

En cuanto a la distribución de becas implementadas por institución de origen, la gran mayoría son provenientes de universidades públicas, lo que fortalece el argumento de Alperin (2013) ALPERIN , J. P. Brazil’s exception to the world-class university movement . Quality in Higher Education , v. 19 , n. 2 , p. 158 - 72 , jul . 2013 . https://doi.org/10.1080/13538322.2013.802573
https://doi.org/10.1080/13538322.2013.80...
de que son estas las que más se aproximan al modelo de clase mundial. La USP fue la institución brasileña que más becarios tuvo, con 5.541 en total. La internacionalización es una de las directrices de la USP, que, a través de una comisión especialmente creada, incentiva el establecimiento y mantenimiento de alianzas con entidades de diversos países a través de la movilidad de estudiantes y profesores, así como la participación de redes y consorcios con vistas a la mayor visibilidad en el contexto mundial. En trabajos futuros, los indicadores propuestos por Lima Junior et al. (2019) LIMA JUNIOR , P. et al. Taxas longitudinais de retenção e evasão: uma metodologia para estudo da trajetória dos estudantes na educação superior . Ensaio: Avaliação e Políticas Públicas em Educação , Rio de Janeiro , v. 27 , n. 102 , p. 157 - 78 , ene./mar . 2019 . https://doi.org/10.1590/s0104-40362018002701431
https://doi.org/10.1590/s0104-4036201800...
podrían contribuir a un análisis más detallado sobre la movilidad académica en esta universidad, determinando los cursos que más envían estudiantes al extranjero, así como los que más estudiantes reciben.

El CsF ha seleccionado universidades y centros de excelencia en varios países y el histórico reciente de diálogo diplomático señala que la aproximación entre los gobiernos tuvo resultados prácticos. Estados Unidos, Reino Unido y Canadá han concentrado el 49% de las becas. Teniendo en cuenta todos los países que existen en América Latina, que, por la proximidad geográfica, podrían ser preferibles, es interesante observar que entre los primeros países elegidos por estudiantes del CsF, juntamente con los continentes asiático y africano, han sido minoría. Tal hecho lleva a pensar que la tradición en la educación superior influye en la elección del destino y por eso tales países no se presentan como atractivos para que los estudiantes realicen sus estancias de movilidad ( LUCCHESI; MALANGA, 2014 LUCCHESI , M. A. S. ; MALANGA , E. B. The internacionalization of higher education: an analysis of the science without borders program in Brazil, paths and challenges . Revista Internacional de Ciencias Sociales , Madrid , v. 3 , n. 1 , mar . 2014 . ). El gran número de becarios brasileños en Portugal puede estar relacionado con la identidad lingüística, que facilita enormemente la comunicación durante el proceso de intercambio académico.

Sobre los indicadores de producción científica, en Brasil se generó un total de 495.950 documentos entre 2000-2015. Aunque lentamente y con algunas oscilaciones, las publicaciones en colaboración internacional se han ido incrementando. Según Leta y Chaimovich (2002) LETA , J. ; CHAIMOVICH , H. Recognition and international collaboration: the brazilian case . Scientometrics , v. 53 , n. 3 , p. 325 - 35 , mar . 2002 . https://doi.org/10.1023/A:1014868928349
https://doi.org/10.1023/A:1014868928349...
, entre 1981 y 1990 el porcentaje de artículos publicados en colaboración internacional pasó del 21,60% al 26,70%. En 2000 representaban el 31,29% de la producción y en 2015 saltaron para el 34,73%. De acuerdo con Chaimovich (2000) CHAIMOVICH , H . Brasil, ciência, tecnologia: alguns dilemas e desafios . Estudos Avançados , São Paulo , v. 14 , n. 40 , p. 134 - 43 , sep./dic . 2000 . https://doi.org/10.1590/S0103-40142000000300014
https://doi.org/10.1590/S0103-4014200000...
, este aumento refleja, en parte, las decisiones gubernamentales relacionadas a la internacionalización de los programas de posgrado de Brasil.

En cuanto al ranking de los países que colaboran con Brasil, los colaboradores más frecuentes coinciden con los países de destinos de los becarios del CsF. Al parecer, Brasil busca alianzas internacionales con países desarrollados más a menudo que con los países vecinos sudamericanos. Los otros países siguen una secuencia análoga a la colaboración internacional encontrada en otros artículos brasileños ( PACKER; MENEGHINI, 2006 PACKER , A. L. ; MENEGHINI , R. Articles with authors affiliated to brazilian institutions published from 1994 to 2003 with 100 or more citations: I - the weight of international collaboration and the role of the networks . Anais da Academia Brasileira de Ciências , Rio de Janeiro , v. 78 , n. 4 , p. 841 - 53 , 12 . 2006 . https://doi.org/10.1590/S0001-37652006000400017
https://doi.org/10.1590/S0001-3765200600...
).

Para Guerrero Bote, Olmeda-Gómez y Moya-Anegón (2013) cada día está más aceptado por la comunidad investigadora el hecho de que la colaboración científica tiene una incidencia positiva en el impacto que se obtiene, al menos si se analiza un conjunto amplio de publicaciones, como pueden ser el de un país. Analizando la posible relación existente entre colaboración e impacto de las publicaciones, a partir de indicadores basados en el número de citas recibidas, se verificó que recibieron muchas más citas las publicaciones en colaboración internacional que los documentos publicados en colaboración nacional y los que no poseen colaboración. Leta y Chaimovich (2002) LETA , J. ; CHAIMOVICH , H. Recognition and international collaboration: the brazilian case . Scientometrics , v. 53 , n. 3 , p. 325 - 35 , mar . 2002 . https://doi.org/10.1023/A:1014868928349
https://doi.org/10.1023/A:1014868928349...
también demostraron que entre 1981-2000 la colaboración internacional aumentó el impacto de las publicaciones brasileñas. Del mismo modo, Packer y Meneghini (2006) PACKER , A. L. ; MENEGHINI , R. Articles with authors affiliated to brazilian institutions published from 1994 to 2003 with 100 or more citations: I - the weight of international collaboration and the role of the networks . Anais da Academia Brasileira de Ciências , Rio de Janeiro , v. 78 , n. 4 , p. 841 - 53 , 12 . 2006 . https://doi.org/10.1590/S0001-37652006000400017
https://doi.org/10.1590/S0001-3765200600...
señalaron que el 84% de los documentos altamente citados, con al menos una filiación brasileña e indexados en la WoS fueron escritos en colaboración internacional.

Como explican Adams et al (2005) y Persson, Glänzel y Danell (2004), los documentos firmados por mayor número de países tienden a ser más citados, hecho que se ha constatado al desglosar el análisis de los documentos publicados en colaboración internacional y las citas según el número de países. Respecto a los documentos brasileños muy citados ( hot papers ), pueden ser considerados indicios de excelencia para el país, porque significa que cada uno de estos trabajos fue citado como referencia en al menos otros 100 artículos publicados en los años siguientes.

Analizando la distribución de la producción científica brasileña por cuartiles según el tipo de colaboración, se ha podido constatar la influencia de la colaboración internacional sobre la visibilidad. El estudio simultáneo de las posiciones de los cuartiles de las publicaciones y el número de países colaboradores según el tipo de colaboración ha permitido verificar la existencia de una relación clara y directa entre estos factores. Los resultados están en concordancia con los obtenidos en otros estudios bibliométricos como el de Guerrero Bote, Olmeda-Gómez y Moya-Anegón (2013) quienes afirman que la colaboración internacional promueve la visibilidad por la publicación en revistas de mayor impacto. Según Moura et al. (2015) MOURA , A. M. M. et al . Panorama da produção conjunta entre Brasil e Espanha indexada na WoS entre 2006-2012: indicadores de atividade, especialização e colaboração . Informação & Sociedade: Estudos , João Pessoa , v. 25 , n. 1 , p. 67 - 82 , ene./abr . 2015 . , la expansión de la colaboración internacional juega un papel decisivo en el incremento de las posibilidades de publicación en revistas de prestigio.

5 Conclusiones

El objetivo principal de este trabajo ha sido analizar el impacto que han tenido las políticas de internacionalización de la Educación Superior implementadas en Brasil en los últimos años.

Tras la realización del estudio se han podido obtener una serie de conclusiones relevantes:

  • La implementación del Programa CsF ha implicado un impulso notable para la internacionalización en Brasil, tanto por el presupuesto destinado como por el alto número de implicados y beneficiarios.

  • La producción científica de Brasil evidencia una internacionalización creciente que se refleja también en el incremento de las publicaciones científicas en bases de datos internacionales como Web of Science .

  • Las publicaciones en WoS realizadas en colaboración entre autores han aumentado y, en concreto, se ha disparado el índice de coautoría en documentos firmados en colaboración internacional.

  • El número de documentos realizados en colaboración internacional ha aumentado.

  • Los principales colaboradores en publicaciones científicas coinciden con los destinatarios más frecuentes en el programa CsF.

  • En términos puramente cuantitativos, se evidencia un impacto positivo de la implementación del Programa, que ha repercutido en la producción científica.

Referencias

  • ACOSTA , G. E . Globalización e internacionalización de la educación superior: un enfoque epistemológico . Omnia , Maracaibo , v. 19 , n. 1 , p. 75 - 85 , ene./abr . 2013 .
  • ADAMS , J. D. et al . Scientific teams and institutional collaborations: evidence from U.S. universities, 1981-1999 . Research Policy , v. 34 , n. 3 , p. 259 - 85 , abr . 2005 . https://doi.org/10.1016/j.respol.2005.01.014
    » https://doi.org/10.1016/j.respol.2005.01.014
  • ALPERIN , J. P. Brazil’s exception to the world-class university movement . Quality in Higher Education , v. 19 , n. 2 , p. 158 - 72 , jul . 2013 . https://doi.org/10.1080/13538322.2013.802573
    » https://doi.org/10.1080/13538322.2013.802573
  • ALTBACH , P. G. ; KNIGHT , J. The internationalization of higher education: motivations and realities . Journal of Studies in International Education , v. 11 , n. 3-4 , p. 290 - 305 , sep . 2007 . https://doi.org/10.1177/1028315307303542
    » https://doi.org/10.1177/1028315307303542
  • ARCHANJO , R . Knowledge without borders: policies for post-modern migrations . DELTA: Documentação de Estudos em Lingüística Teórica e Aplicada , v. 32 , n. 2 , p. 515 - 41 , ago . 2016 . https://doi.org/10.1590/0102-4450790718885409696
    » https://doi.org/10.1590/0102-4450790718885409696
  • CHAIMOVICH , H . Brasil, ciência, tecnologia: alguns dilemas e desafios . Estudos Avançados , São Paulo , v. 14 , n. 40 , p. 134 - 43 , sep./dic . 2000 . https://doi.org/10.1590/S0103-40142000000300014
    » https://doi.org/10.1590/S0103-40142000000300014
  • DE FILIPPO , D .; SANZ CASADO , E .; GÓMEZ , I . Quantitative and qualitative approaches to the study of mobility and scientific performance: a case study of a Spanish university . Research Evaluation , v. 18 , n. 3 , p. 191 - 200 , sep . 2009 . https://doi.org/10.3152/095820209X451032
    » https://doi.org/10.3152/095820209X451032
  • GLÄNZEL , W. ; MOED , H. F. Journal impact measures in bibliometric research . Scientometrics , v. 53 , n. 2 , p. 171 - 93 , feb . 2002 . https://doi.org/10.1023/A:1014848323806
    » https://doi.org/10.1023/A:1014848323806
  • GÓMEZ CARIDAD , I. ; BORDONS GANGAS , M. Limitaciones en el uso de los indicadores bibliométricos para la evaluación científica . Política Científica , n. 46 , p. 21 - 5 , 12 . 1996 .
  • GONZÁLEZ , J. H. Internacionalización de la educación superior . Universidades , n. 33 , p. 3 - 10 , ene./abr . 2007 .
  • LETA , J. ; CHAIMOVICH , H. Recognition and international collaboration: the brazilian case . Scientometrics , v. 53 , n. 3 , p. 325 - 35 , mar . 2002 . https://doi.org/10.1023/A:1014868928349
    » https://doi.org/10.1023/A:1014868928349
  • LIMA JUNIOR , P. et al. Taxas longitudinais de retenção e evasão: uma metodologia para estudo da trajetória dos estudantes na educação superior . Ensaio: Avaliação e Políticas Públicas em Educação , Rio de Janeiro , v. 27 , n. 102 , p. 157 - 78 , ene./mar . 2019 . https://doi.org/10.1590/s0104-40362018002701431
    » https://doi.org/10.1590/s0104-40362018002701431
  • LIMA , M. C. ; MARANHÃO , C. S. O sistema de educação superior mundial: entre a internacionalização ativa e passiva . Avaliação: Revista da Avaliação da Educação Superior (Campinas) , Sorocaba, v. 14 , n. 3 , p. 583 - 610 , sep . 2009 . https://doi.org/10.1590/S1414-40772009000300004
    » https://doi.org/10.1590/S1414-40772009000300004
  • LUCCHESI , M. A. S. ; MALANGA , E. B. The internacionalization of higher education: an analysis of the science without borders program in Brazil, paths and challenges . Revista Internacional de Ciencias Sociales , Madrid , v. 3 , n. 1 , mar . 2014 .
  • LUCE , M. B. ; FAGUNDES , C. V. ; MEDIEL , O. G. Internacionalização da educação superior: a dimensão intercultural e o suporte institucional na avaliação da mobilidade acadêmica . Avaliação: Revista da Avaliação da Educação Superior (Campinas) , Sorocaba , v. 21 , n. 2 , p. 317 - 40 , jul . 2016 . https://doi.org/10.1590/S1414-40772016000200002
    » https://doi.org/10.1590/S1414-40772016000200002
  • MOROSINI , M. C. Internacionalização na produção de conhecimento em IES brasileiras: cooperação internacional tradicional e cooperação internacional horizontal . Educação em Revista , Belo Horizonte , v. 27 , n. 1 , p. 93 - 112 , abr . 2011 . https://doi.org/10.1590/S0102-46982011000100005
    » https://doi.org/10.1590/S0102-46982011000100005
  • MOURA , A. M. M. et al . Panorama da produção conjunta entre Brasil e Espanha indexada na WoS entre 2006-2012: indicadores de atividade, especialização e colaboração . Informação & Sociedade: Estudos , João Pessoa , v. 25 , n. 1 , p. 67 - 82 , ene./abr . 2015 .
  • NARIN , F. ; STEVENS , K. ; WHITLOW , E. S. Scientific co-operation in Europe and the citation of multinationally authored papers . Scientometrics , v. 21 , n. 3 , p. 313 - 23 , jul . 1991 . https://doi.org/10.1007/BF02093973
    » https://doi.org/10.1007/BF02093973
  • PACKER , A. L. ; MENEGHINI , R. Articles with authors affiliated to brazilian institutions published from 1994 to 2003 with 100 or more citations: I - the weight of international collaboration and the role of the networks . Anais da Academia Brasileira de Ciências , Rio de Janeiro , v. 78 , n. 4 , p. 841 - 53 , 12 . 2006 . https://doi.org/10.1590/S0001-37652006000400017
    » https://doi.org/10.1590/S0001-37652006000400017
  • PEREIRA , V. M. Arranjos de uma política: uma análise sobre o programa ciência sem fronteiras . NAU Social , Salvador , v. 6 , n. 10 , p. 103 - 17 , mayo/oct . 2015 .
  • PERSSON , O. ; GLÄNZEL , W. ; DANELL , R. Inflationary bibliometric values: the role of scientific collaboration and the need for relative indicators in evaluative studies . Scientometrics , v. 60 , n. 3 , p. 421 - 32 , ago . 2004 . https://doi.org/10.1023/B:SCIE.0000034384.35498.7d
    » https://doi.org/10.1023/B:SCIE.0000034384.35498.7d
  • PRAVDIC , N. ; OLUIC-VUKOVIC , V. Distribution of scientific productivity: ambiguities in the assignment of author rank . Scientometrics , v. 20 , n. 1 , p. 131 - 44 , 1 . 1991 . https://doi.org/10.1007/BF02018151
    » https://doi.org/10.1007/BF02018151
  • QIANG , Z . Internationalization of higher education: towards a conceptual framework . Policy Futures in Education , v. 1 , n. 2 , p. 248 - 70 , jun . 2003 . https://doi.org/10.2304/pfie.2003.1.2.5
    » https://doi.org/10.2304/pfie.2003.1.2.5
  • RÍOS GÓMEZ , C. ; HERRERO SOLANA , V . La producción científica latinoamericana y la ciencia mundial: una revisión bibliográfica (1989-2003) . Revista Interamericana de Bibliotecología , Medellín , v. 28 , n. 1 , p. 43 - 61 , ene./jun . 2005 .
  • SANTIN , D. M. ; VANZ , S. A. S. ; STUMPF , I. R. C. Internacionalização da produção científica brasileira: políticas, estratégias e medidas de avaliação . Revista Brasileira de Pós-Graduação , Brasília , v. 13 , n. 30 , 12 . 2016 . https://doi.org/10.21713/2358-2332.2016.v13.923
    » https://doi.org/10.21713/2358-2332.2016.v13.923
  • SAVELEVA , N. N . Un modelo de entrenamiento orientado a la formación personalizada de licenciados de perfil técnico para industrias de alta tecnología . Ensaio: Avaliação e Políticas Públicas em Educação , Rio de Janeiro , v. 27 , n. 102 , p. 69 - 87 , ene./mar . 2019 . https://doi.org/10.1590/s0104-40362018002601734
    » https://doi.org/10.1590/s0104-40362018002601734
  • SONNENWALD , D. H. Scientific collaboration . Annual Review of Information Science and Technology , v. 41 , n. 1 , p. 643 - 81 , 1 . 2007 . https://doi.org/10.1002/aris.2007.1440410121
    » https://doi.org/10.1002/aris.2007.1440410121
  • STIASNY , M . Internacionalización de la educación superior . Integración y Conocimiento , Córdoba , v. 4 , n. 3 , nov . 2015 .
  • 1
    Esta investigación se ha realizado dentro del proyecto 0846-13-9 subvencionado por la Coordinación de Perfeccionamiento de Personal de Nivel Superior (Capes) de Brasil.

Fechas de Publicación

  • Publicación en esta colección
    26 Ago 2019
  • Fecha del número
    Jul-Sep 2020

Histórico

  • Recibido
    04 Abr 2018
  • Acepto
    03 Jul 2019
Fundação CESGRANRIO Revista Ensaio, Rua Santa Alexandrina 1011, Rio Comprido, 20261-903 , Rio de Janeiro - RJ - Brasil, Tel.: + 55 21 2103 9600 - Rio de Janeiro - RJ - Brazil
E-mail: ensaio@cesgranrio.org.br