Acessibilidade / Reportar erro

Mapeo sistemático de la literatura sobre evaluación docente (2013-2017)

Resumen

Las investigaciones internacionales muestran que es posible mantener una educación de calidad prescindiendo de evaluaciones docentes externas; sin embargo, la evaluación comienza a ser considerada por los sistemas educativos como soporte para la profesionalización docente. El objetivo del presente artículo es caracterizar la producción científica sobre evaluación docente, publicada en el quinquenio 2013-2017, considerando criterios de inclusión de las bases de datos Scopus y Web of Science y criterios de exclusión temáticos y duplicados. A través de la metodología del mapeo sistemático de literatura se ubicaron 106 artículos donde se identificaron los principales idiomas y países en los que se realiza la producción científica sobre evaluación docente, la accesibilidad y tipos de trabajos que se han producido, se identifican los temas de mayor impacto y se clasifican de acuerdo con líneas de investigación que se encuentran en consolidación y en estado emergente. Se concluye que hay un subdesarrollo de líneas de investigación que asocien la evaluación docente con la profesionalización de la docencia y que en la producción científica continúa vigente la preocupación sobre la calidad de los procesos e instrumentos de evaluación. El mapeo sistemático de literatura ofrece una selección cuidadosa de trabajos de la producción en el tema y posibilita a investigadores y lectores interesados el trazado de rutas de indagación precisas.

Evaluación docente; Innovación en educación; Formación; Revisión de literatura

Abstract

International research has shown that it is possible to maintain quality education without external educational evaluations; however, evaluation is increasingly being considered by educational systems as a support for teacher professionalization. The objective of this article is to characterize the scientific production on teaching evaluation published in the five-year period between 2013 and 2017, based on the inclusion criteria of the Scopus and Web of Science databases and thematic and duplicate exclusion criteria. Through the methodology of systematic literature mapping, 106 articles were found, and the the main languages and countries in which the scientific production on teacher evaluation has been produced, their accessibility and types of work produced were identified. The topics of greater impact were identified and classified according to consolidated and emerging lines of research. It is concluded that there is an underdevelopment of lines of research that link teacher evaluation to the professionalization of teaching, and that the concern regarding the quality of evaluation processes and instruments remains current in scientific production. The systematic mapping of literature offers a careful selection of works of production on the subject and enables researchers and interested readers to trace precise paths of inquiry.

Teaching evaluation; Educational innovation; Training; Literature review

Introducción

Las investigaciones internacionales muestran que es posible mantener una educación de calidad prescindiendo de evaluaciones docentes externas. Los sistemas educativos que otorgan más autonomía a los centros escolares colocan mayor énfasis en los procesos de evaluación interno; lo que implica mayor atención a esquemas de formación y profesionalización docente o a su vinculación con los procedimientos evaluativos. Un ejemplo es Finlandia, en cuyo sistema educativo no solo no se han instalado procesos de evaluación docente externa, sino que el tema ni siquiera se encuentra en discusión. También en Europa Occidental, la evaluación docente es comprendida más como un proceso de reflexión que como un sistema de control de calidad ( MURILLO, 2007MURILLO, Javier. Evaluación del desempeño y carrera profesional docente: América y Europa. Santiago de Chile: Unesco, 2007. ).

Los propósitos que la evaluación docente tiene en cada país se vinculan a las tradiciones y grado de descentralización de sus sistemas educativos. En este sentido, en países donde los sistemas dan mayor autonomía a las escuelas, los propósitos de la evaluación docente se centran en atraer a los mejores candidatos a la profesión docente y en mantener a los profesores motivados durante toda su carrera. En América Latina los procesos de evaluación se orientan más hacia la regulación de la carrera individual por medio de ascensos, incrementos salariales, promociones y en elevar la calidad en el trabajo docente (OCDE, 2013a, 2013b).

La tendencia de la evaluación docente en el marco internacional, especialmente en los sistemas educativos centralizados, ha sido los fines sumativos; en los países con mayor autonomía se identifica una mayor orientación hacia la evaluación formativa en los que la información recuperada es empleada para la profesionalización de los profesores ( OCDE, 2013aOCDE - Organización para la Cooperación y Desarrollo Económico. Synergies for better learning: an international perspective on evaluation and assessment. Paris: OCDE, 2013a. , 2013bOCDE - Organización para la Cooperación y Desarrollo Económico. Teachers for the 21st Century: using evaluation to improve teaching. Paris: OCDE, 2013b. ). Organismos internacionales como la Organización para la Cooperación y Desarrollo Económico (OCDE) han hecho hincapié en que la efectividad de las evaluaciones radica en la posibilidad de que se incremente las habilidades y competencias de los evaluados ( OCDE, 2013cOCDE - Organización para la Cooperación y Desarrollo Económico. Evaluation and assessment frameworks. Paris: OCDE, 2013c. ). Reorientar la evaluación docente hacia fines formativos más que sumativos, hace oportuna la exploración de experiencias previas para identificar alternativas para la evaluación del profesorado.

La producción sobre evaluación docente es vasta. Una búsqueda simple de las palabras evaluation of teacher , en bases de datos especializadas como Scopus o Web of Science (WOS) , por ejemplo, arroja más de 25.000 documentos que incluyen esta palabra clave en sus títulos, lo que ilustra el volumen de la producción.

En este marco, el objetivo general de este artículo es caracterizar la producción científica sobre evaluación docente publicada en el periodo 2013-2017. La pregunta general de investigación es ¿cómo ha sido la producción científica en lo referente a la evaluación docente en el último quinquenio? A través del mapeo se alcanzan cuatro objetivos específicos: (1) identificar las tendencias de producción entre 2013 y 2017, (2) identificar los idiomas y los países en los que la investigación científica se ha ocupado de la evaluación docente, (3) caracterizar la producción sobre evaluación docente en cuanto a su accesibilidad, tipo de producción y espacios de publicación, (4) identificar la temática específica de la producción científica sobre evaluación docente en el marco internacional e (5) identificar los trabajos que han tenido mayor impacto entre 2013 y 2017. El trabajo tiene el propósito de ofrecer al lector interesado en el tema de la evaluación docente, un mapa de navegación que le permita conocer un conjunto de publicaciones seleccionadas con base en criterios y seleccionar las rutas más adecuadas para sus intereses de indagación.

El trabajo se compone de cuatro apartados adicionales a esta introducción. El segundo apartado expone las principales dificultades que la investigación educativa ha identificado en los procesos de evaluación docente. El tercero describe el método de mapeo sistemático de literatura y lo presenta como una alternativa para selección de trabajos y exploración de una gran cantidad de publicaciones. Se describen las fases metodológicas y sus pasos. El cuarto, constituye los resultados del mapeo. Estos se organizan de acuerdo con las cinco preguntas específicas que guiaron la extracción de información de las bases de datos. Cada subapartado corresponde a una pregunta planteada (RQ). El quinto apartado presenta las conclusiones.

La evaluación docente

La revisión de los modelos de evaluación en distintos sistemas educativos permite identificar que la evaluación docente tiene mayor tradición en procesos de acreditación de los profesores y de sus capacidades para la toma de decisiones referentes a la promoción, el incremento salarial o incluso la permanencia en el puesto ( MURILLO, 2007MURILLO, Javier. Evaluación del desempeño y carrera profesional docente: América y Europa. Santiago de Chile: Unesco, 2007. ). La evaluación docente se ha convertido en uno de los principales mecanismos de regulación de la carrera y la profesionalización de profesores. Tanto la política educativa, como la investigación en el campo, han registrado distintas dificultades que se enfrentan en el proceso. Mateo (2000)MATEO, Javier. La evaluación educativa, su práctica y otras metáforas. Barcelona: ICE de la Universitat de Barcelona Horsori, 2000. identifica como principales dificultades de la evaluación docente (1) la definición conceptual de criterios que sirvan para la evaluación docente, (2) la calidad técnica de los instrumentos de medición, (3) la inserción de la evaluación entre los procesos de los sistemas educativos y sus políticas, (4) la definición de un marco legal y normativo que legitime los procesos, los oficialice y garantice el cumplimiento de los derechos, (5) la instalación de culturas de evaluación para la mejora y (6) la protección de la información y el honor de los evaluados.

Estos planteamientos también han sido tratados por diferentes investigadores alrededor del mundo, quienes, desde posturas exploratorias o críticas, han realizado distintas recomendaciones que pueden aportar a la solución de las dificultades. Entre las principales recomendaciones encontradas se ubican las siguientes.

  1. La búsqueda de concordancia entre los planteamientos teóricos que subyacen en la práctica docente y el modelo de evaluación en el que los profesores participan ( GOODWIN; WEBB, 2014GOODWIN, Deborah; WEBB, Mary Ann. Comparing teachers’ paradigms with the teaching and learning paradigm of their state’s teacher evaluation system. Research in Higher Education Journal , Ponte Vedra Beach, v. 25, p. 1-11, sept. 2014. ).

  2. La definición de criterios que ayuden a esclarecer y a uniformar lo que se entiende por ser un buen profesor y lo que es una buena práctica docente (LOONEY, 2001; BADRTDINOV; GOROBETS, 2016BADRTDINOV, Nail; GOROBETS, Daniil. Evaluation of the effectiveness of management development institutions of higher education on the basis of the factor. International Journal of Environmental and Science Education , Kazan, v. 11, n. 18, p. 12167-12182, 2016. ).

  3. La construcción de instrumentos de calidad y el aseguramiento de procesos equitativos y controlados ( PELLEGRINO; DIBELLO; GOLDMAN, 2016PELLEGRINO, James; DIBELLO, Louis; GOLDMAN, Susan. A framework for conceptualizing and evaluating the validity of instructionally relevant assessments. Educational Psychologist , v. 51, n. 1, p. 59-81, 2016. ).

  4. El uso de resultados para la toma de decisiones solamente cuando se garantizan criterios de calidad tanto en los instrumentos, como en los procedimientos y procesos de evaluación ( WARRING, 2015WARRING, Douglas. Teacher Evaluations: Use or Misuse? Universal Journal of Educational Research , San Jose, v. 3, n. 10, p. 703-709, 2015. ).

  5. La vinculación de los procesos de evaluación, procesos formativos y de profesionalización que ofrezcan la oportunidad de perfeccionar la práctica ( ÁVALOS, 2007ÁVALOS, Beatrice. El desarrollo profesional continuo de los docentes: lo que nos dice la experiencia internacional y de la región latinoamericana. Revista Pensamiento Educativo , Santiago de Chile, v. 41, n. 2, p. 77-99, 2007. ; VAILLANT, 2008VAILLANT, Denise. Algunos marcos referenciales para la evaluación del desempeño docente en América Latina. Revista Iberoamericana de Evaluación Educativa , Madrid, v. 1. n. 2, p. 7-22, 2008. ).

Las consideraciones realizadas por los expertos invitan a considerar que los procesos de evaluación deben ser examinados y repensados para promover un enfoque más formativo que articule los fines, los planteamientos teóricos, la calidad técnica y el uso de los resultados ( MURILLO, 2007MURILLO, Javier. Evaluación del desempeño y carrera profesional docente: América y Europa. Santiago de Chile: Unesco, 2007. ).

Mapeo sistemático de literatura

El objetivo fue realizar un mapeo sistemático de la producción científica sobre la evaluación de profesores. El mapeo sistemático es un tipo particular de revisión de literatura, por tanto es un estudio de tipo secundario ( KITCHENHAM; CHARTERS, 2007KITCHENHAM, Barbara; CHARTERS, Stuart. Guidelines for performing systematic literature reviews in software engineering: EBSE technical report EBSE-2007-01. Durham: Keele University; Durham University Joint Report, 2007. ). Se emplea para identificar, valorar y sintetizar investigaciones, principalmente de carácter primario, aunque no es excluyente de otro tipo de publicaciones, con la finalidad de responder a preguntas planteadas previamente para guiar la revisión ( SINOARA; ANTUNES; REZENDE, 2017SINOARA, Roberta Akemi; ANTUNES, João; REZENDE, Solange Oliveira. Text mining and semantics: a systematic mapping study. Journal of the Brazilian Computer Society , Porto Alegre, v. 23, n. 9, p. 7-22, 2017. DOI 10.1186/s13173-017-0058-7. ). El mapeo puede ser un estudio en sí mismo, o bien, conformar una etapa temprana de una revisión sistemática de literatura; en dicho caso, el mapeo se constituirá como una primera fase en la que se aplica como una estrategia de búsqueda y selección.

Para definir la ruta metodológica en este estudio se retomaron las propuestas de Petersen y otros autores (2008)PETERSEN Kai et al. Systematic mapping studies in software engineering. In: INTERNATIONAL CONFERENCE ON EVALUATION AND ASSESSMENT IN SOFTWARE ENGINEERING, 12., 2008, Swinton (EASE’08). Proceedings of the… Swinton: British Computer Society, 2008. p. 68-77. y Sinoara, Antunes y Oliveira (2017)SINOARA, Roberta Akemi; ANTUNES, João; REZENDE, Solange Oliveira. Text mining and semantics: a systematic mapping study. Journal of the Brazilian Computer Society , Porto Alegre, v. 23, n. 9, p. 7-22, 2017. DOI 10.1186/s13173-017-0058-7. . El diseño se estructuró en seis pasos organizados en cuatro fases metodológicas. La Figura 1 esquematiza el proceso de mapeo. Posteriormente se detalla cada una de las fases.

Figura 1
Proceso de mapeo sistemático adaptado de Petersen y otros autores (2008)PETERSEN Kai et al. Systematic mapping studies in software engineering. In: INTERNATIONAL CONFERENCE ON EVALUATION AND ASSESSMENT IN SOFTWARE ENGINEERING, 12., 2008, Swinton (EASE’08). Proceedings of the… Swinton: British Computer Society, 2008. p. 68-77. y Sinoara, Antunes y Oliveira (2017)SINOARA, Roberta Akemi; ANTUNES, João; REZENDE, Solange Oliveira. Text mining and semantics: a systematic mapping study. Journal of the Brazilian Computer Society , Porto Alegre, v. 23, n. 9, p. 7-22, 2017. DOI 10.1186/s13173-017-0058-7.

Fase 1- Planteamiento

En la primera fase se definió el problema a través del planteamiento de preguntas de investigación que orientaran las fases subsecuentes desde la búsqueda hasta el análisis de la información. Se procuró que las preguntas posibilitaran una navegación en el universo de la producción en el tema. Se plantearon cinco preguntas guía; éstas se detallan en la Tabla 1 .

Tabla 1
Preguntas de investigación

Fase 2- Localización de producción científica

Las búsquedas de producción científica se realizaron en las bases de datos de Scopus y Web of Science (WOS). Se realizaron dos tipos de búsqueda:

(1) Búsquedas piloto. Se introdujeron términos a la base de datos y se observó el tipo de documentos que se recuperaban. Los términos empleados fueron evaluation, assessment, teacher y teaching y se ensayaron cadenas de búsqueda combinándolos con herramientas boleanas AND y OR. Esta búsqueda permitió definir los descriptores definitivos.

(2) Búsqueda definitiva. La Tabla 2 muestra la cadena de búsqueda que se empleó para la localización de la producción a analizar.

Tabla 2
Cadena empleada en la búsqueda final

Un paso adicional fue la selección de criterios de exclusión e inclusión de la búsqueda para refinar el resultado. Se intentó que las búsquedas fueran en lo posible equivalentes en los dos índices consultados. La Tabla 3 especifica los criterios de refinamiento para cada base de dato.

Table 3
Refinamiento de la búsqueda

Fase 3- Preanálisis

El preanálisis conllevó el primer acercamiento a los documentos. Se leyeron los títulos y los resúmenes de cada texto, valorando la pertinencia de cada documento identificado en la búsqueda y seleccionado en el refinamiento. Se establecieron criterios de inclusión y exclusión. Se descartaron:

  1. Documentos que aparecieron duplicados en WOS.

  2. Trabajos de WOS y SCOPUS sin resumen disponible.

  3. Documentos WOS y SCOPUS que no eran pertinentes en el campo de la evaluación docente por referir al tema de la evaluación de estudiantes, realizada por los profesores. La Tabla 4 . Muestra el número de documentos descartados.

    Tabla 4
    Documentos descartados

El resultado de la búsqueda y la aplicación de los códigos de refinamiento y selección de documentos se sintetizan en la Figura 2 . Una vez seleccionados los documentos, se preparó una base de datos con los metadatos proporcionados por Scopus y por WOS . Se integraron título, autores y resumen de cada documento. Se añadieron datos de procedencia: base de datos, año de publicación, revista, país e idioma. Se anexó información sobre las características del documento: número de veces que cada documento ha sido citado, tipo de documento, páginas, accesibilidad, volumen y número de la revista. Finalmente, se asignó a cada documento un número único de identificación (ver apartado Producción mapeada ).

Figura 2
Proceso de selección de los documentos

Fase 4: Análisis

El análisis se hizo en dos etapas. En la primera, se analizó la tendencia de la producción científica por su temporalidad, idioma, país, tipo de publicación y otras características que se plantearon en las preguntas que guiaron la revisión. En la segunda, se revisó y clasificó el contenido de los resúmenes, con la finalidad de identificar las líneas de investigación que se han consolidado en la investigación científica sobre la evaluación docente. Las líneas se establecieron de manera inductiva a partir de los resúmenes de los documentos seleccionados. El registro de la clasificación realizada se integró en la base de datos (ver apartado Producción mapeada ).

RQ1- Tendencias de la producción científica

El aumento de la producción científica se identifica a partir de 2010; sin embargo, el presente mapeo solamente incluye la producción entre 2013 y 2017. Al analizar por separado las bases de datos se observa que mientras en Scopus va en decremento, en WOS la tendencia aumenta. La Figura 3 muestra la producción en el periodo analizado en ambas bases de datos.

Figura 3
Tendencia de producción en SCOPUS y WOS sobre evaluación docente

RQ2- Países e idiomas de producción científica sobre evaluación docente

La producción científica sobre la evaluación docente proviene de 35 países. Estados Unidos y China son los países con mayor producción; en conjunto aportan la tercera parte de la producción total (26 documentos: 29,54%).

El inglés es el principal idioma de producción con el 85,23% de los documentos identificados. Uno de los trabajos (1,14%), además se publicó en croata. El 13,64%, lo que representa doce trabajos, se realizó en español, portugués, turco, chino y francés y para uno de los documentos, la base de datos no mostró registro; no obstante, se encontró que el idioma de publicación es también inglés. La Tabla 5 especifica el idioma de cada documento revisado.

Figura 4
Distribución de la producción sobre evaluación docente según países

Tabla 5
Idioma de publicación 2 2 - Todos los datos incorporados corresponden a la base de datos; excepto la clasificación del documento 13, que no apareció en la base de datos, ni de Scopus , ni de WOS y que fue revisado para obtener los datos de clasificación de tipo de documento y de idioma.

RQ3- Características de la producción sobre evaluación docente

El 71,59% de la producción especializada se realizó, principalmente, en el formato de artículo y los proceedings paper representan el 11,36% de la producción. La Tabla 6 muestra la relación de los documentos de acuerdo con su tipo.

Tabla 6
Relación de documentos de acuerdo con su tipo

Solamente el 13,63% de los documentos incluidos en el mapeo fueron publicados en revistas de acceso abierto. Este porcentaje representa doce documentos. La Tabla 7 especifica los trabajos según su accesibilidad.

Tabla 7
Documentos de acuerdo con su accesibilidad

Se identificaron diez revistas de acceso abierto, que representan el 13,16% de las 76 que integraron la muestra. Siete revistas se encuentran clasificadas en tres de los cuatro cuartiles de Scientific Journal Rankings (SJR: Q2, Q3 o Q4). Las revistas Profesorado y Conget Education tienen mayor número de publicaciones en el tema de evaluación docente.

En la Tabla 8 enlista las revistas abiertas, su clasificación SJR y el índice H.

Tabla 8
Revisión de revistas de acceso abierto 3 3 - De acuerdo con < http://www.scimagojr.com/> . Acceso en: 31 agt. 2017.

RQ4- Trabajos de impacto en la producción

De acuerdo con las bases de datos de SCOPUS y WOS , el 68,2% de los trabajos aún no ha sido citado en otros trabajos científicos. El 31,8% ha sido citado una sola vez, y el 22,73% ha sido citado en más de una ocasión (20). La Tabla 9 muestra la relación de los trabajos.

Tabla 9
Número de veces que los documentos han sido citados

El documento de mayor impacto en la producción científica proviene de Bélgica [13]; no obstante, Australia, Reino Unido y Estados Unidos, aportan mayor número de trabajos de impacto para el estudio de la evaluación docente. La relación de los países y los trabajos con su número de citas se presenta en la Tabla 10 .

Tabla 10
Relación de países y documentos de mayor impacto, con número de citas

RQ5- Líneas de investigación desarrolladas en la producción sobre evaluación docente

Se analizó el tema de cada documento para identificar cuáles han sido las líneas de investigación que se han derivado en evaluación de profesores. Se identificaron dos conjuntos: uno en consolidación, en el que se integraron líneas con más de diez trabajos, y uno emergente que agrupa líneas con menos de diez trabajos. La Tabla 11 especifica los conjuntos y las líneas.

Tabla 11
Conjunto de líneas de investigación sobre evaluación docente

Salvo la línea efecto de las evaluaciones , todas las líneas ya eran identificables en 2013; en 2017 siguen consolidándose. La evaluación de la docencia y de los docentes , así como la realización de propuestas diversas para la evaluación presentaron un marcado aumento a partir de 2016. La Figura 5 ilustra el aumento de la producción.

Figura 5
Desarrollo de las líneas de investigación en el periodo enero 2013-junio 2017

Líneas de mayor consolidación

Evaluación de los docentes

Es la línea de mayor consolidación con diecinueve documentos. Se organiza en tres temas: (1) evaluación de la enseñanza [1, 29, 40, 63, 72, 83, 84], (2) la evaluación de rasgos docentes como los conocimientos, las habilidades o actitudes del docente [7, 31, 37, 59, 58, 94] y (3) la evaluación docente por parte de los estudiantes, desde una perspectiva más apegada a la satisfacción de cliente/usuario [9, 11, 20, 50, 68].

Relación de resultados y factores asociados

Se identifican catorce trabajos que analizan factores asociados que tienen algún tipo de incidencia en los resultados de las evaluaciones de los profesores hechas por los estudiantes; por mencionar algunos, entre éstos se encuentra el momento del ciclo en el que se realiza la evaluación [43], el tamaño de los grupos [52], la duración de la evaluación [44], las características de los estudiantes que evalúan [18], los resultados en el aprendizaje [19, 22, 106] o con las características del instructor [2, 27, 32].

Percepciones sobre procesos de evaluación

Integra trabajos sobre la percepción de los estudiantes [28, 105] y de los docentes sobre la evaluación docente desde un enfoque de satisfacción de los estudiantes [4, 5, 17, 35, 92, 98]. En esta línea también se identificó un estudio que evalúa las opiniones de los docentes sobre el fracaso escolar; si bien, los autores lo plantean como una evaluación, se clasificó en este rubro por tratarse de opiniones docentes [91].

Calidad de las evaluaciones

Los trabajos analizan la calidad de las evaluaciones con respecto a las condiciones de aplicación y las características psicométricas de los instrumentos de evaluación de docentes por los alumnos. Se analiza validez, confiabilidad [6, 13, 30, 49], sesgo [85] y aplicación de teorías de satisfacción del cliente a la evaluación [8].

Propuestas de evaluación

Un conjunto de trabajos propone métodos, técnicas, instrumentos y teorías para evaluar a los docentes. Se proponen como instrumentos el uso de cuestionarios [51, 53], de portafolios [56] y rúbricas [75]. Se incorporan métodos que retoman redes para la evaluación y cálculos algorítmicos [63], e incorporan análisis de procesos jerárquicos, toma de decisiones [71], análisis de las relaciones e interacciones entre los profesores y los estudiantes mediante la identificación de brechas [89], observación [93], entrenamientos para la coevaluación con base a criterio [75], autoevaluación [3], comparación de escalas para evaluación docente [24] y evaluación de las prácticas por medio de minería de datos [64]. También se incorpora desde una perspectiva evaluativa, la fenomenológicas [60] y la evaluación con enfoque formativo [14].

Líneas emergentes

Se encontraron cinco líneas emergentes sobre evaluación docente. La Interpretación de resultados revisa significados que los docentes otorgan a los resultados de las evaluaciones y el efecto sobre la percepción social que se construye de los profesores a partir de los resultados de las evaluaciones realizadas por estudiantes.

El Efecto de las evaluaciones analiza el impacto o el efecto que las evaluaciones tienen sobre distintos aspectos; por ejemplo, la mejora de la práctica docente [55, 61] o la reflexión de los profesores [34]. También se identificaron trabajos que analizan las evaluaciones realizadas por los superiores y la participación que los profesores tienen en los procesos evaluativos.

Conclusiones

El mapeo posibilita al lector el establecimiento de rutas propias de exploración acordes a sus propios intereses de investigación; así representa una orientación general en el proceso de selección de la literatura para una revisión más profunda. No obstante, este estudio está circunscrito por dos elementos. Una primera limitante la constituyen las unidades de análisis, ya que se trabajó con los metadatos y los resúmenes, por lo que no es posible ofrecer detalles de los hallazgos de cada trabajo realizado por los investigadores; la segunda limitante es la fuente de la que se obtuvieron los trabajos analizados, pues si bien Scopus y WOS son índices que concentran la producción investigativa de alta calidad en el mundo, existe un universo más amplio de producción sobre la evaluación de docentes, principalmente en América Latina en donde los sistemas de evaluación docente todavía se encuentran en constante revisión y discusión por las comunidades de investigadores. Así también los documentos de carácter normativo y de política educativa que difunden los gobiernos, han quedado excluidos de este análisis.

Por otro lado, la principal fortaleza de la metodología de mapeo es la posibilidad de tener un panorama general en un formato accesible sobre una vasta producción. Así, la contribución del mapeo es la presentación ordenada de una visión panorámica de la producción científica sobre la evaluación docente publicada en el quinquenio 2013-2017, en revistas de alto impacto, con lo que se ofrece al lector interesado una síntesis de la principal producción a nivel global.

Se encontraron diferencias considerables en el volumen de la producción en inglés, en relación con otros idiomas. Así también, en la cantidad de la producción en el tema que se genera en los distintos países del mundo. Estados Unidos es el país que realiza mayor número de contribuciones; pero, países como Bélgica y Australia parecen tener más impacto en el número de citas en la comunidad científica estudiosa de la evaluación docente. Se señala que los tres países destacables tienen sistemas educativos con alta autonomía en su funcionamiento ( OCDE, 2013aOCDE - Organización para la Cooperación y Desarrollo Económico. Synergies for better learning: an international perspective on evaluation and assessment. Paris: OCDE, 2013a. , 2013bOCDE - Organización para la Cooperación y Desarrollo Económico. Teachers for the 21st Century: using evaluation to improve teaching. Paris: OCDE, 2013b. , 2013cOCDE - Organización para la Cooperación y Desarrollo Económico. Evaluation and assessment frameworks. Paris: OCDE, 2013c. ). Este dato puede indicar nuevas metas de estudio que asocien los intereses sobre el tema con las formas de hacer evaluación docente y los intereses de la investigación en contextos específicos.

Existe un subdesarrollo de líneas de investigación que asocien la evaluación de los profesores con la formación y profesionalización de la docencia o con el uso que se da a los resultados de las evaluaciones. Incluso los trabajos que presentan propuestas novedosas de evaluación docente no parecen expresar un enfoque que se identifique claramente con estas finalidades.

La producción científica sobre evaluación docente en el periodo revisado se ha enfocado en la evaluación docente desde la perspectiva de los estudiantes, por lo que se aprecia una diferencia entre el tipo de evaluación que se documenta en la investigación y las evaluaciones que realizan los países de América y Europa. Las acciones en la investigación en el campo de la evaluación parecen dejar de lado las recomendaciones de autores como Warring (2015)WARRING, Douglas. Teacher Evaluations: Use or Misuse? Universal Journal of Educational Research , San Jose, v. 3, n. 10, p. 703-709, 2015. , Ávalos (2007)ÁVALOS, Beatrice. El desarrollo profesional continuo de los docentes: lo que nos dice la experiencia internacional y de la región latinoamericana. Revista Pensamiento Educativo , Santiago de Chile, v. 41, n. 2, p. 77-99, 2007. o Vaillant (2008)VAILLANT, Denise. Algunos marcos referenciales para la evaluación del desempeño docente en América Latina. Revista Iberoamericana de Evaluación Educativa , Madrid, v. 1. n. 2, p. 7-22, 2008. quienes señalan la necesidad de considerar los resultados de las evaluaciones solo cuando cumplen con criterios de calidad y de reorientar la evaluación a fines formativos.

Este mapeo sobre evaluación docente señala que las dificultades identificadas por los estudiosos del área siguen vigentes en el desarrollo de procesos de evaluación. Los temas identificados en la clasificación de literatura confirman que la principal dificultad de la evaluación docente sigue siendo la calidad técnica de los instrumentos y de los procesos, misma que ya había sido expresada por Mateo (2000)MATEO, Javier. La evaluación educativa, su práctica y otras metáforas. Barcelona: ICE de la Universitat de Barcelona Horsori, 2000. . Esta relación entre la literatura y el análisis de los intereses de los investigadores indica que la calidad sigue siendo un asunto que no se ha superado.

Queda en este artículo una invitaciónpara identificar áreas de oportunidad en la evaluación docente en campos específicos de trabajo docente como ambientes multimodales, a distancia, b-learning o cursos masivos abiertos y el estudio no sólo de los actores, sino también en los mismos procesos de gestión e impacto que se encuentran alrededor de estos procesos.

Cuadro 1
Producción mapeada

Referencias

  • ÁVALOS, Beatrice. El desarrollo profesional continuo de los docentes: lo que nos dice la experiencia internacional y de la región latinoamericana. Revista Pensamiento Educativo , Santiago de Chile, v. 41, n. 2, p. 77-99, 2007.
  • BADRTDINOV, Nail; GOROBETS, Daniil. Evaluation of the effectiveness of management development institutions of higher education on the basis of the factor. International Journal of Environmental and Science Education , Kazan, v. 11, n. 18, p. 12167-12182, 2016.
  • GOODWIN, Deborah; WEBB, Mary Ann. Comparing teachers’ paradigms with the teaching and learning paradigm of their state’s teacher evaluation system. Research in Higher Education Journal , Ponte Vedra Beach, v. 25, p. 1-11, sept. 2014.
  • KITCHENHAM, Barbara; CHARTERS, Stuart. Guidelines for performing systematic literature reviews in software engineering: EBSE technical report EBSE-2007-01. Durham: Keele University; Durham University Joint Report, 2007.
  • LOONEY, Janet. Developong High-quality techers: teacherevaluation for improvement. European Journal of Education , v. 46, n. 4, p. 440-445, 2011.
  • MATEO, Javier. La evaluación educativa, su práctica y otras metáforas. Barcelona: ICE de la Universitat de Barcelona Horsori, 2000.
  • MURILLO, Javier. Evaluación del desempeño y carrera profesional docente: América y Europa. Santiago de Chile: Unesco, 2007.
  • OCDE - Organización para la Cooperación y Desarrollo Económico. Evaluation and assessment frameworks. Paris: OCDE, 2013c.
  • OCDE - Organización para la Cooperación y Desarrollo Económico. Synergies for better learning: an international perspective on evaluation and assessment. Paris: OCDE, 2013a.
  • OCDE - Organización para la Cooperación y Desarrollo Económico. Teachers for the 21st Century: using evaluation to improve teaching. Paris: OCDE, 2013b.
  • PELLEGRINO, James; DIBELLO, Louis; GOLDMAN, Susan. A framework for conceptualizing and evaluating the validity of instructionally relevant assessments. Educational Psychologist , v. 51, n. 1, p. 59-81, 2016.
  • PETERSEN Kai et al. Systematic mapping studies in software engineering. In: INTERNATIONAL CONFERENCE ON EVALUATION AND ASSESSMENT IN SOFTWARE ENGINEERING, 12., 2008, Swinton (EASE’08). Proceedings of the… Swinton: British Computer Society, 2008. p. 68-77.
  • SINOARA, Roberta Akemi; ANTUNES, João; REZENDE, Solange Oliveira. Text mining and semantics: a systematic mapping study. Journal of the Brazilian Computer Society , Porto Alegre, v. 23, n. 9, p. 7-22, 2017. DOI 10.1186/s13173-017-0058-7.
  • VAILLANT, Denise. Algunos marcos referenciales para la evaluación del desempeño docente en América Latina. Revista Iberoamericana de Evaluación Educativa , Madrid, v. 1. n. 2, p. 7-22, 2008.
  • WARRING, Douglas. Teacher Evaluations: Use or Misuse? Universal Journal of Educational Research , San Jose, v. 3, n. 10, p. 703-709, 2015.
  • 2
    - Todos los datos incorporados corresponden a la base de datos; excepto la clasificación del documento 13, que no apareció en la base de datos, ni de Scopus , ni de WOS y que fue revisado para obtener los datos de clasificación de tipo de documento y de idioma.
  • 3
    - De acuerdo con < http://www.scimagojr.com/> . Acceso en: 31 agt. 2017.

Fechas de Publicación

  • Publicación en esta colección
    14 Nov 2018
  • Fecha del número
    2018

Histórico

  • Recibido
    22 Set 2017
  • Revisado
    16 Nov 2017
  • Acepto
    29 Ene 2018
Faculdade de Educação da Universidade de São Paulo Av. da Universidade, 308 - Biblioteca, 1º andar 05508-040 - São Paulo SP Brasil, Tel./Fax.: (55 11) 30913520 - São Paulo - SP - Brazil
E-mail: revedu@usp.br