Acessibilidade / Reportar erro

Evidencias para una transformación y complejización del modelo chileno de evaluación docenteI I El presente artículo forma parte de un macro-proyecto titulado Impactos y contra impactos de la evaluación docente en la Identidad profesional de los profesores. FONDECYT nº11110177.

Evidence for the transformation and complexification of the Chilean model of teacher evaluationI I FONDECYT nº11110177.

Resúmenes

El artículo que ofrecemos a continuación presenta los resultados de una investigación llevada a cabo durante los años 2012 y 2013 y que ha buscado indagar sobre la efectividad del proceso de evaluación del desempeño de profesores implementado en Chile con los docentes de establecimientos de dependencia pública para incidir en el mejoramiento de los resultados de aprendizaje de los estudiantes chilenos. La investigación se desarrolló utilizando el paradigma cuantitativo. A fin de relacionar los resultados de los alumnos con el profesor evaluado se seleccionaron cohortes de alumnos regulares de cuarto año básico (educación primaria) que hayan cursado asignaturas de Lenguaje y Comunicación o Matemáticas con el profesor evaluado. La relación se ha establecido utilizando un modelo multifactorial. Los resultados obtenidos nos permiten sostener que no hay una significativa relación entre participar de la evaluación de desempeño docente y los resultados de aprendizaje, por lo que se debe analizar tanto la efectividad del proceso, como también, el argumento oficial referido a los aportes derivados de someter a los profesores a este tipo de evaluación. Finalmente, los resultados obtenidos sumados a evidencias internacionales permiten fundamentar la necesidad de complejizar el modelo chileno de evaluación bajo ejes de descentralización, contextualización y participación, ausentes del proceso actualmente implementado.

Educación; Evaluación docente; Factores educativos; Control; Accountability


This article presents the results of a study conducted in 2012 and 2013 which sought to investigate the effectiveness of the teacher performance evaluation implemented in Chile with teachers from public schools in order to improve the learning outcomes of Chilean students. The research was conducted using the quantitative paradigm. In order to relate the results of students with the teacher evaluated, we selected cohorts of students in the fourth year of primary education who had been taught Language and Communication and Mathematics by the teacher evaluated. The relation was established using a multivariate model. The results obtained allow us to argue that there is no significant relationship between participating in the assessment of teacher performance and the learning outcomes of students. Therefore, it is necessary to analyze not only the effectiveness of the process but also the official argument of the benefits of teachers undergoing this type of evaluation. Finally, this study’s results, in addition to international evidence, support the need for complexifying the Chilean evaluation model by means of the concepts of decentralization, contextualization and participation, which are absent from the process currently implemented.

Education; Teacher evaluation; Educational factors; Control; Accountability


Introducción

Una de las áreas que mayor desarrollo ha tenido en educación en los últimos años a nivel mundial ha sido el de la medición educacional, proceso particularmente vinculado con la adopción de modelos económicos que vinculan el gasto público en educación con el rendimiento y progreso académico. Esta relación hace que en cada uno de los niveles educacionales y respecto de cada uno de sus actores, se implementen de forma periódica controles por medio de mediciones con distintos procedimientos para verificar su aporte al proceso de aprendizaje de los estudiantes. Tomando como modelo el desarrollo en Europa y Estados Unidos ha sido precisamente un grupo de estos actores, el de los profesores, el que se ha desarrollado de manera más profusa en Chile y el resto de América.

La mayor inversión, tanto en mediciones como en generación de políticas públicas, permite interrogarse si efectivamente los procesos de evaluación de los profesores han tenido alguna incidencia positiva y significativa sobre el aprendizaje de los estudiantes. Dada la relevancia de esta pregunta, el equipo de investigación que conforma el proyecto se propuso, durante los años de 2012 y 2013, indagar a fin de confirmar o desconfirmar la hipótesis oficial sostenida por las autoridades y expertos del Ministerio de Educación de Chile que afirma que la evaluación docente aplicada en Chile sí influye positivamente sobre los resultados académicos de los estudiantes vinculados directamente con profesores sometidos a ella (ALVARADO et al., 2012ALVARADO, Macarena et al. La evaluación docente y sus instrumentos: discriminación del desempeño docente y asociación con los resultados de los estudiantes. Santiago de Chile: Centro de Estudios Mide UC, 2012. Disponible en: <http://mideuc.cl/wp-content/uploads/2012/07/201206290959280.20120628WPEvaluacionDocenteFinal.pdf>. Acceso en: 10 nov. 2014.
http://mideuc.cl/wp-content/uploads/2012...
). Para esto se investigó la trayectoria académica de grupos de estudiantes homogéneos durante tres años asociados al mismo profesor que es sometido en algún momento de su trayectoria a la evaluación conocida como Evaluación Nacional del Desempeño Docente. La metodología empleada fue la de establecimiento de una comparación entre índices según un modelo multifactorial, tomando como variable diferenciadora la presencia o no de profesores evaluados. Los resultados obtenidos, una vez filtradas la totalidad de casos posibles de ser investigados, nos colocan ante la evidencia que no habría mayor influencia del proceso de evaluación sobre los resultados de los estudiantes.

Antecedentes teóricos

Tal como hemos planteado, a partir de la década de los años 80 Chile ha hecho un proceso de adopción de la lógica económica aplicada a la educación, lógica que asume los principales postulados de la teoría del capital humano de Schultz (VILLALOBOS; PEDROSA, 2009). Esta adopción implica a la vez asumir métodos y procedimientos económicos a nivel de políticas educativas, cuestión notoria por la preponderancia que tienen actualmente los conceptos de cobertura, eficiencia y calidad en el quehacer pedagógico de la escuela.

Esta situación provoca que la escuela se vea sometida, en sus diversos niveles, a controles cada vez más frecuentes e intencionados que buscan verificar y asegurar la calidad de la enseñanza, entendiendo calidad como la capacidad de responder a los fines que socialmente se le ha atribuido. Estos fines han sido supervisados, en los últimos años, por los estándares de la Organización para la Cooperación y el Desarrollo Económicos (OCDE) y sus políticas económicas. Todo el sistema educativo, por tanto, ha entrado progresivamente en mayores niveles de control, cuyo primer indicador fue la aplicación de la prueba SIMCE1 1 - El Sistema de Medición de la Calidad de la Educación (SIMCE) surge en la década de 1980 como una medición estandarizada con el objetivo informar a los actores educativos sobre el nivel educacional alcanzado por los estudiantes, siendo su primera aplicación efectiva en el año 1988. , que en su misma definición engloba el concepto de Calidad. Esta prueba fue el primer indicio de la adopción de la política del accountability, que exige económicamente que toda inversión deba ser rendida y justificada, y dado que la educación es un asunto de Estado (siendo el Estado su principal inversionista) todos los niveles educativos deben someterse a sus revisiones periódicas.

El proceso de verificación iniciado por la implementación de la prueba SIMCE, que actualmente abarca un ciclo prácticamente ininterrumpido por lo menos cada dos años en la vida de los alumnos y permanentemente en la vida de las escuelas, ha tenido como consecuencia que otros actores entren en la misma lógica y proceso de evaluación. Así se han incluido en el último tiempo las escuelas como unidad, los directivos y los profesores.

En el caso de los profesores ha habido una evolución en la forma en que entran en el proceso de evaluación. En un primer momento era necesaria por ser parte de la carrera funcionaria. Pero esta situación cambiará con la decisión tomada por la dictadura de Pinochet de traspasar la dependencia de las escuelas desde el Estado a las municipalidades (municipalización), lo que significará además el cambio de estatuto y la pérdida de una serie de beneficios para los profesores. A finales de los años ochenta se demandará un sistema de evaluación que reemplace el impracticable sistema de calificaciones contemplado en el Estatuto Docente.

La propuesta de evaluación presentada y aprobada por el Colegio de profesores, el Ministerio de Educación y la Asociación Chilena de Municipalidades se basa en un marco objetivo común, denominado Marco para la Buena Enseñanza (CHILE, 2003CHILE. Factores que inciden en el rendimiento de los alumnos: nota técnica. Santiago de Chile: Ministerio de Educación, 2003.). Al alero de este marco, que pretende ser la declaración del conjunto de saberes o competencias deseables en un profesor, es que se establece la institución de un programa de Asignación de Excelencia Pedagógica (AEP, implementado a partir del año 2003) para los profesores de cualquier establecimiento que reciba asignación de recursos por parte del Estado (municipales o particulares subvencionados), una Evaluación de Desempeño Docente (evaluación docente, en piloto desde el año 2003, pero implementado en totalidad a partir del año 2005) que se aplica a todos los profesores del sistema municipal de manera exclusiva, y una prueba de Asignación Variable de Desempeño Individual (AVDI, aplicada desde el año 2004) que está disponible para todos los docentes sometidos a evaluación docente que hayan sido calificados en las dos categorías superiores (destacado y competente). Como se puede advertir, ninguno de estos sistemas de calificación o evaluación afectan a los profesores de establecimientos particulares pagados.

Ante este panorama, la situación de los profesores evaluados se convierte en un objeto de investigación interesante, más todavía cuando todo este proceso busca, por un lado, supervisar y por otro mejorar la calidad de la educación. De ahí que el artículo aquí presentado despliega la investigación de la relación entre estos factores.

¿Influye la evaluación en el aprendizaje?

Teniendo como referencia esta interrogante se desarrolló una investigación durante los años 2012 y 2013 para determinar si la Evaluación Nacional del Desempeño Docente tiene alguna incidencia en el mejoramiento de la calidad de la docencia en la enseñanza básica y en los resultados de los alumnos en la prueba SIMCE. Para poder lograr este objetivo se utilizó un modelo de regresión múltiple que nos permitió determinar la influencia en el rendimiento escolar de los alumnos que son atendidos por profesores sometidos al proceso de evaluación docente.

La evaluación docente tiene la particularidad de ser un sistema que ya lleva una década de implementación y que ha sabido sortear, a nivel de políticas públicas, las resistencias a su aplicación. Coherente con los principios del accountability y los procesos de verificación basados en la inversión económica, la evaluación docente se ha implementado en Chile exclusivamente para el conjunto de profesores que trabajan en las escuelas dependientes de las municipalidades. Actualmente su cobertura es de la totalidad de los docentes municipales (que representan un 47% de la fuerza laboral docente del país al año 2012), con una periodicidad promedio en su aplicación cercana a los cuatro años2 2 - El estándar común de aplicación es cada cuatro años, pero los docentes calificados de básicos deben volver a evaluarse a los dos años, y los calificados como insatisfactorios deben realizar su nueva evaluación al año siguiente. . Por su parte, las consecuencias declaradas en la normativa vigente que regula el sistema han ido experimentado una progresiva evolución hacia la sanción, vulnerándose la intención original de ser un “Sistema de evaluación [. . .] de carácter formativo, orientado a mejorar la labor pedagógica de los educadores y a promover su desarrollo profesional” (CHILE, 2004b, p. 2). Así, lo que originalmente era un sistema de evaluación reclamado por los docentes, ha devenido en los últimos años en un sistema escasamente resistido, pero fuertemente padecido.

De esta manera podemos interrogarnos si el actual sistema de evaluación de desempeño de profesores ha respondido a la expectativa de contraer consecuencias positivas sobre el conjunto del sistema, entendiendo la ecuación: eficacia + control = calidad como algo verificable. En el caso de los profesores, la pregunta se instala entonces respecto de si esta evaluación docente, fuera de las consecuencias de control y rendición de cuentas, tiene efectos positivos sobre el proceso de aprendizaje y enseñanza, en cualquiera de los indicadores que lo evidencien.

Relación entre evaluación docente y políticas públicas

Un estudio publicado por el Ministerio de Educación (MINEDUC) ha investigado esta relación utilizando un modelo de regresión múltiple. Para ello, sus responsables han vinculado los resultados de aprendizaje de los alumnos con los resultados en la evaluación docente de los profesores, tomando como referencia los resultados obtenidos en la prueba SIMCE de las escuelas (ALVARADO et al., 2012ALVARADO, Macarena et al. La evaluación docente y sus instrumentos: discriminación del desempeño docente y asociación con los resultados de los estudiantes. Santiago de Chile: Centro de Estudios Mide UC, 2012. Disponible en: <http://mideuc.cl/wp-content/uploads/2012/07/201206290959280.20120628WPEvaluacionDocenteFinal.pdf>. Acceso en: 10 nov. 2014.
http://mideuc.cl/wp-content/uploads/2012...
). Para este estudio se considera al conjunto de profesores con sus respectivos resultados de evaluación docente en relación a un grupo curso que en 4° año de enseñanza básica rinde la prueba SIMCE. La relación se establece, entonces, entre un conjunto de docentes con sus resultados en un período de tiempo acotado y un grupo objetivo de alumnos que entra en relación directa con ellos. La expresión de esta relación es

Donde SIMCEis, corresponde a un vector de características individuales del estudiante i que asiste a la escuela s; β1 hasta β4 corresponde a las diversas variables que intervienen, especificadas por otros elementos, como lo que ocurre con Xis que corresponde a los factores contextuales del estudiante i que asiste a la escuela s, Ys que corresponde a un vector de características del establecimiento s y Ζi que corresponde a un vector de características de los docentes que han impartido clases al alumno i entre 1° y 4° básico, entre ellas, el resultado en la evaluación docente. Finalmente μis corresponde al error de la estimación.

Con este modelo los autores del estudio han proyectado el nivel de influencia que tiene un conjunto de docentes sobre un grupo de estudiantes, considerando la acumulación de experiencias y saberes no específicos (profesores generalistas en cuatro años globales de enseñanza) en relación a los propios resultados de la evaluación docente. El documento concluye que habría una relación directa entre el nivel alcanzado por los docentes en su evaluación de desempeño y el rendimiento de los alumnos expresado en puntos en la prueba SIMCE para Lenguaje y Matemáticas.

En esta misma línea tenemos que el Ministerio de Educación ha emitido informes técnicos sobre los factores que inciden en el rendimiento de los alumnos (CHILE, 2002, 2003, 2011a). Uno de los últimos, denominado Factores asociados con el rendimiento escolar (CERÓN; LARA, 2011CERÓN, Francisco; LARA, Miriam. Factores asociados con el rendimiento escolar. Santiago de Chile: MINEDUC/SIMCE, 2011. (Documento de trabajo).) analiza los factores involucrados en el rendimiento SIMCE a partir de los datos arrojados por los cuestionarios de contexto resueltos por padres, apoderados, alumnos y profesores durante la ejecución del SIMCE Matemáticas NB2, 4º año básico, 2010. La información que entrega es valiosa, por cuanto permite, mediante la aplicación de una taxonomía previamente validada (Carroll, 1989CARROLL, John. The Carroll model A-25 year retrospective and prospective view. Educational Research, v. 18, n. 1, p. 26-31, jan. 1989.; BACKHOFF et al, 2007; TREVIÑO; DONOSO, 2010TREVIÑO, Ernesto; DONOSO, Francisca. Agrupaciones de escuelas para intervenciones de políticas: análisis del caso chileno. Santiago de Chile: Facultad de Educación, Universidad Diego Portales, 2010. Disponible en: <http://www.educacion2020.cl/index.php?option=com_docman&task=doc_download&gid=100&Itemid=55>. Acceso en: 10 nov. 2014.
http://www.educacion2020.cl/index.php?op...
), clasificar los factores que influyen en el rendimiento escolar en tres grandes grupos: aquellos referidos al contexto, aquellos referidos a los procesos, y aquellos referidos a los insumos (CERÓN; LARA, 2011CERÓN, Francisco; LARA, Miriam. Factores asociados con el rendimiento escolar. Santiago de Chile: MINEDUC/SIMCE, 2011. (Documento de trabajo).). Estos grupos de factores se distribuyen de manera libre entre los tres grandes contextos de interacción de un alumno, como son la escuela, la comunidad y el hogar y la familia, los que pueden favorecer o desfavorecer el aprendizaje en el alumno (BRUNNER; ELAQUA, 2004BRUNNER, José Joaquín; ELAQUA, Gregory. Factores que inciden en una educación efectiva. Santiago de Chile: Escuela de Gobierno Universidad Adolfo Ibañez, 2004. Disponible en: <http://www.opech.cl/bibliografico/evaluacion/Brunner%20OEA.pdf>. Acceso en: 10 nov. 2014.
http://www.opech.cl/bibliografico/evalua...
)

De la clasificación utilizada por Cerón y Lara (2011)CERÓN, Francisco; LARA, Miriam. Factores asociados con el rendimiento escolar. Santiago de Chile: MINEDUC/SIMCE, 2011. (Documento de trabajo). y especificando los elementos intervinientes, resultan veinte factores distintos que influyen en el resultado académico verificado por el SIMCE en un alumno. De ahí que el análisis pertinente que debe realizarse es aquél que permita establecer cuál o cuáles de estos factores se relacionan directamente, o se corresponden, con las características de un buen docente, según lo declarado por el MBE. El MBE, por su parte, declara que todo docente debe manifestar una serie de competencias agrupadas bajo el nombre genérico de criterios, referidas a los cuatro momentos de la enseñanza (preparación de la enseñanza, creación de un ambiente propicio, enseñanza para el aprendizaje de todos los alumnos y responsabilidades profesionales). Estas competencias (veinte en total), son desglosadas a su vez en descriptores que van dando cuenta de todo aquello que un profesor o profesora debe desarrollar o manifestar, alcanzando así el desglose de estas actitudes a un total de setenta actitudes manifiestas (CHILE, 2005CHILE. Marco para la buena enseñanza. Santiago de Chile, Ministerio de Educación, 2005.).

Al realizar el ejercicio de cruzar el dato de los veinte factores que intervienen en el rendimiento de un alumno según el estudio de Cerón y Lara (2011)CERÓN, Francisco; LARA, Miriam. Factores asociados con el rendimiento escolar. Santiago de Chile: MINEDUC/SIMCE, 2011. (Documento de trabajo). con los setenta descriptores de las competencias indicadas por el MBE, tenemos que en cinco de los factores indicados se puede advertir claramente la influencia de un profesor según lo declarado por el documento:

  1. Percepción de la disciplina en clases.

  2. Preocupación del docente por los estudiantes de bajo rendimiento.

  3. Confianza del estudiante en el docente.

  4. Docentes bien evaluados en educación matemática.

  5. Cobertura curricular en educación matemática.

Estos factores se corresponden con los diversos elementos de la propuesta de Caroll (1989), tomada por Cerón y Lara (2011)CERÓN, Francisco; LARA, Miriam. Factores asociados con el rendimiento escolar. Santiago de Chile: MINEDUC/SIMCE, 2011. (Documento de trabajo)., y de Brunner y Elaqua (2004)BRUNNER, José Joaquín; ELAQUA, Gregory. Factores que inciden en una educación efectiva. Santiago de Chile: Escuela de Gobierno Universidad Adolfo Ibañez, 2004. Disponible en: <http://www.opech.cl/bibliografico/evaluacion/Brunner%20OEA.pdf>. Acceso en: 10 nov. 2014.
http://www.opech.cl/bibliografico/evalua...
, marcando tendencia hacia la visión del profesor como un factor fundamental o clave para el proceso educativo, por lo tanto un agente activo del proceso académico de los alumnos.

Metodología

Con todos estos antecedentes, hemos optado por analizar desde el punto de vista cuantitativo la relación entre evaluación docente y rendimiento académico de los alumnos en pruebas estandarizadas, metodología utilizada profusamente, entre otros, por Cerón y Lara (2011)CERÓN, Francisco; LARA, Miriam. Factores asociados con el rendimiento escolar. Santiago de Chile: MINEDUC/SIMCE, 2011. (Documento de trabajo)., Bravo (2010), Alvarado y otros (2012) y Manzi (2010)MANZI, Jorge et al. La evaluación docente en Chile. Santiago de Chile: Centro de Medición/MIDE UC, 2010.. Para esto utilizaremos un modelo multifactorial que nos permitirá vincular los distintos factores que intervienen en el proceso de aprendizaje junto con la oportunidad de ser o no sometido a evaluación docente, incluyendo este elemento como un indicador de un conjunto de factores docentes.

Siguiendo un modelo multifactorial, tenemos que el rendimiento de un alumno (), en relación a los factores asociados () podría graficarse:

Cada uno de estos factores tiene un distinto nivel de influencia sobre el rendimiento del alumno (CERÓN; LARA, 2011CERÓN, Francisco; LARA, Miriam. Factores asociados con el rendimiento escolar. Santiago de Chile: MINEDUC/SIMCE, 2011. (Documento de trabajo).), partiendo de la base de un promedio obtenido por los alumnos, la presencia o ausencia de los factores puede afectar positiva o negativamente, subiendo, en el mejor de los casos, hasta en 85 puntos sus resultados en la evaluación (si no se presentan situaciones de retroceso en el puntaje, como son el bullying y la repitencia, en cuyo caso el porcentaje de ganancia disminuye a 65 puntos). Expresado en términos porcentuales, los factores intervinientes serían como se muestra en el Cuadro 1.

Cuadro 1

Considerando que el nivel de influencia varía según cada factor, y que del análisis obtenemos que de los veinte factores asociados, solamente seis son referidos directamente al quehacer del docente, tendríamos que, para efectos del rendimiento del alumno (), sería:

La factorización incluye a los dos elementos que producen regresión en el puntaje. Este elemento es interesante, ya que según lo analizado, el hecho de que un alumno presente un año a lo menos de repitencia puede influir en una disminución de hasta un 20% en el puntaje diferencial obtenido. Asimismo, el hecho que un alumno perciba conductas relacionadas con el bullying en su entorno, puede afectarle en un porcentaje negativo de hasta un 3, 53%. Ajustando por tanto estos datos, en términos porcentuales tenemos que los resultados de Cerón y Lara (2011)CERÓN, Francisco; LARA, Miriam. Factores asociados con el rendimiento escolar. Santiago de Chile: MINEDUC/SIMCE, 2011. (Documento de trabajo). equivalen a:

En donde , siendo los factores asociados al profesor 5 factores, revela que el porcentaje de influencia en los resultados del SIMCE de un profesor en relación directa con el alumno se puede calcular hasta en un 16,48%. Así tendríamos que la tabla de observación para determinar el real nivel de influencia que la evaluación docente sobre un profesor, tomando en cuenta los resultados de la aplicación SIMCE Lenguaje y Matemáticas NB2, 4º año básico, asumiendo como un profesor de un grupo de alumnos en un tiempo determinado, sería como se muestra en el cuadro 2:

Cuadro 2

El resultado es un modelo de comparación entre los resultados obtenidos por los conjuntos grupo-curso vinculados al docente evaluado, relativizados con el índice de influencia del profesor, siguiendo la propuesta de Cerón y Lara (2011)CERÓN, Francisco; LARA, Miriam. Factores asociados con el rendimiento escolar. Santiago de Chile: MINEDUC/SIMCE, 2011. (Documento de trabajo)., sería:

A este índice global lo denominaremos, el que será observado a lo largo de tres años en su comportamiento. Según lo visto el nivel de influencia máximo de E , calculado en un porcentaje de un 16, 48% del total de progreso del puntaje respecto de lo esperado está compuesto por elementos provenientes de las encuestas aplicadas a los padres, apoderados, profesores y alumnos en el contexto de la prueba SIMCE.

Tomando los valores referenciales de cada una de las categorías se generaron seis modelos diferentes de análisis, aplicables para cada uno de los resultados en la evaluación SIMCE:

a) Modelo 1: consideración de todos los valores como positivos

b) Modelo 2: variables dicotómicas positivas, variables escalares absolutas negativa (nivel 1)

c) Modelo 3: variables dicotómicas positivas, variables escalares (nivel 2)

d) Modelo 4: variables dicotómicas positivas, variables escalares (nivel 3)

e) Modelo 5: variables dicotómicas positivas, variables escalares (nivel 4)

f) Modelo 6: variables dicotómicas negativas, variables escalares positiva (nivel 5)

Estos valores se tomaron como referenciales máximo y mínimo de , el que será indicador de algo si comparamos los resultados de grupos de profesores homogéneos (misma escuela, mismo sector de aprendizaje en cohortes de alumnos similares de alumnos como grupo curso, mismo período) en donde la única variable distinta sea haber sido sometido o no a la evaluación docente. De hecho, plantean Alvarado y otros autores (2012) que al analizar los resultados en el SIMCE de un grupo de alumnos, y cruzarlos con los resultados de la evaluación docente, a través de la expresión:

representa un conjunto de características de los docentes, entre los que se cuenta la evaluación docente, pero también puede incluir otros procesos de perfeccionamiento. Por lo mismo, sería válido que conjuntos de profesores no sometidos a la evaluación docente, pero que interactúen con grupos de alumnos en similares condiciones, puedan ser comparados según lo indicado.

Por lo tanto, si tomamos que ,denominaremos el índice del docente no sometido a evaluación, pero que se desempeña con conjuntos de alumnos homogéneos. Así, la matriz de comparación final sería:

Lo que nos indicará que, si el producto final de la curva es significativamente mayor que , se confirmaría que la evaluación docente, influye como proceso de mejoramiento de la práctica profesional, en caso contrario () estaríamos hablando que el proceso mencionado no tiene repercusión real sobre las prácticas pedagógicas de los docentes evaluados.

Resultados

El grupo de análisis está constituido por escuelas que poseen un curso único en 4° básico y que registran un profesor sometido a evaluación docente que opta por evaluarse en el mismo curso y nivel controlado. Este procedimiento asegura una muestra similar para comparar con un grupo de similares características, tanto en dependencia, número de alumnos, cantidad de cursos, grupo socioeconómico y ruralidad, conservando como única diferencia el contar con un profesor que ha sido sometido o no a evaluación docente. Los resultados del análisis arrojan que ambos grupos tienden a tener resultados homogéneos, tanto en Lenguaje y Comunicación como en Matemáticas.

De hecho, aplicando todos los factores de análisis, la diferencia en los promedios al segundo año de análisis (primero de observación, año de aplicación de evaluación docente) es inexistente, similar al tercer año. Solamente hay una diferencia de entrada en el año uno de observación, la que no es suficientemente significativa. De hecho, esta similitud en el año de inicio confirma la homogeneidad de los grupos de observación. Los promedios de análisis si bien son diferentes, experimentan alzas similares.

Cuadro 3

Cuadro 4

Ninguna de las pruebas estadísticas confirma la hipótesis de existencia de una influencia significativa sobre los resultados de aprendizaje de los estudiantes, expresados en los resultados de la prueba SIMCE, si consideramos con factor diferenciador el estar o no sometido al proceso de evaluación docente. Ni la prueba de regresión lineal multifactorial ni la prueba T para muestras independientes arrojan valores que validen la idea de que sí significa una diferencia real el estar sometido a evaluación docente. En sentido contrario, tampoco evidencia que esta evaluación tenga un resultado negativo.

Esto nos coloca ante una nueva categoría en el análisis de los resultados, que es la de la fiabilidad de los mismos. El procedimiento ejecutado con la segunda muestra permite establecer que efectivamente se experimentan alzas en el conjunto, pero estas alzas no son superiores entre el grupo control y el grupo contraste. La falta de pruebas que confirmen la hipótesis no solamente deja de lado la hipótesis planteada, sino que además cuestiona la manera en que se ha venido implementando la evaluación docente, ya que los efectos no se manifiestan en los resultados de los alumnos, sino en otras dimensiones no medibles en este estudio, como pueden ser cambios actitudinales y procedimentales de los mismos docentes sometidos a evaluación, que podrían ser analizados en un estudio de tipo cualitativo o con grupos control en seguimiento estricto, evaluaciones como las realizadas por el equipo del MIDE UC (Centro de Medición dependiente de la Pontificia Universidad Católica de Chile, encargado de implementar el sistema de evaluación de profesores en Chile), particularmente las dirigidas por Sandy Taut y María Verónica Santelices3 3 - Ambas académicas pertenecen a la Pontificia Universidad Católica de Chile. Los resultados de sus investigaciones pueden encontrarse en el sitio www.mideuc.cl (FONDECYT 1120441 y 1080135).

La metodología utilizada entonces manifiesta su utilidad en grupos reducidos con control absoluto de variables, pero no es suficiente para el caso de la evaluación docente. El fin último de dicha evaluación, su carácter formativo, su orientación hacia la mejora de la labor pedagógica y su intención de promover su desarrollo profesional pueden ser puestos en duda ya que estos tres fines tienen sentido en cuanto repercuten positivamente en el proceso de aprendizaje de los alumnos. Pesa en este mismo sentido la incapacidad de abarcar a la totalidad de los docentes en ejercicio con el actual sistema de evaluación docente, por lo que la metodología sugerida puede dar paso a un sistema de Evaluación de Desempeño Docente utilizable en escuelas que no estén sometidos aún al sistema de evaluación.

Conclusiones

El análisis de los resultados de este estudio permite develar nodos críticos en el proceso y fracturas en los supuestos que sustentan los argumentos con que pretende darse credibilidad al sistema. A nuestro juicio el trabajo sobre estos nodos podrá servir como insumo para re-configurar el sistema de evaluación, un sistema que, sobre aproximaciones o lecturas más complejas de articulación de sus factores incidentes, permita evidenciar efectivamente repercusiones positivas y significativas sobre el mejoramiento del desempeño de los profesores y los resultados de aprendizaje de sus alumnos. Al respecto, que la aplicación de la evaluación se realice cada cuatro años impide que se visualicen como factores medibles aquellos cursos y saberes que el profesor individualmente va adquiriendo, los procesos de ensayo — error con determinadas metodologías sobre ciertos contenidos, la mayor madurez, la concreción de procesos vitales que contribuyen a una mayor concentración en el ejercicio docente, el cambio de administración o dirección de la escuela con sus consiguientes procesos administrativos más o menos complejos y con procesos más o menos eficientes —. Es necesario por lo mismo profundizar en el análisis que se realiza sobre el proceso de evaluación de los profesores, ya que todos estos factores pueden ser equívocamente atribuidos a la evaluación docente o a otra política pública sin análisis del conjunto de factores incidentes. En la investigación hemos aislado factores como la ruralidad, los años de experiencia docente, permanencia de los profesores frente a alumnos en el mismo establecimiento. La evaluación docente actual no nos permite analizar la complejidad del contexto y quehacer que sustentan la actividad del profesor, como tampoco nos permite abarcar la realidad de la totalidad de profesores que se desempeña actualmente frente a alumnos.

Anualmente se presentan a evaluación hasta un 25% del 47% de los profesores del país quienes se desempeñan en el sistema municipal, lo que arroja un máximo de 14% del total de docentes del país. Es decir, de 100 profesores, sólo 14 están siendo sometidos a evaluación, otros 33 lo serán en algún momento y 53 nunca lo serán bajo la normativa actual. Este dato no se condice con la alta profusión que tienen los resultados de la evaluación docente cada año y que justifican en el discurso las modificaciones a la forma en que los profesores ejercen su trabajo. Los resultados de la evaluación docente sirven como justificación de la totalidad de los discursos vinculados a educación que brotan desde los programas del gobierno de turno.

Los profesores en general logran responder a una buena evaluación docente entendiendo por esto como un saber responder al instrumento propuesto, instrumento que ha afinado cada vez más su capacidad para detectar a los docentes que responden al perfil deseado, declarado por el MBE, perfil que a su vez asegura los resultados del SIMCE según los estudios realizados por el equipo del MIDE UC, en particular por los estudios realizados por Sandy Taut y Jorge Manzi (particularmente en el desarrollo del proyecto FONDECYT 11204414 4 - Sus resultados se encuentran disponibles en el sitio www.mideuc.cl , Validation of the Chilean national teacher evaluation system using student learning progress and in-depth examination of teaching practice, 2012-2015. Las modificaciones a la evaluación docente han tendido a perfeccionar este instrumento sin plantearse modificar su naturaleza o condiciones de aplicabilidad.

Todos estos elementos permiten concluir que el proceso de evaluación de profesores en Chile se encuentra mal orientado, en pleno desarrollo de una agenda de validación de sus resultados a través de la confirmación de su validez por la extensión y poca resistencia al sistema, cuestión que no se condice con los efectos reales esperados (mejora en los puntajes totales en pruebas estandarizadas) ni con el mejoramiento de prácticas docentes de manera general.

Junto con la implementación de un proceso más global y periódico, urge revisar la intensidad del proceso de evaluación docente, que en términos generales repercute negativamente tanto en los niveles de estrés como en la percepción de eficiencia laboral tanto de los docentes participantes (cita de nuestro proyecto) como de los demás actores involucrados, como son autoridades y funcionarios municipales (SANTELICES et al., 2013SANTELICES, María Verónica et al. Consecuencias a nivel local de un sistema de evaluación de profesores: el caso de Chile. Revista Estudios Pedagógicos, Valdivia, v. 39, n. 2, p. 299-328, 2013.). Un sistema menos intensivo, más desatomizado en el tiempo y mejor ubicado dentro del conjunto de tareas docentes permitirá tener una evaluación menos contaminada por resistencias y presiones.

Asimismo se necesita que la implementación de un sistema de evaluación docente sea extensiva a todo el sistema educacional, indistinto de la fuente de financiamiento que ésta tenga. Actualmente al aplicarse solamente sobre el sector docente de dependencia municipal se afecta en la extensión y amplitud de los resultados (debido a la aplicación de la prueba a un porcentaje cercano al 14% anual del total de profesores del país) dando la impresión de tener un sistema de evaluación que no afecta a privados y por lo tanto divide la comprensión sobre qué es educación y su ámbito público.

Todo esto, junto con las indicaciones realizadas por otros organismos, como el planteado por la OCDE (2013)OCDE.Teachers for the 21st century: using evaluation to improve teaching. Paris: OECD, 2013., con su importante aporte desde el estudio Teachers for the 21st centutry. Using evaluation to improve teaching, que plantea en sus análisis de la situación de Chile las fortalezas y sugerencias de modificación para nuestro sistema de evaluación (SANTIAGO et al., 2013SANTIAGO, Paulo et al. Teacher evaluation in Chile 2013, OECD. Reviews of Evaluation and Assessment in Education, Paris, OECD. 2013. Disponible en: <http://dx.doi.org/10.1787/9789264172616-en>. Acceso en: 10 nov. 2014.
https://doi.org/10.1787/9789264172616-en...
), nos confirma la necesidad de revisar a la luz de otros sistemas el proceso chileno. Sistemas como el implementado en Estados Unidos (Tenessee) o el implementado gradualmente en México (Monterrey) hacen referencia a procesos que combinan evaluación de pares, desarrollo de portafolios y evaluación de sujetos vinculados (alumnos, comunidad educativa) que compartidos y ponderados adecuadamente en su conjunto y con periodicidad anual permiten verificar los reales progresos o retrocesos en el desempeño y la repercusión sobre el aprendizaje de los profesores, permitiendo de manera efectiva incorporar correcciones en un período acotado de tiempo por la referencia concreta al contexto en que las deficiencias pueden verse evidenciadas.

Estas modificaciones surgen de la necesidad evidente de contar con sistemas de evaluación de profesores en todos los países, coherente con la complejidad de los procesos educativos y las tendencias de administración internacional, pero estos sistemas deben ser al mismo tiempo facilitadores del proceso docente y promotores del cambio y la mejora efectiva en el ámbito educacional.

Referencias

  • ALVARADO, Macarena et al. La evaluación docente y sus instrumentos: discriminación del desempeño docente y asociación con los resultados de los estudiantes. Santiago de Chile: Centro de Estudios Mide UC, 2012. Disponible en: <http://mideuc.cl/wp-content/uploads/2012/07/201206290959280.20120628WPEvaluacionDocenteFinal.pdf>. Acceso en: 10 nov. 2014.
    » http://mideuc.cl/wp-content/uploads/2012/07/201206290959280.20120628WPEvaluacionDocenteFinal.pdf
  • BACKHOFF, Eduardo et al. Factores escolares y aprendizaje en México: el caso de la educación básica. México: INEE, 2007. Disponible en: <http://www.oei.es/pdfs/factores_escolares_aprendizaje_mexico.pdf>. Acceso en: 10 nov. 2014.
    » http://www.oei.es/pdfs/factores_escolares_aprendizaje_mexico.pdf
  • BRAVO, David et al. La relación entre la evaluación docente y el rendimiento de los alumnos: evidencia para el caso de Chile. Santiago de Chile: Centro de Microdatos Universidad de Chile, 2008.
  • BRUNNER, José Joaquín; ELAQUA, Gregory. Factores que inciden en una educación efectiva Santiago de Chile: Escuela de Gobierno Universidad Adolfo Ibañez, 2004. Disponible en: <http://www.opech.cl/bibliografico/evaluacion/Brunner%20OEA.pdf>. Acceso en: 10 nov. 2014.
    » http://www.opech.cl/bibliografico/evaluacion/Brunner%20OEA.pdf
  • CARROLL, John. The Carroll model A-25 year retrospective and prospective view. Educational Research, v. 18, n. 1, p. 26-31, jan. 1989.
  • CERÓN, Francisco; LARA, Miriam. Factores asociados con el rendimiento escolar Santiago de Chile: MINEDUC/SIMCE, 2011. (Documento de trabajo).
  • CHILE. Factores que inciden en el rendimiento de los alumnos: nota técnica. Santiago de Chile: Ministerio de Educación, 2003.
  • CHILE. Decreto 192 del 30 de agosto de 2004. Reglamento Aplicación Evaluación Docente, Santiago de Chile, Ministerio de Educación, 2004a.
  • CHILE. Ley 19.961 del 14 de agosto de 2004. Evaluación Docente, Santiago de Chile, Ministerio de Educación, 2004b.
  • CHILE. Marco para la buena enseñanza Santiago de Chile, Ministerio de Educación, 2005.
  • CHILE. Factores asociados con el rendimiento escolar Santiago de Chile, Ministerio de Educación/SIMCE, 2011. (Documento de trabajo; 2).
  • MANZI, Jorge et al. La evaluación docente en Chile. Santiago de Chile: Centro de Medición/MIDE UC, 2010.
  • OCDE.Teachers for the 21st century: using evaluation to improve teaching. Paris: OECD, 2013.
  • SANTELICES, María Verónica et al. Consecuencias a nivel local de un sistema de evaluación de profesores: el caso de Chile. Revista Estudios Pedagógicos, Valdivia, v. 39, n. 2, p. 299-328, 2013.
  • SANTIAGO, Paulo et al. Teacher evaluation in Chile 2013, OECD. Reviews of Evaluation and Assessment in Education, Paris, OECD. 2013. Disponible en: <http://dx.doi.org/10.1787/9789264172616-en>. Acceso en: 10 nov. 2014.
    » https://doi.org/10.1787/9789264172616-en
  • TAUT, Sandy; SANTELICES, María Verónica; ARAYA, Carolina; Manzi, Jorge. Perceived effects and uses of the national teacher evaluation system in Chilean elementary schools. Studies in Educational Evaluation, Tel-Aviv, v. 37, p. 218-229, 2011.
  • TREVIÑO, Ernesto; DONOSO, Francisca. Agrupaciones de escuelas para intervenciones de políticas: análisis del caso chileno. Santiago de Chile: Facultad de Educación, Universidad Diego Portales, 2010. Disponible en: <http://www.educacion2020.cl/index.php?option=com_docman&task=doc_download&gid=100&Itemid=55>. Acceso en: 10 nov. 2014.
    » http://www.educacion2020.cl/index.php?option=com_docman&task=doc_download&gid=100&Itemid=55
  • VILLALOBOS, Guadalupe; PEDROZA, Ramón. Perspectiva de la teoría del capital humano acerca de la relación entre educación y desarrollo económico. Revista Tiempo de Educar, Toluca, D. F., v. 10, n. 20, p. 273-306, jul./dic. 2009.
  • 1
    - El Sistema de Medición de la Calidad de la Educación (SIMCE) surge en la década de 1980 como una medición estandarizada con el objetivo informar a los actores educativos sobre el nivel educacional alcanzado por los estudiantes, siendo su primera aplicación efectiva en el año 1988.
  • 2
    - El estándar común de aplicación es cada cuatro años, pero los docentes calificados de básicos deben volver a evaluarse a los dos años, y los calificados como insatisfactorios deben realizar su nueva evaluación al año siguiente.
  • 3
    - Ambas académicas pertenecen a la Pontificia Universidad Católica de Chile. Los resultados de sus investigaciones pueden encontrarse en el sitio www.mideuc.cl
  • 4
    - Sus resultados se encuentran disponibles en el sitio www.mideuc.cl
  • I
    El presente artículo forma parte de un macro-proyecto titulado Impactos y contra impactos de la evaluación docente en la Identidad profesional de los profesores. FONDECYT nº11110177.
  • I
    FONDECYT nº11110177.

Fechas de Publicación

  • Publicación en esta colección
    Jan-Mar 2015

Histórico

  • Recibido
    09 Jun 2014
  • Acepto
    12 Ago 2014
Faculdade de Educação da Universidade de São Paulo Av. da Universidade, 308 - Biblioteca, 1º andar 05508-040 - São Paulo SP Brasil, Tel./Fax.: (55 11) 30913520 - São Paulo - SP - Brazil
E-mail: revedu@usp.br