LA JURISPRUDENCIA TERAPÉUTICA COMO INSTRUMENTO DE ANÁLISIS CRÍTICO DE LAS POLÍTICAS DE EVALUACIÓN A GRAN ESCALA: CONTRIBUCIONES A LA PROTECCIÓN Y LA LEGITIMIDAD DE LOS DATOSResumen
Este trabajo presenta la Justicia Terapéutica como un enfoque innovador en la formulación e implementación de políticas públicas, con énfasis en la política de evaluación educativa a gran escala. La originalidad de la propuesta radica en la aplicación de esta perspectiva en el campo de la legislación educativa, un ámbito aún poco explorado desde esta óptica. El objetivo principal es demostrar, a nivel teórico, que los procesos evaluativos pueden generar impactos psicoemocionales significativos en los individuos involucrados, produciendo efectos potencialmente antiterapéuticos. Se trata de una investigación bibliográfica que articula referencias de los campos de la educación, el derecho y la cibernética, con el propósito de ampliar la comprensión de los efectos subjetivos de las políticas evaluativas. Los resultados sugieren que la Justicia Terapéutica puede ofrecer contribuciones relevantes en dos momentos clave: en la elaboración de la norma que instituye la política, permitiendo un análisis crítico y preventivo de sus posibles efectos; y en la evaluación de su aplicación, considerando las consecuencias concretas derivadas de su ejecución. La política pública se entiende como un sistema de mensajes que, al implementarse, retroalimenta sus propios objetivos iniciales. En este contexto, la Justicia Terapéutica propone valorar los criterios cualitativos-especialmente los psicoemocionales-como vía para ampliar y humanizar el análisis de los resultados de las evaluaciones a gran escala, superando un enfoque centrado exclusivamente en indicadores cuantitativos.
Palabras clave:
evaluación a gran escala; justicia terapéutica; derecho educativo.
Resumo
O trabalho apresenta a Therapeutic Jurisprudence como uma abordagem inovadora na formulação e implementação de políticas públicas, com ênfase na política de avaliação educacional em larga escala. A originalidade da proposta reside na aplicação dessa perspectiva no campo da legislação educacional - um campo ainda pouco explorado sob essa ótica. O objetivo principal é demonstrar, em nível teórico, que os processos avaliativos podem produzir impactos psicoemocionais significativos nos indivíduos envolvidos, gerando efeitos potencialmente antiterapêuticos. Trata-se de uma pesquisa bibliográfica que articula referenciais das áreas da educação, do direito e da cibernética, com o intuito de ampliar a compreensão sobre os efeitos subjetivos das políticas avaliativas. Os resultados sugerem que a Therapeutic Jurisprudence pode oferecer importantes contribuições em dois momentos cruciais: na elaboração da norma que institui a política, ao permitir uma análise crítica e preventiva de seus possíveis efeitos; e na avaliação de sua aplicação, ao considerar as consequências concretas advindas de sua execução. A política pública é compreendida como um sistema de mensagens que, ao ser implementado, retroalimenta seus próprios objetivos iniciais. Nesse contexto, a Therapeutic Jurisprudence propõe a valorização de critérios qualitativos, sobretudo psicoemocionais, como forma de ampliar e humanizar a análise dos resultados das avaliações em larga escala, superando uma abordagem centrada exclusivamente em indicadores quantitativos.
Palavras-chave:
avaliação em larga escala; therapeutic jurisprudence; direito educativo.
Abstract
This paper presents Therapeutic Jurisprudence as an innovative approach to the formulation and implementation of public policies, with an emphasis on large-scale educational evaluation policy. The originality of the proposal lies in the application of this perspective to the field of educational legislation - a field that remains underexplored from this viewpoint. The main objective is to theoretically demonstrate that evaluation processes can have significant psycho-emotional impacts on the individuals involved, generating potentially antitherapeutic effects. This is a bibliographic study that draws on references from the fields of education, law, and cybernetics, aiming to expand understanding of the subjective effects of evaluative policies. The results suggest that Therapeutic Jurisprudence can offer valuable contributions at two critical moments: first, during the drafting of the policy, by enabling a critical and preventive analysis of its possible effects; and second, in assessing its implementation by considering the concrete consequences of its application. Public policy is understood as a system of messages that, once implemented, feeds back into its original objectives. In this context, Therapeutic Jurisprudence proposes the valorization of qualitative criteria-especially psychoemotional ones-as a means to broaden and humanize the analysis of large-scale assessment outcomes, moving beyond an approach focused solely on quantitative indicators.
Keywords:
large-scale assessment; therapeutic jurisprudence; education law.
1 INTRODUCCIÓN
Este trabajo se inserta en el campo del Derecho Educativo, entendido como el estudio de las las leyes que regulan el derecho a la educación, las políticas educativas y las demás normas que definen metas y direcciones para la enseñanza en sus diversos niveles. Se trata, por lo tanto, de la convergencia entre dos grandes áreas del conocimiento - educación y derecho - articuladas en un espacio que valora la multiplicidad de saberes y construye un locus discursivo específico.
Explicado este contexto, aunque brevemente, resulta importante destacar que sobre el estudio de las evaluaciones en gran escala, tema este muy tratado por la educación, se inserta la mirada de Therapeutic Jurisprudence. La Therapeutic Jurisprudence tiene origen en el derecho y según su principal exponente, David Wexler, puede ser comprendida como una forma de investigar los impactos que el derecho causa sobre las personas que sufren su incidencia, siendo esos efectos clasificados como “terapéuticos” o “antiterapéuticos”, ya que sus consecuencias son evaluadas a partir de la esfera psicoemocional del indivíduo.
Se trata de una abordaje singular e innovadora, visto que no se han encontrado trabajos científicos publicados que apliquen la Therapeutic Jurisprudence a la legislación educacional. Bajo este prisma, se propone investigar las consecuencias psicoemocionales promovidas por una determinada norma - en el presente contexto, aquellas relativas a las evaluaciones educacionales - sobre las personas impactadas por la ley.
Considerando que las políticas públicas, inclusive las educacionales, se materializan por medio de normas (leyes, resoluciones, pareceres, entre otros), se observa un campo relevante de aplicación para la Therapeutic Jurisprudence en el ámbito educativo, justamente para comprender de qué modo dichas políticas afectan a las personas a las que se destinan. Los impactos identificados y las propuestas de intervención deben considerar el estado psicoemocional de los involucrados, tal como se mencionó. Se trata, por lo tanto, de una nueva perspectiva sobre las evaluaciones en gran escala, en la cual la comunidad académica se analiza no solo por la métrica del aprendizaje, sino también por las emociones y sentimientos despertados por las políticas vigentes.
La temática es relevante, pues como ya fue estudiado por la literatura (Silva et al., 2023; Padilha; Araújo; Venancio, 2024), hay demostraciones de malestar de profesores, por factores directamente relacionados a las actividades laborales impuestas por normas jurídicas. Además, hay estudios que sugieren la posibilidad de consecuencias psicoemocionales derivadas de políticas públicas que afectan no solo a los profesores, sino también a los alumnos (Bando; Fensterseifer, 2024). Por lo tanto, hay un enfoque diferente sobre un problema importante, de modo que es pertinente investigar las posibles contribuciones que la Therapeutic Jurisprudence puede aportar al campo de las políticas públicas educativas de evaluaciones a gran escala.
Para ello, se realizó una investigación bibliográfica a partir de materiales publicados en la plataforma SciELO, en revistas científicas y en libros de las áreas de la Educación y del Derecho. Adicionalmente, se realizó una investigación documental con la recopilación de leyes y demás actos normativos correlacionados con el tema.
Con la conciencia de que los gestores emplean los datos obtenidos en esas evaluaciones para modelar sus formas de gestión, se busca fortalecer el proceso de obtención de esos datos, minimizando los riesgos de manipulación y de distorsión de realidades. Para eso, el análisis cualitativo del proceso de evaluación parece ser un campo fértil para la Therapeutic Jurisprudence.
A la luz de estas consideraciones, el presente artículo se estructura en tres partes, siendo la primera relacionada con el sistema de evaluaciones a gran escala, la segunda sobre las ventajas y críticas que pueden dirigirse a las evaluaciones a gran escala y, por último, una tercera parte que analiza la posibilidad de encarar la educación propuesta por las políticas vigentes como un elemento potencialmente “terapêutico” o “antiterapéutico”.
Se trata de una temática que, aunque no sea inédita, recibe aquí un enfoque innovador, dado que la literatura señala la poca inserción del Derecho Educativo y de la Therapeutic Jurisprudence en esta área. Bajo esta perspectiva, el estudio arroja luz sobre el tema para desvelar caminos y desafíos, promoviendo el avance del conocimiento mediante una integración interdisciplinaria significativa.
2 EL SISTEMA DE EVALUACIÓN A GRAN ESCALA: UN BREVE RELATO DE SU CONTEXTUALIZACIÓN HISTÓRICA EN BRASIL
Evaluar un programa o un sistema consiste en conocer el trayecto existente entre el objetivo puesto en práctica y los resultados alcanzados por esa práctica. Es verificar si los medios empleados son adecuados para garantizar la correcta alineación entre el punto de partida (el principio) y el punto de llegada (el fin).
En el ámbito educativo, las evaluaciones, en teoría, deberían servir para medir el crecimiento del aprendizaje del alumno mediante las metodologías de enseñanza propuestas. Es decir, la propuesta educativa (objetivo) es lograr que los alumnos aprendan más y/o mejor. Para eso elege una metodología de enseñanza (el recorrido - establecido por las políticas educacionais). Al final, se busca verificar si los estudiantes expuestos a la metodología propuesta obtuvieron mayor aprendizaje, validando, así, los métodos adoptados."
Para Brelaz, et al. (2025, p. 5, traducción nuestra):
Las métricas son, fundamentalmente, herramientas que, en un primer momento, generan complejidad, nuevas preguntas y perspectivas, pero que permiten una autoevaluación más precisa. La complejidad, en este caso, está relacionada con la formulación de preguntas, respuestas, debates que tienen el potencial de generar más y mejores resultados a partir de las acciones de la universidad.
Sin embargo, de acuerdo con Ribeiro y Souza (2023, p. 3), se tiene que a partir de una “visión economicista, el rendimiento económico del país pasa por el buen desempeño del sistema educacional, habiendo una fuerte asociación entre educación y desarrollo económico”. En ese mismo sentido, Medeiros y Sudbrack (2022, p. 110, traducción nuestra) apuntan que:
Para los organismos multilaterales, la principal causa de la deterioración económica y social de los países es la crisis de la educación. Estratégicamente, atribuyen a los sistemas educativos la responsabilidad de los resultados medidos en las evaluaciones que monitorean la calidad de la educación. En efecto, las escuelas pasan a responder a los intereses del capital, en los que se valora la performatividad, regulación y control, meritocracia, y la obligación de los resultados numéricos, como es el caso de la evaluación a gran escala.
Por ello, los procesos de evaluación a gran escala estarían más atados a las finalidades de protección del capital y del desarrollo económico nacional que a la educación en sí.
Independientemente de la perspectiva adoptada, una evaluación a gran escala implica medir, simultáneamente, el rendimiento de un volumen significativo de estudiantes o de instituciones de enseñanza. El alcance de este tipo de análisis trasciende el aula, pudiendo abarcar escalas municipales, estatales o nacionales. En Brasil, se destacan instrumentos como el ENEM y el ENADE, constituidos por cuestionarios institucionales y exámenes aplicados a estudiantes de la Educación Básica y Superior con el objetivo de medir la calidad de la enseñanza. En ámbito internacional, el PISA evalúa el aprendizaje de estudiantes en diversos países. Estos son algunos ejemplos de evaluaciones a gran escala que fundamentarán la discusión propuesta en este artículo.
La historia reciente traza por Brasil en las evaluaciones a gran escala comenzó en 1996, con la promulgación de la Ley n. 9.394, conocida como la Ley de Directrices y Bases de la Educación Nacional. Se trata de un marco legislativo importante en el presente contexto, ya que establece la necesidad de evaluación de la educación. En su artículo 9º se determina que:
Art. 9º La Unión se encargará de:
[...]
VI - asegurar un proceso nacional de evaluación del rendimiento escolar en la educación básica, media y superior, en colaboración con los sistemas educativos, con el objetivo de definir prioridades y mejorar la calidad de la enseñanza
[...]
VIII - asegurar un proceso nacional de evaluación de las instituciones de educación superior, con la cooperación de los sistemas que tengan responsabilidad sobre este nivel de enseñanza (se subrayó) (traducción nuestra).
Más adelante, en su artículo 37, párrafo segundo, al tratar de la Educación de Jóvenes y Adultos, el legislador indicó que “Los conocimientos y habilidades adquiridos por los estudiantes por medios informales serán evaluados y reconocidos mediante exámenes.”
A partir de este marco, se instituyó la política de evaluación a gran escala en Brasil, la que sería regulada y ejecutada en los años subsiguientes. Tras la promulgación de la ley federal correspondiente, correspondió al Ministerio de Educación (MEC) disciplinar la materia. Así, mediante la Portaria nº 438, de 25 de mayo de 1998, el Ministerio creó el Examen Nacional del Ensino Médio (Enem) - examen compuesto por preguntas de opción múltiple y redacción, con el propósito de medir las competencias y habilidades de los estudiantes al finalizar la Educación Media.
En un primer momento, el ENEM tenía como objetivo único evaluar a los alumnos en su fase final de la educación básica. Sin embargo, posteriormente, tal herramienta evaluativa pasó a servir, también, para contribuir con la democratización del acceso a las instituciones de enseñanza superior, según se observa en el discurso gubernamental (Silveira; Barbosa; Silva, 2015).
Brasil comenzó a participar, también, en procesos de evaluaciones internacionales, promovidos por la Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura (UNESCO), Asociación Internacional de Evaluación del Rendimiento Escolar (IEA), Estudio Internacional de Tendencias en Matemáticas y Ciencias (TIMMS), Estudio Internacional de Progreso en Lectura (PIRLS) y Estudio Internacional de Educación Cívica y Ciudadanía (ICCS), siendo el PISA, creado en 2000 por la Organización para la Cooperación y el Desarrollo Económico (OCDE), el más importante de ellos.
Según el gobierno federal, el PISA busca lograr dos objetivos centrales: proporcionar una referencia internacional sobre la educación brasileña en comparación con otros países y mejorar las metodologías y tecnologías de evaluación educativa (Neto, 2024). Brasil participa del programa desde su primera edición. Dirigido a estudiantes de 15 años, el examen evalúa competencias en las áreas de Lectura, Matemáticas y Ciencias.
En el año 2004, la Ley n.º 10.861/04 instituyó el Sistema Nacional de Evaluación de la Educación Superior - SINAES. En su artículo 5º, la mencionada ley estableció que “La evaluación del rendimiento de los estudiantes de los cursos de grado será realizado mediante la aplicación del Examen Nacional de Desempeño de los Estudiantes - ENADE". Este artículo cuenta con 11 párrafos que traen las características de esa evaluación de desempeño, pero la reglamentación especificada queda a cargo del Ministerio de Educación y Cultura, que por medio de reglamentos establece cómo se llevará a cabo la evaluación. La orden publicada más reciente es la Portaria n. 611, del 27 de junio de 2024.
Conforme lo dispuesto en el párrafo 1.º del artículo 5.º de la Ley n.° 10.861/04,
ENADE medirá el rendimiento de los estudiantes en relación con los contenidos programáticos previstos en las directrices curriculares del respectivo curso de grado, sus habilidades para el ajuste ante las exigencias derivadas de la evolución del conocimiento y sus competencias para comprender temas ajenos al ámbito específico de su profesión, vinculados a la realidad brasileña y mundial y a otras áreas del conocimiento. (traducción nuestra)
El ENADE tiene como objetivo evaluar a los discentes para permitir que las instituciones de enseño superior pudieran mejorar la prestación de la educación. Se evalúa el rendimiento de la competencia de los alumnos en relación con los cursos de grado que cursaron (Silva, Ferraz, 2018).
Como se puede percibir, Brasil avanza en un camino de casi 30 años en la implementación de políticas públicas de evaluación. La historia de las políticas de evaluación en gran escala en Brasil no se resume a esas tres evaluaciones, pero ciertamente ellas representan buenos ejemplos para lo que se propone en este trabajo.
Se evidencia, con base en la historia reciente presentada, que se atribuye una importancia gran a los procedimientos de evaluación de la educación en Brasil, pero ante ello, pregunta: y quién evalúa la evaluación?
3 QUIÉN AVALA LAS EVALUACIONES? LAS POLÉMICAS DESTACADAS EN LA PRODUCCIÓN CIENTÍFICA
Se sabe que la evaluación a gran escala se configura como una temática controvertida en el ámbito educativo, abarcando desde su enfática defensa hasta severas críticas. Con el fin de mapear la producción científica reciente sobre el tema, se realizó un muestreo de artículos publicados en 2024 en la plataforma SciELO, utilizando los descriptores “evaluación” y “gran escala”. De los nueve resultados obtenidos, se seleccionaron los seis trabajos directamente correlacionados a los objetivos de este estudio.
Como se esperaba, al analizar los artículos, se encontraron entendimientos en el sentido de defensa y crítica sobre las evaluaciones. Incluso tratándose de una muestra pequeña de trabajos, fue posible comprender los elementos que envuelven las disputas relativas a la temática.
El artículo “Construct Validity and Reliability of the Scale of Attitudes towards External Assessments Applied on a Large Scale”, de Soares, et al. (2024) señala que a partir de las evaluaciones realizadas, en algunos casos, se prevén bonificaciones salariales sustanciales a profesores que alcanzan las metas educacionales preestablecidas y que eso puede generar conductas que busquen obtener el beneficio a cualquier costo, incluso si el resultado obtenido no representa la realidad vivenciada en el aula.
Además, se critica el hecho de que muchos docentes prioricen los contenidos cobrados en las evaluaciones en detrimento de otras áreas del conocimiento, lo que representaría una distorsión de los resultados. Por otro lado, los autores señalan que una parte de los profesores percibe la bonificación por desempeño como una valorización profesional capaz de elevar sus rendimentos, resaltando que tal incentivo puede inducir a una mayor dedicación y a la mejora de la calidad de la enseñanza.
El artículo de Ferrarotto y Garcia (2024), titulado “El lugar de la evaluación en los proyectos pedagógicos de las licenciaturas en Matemática de una institución pública de São Paulo” señala entendimiento, por parte de investigadores, en el sentido de que las políticas públicas basadas en evaluaciones a gran escala promueven acciones de la gestión basadas en metas y criterios cuantitativos, el enfoque en las competencias y habilidades de los alumnos, la capacitación para la realización de pruebas estandarizadas, la supervisión del trabajo docente y su responsabilización por resultados obtenidos, entre otras circunstancias.
Desde otra perspectiva, se destaca que, para parte de los investigadores, las evaluaciones institucionales son fundamentales por diagnosticar fragilidades y potencialidades que necesitan de intervención. Conforme señalan los autores, la articulación entre las evaluaciones formativas en el aula y los exámenes a gran escala es prometedora para fomentar reflexiones y dirigir acciones basadas en esos datos.
Garcia y Miranda (2024) demuestran en el artículo “Las evaluaciones externas y en gran escala en la formación inicial de profesores en Brasil: qué espacio ocupan?” la existencia de una pelea entre grupos que “idolatran” las evaluaciones a gran escala y otros que la “demonizan”. Según los autores:
[…] hay un gran debate entre quienes “se entusiasman con ellas; por ejemplo, maravillados con la supuesta precisión que sus números - los resultados - tendrían la capacidad de revelar la “verdad” de sus redes y escuelas”, y de otros que las rechazan “como si fueran sinónimo de un “mal”, como si fueran intrínsecamente desprovistas de cualquier significado o importancia, como si no tuvieran ninguna validez y fueran desprovistas de cualquier consistencia” (Alavarse, 2013, p. 140, traducción nuestra).
El estudio resalta que los resultados de las evaluaciones son frecuentemente utilizados por los gobiernos para la implementación de políticas públicas en los ámbitos nacional, estatal y municipal, orientando a gestores y buscando una mejora en la calidad de la enseñanza, señalando, no obstante, que esa relación directa entre las evaluaciones y la calidad de la educación es cuestionable. En ese sentido, destacan la presencia de esta política de evaluación en 20 estados y en el Distrito Federal, y en más de 1.500 municipios, estando en proceso de implementación en otras 1.000 ciudades. Es decir, se trata de una realidad ya establecida.
Los autores entienden que las evaluaciones pueden traer resultados interesantes. Utilizan como ejemplo el PISA, que debería ser visto como un valor de referencia y no como un dato determinante de la calidad de la enseñanza. Aducen que las pruebas no son elementos definitivos para las políticas educacionales, pues los contenidos examinados son limitados y no representan todo el proceso educativo, pero posibilita la creación de indicadores que, de alguna forma, pueden contribuir al seguimiento del cumplimiento del derecho a la educación.
El artículo “Evaluaciones a gran escala en América Latina: problematizando la calidad de la educación escolar” de Machado, Alavarse, Chappaz (2024) presenta que hay una asociación entre los resultados obtenidos en evaluaciones a gran escala y el desarrollo del país. Los autores cuestionan el concepto de “calidad de la enseñanza”, presentando una serie de entendimientos originados de diferentes puntos de partida.
Según los autores, la calidad de la educación puede entenderse a partir de los resultados alcanzados o de sus procesos desarrollados, dependiendo de los intereses de quien a conceptualizar. En ese sentido, destacan el papel y la influencia del Banco Mundial, que vincula la calidad al resultado obtenido en las pruebas estandarizadas. El trabajo no niega la importancia de las mediciones, pero entiende que la evaluación no puede limitarse a ellas, debiendo haber reflexión sobre las concepciones metodológicas adoptadas para que las evaluaciones no resulten en herramientas generadoras de percepciones reduccionistas sobre la calidad de la enseñanza, que desatienden aspectos como el contexto social y económico de donde se realiza la evaluación.
Bauer (2024) relata en el artículo “Evaluación a gran escala y establecimiento de metas y indicadores educativos: usos y abusos de la cuantofrenia” la existencia de un énfasis en los aspectos cuantitativos de las evaluaciones, en detrimento de cuestiones que se relacionan con el aprendizaje y con el significado pedagógico de los datos obtenidos, en un sentido orientado al logro de metas. Señala además que, además del uso de los datos como diagnóstico de lo que está ocurriendo en la educación, los datos obtenidos en las evaluaciones están sirviendo para la toma de decisiones de los gestores, es decir, los datos se utilizan para fundamentar diversas modificaciones en la educación.
Según Bauer (2024), mientras que las evaluaciones censales podrían servir para diagnosticar la “salud” educativa y analizar disparidades individuales, las evaluaciones muestrales tendrían como función monitorear el aprendizaje y orientar políticas públicas. La autora resalta que, sobre todo después de la creación del Índice de Desarrollo de la Educación Básica (Ideb), estos exámenes pasaron a estar dirigidos al cumplimiento de metas y al establecimiento de estándares. Es precisamente bajo este prisma donde se concentran las severas críticas a las evaluaciones cuantitativas, acusadas de descuidar la complejidad de los procesos educativos.
Bajo la perspectiva empírica, la investigación reveló que más del 70% de los docentes investigados reconocen la mejora del aprendizaje como una de las finalidades centrales de la evaluación. El aumento del índice del Ideb fue citado por el 33,6% de los participantes, mientras que la orientación de la gestión escolar figuró en el 33,3% de las respuestas. Además, se constató que el examen estandarizado se consolida como el principal instrumento evaluativo municipal (presente en más del 90% de las redes), seguido por el uso de portafolios de actividades (48%) y cuestionarios de estudiantes (31,3%).
Por último, el estudio de Silveira, Esquinsani (2024), titulado “La gestión de la educación nacional a través del protagonismo de las evaluaciones a gran escala del Pisa”, aporta elementos sobre el protagonismo de los organismos internacionales y su interferencia en la creación y el desarrollo de políticas educativas, impulsando las evaluaciones desde una perspectiva neoliberal cuyo objetivo es “promover el sistema de mercado adaptado a la estructura administrativa del Estado, de presionar la actuación competitiva, de transformar a los individuos en clientes, de privatizar y someter los servicios sociales a la dinámica de la eficacia y de la eficiencia” (Silveira; Esquinsani, 2024, p. 4, traducción nuestra).
Las autoras indican, además, que el sistema de evaluación adopta un paradigma contable gerencial, de sesgo notablemente empresarial y mercadológico. Bajo esta perspectiva, la difusión y la clasificación de los resultados funcionan como estrategias para inducir el consumo de productos educativos presentados como soluciones para la mejora de la calidad de la enseñanza y para la formación de sujetos aptos a las demandas del mercado laboral.
Aunque la muestra de estudios sea limitada, es posible confirmar que existen entendimientos acerca de las evaluaciones a gran escala que se oponen. Sin embargo, lo que debe destacarse de esta muestra es que muchas de las críticas están dirigidas a la metodología de las evaluaciones, sin negar, no obstante, que podrían aportar contribuciones si fueran desarrolladas de otras formas. Bajo esa perspectiva es posible entender que hay un apoyo legítimo a las evaluaciones, pues a partir de ellas podrían recogerse datos importantes relacionados a diagnósticos y panoramas sobre la educación, pero de la forma en que las evaluaciones están estructuradas - de forma cuantitativa - y cómo se utilizan los datos - como indicadores de estándar de calidad - recaen críticas igualmente legítimas.
También se destaca que en la investigación realizada sobre la producción de artículos científicos relacionados con el Sistema Nacional de Evaluación de la Educación Superior (SINAES), comprendidos entre los años 2004 y 2024, cuantitativamente se evidenció la relevancia de la discusión que involucran estos procesos evaluativos en la educación superior (Vieira; Ferreira; Guerra, 2024). Es decir, la controversia sobre las evaluaciones a gran escala no es nueva y parece que no está muy cerca de cerrarse.
Así, al adoptar una posición intermedia que reconoce la relevancia de las evaluaciones, pero problematiza la adecuación de sus metodologías vigentes, se propone investigar las contribuciones que la Therapeutic Jurisprudence puede aportar a esta discusión.
4 LAS POLÍTICAS EDUACIONALES “(ANTI)TERAPÉUTICAS”: EL PROCESO DE EVALUACIÓN A GRAN ESCALA BAJO LAS LENTES DE LA THERAPEUTIC JURISPRUDENCE
Según Winick y Wexler (2003), la Therapeutic Jurisprudence consiste en el estudio de el impacto que una determinada ley - concebida como un agente (anti)terapéutico - provoca sobre la vida emocional y el bienestar psicológico de las personas afectadas por la aplicación de la norma. Se trata del estudio de las consecuencias concretas y las perspectivas que determinada legislación puede ejercer dentro de un contexto social. Se puede decir que la Therapeutic Jurisprudence considera a las políticas públicas como una fuerza social y que pueden causar consecuencias positivas y negativas sobre las personas que sufren su incidencia (Wexler, 2018).
Bajo esta perspectiva, las leyes que dan movimiento a las políticas públicas educativas y regulan los procesos de evaluación a gran escala, potencialmente, promueven efectos “terapéuticos” y “antiterapéuticos”.
En el marco de este estudio, se observa que el establecimiento de metas de productividad vinculadas a la remuneración docente constituye un importante factor estresor psicoemocional. Como se mencionó anteriormente, una parte significativa de las críticas a las evaluaciones a gran escala se dirige precisamente a la presión por resultados ejercida sobre los docentes y los gestores. Las manifestaciones de ese estrés se muestran de diversas formas entre los profesionales de la educación. Como señalan Boicko y Timm (2024, p. 430), “las transformaciones y exigencias impuestas a los docentes en la contemporaneidad son muchas, ocasionando mucho sufrimiento y desencanto con la profesión para una gran parte de la categoría”. En este sentido, las autoras sostienen que la ansiedad derivada de la rutina docente puede asumir matices tanto positivos como negativos, según la capacidad de afrontamiento del individuo.
Esta condición, de transformar las dificultades en momentos de fortalecimiento, sin desarrollar ningún tipo de patología, se denomina eustrés. Este, a su vez, es lo inverso del distrés, en el que el desafío de lidiar con situaciones conflictivas puede llevar al desarrollo de enfermedades como la ansiedad e incluso al burnout (Boicko; Timm, 2024, p. 431, traducción nuestra).
Es precisamente sobre esos efectos que la Therapeutic Jurisprudencese centra, al investigar los impactos producidos por la legislación. Aunque las situaciones complejas involucran múltiples factores desencadenantes, el enfoque busca consolidar el marco normativo como un factor de protección, y no de riesgo. Ante el hallazgo de las autoras de que la ansiedad, además de sus perjuicios, también puede ejercer una función positiva en la práctica docente, corresponde cuestionar de qué modo la ley puede actuar para potenciar ese aspecto beneficioso y mitigar las consecuencias nocivas que culminan en cuadros como el síndrome de burnout.
Aunque la discusión presentada hasta el momento recae solo en los docentes, cabe señalar que las normas también producen efectos sobre los demás integrantes de la comunidad escolar, a modo de ejemplo, alumnos, padres y gestores.
Las contribuciones de la Therapeutic Jurisprudence podrían incidir en dos momentos principales: el primero, en la creación de la norma, aportando insumos y análisis crítico sobre las perspectivas de la norma que se creará, y el segundo, en la evaluación de su aplicación, verificando las consecuencias concretas de la aplicación de la ley. En el contexto del presente estudio, el énfasis dado reside en las evaluaciones de acciones concretas, en las mediciones de la calidad de la enseñanza y de aprendizaje impuestas por ley.
Aunque el presente estudio no pretenda discutir todos los aspectos que puedan ser tenidos en cuenta por la Therapeutic Jurisprudence, se llama la atención sobre lo que fue denominado “Principio de Autoevaluación Sistémica”. De acuerdo con Fensterseifer (2022), la evaluación de procesos y de resultados, desde la óptica de la Therapeutic Jurisprudence, debe ocurrir de forma periódica y a partir de perspectivas internas y externas, en el sentido de que una evaluación promovida por los propios involucrados en la ejecución de la acción posibilite identificar potencialidades y fragilidades que puedan ser tratadas inmediatamente, pero promoviendo una mirada externa para que los eventuales vicios desapercibidos por la óptica interna no se consoliden y comprometan los objetivos de la acción.
Se advierte que el objeto de análisis, en el presente contexto, es la política pública implementada por ley. Así, para que se puedan evaluar sus consecuencias, es necesario que los objetivos de la política y de la ley estén muy bien delimitados y declarados, pues son ellos los que servirán como punto de referencia para la creación de feedback. De acuerdo con Fensterseifer (2022, p. 180, traducción nuestra):
A partir de las técnicas empleadas por los profesionales y de los caminos legales encontrados, se espera alcanzar esos objetivos de la mejor forma posible. Sin embargo, muchas veces, las prácticas pueden obtener un resultado distinto del pretendido, por ser experimentales o por estar mal desempeñadas, causando un efecto no esperado y que influye en el desarrollo del proceso. Con ello, se modifica, por consecuencia, el resultado del programa y se desvía, así, del rumbo a seguir para alcanzar los objetivos propuestos. Al proceder a la evaluación del programa, se verifican cuáles son los resultados obtenidos por las prácticas y técnicas empleadas, pudiéndose evaluar si esos resultados están o no de acuerdo con los objetivos propuestos. Puede reconocerse esta circunstancia como un intercambio de mensajes (objetivos propuestos - prácticas resultados alcanzados - objetivos propuestos), configurándose como una forma de organización del programa, en el sentido de mantener los resultados encontrados efectivamente de acuerdo con los esperados. Conforme a Wiener, ese mecanismo recibe el nombre de retroalimentación (feedback), en el sentido de que se constata el desempeño efectivo del programa, en vez del desempeño esperado.
Aunque el trabajo referido aborde una cuestión distinta de la que se discute aquí, no se vislumbran mayores dificultades en la transposición de contextos. Se explica: el análisis recae sobre la ley que establece determinada evaluación y de ella se extraen los objetivos que deben ser alcanzados. Sin que haya, en este momento, una verificación específica, es posible presumir que las normas buscan promover una mejora en la calidad de la enseñanza y del aprendizaje, siendo estos, por tanto, los objetivos a ser alcanzados.
El primer paso después de esto sería conceptualizar la “calidad de la enseñanza” y la “calidad de aprendizaje”, para que se tenga un parámetro fijo a considerar, conceptos que, evidentemente, deben considerar las complejidades del tema y los contornos éticos. Así establecido, se procede a la evaluación, la cual debe, por tratarse de un estudio a partir de la Therapeutic Jurisprudence, preocuparse por las consecuencias psicoemocionales promovidas en las personas que reciben la incidencia de la ley específica. Para que eso sea posible, es necesario que los criterios de evaluación lo tengan en cuenta y, por lo tanto, se acerquen mucho más a una lógica cualitativa que cuantitativa, ya que se discuten sentimientos y otras circunstancias subjetivas. A partir de los resultados obtenidos en esa verificación, o sea, del punto de llegada de la acción desarrollada, se retroalimenta la información establecida al inicio: los objetivos propuestos.
Estos procedimientos de evaluaciones poseen una sistemática que se asemeja a la idea de cibernética, conforme el precursor en el tema, profesor Norbert Wiener (1954). De acuerdo con el autor, la cibernética puede ser entendida como la ciencia del control y de la comunicación en relación a máquinas y sistemas vivos, siendo este el foco del presente trabajo. En ese sentido, la organización social depende de procesos de comunicación y retroalimentación para que se mantengan alineados a sus propósitos, exactamente de la forma que operan sistemas cibernéticos. En ese escenario, se puede afirmar que los problemas sociales y las políticas sufren la incidencia de fisuras en procesamiento de información y de regulación.
Para Wiener (1954), la comunicación no se limita al intercambio de mensajes, sino que es un principio fundamental que organiza tanto sistemas biológicos como máquinas y sociedades. En el ámbito de esta investigación, estos mensajes forman el proceso de elaboración y desarrollo de una política pública y los resultados de su acción retroalimentan la información inicialmente prestadas y los objetivos de la política a ser ejecutada. Toda esa información generada por la resultados debe servir, por lo tanto, para autorregular la coherencia de la política pública. Como ejemplo, así como un termostato ajusta la temperatura con base en los datos recibidos (feedback), un gobierno puede ajustar una política pública con base en los indicadores de impacto que determinada política promueve.
Aún conforme el autor, el sistema de retroalimentación contribuye a la reducción de “ruidosos” que degradan la información y que pueden conducir a una “entropía” de significados. Para tanto, es necesario reducir al máximo aquello que se entiende como “ruidos” en este proceso, como desinformación, noticias falsas, burocracia excesiva, entre otros. Estas ideas y conceptos de Wiener siguen siendo inspiradores para estudios recientes, como los de Stuart Umpleby, Xiao-hui Wu y Elise Hughes (2017) se muestran actuales y adecuadas a los propósitos del presente estudio.
La retroalimentación se caracteriza como un mecanismo central de la cibernética, ya que a partir de ella es el sistema ajusta su comportamiento para autorregularse conforme el objetivo trazado. En este contexto, la retroalimentación puede clasificarse como negativa, aquella que evidencia una consecuencia negativa y busca minimizarla para estabilizar el sistema (o en el contexto del presente estudio, un efecto “antiterapéutico”), o positivo, que tiende a amplificar cambios, estimulando la innovación, pero que de una forma saturada puede generar el colapso del sistema.
El objetivo de este sistema sería mantener una “estabilidad dinámica” de la política pública que, mediante mecanismos de autorregulación (retroalimentaciones), evitaría crisis y distorsiones en su desarrollo. Aunque se comprende pertinente la relación de este sistema cibernético con la evaluación de políticas públicas, no se pueden ignorar los factores que ponen en riesgo su funcionalidad, como la lentitud y distorsión de la información, así como elementos asociados a la corrupción. Organismos, instituciones y gobiernos que operan de forma antidemocrática y manipulan las retroalimentaciones sociales ponen en riesgo la comunicación eficiente y la generación de retroalimentaciones democráticas y transparentes, lo cual es fundamental para una sociedad justa.
Es justamente sobre estos riesgos que la Therapeutic Jurisprudence busca actuar, en el sentido de evaluar cuestiones cuantitativas que no pueden limitarse a un número potencialmente manipulado y que no admite discusión subjetiva. Se trata, por tanto, de la creación de una barrera protectora de la fidelidad de los resultados que, aunque no pueda garantizar una forma absoluta de resistir a las manipulaciones, parece contribuir a minimizar estas interferencias (ruidos) y valorar la vida saludable.
Se sabe que, tras la pandemia de Covid-19, muchos procedimientos evaluativos pasaron a ser desarrollados de forma remota (Riboli; Guerra, 2024) y, aunque tal decisión implica una economía significativa para el gobierno, potencia los espacios de “ruidos” en la información.
Por lo tanto, se propone la aplicación de estas premisas y conceptos para conferir mayor transparencia y coherencia a la proposición y a la evaluación de políticas públicas. Se pretende, así, mapear las consecuencias derivadas de su implementación y comprender de qué modo afectan a los sujetos impactados por la legislación. No se trata de fundamentar una idea de “gestión basada en datos”, sino de investigar los datos que fundamentan las tomas de decisiones de la gestión. Se trata de buscar mayor fidelidad en la obtención de los datos y de minimizar los “ruidos” de estos mensajes, posibilitando uma “estabilidad dinámica” compleja, que reverbere a la sociedad, y no solo dentro de los contornos de la propia evaluación.
Si actualmente existen índices de felicidad entre los países, las políticas desarrolladas deben ser más “terapéuticas” para que se pueda alcanzar un nivel más elevado de bienestar, siendo irreal o distorsionada cualquier constatación de “felicidad” que no esté directamente relacionada al estado psicoemocional de las personas.
5 CONSIDERACIONES FINALES
En el presente estudio, se buscó presentar la idea de que la Therapeutic Jurisprudence puede ser una gran aliada en el área de las políticas públicas educacionales. Se mostró que políticas de evaluación a gran escala pueden generar consecuencias “antiterapéuticas” sobre las personas involucradas en ese proceso y que, a partir de ello, la legitimidad de los resultados obtenidos, así como de la metodología aplicada, puede ser puesta en tela de juicio. La cobranza exacerbada sobre los actores, que buscan alcanzar metas para beneficiarse o no perjudicarse, promueve acciones dirigidas a obtener un buen resultado “cueste lo que cueste”, utilizándose, muchas veces, de elementos fraudulentos y distorsionados para que, al final, se tenga una buena evaluación. En ese proceso que involucra cobranzas y manipulaciones, los actores involucrados terminan sufriendo presiones de todos los lados, lo que puede promover el adoecimiento por cuenta del estrés psicoemocional, hecho considerado totalmente “antiterapéutico”.
Así, lo que se obtiene, en realidad, es un resultado maquillado que no corresponde a la realidad, pero que agrada a aquellos que promueven la evaluación. Por otro lado, una masa de trabajadores de la educación se cansan y se adoecen. Como consecuencia de ello, será cada vez más difícil obtener un buen proceso de enseñanza y aprendizaje, creando una bola de nieve “antiterapéutica”.
Investigando los procesos de creación y desarrollo de las políticas relacionadas a la evaluación a gran escala, se entiende que es posible, desde una óptica de la Therapeutic Jurisprudence, que prioriza aspectos cualitativos, comprender las consecuencias de esas evaluaciones sobre la comunidad escolar. A partir de ello, se hace posible conferir la fidelidad y la utilidad de los resultados obtenidos por estas evaluaciones y en qué medida. La aplicación de la Therapeutic Jurisprudence a las políticas públicas de evaluación permite una lectura ampliada de sus efectos, superando indicadores cuantitativos para considerar las experiencias subjetivas de los sujetos involucrados.
Este enfoque contribuye a resignificar los procesos evaluativos como promotores de salud institucional, bienestar psíquico y legitimidad democrática. A partir de estas premisas, se hace viable mitigar las fragilidades señaladas y fortalecer la legitimidad de los resultados, sin someter a los sujetos a un proceso penalizante y estresor que culmina en un ciclo de ilusión y enfermedad.
Presentada la propuesta, cumple ahora el desafío de implementarla, sometiéndola a la verificación empírica para determinar en qué medida la Therapeutic Jurisprudence puede, efectivamente, colaborar con el campo educativo. Se pretende, así, fomentar la (re)construcción de políticas públicas orientadas al desarrollo de una sociedad más saludable, justa y próspera.
DECLARACIÓN SOBRE EL USO DE IA
Não houve utilização de ferramentas de Inteligência Artificial.
DECLARACIÓN DE DISPONIBILIDAD DE DATOS
Todo o conjunto de dados de apoio aos resultados deste estudo foi publicado no próprio artigo.
REFERENCIAS
-
BANDO, Janaina Rossarolla; FENSTERSEIFER, Daniel Pulcherio. Percepção da comunidade escolar a respeito dos itinerários formativos no Novo Ensino Médio: dificuldades e facilidades. Revista de Estudios Teóricos y Epistemológicos en Política Educativa, Ponta Grossa, v. 9, p. 1-21, 2024. Disponible en: https://revistas.uepg.br/index.php/retepe/article/view/23907 Acceso en: 28 mar. 2025.
» https://revistas.uepg.br/index.php/retepe/article/view/23907 -
BAUER, Adriana. Avaliação em larga escala e estabelecimento de metas e indicadores educacionais: usos e abusos da quantofrenia. Educar em Revista, Curitiba, v. 40, e94095, 2024. Disponible en: https://www.scielo.br/j/er/a/X7RzSxC7JzyW5SQSrr3KcbD/?format=pdf⟨=pt Acceso en: 25 mar. 2025.
» https://www.scielo.br/j/er/a/X7RzSxC7JzyW5SQSrr3KcbD/?format=pdf⟨=pt -
BOICKO, Giovana; TIMM, Jordana Wruck. Bem-estar na docência: uma análise dos fatores contemporâneos que influenciam a qualidade de vida dos professores. DEDiCA. Revista de Educação e Humanidades, Granada, n. 22, p. 425-448, 2024. Disponible en: https://revistaseug.ugr.es/index.php/dedica/article/view/31427 Acceso en: 08 abr. 2025.
» https://revistaseug.ugr.es/index.php/dedica/article/view/31427 -
BRELAZ, Gabriela de et al. A institucionalização de métricas de impacto social: o caso da Unifesp. Estudos em Avaliação Educacional, São Paulo, v. 36, e10295, 2025. Disponible en: https://publicacoes.fcc.org.br/eae/article/view/10295 Acceso en: 08 abr. 2025.
» https://publicacoes.fcc.org.br/eae/article/view/10295 -
FERRAROTTO, Luana; GARCIA, Marta Fernandes. O lugar da avaliação nos projetos pedagógicos das licenciaturas em Matemática de uma instituição pública de São Paulo. Revista Brasileira de Educação, Rio de Janeiro, v. 29, e290040, 2024. Disponible en: https://www.scielo.br/j/rbedu/a/CvvJS4LqHTMXD8LZmQg664S/ Acceso en: 25 mar. 2025.
» https://www.scielo.br/j/rbedu/a/CvvJS4LqHTMXD8LZmQg664S/ -
GARCIA, Paulo Sérgio; MIRANDA, Nonato Assis de. As avaliações externas e em larga escala na formação inicial de professores no Brasil: que espaço elas ocupam? Educar em Revista, Curitiba, v. 40, e93728, 2024. Disponible en: https://www.scielo.br/j/er/a/Ch4tmcwfxk7PK9Vfzt3wWzQ/ Acceso en: 14 mar. 2025.
» https://www.scielo.br/j/er/a/Ch4tmcwfxk7PK9Vfzt3wWzQ/ -
MACHADO, Cristiane; ALAVARSE, Ocimar Munhoz; CHAPPAZ, Raíssa de Oliveira. Avaliações em larga escala na América Latina: problematizando a qualidade da educação escolar. Educar em Revista, Curitiba, v. 40, e94031, 2024. Disponible en: https://revistas.ufpr.br/educar/article/view/94031 Acceso en: 25 mar. 2025.
» https://revistas.ufpr.br/educar/article/view/94031 -
MEDEIROS, Estéfani Barbosa de Oliveira; SUDBRACK, Edite Maria. Avaliação em larga escala: impactos na autonomia docente. In: COLÓQUIOS DE POLÍTICA E GESTÃO DA EDUCAÇÃO, 3., 2022, Sorocaba. Anais [...]. Sorocaba: Ufscar, 2022. Disponible en: https://www.anaiscpge.ufscar.br/index.php/CPGE/article/view/1031/1245 Acceso en: 07 mar. 2025.
» https://www.anaiscpge.ufscar.br/index.php/CPGE/article/view/1031/1245 -
PADILHA, Thamirys; ARAUJO, Ludmila Carneiro; VENANCIO, Bruno. Adoecimento docente: um estudo com professoras de uma rede municipal de educação. Ensino & Pesquisa, União da Vitória, v. 22, n. 2, p. 244-255, abr./ago. 2024. Disponible en: https://periodicos.unespar.edu.br/ensinoepesquisa/article/view/8879 Acceso en: 14 mar. 2025.
» https://periodicos.unespar.edu.br/ensinoepesquisa/article/view/8879 -
RIBEIRO, Renato Melo; SOUSA, Sandra Zákia. A controvérsia sobre avaliações em larga escala no Brasil: continuum argumentativo. Educação e Pesquisa, São Paulo, v. 49, e250287, 2023. Disponible en: https://www.scielo.br/j/ep/a/QDntdnHTXyfm3vpSCk4s46t/ Acceso en: 25 mar. 2025.
» https://www.scielo.br/j/ep/a/QDntdnHTXyfm3vpSCk4s46t/ -
RIBOLI, Cesar; GUERRA, Maria das Graças Gonçalves Vieira. Avaliação da Educação Superior externa virtual e os impactos da Pandemia da Covid-19. Revista da Avaliação da Educação Superior, Campinas; Sorocaba, v. 29, p. 1-25, 2024. Disponible en: https://www.scielo.br/j/aval/a/8LvJKvRYcpHXxZjBTg773Ly/ Acceso en: 10 abr. 2025.
» https://www.scielo.br/j/aval/a/8LvJKvRYcpHXxZjBTg773Ly/ -
SILVA, Jerto Cardoso da et al. Saúde mental, adoecimento e trabalho docente. Psicologia Escolar e Educacional, São Paulo, v. 27, p. 1-8, 2023. Disponible en: https://www.scielo.br/j/pee/a/pnKjTfs7s9VrzJGMhTsMPSG/ Acceso en: 14 mar. 2025.
» https://www.scielo.br/j/pee/a/pnKjTfs7s9VrzJGMhTsMPSG/ -
SILVA, Marcus Vinicius Cesso da; FERRAZ, Renato Ribeiro Nogueira. Aplicação do ENADE como ferramenta para avaliação do desempenho discente em um curso de Pedagogia. Revista Eletrônica de Educação, São Carlos, v. 12, n. 1, p. 74-89, jan./abr. 2018. Disponible en: https://www.reveduc.ufscar.br/index.php/reveduc/article/view/1968/670 Acceso en: 25 mar. 2025.
» https://www.reveduc.ufscar.br/index.php/reveduc/article/view/1968/670 -
SILVEIRA, Carmem Lucia Albrecht da; ESQUINSANI, Rosimar Serena Siqueira. A gestão da educação nacional pela via do protagonismo das avaliações em larga escala do Pisa. Educar em Revista, Curitiba, v. 40, p. 1-19, 2024. Disponible en: https://revistas.ufpr.br/educar/article/view/93496 Acceso en: 14 mar. 2025.
» https://revistas.ufpr.br/educar/article/view/93496 -
SILVEIRA, Fernando Lang da, BARBOSA, Marcia Cristina Bernardes; SILVA, Roberto da. Exame Nacional do Ensino Médio (ENEM): uma análise crítica. Revista Brasileira de Ensino de Física, São Paulo, v. 37, n. 1, p. 1-5, 2015. Disponible en: https://www.scielo.br/j/rbef/a/TpSdTxpHR3XBgFttPmgmyPF/ Acceso en: 14 mar. 2025.
» https://www.scielo.br/j/rbef/a/TpSdTxpHR3XBgFttPmgmyPF/ -
SOARES, Denilson Junio Marques et al. Construct validity and reliability of the scale of attitudes towards external assessments applied on a large scale. Paidéia, Ribeirão Preto, v. 34, p. 1-9, 2024. Disponible en: https://www.scielo.br/j/paideia/a/8PhPjrYLjBLZTGNQLw4y8HL/?format=pdf⟨=en Acceso en: 14 mar. 2025.
» https://www.scielo.br/j/paideia/a/8PhPjrYLjBLZTGNQLw4y8HL/?format=pdf⟨=en -
UMPLEBY, Stuart; WU, Xiao-hui; HUGHES, Elise. Advances in cybernetics provide a foundation for the future. International Journal of Systems and Society, Estados Unidos, v. 4, n. 1, p. 29-36, 2017. Disponible en: https://www.igiglobal.com/article/advances-in-cybernetics-provide-a-foundation-for-thefuture/185670 Acceso en: 07 abr. 2025.
» https://www.igiglobal.com/article/advances-in-cybernetics-provide-a-foundation-for-thefuture/185670 -
VIEIRA, Geísio Lima et al. Vinte anos do Sinaes: um levantamento diacrônico de artigos publicados na SciELO (2004-2024). IOSR Journal of Humanities and Social Science (IOSR-JHSS), v. 29, n. 8, p. 29-40, 2024. Disponible en: https://www.iosrjournals.org/iosr-jhss/papers/Vol.29-Issue8/Ser-4/E2908042940.pdf. Acceso en: 07 abr. 2025.
» https://www.iosrjournals.org/iosr-jhss/papers/Vol.29-Issue8/Ser-4/E2908042940.pdf - WIENER, Norbert. Cibernética e sociedade: o uso humano de seres humanos. São Paulo: Cultrix, 1954.
