Acessibilidade / Reportar erro

Inteligencia artificial: retos, desafíos y oportunidades - Prometea: la primera inteligencia artificial de Latinoamérica al servicio de la Justicia* * El presente constituye una breve muestra de un libro próximo a editarse, relativo al impacto de la inteligencia artificial sobre los seres humanos desde un punto de vista jurídico. Está prohibida la copia, difusión y/o procesamiento de este documento, el aprovechamiento y comunicación de su contenido.

Artificial intelligence: challenges and opportunities - Prometea: the first artificial intelligence of Latin America at the service of the Justice System

Resumen

Este artículo incursiona en los desafíos que el avance tecnológico en general, y la inteligencia artificial en particular, presentan a la sociedad. Primero se analizan los efectos de la aceleración exponencial en la escala del procesamiento de datos que conlleva la optimización en diversas actividades, para después considerar cómo la incorporación de aquellas nuevas tecnologías necesariamente implicará un nuevo enfoque para lograr transitar su adaptación hacia un sistema compatible con los Derechos Humanos. Sobre este punto, se destaca que las asimetrías en el desarrollo suelen venir acompañadas por la necesidad de protección y efectivización de derechos, con lo cual será necesario que los avances tecnológicos se orienten hacia innovaciones inclusivas, mediante un sistema de interfaz optimizado y atento a la forma de desarrollo de las vinculaciones digitales. Sin embargo, al igual que promover el desarrollo del tipo positivo de la inteligencia artificial, se remarca también la preocupación frente a la falta de trazabilidad conceptual de dichos sistemas. Respecto al cual se plantea la necesidad de principios rectores necesarios en la estructura de la IA para su correcta aplicación.

Palabras clave:
inteligencia artificial; robótica; justicia; algoritmos; derechos humanos

Abstract

This article explores the challenges that technological advances in general, and artificial intelligence in particular, introduce to society. First it analyzes the effects of the exponential acceleration within the realm of data processing that lead to the optimization of various human activities, to then consider how the incorporation of such technologies will necessarily entail a new approach to achieve the proper transition toward a system compatible with human rights. In this respect, it is emphasized that development asymmetries are often followed by the need to protect and guarantee the effectiveness of rights, which will require that technological advances be oriented towards inclusive innovations, through an optimized interface system and attentive to the modern form of digital interactions. However, as well as promoting the development of the positive type of artificial intelligence, it also embodies the concern about the lack of conceptual traceability of such systems. Necessarily concluding the inclusion of pre-established guiding principles must be required within the structure of such systems to guarantee their correct use and application.

Keywords:
artificial intelligence; robotics; justice; algorithms; human rights

SUMARIO

1. Introducción; 2. Inteligencia artificial: la revolución de las revoluciones; 3. Prometea: la primera inteligencia artificial de Latinoamérica al servicio de la Justicia; 4. Inteligencia artificial al servicio de los derechos de acceso; 5. Retos y desafíos: proteger los derechos humanos en la era de los algoritmos inteligentes; 6. Principios jurídicos para una inteligencia artificial que respete y promueva la vigencia del Estado constitucional y la efectividad de los derechos fundamentales; 7. Conclusión; 8. Referencias.

1. INTRODUCCIÓN

Hacia fines de esta segunda década del siglo XXI, los avances tecnológicos están haciendo realidad la ciencia ficción. Resultaba utópico hasta hace pocos años, que estas preguntas se vuelvan todo un desafío para los sistemas jurídicos: ¿quiénes son los responsables por las consecuencias del funcionamiento de las máquinas inteligentes (vehículos autónomos, etc.)?; ¿cómo garantizar la autodeterminación humana en la era de los algoritmos inteligentes?; ¿cómo es posible “programar” la inteligencia artificial para que pueda incluir un enfoque jurídico y ético?; ¿es factible hablar sobre un derecho de acceso a la inteligencia artificial?; ¿cómo hacer que la inteligencia artificial no profundice las desigualdades entre las personas? Las respuestas a estas preguntas, demandan un esfuerzo trascendente para repensar e innovar acerca de los desafíos de una nueva revolución que estamos atravesando.

Durante los últimos tres siglos, se suele hablar de tres grandes revoluciones industriales. La primera vinculada al desarrollo del ferrocarril y al motor de vapor para mecanizar la producción. La segunda relacionada a la energía eléctrica y la cadena de montaje para desarrollar la producción en masa. La tercera revolución se ubica a partir del surgimiento de la electrónica, los ordenadores y la tecnología de la información para automatizar la producción1 1 Véase SCHWAB, Klaus. La Cuarta Revolución Industrial. Barcelona: Debate, 2016. p. 20 y 21. . Actualmente transitamos una nueva revolución que se vincula con varios fenómenos (nanotecnología, biotecnología, robótica, internet de las cosas, impresión 3d)2 2 Sobre la incidencia de algunas de estas tecnologías en la sociedad, véase KAKU, Michio. La física del futuro. Buenos Aires: Debate, 2012. . El más disruptivo de todos, es producto del desarrollo de la inteligencia artificial, que se presenta como una innovación vinculada a los avances tecnológicos relacionados con el procesamiento de información y de los datos (también en esta área se encuentran otras invenciones del siglo pasado como el ordenador, internet, la world wide web -www-, los motores de búsqueda, etc.). La “Cuarta Revolución Industrial”3 3 Tanto el Foro Económico Mundial como la Organización Internacional del Trabajo (OIT), destacan que el mundo está atravesando por una Cuarta Revolución Industrial. Véase, La Iniciativa del centenario relativa al futuro del Trabajo. Nota Informativa. Oficina Internacional del Trabajo, p. 2, 2015 y, El futuro de los empleos. Habilidades y Estrategia de la Mano de Obra para la Cuarta Revolución Industrial. Foro Económico Mundial, p. 1, Enero 2016, Global Challenge Insight Report, disponible en <https://www.weforum.org/reports/the-future-of-jobs>; SCHWAB, Klaus. La Cuarta Revolución Industrial. Barcelona: Debate, 2016. tiene su epicentro en el aumento exponencial de dos factores: capacidad de almacenamiento y velocidad de procesamiento de la información y de los datos.

Para hacerse una idea, se puede medir en tiempo real y a escala global, el flujo que se genera a partir del uso de las principales herramientas de las tecnologías de la información y de la comunicación. Por ejemplo, el 29 mayo de 2017 se postearon 458.090 mil tweets, se publicaron 63,980 mil fotos en instagram, se realizaron 3.629,947 millones de búsquedas en google, y en la web se procesaron 2.702,994 Gigabytes4 4 Fuente Internet Live Stats. Disponible en: <http://www.internetlivestats.com/one-second/#instagram-band>. Consultado el 28/05/17. Sobre estas cuestiones, veáse algunas aproximaciones iniciales en CORVALÁN, Juan Gustavo. Inteligencia Artificial y derechos humanos (Parte I). Diario DPI Cuántico, Diario Constitucional y Derechos Humanos, Ciudad Autónoma de Buenos Aires, n. 156, 03.07.2017. Disponible en: <http://dpicuantico.com/area_diario/doctrina-en-dos-paginas-diario-constitucional-y-derechos-humanos-nro-156-03-07-2017/>. Y CORVALÁN, Juan Gustavo. Inteligencia Artificial y derechos humanos (Parte I). Diario DPI Cuántico, Diario Constitucional y Derechos Humanos, Ciudad Autónoma de Buenos Aires, n. 157, 10.07.2017. Disponible en: <http://dpicuantico.com/area_diario/doctrina-en-dos-paginas-diario-constitucional-y-derechos-humanos-nro-157-10-07-2017/>. . Este monstruoso volumen de datos e información, no puede ser abordado de manera eficiente por las personas humanas. Por eso, la inteligencia artificial es la revolución de las revoluciones. Su desarrollo actual y potencial, se debe a que logra igualar o superar ampliamente ciertas capacidades cognitivas, a partir de procesar más eficientemente los datos y la información en cada vez más actividades humanas.

2. INTELIGENCIA ARTIFICIAL: LA REVOLUCIÓN DE LAS REVOLUCIONES

Aunque no seamos muy conscientes, estamos atravesando una época inédita en la historia humana. Entre muchísimas otras razones, esto se debe a que asistimos a la progresiva eliminación de las barreras de comprensión de otras lenguas casi instantáneamente, a partir del desarrollo exponencial del sistema de inteligencia artificial que usa el traductor de Google.

Este famoso traductor artificial es uno entre varios sistemas de inteligencia artificial que se ocupan de procesar lenguaje natural. En esencia, utiliza un método de aprendizaje que se relaciona con grandes números de casos relacionados; es decir, no se basa en aprender o aplicar las reglas gramaticales de cada idioma. En palabras simples, se crean enormes bases de datos vinculadas a traducciones habituales, que se apoyan en amplios cuerpos de documentos traducidos de idioma a idioma, utilizando documentos traducidos por la Organización de las Naciones Unidas (ONU) a varios idiomas. El traductor de Google a fines de 2016, casi igualo a 500 traductores expertos humanos. Veamos con mayor detenimiento el funcionamiento de este sistema de inteligencia artificial.

La prueba al traductor de Google consistió en emplear una escala de 0 a 6 para puntuar la fluidez de las traducciones de 500 frases extraídas de Wikipedia o noticias. Para las traducciones de inglés al español, el nuevo sistema de Google recibió una puntuación media de 5,43, muy cercana al 5,55 que obtuvieron los 500 traductores humanos. Si hace mucho que no prueba al traductor, seguramente se deba a que antes presentaba muchos errores. En las pruebas de Google, los seres humanos calificaron el nuevo sistema entre un 64% y un 87% mejor que la versión anterior.

Es decir, en vez de aprender conceptos o gramática, los algoritmos establecen sus propias formas de descomponer el texto en fragmentos más pequeños, que a menudo parecen carecer de sentido y generalmente no corresponden a los fonemas del habla. Y ni que hablar de la velocidad en la que trabaja el sofisticado sistema de IA. Según las palabras de uno de sus diseñadores: “Puede resultar desconcertante, pero lo hemos probado en muchos sitios y simplemente funciona”5 5 Véase, SIMONITE, Tom. Google ya traduce de inglés a español casi tan bien como un experto humano. MIT Technology Review, 4 oct. 2016. Disponible en: <https://www.technologyreview.es/s/6342/google-ya-traduce-de-ingles-espanol-casi-tan-bien-como-un-experto-humano>. Consultado el 20/08/17. .

Ahora bien, la comprensión de un fenómeno como este, requiere abordar brevemente el concepto de inteligencia humana con el que trabajan los expertos en ciencias cognitivas. Veamos.

Entre varias definiciones o concepciones del concepto inteligencia, el elemento común es la capacidad de procesar información para resolver problemas en función de alcanzar objetivos6 6 Sobre todas estas cuestiones, ampliar en GARDNER, Howard. La inteligencia reformulada. Madrid: Paidós, 2010. p. 52 y ss, especialmente 115, Paidós, Madrid, 2010. El mismo autor en GARDNER, Howard. Las cinco mentes del futuro. Buenos Aires: Paidós, 2013. p. 17; GARDNER, Howard. Estructuras de la mente: la teoría de las inteligencias múltiples. Ciudad de México: Fondo de Cultura Económica, 1987; MANES, Facundo; NIRO, Mateo. El cerebro argentino. Buenos Aires: Planeta Argentina, 2016. p. 269-270, 274-275 y 301, y los mismos autores en MANES, Facundo; NIRO, Mateo. Usar el cerebro. Buenos Aires: Paidós Ibérica, 2015. p. 115 y 130. . La noción de inteligencia, está indisolublemente ligada al procesamiento de información. Es importante aclarar que hablamos de información en sentido amplio y bajo el enfoque de las ciencias cognitivas, que aluden al procesamiento de información o al flujo de información del entorno que se codifica, organiza, selecciona, almacena y recupera por medio de los sistemas sensoriales, perceptivos, etc. La inteligencia humana se relaciona con una serie de capacidades o cualidades cognitivas relativamente autónomas que suelen clasificarse en “perfiles de inteligencia” o “inteligencias múltiples”. Ellas son: inteligencia social, inteligencia lingüística (o musical), inteligencia lógico-matemática, inteligencia interpersonal, e intrapersonal o emocional, inteligencia fluida, entre otras.

Básicamente, nuestro cerebro controla la capacidad para procesar la información proveniente del entorno y de nuestro propio cuerpo7 7 Desde un punto de vista biológico, el ADN es un portador esencial de la información genética. GERARD, Michael; GERALD, Gloria E. El libro de la biología. Madrid: Ilus Books, 2015. p. 354. que se utiliza para evaluar y elegir futuros cursos de acción. Y aquí entra en escena el proceso de toma de decisiones y la evaluación, que consiste en seleccionar, recortar y organizar la información disponible.

A partir de la inteligencia humana, se han desarrollado múltiples y diversas innovaciones tecnológicas. La que aquí nos ocupa tiene que ver con el procesamiento de la información para resolver problemas y tomar decisiones a partir de máquinas que operan a través de los llamados algoritmos inteligentes. La inteligencia artificial (en adelante, también IA) se sustenta en algoritmos inteligentes o en algoritmos de aprendizaje que, entre muchos otros fines, se utilizan para identificar tendencias económicas, predecir delitos, diagnosticar enfermedades, predecir nuestros comportamientos digitales, etc. Un algoritmo puede ser definido como un conjunto preciso de instrucciones o reglas, o como una serie metódica de pasos que puede utilizarse para hacer cálculos, resolver problemas y tomar decisiones. El algoritmo es la fórmula que se emplea para hacer un cálculo8 8 Ampliar en, DOMINGOS, Pedro. The master algorithm: how the quest for the ultimate learning machine will remake our world. New York: Basic Books, 2015. p. XVI, 1 y ss. .

Ahora bien, durante las últimas décadas, se han utilizado diferentes métodos para desarrollar algoritmos utilizando grandes volúmenes de datos e información (algunos métodos son: redes neuronales, algoritmos genéticos, aprendizaje por refuerzo, entre otros). En esencia, a partir de la aplicación de IA se busca que las tecnologías permitan que los sistemas computacionales adquieran: autodependencia, reconfiguración autoadaptativa, negociación inteligente, comportamiento de cooperación, supervivencia con intervención humana reducida9 9 BARRAT, James. Nuestra invención final. Madrid: Planeta Publishing, 2015. p. 205-206. , entre otros rasgos. Y todo esto, supone la utilización de diferentes técnicas que se basan en el reconocimiento de patrones a fin de resolver problemas10 10 Ampliar en, SERRANO GARCÍA, Alberto. Inteligencia artificial. Madrid: RC, 2016. p. 5 y 9. , maximizar objetivos y optimizar el procesamiento de información. Veamos otro ejemplo para dimensionar cómo trabajan los sistemas más exitosos de IA.

En el año 2011, la inteligencia artificial que desarrolló IBM llamada “Watson” compitió contra los expertos humanos en un célebre juego llamado Jeopardy. Este concurso de televisión de Estados Unidos basado en responder preguntas sobre numerosos temas como historia, idiomas, literatura, entre otros, reside en que cada uno de los tres concursantes elige uno de los paneles del tablero de juego que, al ser descubierto, revela una pista en forma de respuesta. Los concursantes tienen que dar sus respuestas en forma de una pregunta. Por ejemplo, algunos de los interrogantes se formulan del siguiente modo: “Puede significar un desarrollo mental gradual o algo que se transporta durante el embarazo” o “Un discurso largo y tedioso escrito en el trivial aderezo de un pastel”.

Ken Jennings es el máximo ganador del juego (74 veces en un año). En febrero de 2011, Watson compitió contra él y otro campeón llamado Brad Rutter. Watson ganó el juego y lo hizo porque en esencia, puede procesar más datos y a mayor velocidad que los concursantes humanos. Mientras que la IA sopesa millones de posibles hipótesis al mismo tiempo, a una persona humana le llevaría varios siglos poder analizar todas las deliberaciones que Watson hizo en tres segundos. Veamos algunos números que reflejan la magnitud de datos y de información que procesa esta IA. Watson fue capaz de procesar 200 millones de páginas procedentes de documentos, incluyendo enciclopedias enteras, lo que abarca Wikipedia y lenguaje natural cargado de ambigüedades y vaguedades (estamos hablando de mil libros extensos por segundo). El sistema que utiliza, también incluye un subsistema que ayuda a calcular el grado de confianza en la respuesta que finalmente brindará la IA. En palabras simples, Watson tiene un asistente. Algoritmos inteligentes, gestionados por otro algoritmo que funciona a modo de gestor experto. Asistimos a la creación de otro personaje que se agrega al clásico dúo investigador: Sherlock (IBM), Watson, y su algoritmo gestor experto.

Como esta inteligencia artificial ha leído cientos de millones de páginas informativas que incluyen historias, es capaz de seguir el hilo a través de complicadas secuencias de eventos. Watson optimiza la información a partir de procesos estadísticos jerárquicos, aprende de sus experiencias y a una velocidad imposible de superar para un organismo biológico. Pero lo más relevante, viene dado porque la mayoría del conocimiento adquirido, proviene de él mismo a partir toda la información que obtiene, más allá de que otras pocas áreas de los datos de esta IA fueron programadas directamente por personas humanas11 11 Sobre este aspecto, véase BARRAT, James. Nuestra invención final. Madrid: Planeta Publishing, 2015. p. 244-251. Es importante puntualizar que Watson utiliza un sistema llamado UIMA (Unstructured Information Management Architecture) que actúa como un gestor experto que combina inteligentemente los resultados de los sistemas independientes. .

El traductor de Google y Watson, son dos ejemplos entre muchísimos otros que dan cuenta del Tsunami de inteligencia artificial que se está desarrollando en múltiples campos. Hablamos de sistemas que crean música, pintan cuadros, reconocen caras, objetos, predicen empresas exitosas en la bolsa, detectan enfermedades, ayudan a proteger el ambiente, entre muchísimas otros. Asistimos a una verdadera carrera por desarrollar IA para simplificar y optimizar diversas actividades humanas. Es en este escenario que surgen tres grandes desafíos en el ámbito jurídico. Por un lado, cómo nos protegemos a nosotros mismos de los algoritmos inteligentes que nos reemplazan y superan en múltiples actividades. Por otro lado, cómo hacer para que esta nueva tecnología contribuya al desarrollo sostenible e inclusivo del ser humano. Y por último, eventualmente, cómo se protegerán y se transformarán los derechos humanos en una transición que parece dirigirse hacia una simbiosis entre lo biológico, lo digital y lo artificial.

En esta primera aproximación, todas estas cuestiones podrían reconducirse a partir de explorar dos grandes ejes. El primero, vinculado a lo que podríamos llamar “el lado luminoso de la inteligencia artificial”. Aquí, esta tecnología es drásticamente disruptiva para hacer efectivos ciertos derechos y, a la vez, representa un salto cualitativo en la forma en la que se podrían gestionar las organizaciones y sus relaciones con los ciudadanos.

El segundo eje, se vincula con lo que denominamos “el lado oscuro de la IA”. Desde esta perspectiva, es importante poner el acento en los riesgos que se generan a partir del llamado riesgo existencial vinculado a la posibilidad de que los seres humanos pierdan el control sobre los sistemas de inteligencia artificial. Pero dejando de lado esta cuestión extremadamente compleja que se proyecta a mediano y largo plazo, es preciso abordar otros aspectos relacionados con el corto plazo. Por ejemplo, las cuestiones vinculadas al impacto que se produce a partir del desarrollo y uso de sistemas de IA sobre los derechos fundamentales de las personas. En los puntos siguientes, destacaremos algunas breves propuestas en torno a ambos ejes.

3. PROMETEA: LA PRIMERA INTELIGENCIA ARTIFICIAL DE LATINOAMÉRICA AL SERVICIO DE LA JUSTICIA

Muchas veces solemos hablar de un desarrollo asimétrico que suele ser inherente a los países menos aventajados. En el ámbito tecnológico, la presencia de este fenómeno da cuenta de diversas asimetrías en su desarrollo. Por ejemplo, en la CABA existe una Administración Pública totalmente digital (además, se han dictado más de 58 normas regulando la digitalización de la administración pública)12 12 Véase CORVALÁN, Juan G. Hacia una administración pública digital. Temas de Derecho Administrativo, Buenos Aires, año II, p. 621-645, 2017; CORVALÁN, Juan Gustavo. Administración Pública digital e inteligente: transformaciones en la era de la inteligencia artificial. Revista de Direito Econômico e Socioambiental, Curitiba, v. 8, n. 2, p. 26-66, maio/ago. 2017. doi: 10.7213/rev.dir.econ.soc.v8i2.19321. , mientras que en algunas provincias ni siquiera se ha comenzado el proceso. Esto también se da a un nivel mucho más profundo. Actualmente el 17 % de la población mundial, 1.300 millones de personas, no tiene acceso a los beneficios de la segunda revolución industrial (la electricidad). Y más de la mitad de la población mundial, 4.000 millones de personas, todavía no está conectada a internet13 13 SCHWAB, Klaus. La Cuarta Revolución Industrial. Barcelona: Debate, 2016. p. 21. .

Las asimetrías en el desarrollo suelen venir acompañadas por la necesidad de protección y efectivización de derechos también dispares. Es decir, se deben afrontar desafíos vinculados a cuestiones de primera necesidad (acceso al agua, acceso a servicios esenciales, etc.), pero también es importante avanzar en proteger otras violaciones masivas de derechos en el mundo digital. Incluso, frecuentemente solemos pensar que como resulta difícil resolver ciertos problemas más acuciantes, sería ilógico abordar otros. Sin embargo, es importante razonar y actuar a la inversa. Además de hacerse cargo de cuestiones básicas, también es indispensable emprender los nuevos desafíos; de lo contrario, se amplía el espectro de violaciones de derechos. Por ejemplo, en el ámbito penal existen múltiples retos que son muy complejos de abordar (narcotráfico, venta ilegal, robo con armas, etc.). Pero a la vez, el mundo digital conlleva otros desafíos y aparecen nuevos derechos a tutelar. Nos referimos a todas las cuestiones vinculadas al cibercrimen (cyberacoso, pornografía infantil, grooming, fraudes informáticos, etc.). También hay que proteger a los ciudadanos de estas violaciones a sus derechos.

El desarrollo asimétrico, en síntesis, aumenta la complejidad y demanda mayores esfuerzos para hacer efectivos los derechos de las personas. En Latinoamérica en general, y en Argentina en particular, existen múltiples diferencias entre las personas, los distritos y las áreas vulnerables. Por un lado, hay que considerar la brecha digital14 14 Se entiende como “brecha digital” a la “separación que existe entre las personas (comunidades, Estados, países) que utilizan las TIC como una parte rutinaria de su vida diaria y aquellas que no tienen acceso a las mismas y que aunque las tengan no saben cómo utilizarlas” (SERRANO, Arturo; MARTÍNEZ, Evelio. La brecha digital: mitos y realidades. Baja California: Ed. UABC, 2003. p. 8.). En este sentido, la Comisión Interamericana de Derechos Humanos reconoció que, bajo el principio de acceso universal, “ampliar el acceso y cerrar la ‘brecha digital’ va de la mano con la necesidad de que el Estado procure que los actores privados no impongan barreras desproporcionadas o arbitrarias para acceder a internet o usar sus servicios principales” (COMISIÓN INTERAMERICANA DE DERECHOS HUMANOS. Informe anual 2013 - Informe de la relatoría especial para la libertad de expresión. Disponble en: <http://www.oas.org/es/cidh/expresion/docs/informes/anuales/2014_04_22_ia_2013_esp_final_web.pdf>. párr. 17). que existe entre los ciudadanos que están conectados a Internet y los que no. Por otra parte, la organización y el desarrollo de los poderes públicos son asimétricos en cuanto a infraestructura y desarrollo. Sin embargo, esto no impide que el Estado avance sobre varios frentes al mismo tiempo y acelere la transición para adaptarse a esta nueva revolución de espacio y de tiempo.

De lo contrario, cuanto más se tarde, es el ciudadano el que “pierde”. Por ejemplo, los múltiples problemas de Internet y las redes sociales (todas las cuestiones vinculadas al cibercrimen y a la privacidad) hace tiempo afectan a muchas personas que están conectadas, sin importar si viven en distintas provincias argentinas (Formosa, Tierra del Fuego, etc.), en Brasil, en Francia o en Italia. Algo similar ocurre con la implementación del expediente electrónico o digital. Cuando las Administraciones ahorran días en traslados físicos, y en diversos aspectos en relación al papel, el tiempo que se “gana” es el mismo para un ciudadano de una provincia del sur de Argentina (como Neuquén), respecto de otra del norte (como Salta). En conclusión, hay que avanzar en la innovación favoreciendo la inclusión (innovación inclusiva), más allá de la existencia de un desarrollo asimétrico. Y aquí entra en acción la inteligencia artificial como un instrumento al servicio de la justicia y de los derechos.

En un sentido amplio, este enfoque se vincula con un nuevo paradigma tecnológico que se llama inteligencia en la interfaz. Desde esta óptica, la interfaz sabe mucho sobre el usuario, lo entiende en contexto, es proactiva y se vuelve mejor con la experiencia. Para que se entienda mejor. Veamos cómo se desarrollan las vinculaciones en el mundo digital. Por un lado, existe un sistema mediante el cual el usuario elige el recorrido y la tecnología une los puntos, como ocurre con los hipervínculos. Por otra parte, se encuentra el llamado “portal”, en donde el usuario elige un canal y la tecnología le transmite el contenido. En tercer lugar, hallamos a uno de los más usados, que se refiere a los motores de búsqueda (el más famoso es Google). Aquí el usuario establece qué quiere buscar y la tecnología encuentra contenido relevante y de calidad para devolver.

Por último, existe un método más eficiente: la inteligencia en la interfaz. Aquí el usuario simplemente interactúa (hablando o “chateando” como si fuera un Whatsapp) y la tecnología resuelve los problemas mediante conexiones con diferentes sistemas que pueden responder a las necesidades del usuario y a partir del aprendizaje15 15 Sobre la inteligencia en la interfaz, ampliar en GRUBER, Tom. Intelligence at the Interface: Semantic Technology and the Consumer Internet Experience. Presentation at Semantic Technologies conference, May 2008. Available at: <http://tomgruber.org/writing/semtech08.pdf>. . En los teléfonos celulares Iphone, Apple ha desarrollado un asistente de voz llamado Siri. Cuando se activa, se le puede preguntar diversas cuestiones y responde. Pero también Prometea, la inteligencia que hemos desarrollado en el Ministerio Público Fiscal, se ubica en este nuevo paradigma. Según nuestras investigaciones, la inteligencia en la interfaz -a través de sistemas de inteligencia artificial- puede impactar de manera decisiva para garantizar ciertos derechos de acceso, y mucho más aún cuando se trata de personas vulnerables o con discapacidad. Veamos esto en concreto.

Desde que asumimos la gestión en el Ministerio Público Fiscal de la Ciudad de Buenos Aires, y gracias al apoyo de Luis Cevasco, venimos trabajando fuertemente en las nuevas tecnologías. Puntualmente, en todo lo que se refiere a las tecnologías de la información y de la comunicación (TIC). En el transcurso de 2017, hemos desarrollado el primer sistema de inteligencia artificial jurídico en Latinoamérica16 16 Es importante destacar el impulso que nos ha brindado Daniel Pastor y el Instituto de Neurociencias y Derecho (INEDE) para avanzar en estos temas. Él y su equipo de trabajo, son pioneros en el ámbito de las neurociencias aplicadas al derecho penal. De hecho, han creado un software que cuenta plazos en materia de prescripción penal. que trabaja con un asistente de voz (tal como lo hace Siri de Apple) y permite realizar un dictamen jurídico de manera íntegra.

Es decir, la persona abre el expediente, y una vez que está en condiciones de proyectar un modelo, activa a Prometea por comando de voz en un celular (dispositivo móvil) o mediante un chat, como si fuera a mantener una conversión por Whatsapp. Todo el proceso, de manera íntegra, se realiza a través de la inteligencia artificial. Desde un “Hola”, pasando varias preguntas y respuestas entre Prometea y la persona, lo que incluye que busque y nos “traiga” al dictamen leyes y decretos, hasta llegar al punto (según el modelo que estemos trabajando) en el que Prometea nos dice “dictamen completado”. Luego, le podemos ordenar que “imprima”, “que descargue el dictamen” o que envíe por mail o a una red interna, el proyecto borrador para que sea corregido.

Todo este proceso, si es realizado mediante comando de voz, se concreta sin tocar el teclado o el mouse. Cuando prendemos la computadora y activamos Prometea, nos pide que le digamos el número de expediente, y luego toma la carátula de la página oficial del Tribunal Superior de Justicia de la CABA, y nos ofrece un modelo de la fiscalía con la carátula completa y la temática según se la expresemos. Por ejemplo, modelo citación, modelo vivienda, modelo autosuficiencia. También nos avisa si el modelo de dictamen no es aplicable, porque están vencidos los plazos o falta algún requisito formal.

Para evitar cualquier falla, estamos en fase experimental, más allá de que los modelos realizados por Prometea -antes de que se envíen a la firma- son controlados por el equipo que trabaja en la Fiscalía. A fin de año, aspiramos a que más de la mitad de los expedientes que vienen a dictaminar a la Fiscalía General Adjunta17 17 En el año 2016, sin tener en cuenta los expedientes vinculados a temas penales, la Fiscalía General Adjunta en lo Contencioso Administrativo y Tributario emitió 912 dictámenes, en relación a los recursos de queja, de inconstitucionalidad y a los recursos ordinarios ante el Tribunal Superior de Justicia de la Ciudad de Buenos Aires. , sean realizados con Prometea.

Ahora bien, esta innovación que se da en el ámbito público, implica un salto cualitativo en relación con la velocidad y la precisión en nuestra labor cotidiana para prestar un mejor servicio de justicia. De hecho, en noviembre presentaremos el sistema formalmente, destacando sus ventajas frente a los sistemas clásicos. Además, probablemente, también esté en funciones el modelo predictivo sobre el que estamos trabajando para que la tarea sea aún más rápida y precisa.

Pero el aspecto más importante que advertimos al desarrollar Prometea, se vincula con su extensión a otras áreas. Simplificar la interacción con un fiscal, organizar procesos judiciales internos, optimizar las relaciones ciudadanía-Estado y, sobre todo, enfocar su uso en los sectores vulnerables y en las personas con discapacidad.

4. INTELIGENCIA ARTIFICIAL AL SERVICIO DE LOS DERECHOS DE ACCESO

La inteligencia artificial puede ser una herramienta clave en la relación ciudadanos-Estado. Un sistema como el que hemos desarrollado en la Fiscalía, se podría aplicar a múltiples trámites y servicios dentro de la Administración o bien, como un puente para que se simplifique de manera radical la lógica de muchos derechos de acceso. A esto nos referimos cuando hablamos de inteligencia en la interfaz. Los trámites o servicios del Estado pueden ser brindados a través de un asistente digital de voz, o utilizando chatbots18 18 Un chatbot es un agente de conversación que interactúa con los usuarios, en un determinado dominio o en un determinado tema con lenguaje natural. . De hecho, si usted tiene un iPhone y habilita la función de Siri, pruebe en llamar al 911 con sólo decir que lo llame, y el asistente lo hará. Incluso, con esta tecnología, resulta mucho más sencillo garantizar la centralidad del usuario a través del portal único o digital19 19 La plataforma digital está compuesta por los portales de internet y las aplicaciones móviles; la guía de trámites; el perfil digital del ciudadano; los servicios de atención telefónica; las oficinas públicas que presten atención presencial; los servicios de mensajes de texto simples (SMS) y los servicios de atención prestados a través de redes sociales; ver art. 1, Decreto 87/2017 de Plataforma Digital del Sector Público Nacional, 2/2/2017 y Decreto 434/2016 del Plan de Modernización del Estado, 01/03/2016. .

Pero además, el uso de la inteligencia artificial podrá optimizar el flujo de datos y de información a disposición de las organizaciones públicas (también de las privadas) para resolver cuestiones que antes requerían múltiples pasos, procedimientos y fases. O que, incluso, ni siquiera podían resolverse. Una inteligencia artificial bien “entrenada”, con acceso al flujo informativo, simplifica y facilita exponencialmente las actividades de una organización y puede obtener resultados que serían imposibles de lograr con los cerebros humanos.

Por ejemplo, a partir de la digitalización de las historias clínicas de los pacientes20 20 Véase: CORVALÁN, Juan G.; GIMBATTI, Silvia. Historias clínicas digitales. La consolidación del Big Data sanitario. La Ley, Buenos Aires, 18 ago. 2017. Cita Online: AR/DOC/2178/2017. , un sistema de inteligencia artificial podría garantizarles a ellos y a las autoridades sanitarias, un seguimiento y acceso a los datos sanitarios, optimizando exponencialmente la atención médica y permitiendo a los ciudadanos acceder a esa información a partir de un asistente digital21 21 Es importante considerar que, antes de aplicar estos sistemas, es indispensable asegurar que se cuente con un sistema robusto de protección de datos. . Si bien excede seguir ampliando en este artículo todas estas cuestiones, este tipo de tecnología, al servicio de los derechos, se vuelve en sí misma un derecho. Mucho más aún, si consideramos que la ley de Argentina Digital 27.078 (arts. 1 y 2) declara de interés público el desarrollo de las tecnologías de la información y de la comunicación (TIC), habla de garantizar el derecho humano a las comunicaciones, telecomunicaciones y, también, el acceso los servicios de TIC.

5. RETOS Y DESAFÍOS: PROTEGER LOS DERECHOS HUMANOS EN LA ERA DE LOS ALGORITMOS INTELIGENTES

Toda innovación tecnológica produce beneficios, riesgos y daños. Entre otras ventajas, Internet es vital para asegurar el derecho de libertad de expresión, pero, por ejemplo, también se usa para traficar armas, órganos, y muchos otros delitos que se desarrollan en el mundo digital. Teniendo en cuenta este aspecto, en los dos puntos anteriores hemos abordado el lado luminoso de la inteligencia artificial. Ahora, trazaremos algunas breves líneas en torno a los riesgos, desafíos y retos que nos depara esta nueva tecnología. El “lado oscuro de la IA”.

A principios de este año, más de dos mil quinientos expertos (entre ellos, Stephen Hawking) establecieron el siguiente principio: “Los riesgos que plantean los sistemas de IA, en especial los riesgos catastróficos y existenciales, deberían estar sujetos a esfuerzos de planificación y mitigación, acordes con el impacto esperado. Y en mayor medida, debería estar sujeta a estrictas medidas de seguridad y control”22 22 FUTURE OF LIFE INSTITUTE. “Asilomar AI Principles”. Disponible en <https://futureoflife.org/ai-principles>. consultado el 20 jun. 2017. . Actualmente, existen múltiples desafíos para asegurar la compatibilidad del desarrollo de la inteligencia artificial con el derecho doméstico de los Estados y con el derecho internacional vigente. Se usan algoritmos inteligentes para captar todos nuestros datos, para recomendarnos qué buscar, a dónde ir, qué hacer, cómo llegar más rápido a un determinado lugar, para diagnosticar enfermedades, para prevenirlas, etc. Todas estas cuestiones, requieren precisar algunos aspectos a tener en cuenta.

En primer lugar, es fundamental saber cómo funciona esta tecnología. No se puede pensar una regulación adecuada, desconociendo la dinámica del objeto que se pretende regular. Algo similar ocurre con las leyes vinculadas a los alimentos, a los medicamentos, entre otras. En este aspecto, como los sistemas de IA crecen de manera exponencial, es indispensable estar constantemente actualizado en los nuevos métodos que se utilizan.

En segundo lugar, es clave analizar ciertas áreas y derechos en forma particularizada. Es diferente el supuesto en el que los sistemas de IA me recomienden música y se ocupan de gestionar los gustos musicales en nuestra cuenta de Spotify (o cuáles son los videos que podrían agradarme en YouTube), y otra muy distinta es el supuesto en el que algoritmos inteligentes se ocupan de predecir si voy a tener una enfermedad o si hay que conceder libertad condicional a una persona privada de su libertad.

En tercer lugar, cuando se trata de derechos fundamentales, es clave considerar un aspecto saliente de todos los sistemas de inteligencia artificial más sofisticados que se usan actualmente (Watson de IBM, Alexa, Quid, Siri, entre muchos otros). Se trata de auténticas cajas negras. En esencia, esto significa que los algoritmos no pueden ofrecer una explicación detallada acerca de cómo llegan a un determinado resultado. Es decir, no puede establecerse cómo el sistema de IA evalúa y pondera los datos y la información que procesa. Por eso se habla de “cajas negras”. Se llama sistema de caja negra a la herramienta computacional en la que uno entiende los datos ingresados y los resultados, pero no comprende el procedimiento subyacente. Aquí el código es inescrutable porque el programa “evoluciona” y los seres humanos no pueden entender el proceso que siguió la programación para lograr una solución determinada23 23 Véase BARRAT, James. Nuestra invención final. Madrid: Planeta Publishing, 2015. p. 92. .

En cuarto lugar, teniendo en cuenta lo anterior, es indispensable asegurar los principios de igualdad y de no discriminación cuando estamos frente a predicciones de inteligencias artificiales frente a derechos fundamentales. Por ejemplo, ciertas IA predictivas que se usan en Estados Unidos de Norteamérica24 24 Ampliar en CORVALÁN, Juan G. El peligro de la inteligencia artificial como oráculo del sistema penal. Diario Infobae, 30 ago. 2017. Disponible en: <http://www.infobae.com/opinion/2017/08/30/el-peligro-de-la-inteligencia-artificial-como-oraculo-del-sistema-penal/>. , se basan en un código fuente que toma en consideración distinciones de raza, género, entre otras. Y esto provoca un caso inadmisible de discriminación estructural algorítmica. Por ejemplo, en el caso “State vs. Loomis25 25 Corte Suprema de Wisconsin, “Estado de Wisconsin v. Eric L. Loomis”, 13 de julio de 2016, disponible en https://www.wicourts.gov/sc/opinion/DisplayDocument.pdf?content=pdf&seqNo=171690, consultado el 21/06/2017. el apelante sostuvo que el algoritmo inteligente usaba incorrectamente las evaluaciones de género26 26 Ampliar en Corte Suprema de Wisconsin, “Estado de Wisconsin v. Eric L. Loomis”, 13 de julio de 2016, véase especialmente considerandos 17, 28, 34, 51, 93 y 94. .

Veamos este problema con mayor detalle. La agencia de noticias independiente ProPublica, realizó una investigación acerca de la fiabilidad de la predicción de la reincidencia a través del uso de algoritmos inteligentes en el ámbito delictivo. Básicamente, se analizó el funcionamiento de COMPAS27 27 En Estados Unidos de Norteamérica, el sistema más utilizado de inteligencia artificial que establece un Score (puntaje) de riesgo es COMPAS. Esta IA se inspira en la evaluación de riesgos en el ámbito de los seguros para determinar el riesgo de accidente de una persona en particular y qué prima le corresponderá pagar. COMPAS brinda una respuesta en forma de scoring (puntaje) de riesgo en una escala de 1 (riesgo bajo) a 10 (riesgo alto). Es decir, el puntaje que la inteligencia artificial le suministra es una comparación de cómo se ve de riesgoso el individuo con relación una población segmentada. Por ejemplo, si se obtiene un score de 4, entonces el 60% de la población se ve como más riesgosa que el sujeto analizado, mientras que un 30% parece menos riesgoso. El scoring que le corresponde asignar a un sujeto, en concreto, evalúa y asigna peso a una serie de factores crimonogénicos (causas o concausas de la criminalidad) que se encuentran presenten en el sujeto con relación a una población de similares características. Por ejemplo, si usáramos para obtener ese scoring el sistema COMPAS, este le asignaría mucho peso a la edad en la que nuestro sujeto cometió su primer delito, su nivel de educación y su historial de incumplimiento anterior, etc. De este modo si la persona que solicita la libertad condicional tuviera 25 años y su primer delito fue cometido a los 16, el score de riesgo de reincidencia sería de alto riesgo; es decir, situado en la escala en un puntaje mayor o igual a 8 puntos. Por el contrario, a mayor edad del delincuente, es menor el score, incluso si este cometió un delito grave. Ampliar en, Northpointe, Practitioners Guide to COMPAS. . Se evaluaron las puntuaciones de riesgo asignadas a más de 7.000 personas detenidas en el condado de Broward, Florida, entre 2013 y 2014 y se comprobó cuántas fueron acusadas con posterioridad por la comisión de nuevos delitos durante los próximos dos años. La puntuación resultó ser notablemente poco fiable en la predicción de crímenes violentos, ya que sólo el veinte por ciento (20%) de las personas predichas para cometer crímenes violentos los cometió28 28 PROPUBLICA, “Machine bias: There’s software used across the country to predict future criminals. And it’s biased against blacks”. Disponible en: <https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing>. .

En cambio, cuando se tomó en cuenta el total de delitos incluyendo delitos menores -tales como conducir con una licencia vencida, la predicción resultó más precisa. En este caso, el porcentaje de acierto de quienes efectivamente reincidieron fue del sesenta y uno por ciento (61%). Pero además, detectaron una mayor tasa de predicción de reincidencia en delincuentes afroamericanos y una mayor cantidad de falsos positivos (es decir, de predicción de reincidencia errónea) en este grupo de delincuentes. Ello, en comparación con los resultados obtenidos y corroborados en las predicciones respecto de las personas de una etnia caucásica. A lo que cabe agregar que los acusados blancos fueron mal etiquetados como de bajo riesgo, más a menudo que los acusados afroamericanos.

Los investigadores de ProPublica se preguntaron si esa disparidad podría explicarse por los crímenes anteriores de las personas acusadas o el tipo de crímenes por las que fueron arrestadas. La respuesta fue negativa. Así, mediante una prueba estadística que aisló el efecto de la etnia de la historia criminal y la reincidencia, así como el rango etario y el sexo de los acusados, se demostró que los acusados afroamericanos aún tenían un setenta y siete por ciento (77%) más de probabilidades de estar vinculados a un mayor riesgo de cometer un futuro delito violento y cuarenta y cinco por ciento (45%) más de probabilidades de que se previera que cometerían un futuro delito de cualquier tipo. Incluso, al mejor estilo del oráculo griego Calcante, se concluyó que los desarrolladores de COMPAS (empresa Northpointe) no revelan públicamente qué cálculos son utilizados para llegar a los puntajes de riesgo de los demandados, por lo que no es posible para los acusados -ni para el público- ver qué podría estar causando la disparidad29 29 La empresa desarrolladora contestó públicamente que el informe de ProPublica presentaba errores técnicos. Puede consultar la respuesta en: NORTHPOINTE. “Response to ProPublica: demonstrating accuracy equity and predictive parity”. Disponible en: <http://www.equivant.com/blog/response-to-propublica-demonstrating-accuracy-equity-and-predictive-parity>. .

Estos “oráculos artificiales” tampoco parecen ofrecer una explicación inteligible -en un lenguaje humano-, respecto a cómo es que se pesan o ponderan los factores para llegar a los porcentajes. Imagine el lector que está discutiendo con una persona si le debe o no la suma de veinte mil pesos ($ 20.000) y acude a la justicia. Suponga que el juez sentencia que no se le debe nada, porque analizó diversos factores. Pero no le dice cómo los evaluó. Sin dudas, estaríamos frente a un típico caso de sentencia arbitraria. Por eso, si se usan algoritmos inteligentes para ayudar a los jueces penales a decidir acerca de libertades condicionales, nuestro sistema constitucional y convencional impide utilizar un sistema como este. En efecto, no sólo se trata de asegurar que el sistema no se base en distinciones de raza, género, etc., sino que además, la IA debe poder explicar en un lenguaje comprensible para los seres humanos, en qué factores se basa y cómo pondera los elementos que las sustentan30 30 Esto no es uniforme en todos los sistemas jurídicos, por ej., en el sistema anglosajón las decisiones a las que arriba el jurado de culpabilidad o no culpabilidad se toman de manera inmotivada y sólo son apelables esas decisiones cuando hay una declaración de culpabilidad que conlleve una condena. . Por estas razones, hoy en día no puede aplicarse la inteligencia artificial en estos campos. Y de ahí la importancia del movimiento que se denomina “Inteligencia Artificial Explicable”. De otro modo, es difícil que frente a sistemas tan opacos, se admita el desarrollo masivo de vehículos autónomos, “oráculos artificiales” que predicen en materia de salud, seguridad, y en todo lo relativo a las armas de guerra por parte de los estados.

En quinto lugar, quienes desarrollan IA suelen ampararse en el secreto comercial y en los derechos de patentamiento. Y si bien esto es en principio razonable, cuando se trata de sistemas de IA vinculados a cuestiones comerciales (ventas online, publicidad, marketing, etc.), no puede ser opuesto cuando se trata de cuestiones vinculadas a la dignidad de la persona. En este aspecto, cobra especial importancia lo establecido en el artículo 13.2 inc. a) de la Convención Americana de los Derechos del Hombre, cuando cita que el derecho a la libertad de expresión no puede estar sujeto a previa censura sino a responsabilidades ulteriores, las que deben estar expresamente fijadas por la ley y ser necesarias para asegurar: a. el respeto a los derechos o a la reputación de los demás(…).31 31 Véase también el artículo 52 del Código Civil y Comercial cuando dispone que “La persona humana lesionada en su intimidad personal o familiar, honra o reputación, imagen o identidad, o que de cualquier modo resulte menoscabada en su dignidad personal, puede reclamar la prevención y reparación de los daños sufridos…”.

Como no podemos seguir detallando cada una de las cuestiones involucradas en el desarrollo de la IA, estas breves muestras ponen en evidencia la complejidad y la dificultad de abordar esta innovación. Por eso, es clave poner el tema en agenda, pensar en un esquema de cooperación internacional y, al mismo tiempo, crear entornos normativos propicios. Esto también implica consagrar principios rectores que se apliquen a los sistemas de inteligencia artificial, que sean compatibles con nuestro modelo de derechos humanos; es decir, bregamos por un desarrollo de IA compatible con el Estado constitucional y con el derecho internacional de los derechos humanos.

6. PRINCIPIOS JURÍDICOS PARA UNA INTELIGENCIA ARTIFICIAL QUE RESPETE Y PROMUEVA LA VIGENCIA DEL ESTADO CONSTITUCIONAL Y LA EFECTIVIDAD DE LOS DERECHOS FUNDAMENTALES

El “modelo de derechos humanos” se cristaliza a partir de un paradigma protectorio que surge de los pactos internacionales, y que en esencia se basa en la dignidad humana. De esta forma, el epicentro del sistema se asienta en la igualdad, y el carácter inalienable o inderogable. Existe una vinculación directa entre estos derechos, la dignidad humana, la paz, la protección de las minorías, de los más vulnerables o de los más débiles32 32 Véase, FERRAJOLI, Luigi. Sobre los derechos fundamentales. In: CARBONELL, Miguel (ed.) Teoría del neo constitucionalismo. Madrid: Trotta, 2007. p. 73-75. . Es un esquema por el que se obliga a los Estados y a la comunidad internacional a garantizar la efectividad de derechos, principios y reglas que se encuentran plasmados en las constituciones, en los pactos internacionales y en las leyes domésticas33 33 Sin embargo, como afirma Charles Beitz, no resulta plausible encontrar un fundamento único o formular una lista de derechos. BEITZ, Charles R.La idea de los derechos humanos. Marcial Pons - Ediciones Jurídicas y Sociales: Madrid, 2012. p. 141-142; 244. . Pero un enfoque de derechos humanos vinculado a las nuevas tecnologías, presupone aceptar un punto de partida: la innovación inclusiva para el desarrollo sostenible34 34 Desde la óptica de la Organización de Naciones Unidas, “…todos deben aprovechar los beneficios de las nuevas tecnologías, en particular de las tecnologías de la información y de las comunicaciones, conforme a las recomendaciones formuladas en la Declaración Ministerial 2000 del Consejo Económico y Social”. Véase, Resolución aprobada por la Asamblea General 55/2, Declaración del Milenio, apartado III, punto 20, ítem quinto. .

Sobre esta plataforma, para que el desarrollo de la IA sea compatible con un “modelo de derechos humanos” es preciso impulsar una regulación que incorpore una serie de principios que en gran medida se vinculan con tres categorías incipientes que, por una cuestión de extensión, serán ampliadas en publicaciones futuras: dignidad algorítmica, identidad algorítmica y vulnerabilidad algorítmica. Todas ellas, se presentan como una derivación de la dignidad digital (que a su vez se integra por la identidad digital) de las personas humanas en el mundo digital. Se trata, en esencia, de hacer más robusto el sistema de protección a partir de incorporar al bloque de juridicidad una serie de principios generales tendientes a regularla. Veamos.

Prevención/precaución. Estos principios constituyen dos funciones distintas, con un denominador común: la necesidad de actuar antes de la producción de un daño. En una síntesis radical, se desempeñan sobre distintos tipos de riesgos. Al riesgo potencial, la precaución. Al riesgo verificado corresponde la prevención35 35 ALLENDE RUBINO, Horacio L. La acción de prevención en el Código Civil y Comercial. Su relación con el principio de precaución en el derecho ambiental. Microjuris online, 2016. Cita: MJ-DOC-9989-AR | MJD9989. . El principio precautorio en la IA (de un modo análogo a lo que acontece en el derecho ambiental) se vincula con una falta total o absoluta de certeza científica acerca de la ausencia de riesgos. Cuando se pretende utilizar inteligencia artificial que impacta en los derechos fundamentales de las personas (salud, libertad, igualdad y no discriminación, seguridad), no podría utilizarse sistemas de IA si se dan las siguientes circunstancias: i) un código fuente cerrado o la existencia de un sistema en el que uno entiende los datos ingresados y los resultados, pero no se puede inferir el procedimiento subyacente (“caja negra”); ii) la ausencia de una trazabilidad algorítmica; iii) la imposibilidad de asegurar un “botón de apagado” o un mecanismo seguro de contención de la IA; iv) cuando en cualquier fase -diseño, desarrollo o aplicación- se advierta que el sistema se basa en distinciones que violan el principio de igualdad y no discriminación. Aquí esto operaría como una suerte de “categoría sospechosa algorítmica”.

Autodeterminación algorítmica. La autodeterminación es un derecho fundamental que se deriva de la dignidad de la persona humana36 36 RODOTÁ, Stefano. El derecho a tener derechos. Madrid: Trotta, 2014. p. 182. . Se trata de asegurar el “libre desarrollo de la personalidad”, a partir de reconocer la autodeterminación informativa que se orienta a garantizar el derecho a elegir -asociado a la libertad de información-, el “derecho a saber”, al “conocimiento” y a la “autorregulación de la información”37 37 PITSCHAS, Rainer. Derecho administrativo de la Información. In: BARNES, Javier (Ed.). Innovación y Reforma en Derecho Administrativo. 2 ed. Sevilla: Global Law Press, 2012. p. 226, 227 y 236. Este autor habla de un cambio de paradigma del Derecho administrativo de la información, en donde cada individuo ha de estar en condiciones de decidir bajo su propia responsabilidad y autonomía entre las posibilidades y los riesgos que genera la libertad de comunicación (p. 236). . Sobre esta base, los Estados y la comunidad internacional, responsablemente deben invertir, y desplegar los máximos esfuerzos de toda índole, para que se pueda garantizar la autodeterminación humana frente al uso de algoritmos inteligentes. Como la IA intermedia cada vez más entre los datos/información y las decisiones de las personas, resulta indispensable proteger sus derechos a partir de promover el respeto de los principios de necesidad, finalidad, proporcionalidad y pertenencia de los datos personales.

Transparencia algorítmica y principio de imparcialidad del validador. Cuando se pretende utilizar sistemas de IA en el ámbito de la salud, libertad, seguridad, u otros derechos fundamentales, el diseño, desarrollo y uso de la inteligencia artificial debe garantizar que no se configuran “cajas negras”, o que se verifiquen fallas de arquitectura, frente a daños o lesiones que puedan causar. Es decir, la inteligencia artificial debe ser transparente en sus decisiones, lo que significa que se pueda inferir o deducir una “explicación entendible” acerca de los criterios en que se basa para arribar a una determinada conclusión, sugerencia o resultado. Esta cuestión tiene dos grandes caras.

En primer lugar, es relevante considerar el llamado secreto comercial, que ampara a la información comercial confidencial que le otorga a las empresas ventajas competitivas Esto abarca los secretos industriales o de fabricación y los secretos comerciales. La utilización no autorizada de dicha información por personas distintas del titular, se considera práctica desleal y violación del secreto comercial. Dependiendo del sistema jurídico y del país, la protección de los secretos comerciales forma parte del concepto general de protección contra la competencia desleal o se basa en disposiciones específicas o en decisiones de los tribunales sobre la protección de la información confidencial38 38 Véase: <http://www.wipo.int/sme/es/ip_business/trade_secrets/trade_secrets.htm>. Consultado el 1/08/17] .

En segundo lugar, aun cuando el desarrollador esté dispuesto a “abrir” el sistema (el código fuente), en los sistemas más avanzados de IA, no hay una forma técnica para determinar el paso a paso (la trazabilidad) acerca de cómo los algoritmos arriban al resultado, decisión o predicción. Esto se da frecuentemente en uno de los métodos más usados: las redes neuronales artificiales39 39 BARRAT, James. Nuestra invención final. Madrid: Planeta Publishing, 2015. p. 240 y 241. .

Ahora bien, para abordar el fenómeno de las cajas negras, es importante insistir en el hecho de que los sistemas de IA están diseñados para maximizar resultados y para optimizar el procesamiento de información y los datos. Pero cuando están en juego derechos fundamentales de las personas (la salud, la vida, la libertad, la privacidad, la libertad de expresión, etc.) es clave que los resultados intermedios del sistema sean validados. Esto implica que el razonamiento o las estructuras de razonamiento que se siguen hasta arribar las decisiones o predicciones, deben someterse a un proceso de tres grandes fases: 1) verificación, 2) validación y 3) evaluación40 40 Ampliar en PALMA MÉNDEZ, José T.; MARÍN MORALES, Roque. Inteligencia artificial. España: McGraw-Hill España, 2008. p. 891 a 935. . Y aquí entra en juego asegurar la calidad y transparencia de los procesos algorítmicos.

La idea básica es lograr que los sistemas de procesamiento de información y de datos que llevan a cabo los sistemas de IA cumplan con ciertos procesos de calidad para que los resultados sean los esperados, y que no se obtengan a cualquier costo. La primera etapa a la que hacíamos referencia se vincula con la arquitectura de la IA (verificación). Se trata de asegurar ciertos estándares o principios tales como consistencia, completitud, corrección y no redundancia. Entre otros métodos, se trata de que los expertos humanos puedan simular, en la medida de lo posible, el proceso para detectar las discrepancias.

Aquí aparece un factor central frente a ciertos sistemas de IA que impactan o tendrán incidencia robusta en los derechos fundamentales de las personas. Quienes diseñan, entrenan o desarrollan los algoritmos inteligentes, no pueden participar en el proceso de validación. A esto lo llamaremos principio de imparcialidad del validador. Incluso, es indispensable que las autoridades públicas intervengan en el proceso y se obligue legalmente a que esto ocurra. Esto no significa que todos los sistemas de IA sean sometidos a este proceso de verificación y validación. Pero sí es importante cuando se están desarrollando algoritmos que impactan en la vida, en la seguridad, libertad y salud de las personas.

Trazabilidad de la inteligencia artificial. La trazabilidad o rastreabilidad es la “aptitud para rastrear la historia, la aplicación o la localización de una entidad mediante indicaciones registradas”41 41 Definición según la norma ISO 8402, complemento de la serie de normas ISO 9000. . Una IA basada en un enfoque de derechos humanos debe poder explicar, paso a paso, las operaciones técnicas que realiza desde el inicio hasta el fin de un proceso determinado. Como regla, se debe garantizar la inteligibilidad y la trazabilidad del proceso de toma de decisiones de los algoritmos inteligentes.

Máximo acceso. Derecho de acceso a la información algorítmica. Cuando el Estado y las personas públicas no estatales, por sí o a través de terceros, diseñan, desarrollan o utilizan tecnologías de la información o comunicación sustentadas en IA o en algoritmos inteligentes (lo que involucra cualquier tipo de máquina o robot inteligente), deben garantizar el máximo acceso al sistema de procesamiento de información que esas tecnologías realizan42 42 El mismo acceso debe garantizarse respecto de toda persona humana o jurídica pública o privada, vinculada con fines públicos o fondos públicos recibidos, que haga uso de esas tecnologías, siempre que el diseño o uso de la inteligencia artificial se relacione con los fines públicos o con los fondos públicos recibidos. .

Principio de no discriminación algorítmica. El diseño y/o implementación de los algoritmos inteligentes deben respetar el principio de no discriminación, que consiste en impedir que los sistemas de IA procesen la información o los datos bajo sesgos o distinciones frente a los seres humanos, por motivos de raza, color, sexo, idioma, religión, opinión política o de otra índole, origen nacional o social, posición económica, nacimiento o cualquier otra condición social (art. 2, inc. 2, Pacto de los Derechos Económicos Sociales y Culturales).

7. CONCLUSIÓN

Potenciar el “lado luminoso de la inteligencia artificial”, y proteger los derechos humanos frente al “lado oscuro de la IA”, se presentan como dos desafíos trascendentales en la cuarta revolución industrial. El trabajo que nos espera es monumental, ya que debemos hacerlo a la par de un desarrollo asimétrico, que nos sitúa frente a otros problemas que desde hace décadas no han podido resolverse.

Sin embargo, es indispensable no perder tiempo, porque de otro modo sería mucho más dramático que lo que paso con el surgimiento de internet y el desarrollo de las Tecnologías de la información y de la comunicación (TIC) en el ámbito de la Organización de Naciones Unidas (ONU)43 43 Por ejemplo, desde la UNESCO se incentiva a la creación de un entorno legislativo propicio en el ámbito de las TIC. En la misma línea, la ONU sostiene que hay que apoyar el desarrollo de las tecnologías, la investigación e innovación nacional, garantizando un entorno normativo propicio a la diversificación industrial y la adición de valor a los productos básicos. Además, los Estados se deben abstener de utilizar la tecnología de la información y las comunicaciones en contravención del derecho internacional. Véase, Asamblea General, resolución Nº A/71/307, 05/08/2016, considerando 8, pág. 4; Asamblea General, resolución Nº A/RES/70/1, 21/10/2015, considerando 9.b, p. 23 y Asamblea General, resolución Nº A/RES/71/101 A-B, 23/12/2016, considerando 4, p. 4. . Así, mientras ampliábamos nuestras posibilidades y simplificábamos los entornos a través de la digitalización, se produjeron múltiples violaciones a derechos clásicos y nuevos que el sistema jurídico no pudo acompañar. Es lógico que esto pase, debido a que el derecho, por regla, funciona de manera reactiva. Pero esta tecnología es diferente a todas y por eso debemos ser proactivos, intentando abordar la cuestión desde una perspectiva multidisciplinaria, integral, multipolar, flexible y dinámica.

En relación a la protección de los derechos humanos de las personas, es imprescindible considerar dos aspectos interrelacionados. Por un lado, cómo garantizar la intervención humana frente a las decisiones o predicciones de algoritmos inteligentes, intentando crear sistemas que puedan hacer valores los principios desarrollados en el punto anterior. Por otro lado, si los expertos en protección de datos están reflexionando acerca de la intervención humana en relación con los algoritmos44 44 RODOTÁ, Stefano. El derecho a tener derechos. Madrid: Trotta, 2014. p. 302. , entonces, hay que trabajar sobre la siguiente cuestión: cuánta intervención del ser humano resulta necesaria para que el resultado del procesamiento de información y de los datos de sistemas de IA sea legítimo, respetuoso y promotor de la efectividad de los derechos de las personas.

A modo prospectivo, creemos que los retos que presenta la IA, tienen que ver con nuestra identidad como especie. Si las personas humanas nos caracterizamos por la diversidad, aleatoriedad e imperfección, estamos ingresando a una era de automatización que podría poner en crisis esos rasgos. Aunque suene improbable, en un futuro no muy lejano, resultará indispensable pensar seriamente en garantizar un derecho fundamental, que podría ser la piedra basal de la era de la inteligencia artificial: el derecho a la diversidad aleatoria e imperfecta inherente al ser humano.

  • 1
    Véase SCHWAB, KlausSCHWAB, Klaus. La Cuarta Revolución Industrial. Barcelona: Debate, 2016.. La Cuarta Revolución Industrial. Barcelona: Debate, 2016. p. 20 y 21.
  • 2
    Sobre la incidencia de algunas de estas tecnologías en la sociedad, véase KAKU, MichioKAKU, Michio. La física del futuro. Buenos Aires: Debate, 2012.. La física del futuro. Buenos Aires: Debate, 2012.
  • 3
    Tanto el Foro Económico Mundial como la Organización Internacional del Trabajo (OIT), destacan que el mundo está atravesando por una Cuarta Revolución Industrial. Véase, La Iniciativa del centenario relativa al futuro del Trabajo. Nota Informativa. Oficina Internacional del Trabajo, p. 2, 2015 y, El futuro de los empleos. Habilidades y Estrategia de la Mano de Obra para la Cuarta Revolución Industrial. Foro Económico Mundial, p. 1, Enero 2016, Global Challenge Insight Report, disponible en <https://www.weforum.org/reports/the-future-of-jobs>; SCHWAB, KlausSCHWAB, Klaus. La Cuarta Revolución Industrial. Barcelona: Debate, 2016.. La Cuarta Revolución Industrial. Barcelona: Debate, 2016.
  • 4
    Fuente Internet Live Stats. Disponible en: <http://www.internetlivestats.com/one-second/#instagram-band>. Consultado el 28/05/17. Sobre estas cuestiones, veáse algunas aproximaciones iniciales en CORVALÁN, Juan GustavoCORVALÁN, Juan G. Inteligencia Artificial y derechos humanos (Parte I). Diario DPI Cuántico, Diario Constitucional y Derechos Humanos, Ciudad Autónoma de Buenos Aires, n. 156, 03.07.2017. Disponible en: <http://dpicuantico.com/area_diario/doctrina-en-dos-paginas-diario-constitucional-y-derechos-humanos-nro-156-03-07-2017/>.
    http://dpicuantico.com/area_diario/doctr...
    . Inteligencia Artificial y derechos humanos (Parte I). Diario DPI Cuántico, Diario Constitucional y Derechos Humanos, Ciudad Autónoma de Buenos Aires, n. 156, 03.07.2017. Disponible en: <http://dpicuantico.com/area_diario/doctrina-en-dos-paginas-diario-constitucional-y-derechos-humanos-nro-156-03-07-2017/>. Y CORVALÁN, Juan GustavoCORVALÁN, Juan G. Inteligencia Artificial y derechos humanos (Parte I). Diario DPI Cuántico, Diario Constitucional y Derechos Humanos, Ciudad Autónoma de Buenos Aires, n. 157, 10.07.2017. Disponible en: <http://dpicuantico.com/area_diario/doctrina-en-dos-paginas-diario-constitucional-y-derechos-humanos-nro-157-10-07-2017/>.
    http://dpicuantico.com/area_diario/doctr...
    . Inteligencia Artificial y derechos humanos (Parte I). Diario DPI Cuántico, Diario Constitucional y Derechos Humanos, Ciudad Autónoma de Buenos Aires, n. 157, 10.07.2017. Disponible en: <http://dpicuantico.com/area_diario/doctrina-en-dos-paginas-diario-constitucional-y-derechos-humanos-nro-157-10-07-2017/>.
  • 5
    Véase, SIMONITE, TomSIMONITE, Tom. Google ya traduce de inglés a español casi tan bien como un experto humano. MIT Technology Review, 4 oct. 2016. Disponible en: <https://www.technologyreview.es/s/6342/google-ya-traduce-de-ingles-espanol-casi-tan-bien-como-un-experto-humano>. Consultado el 20/08/17.
    https://www.technologyreview.es/s/6342/g...
    . Google ya traduce de inglés a español casi tan bien como un experto humano. MIT Technology Review, 4 oct. 2016. Disponible en: <https://www.technologyreview.es/s/6342/google-ya-traduce-de-ingles-espanol-casi-tan-bien-como-un-experto-humano>. Consultado el 20/08/17.
  • 6
    Sobre todas estas cuestiones, ampliar en GARDNER, Howard. La inteligencia reformulada. Madrid: Paidós, 2010. p. 52 y ss, especialmente 115, Paidós, Madrid, 2010. El mismo autor en GARDNER, HowardGARDNER, Howard. Las cinco mentes del futuro. Buenos Aires: Paidós, 2013.. Las cinco mentes del futuro. Buenos Aires: Paidós, 2013. p. 17; GARDNER, HowardGARDNER, Howard. Estructuras de la mente: la teoría de las inteligencias múltiples. Ciudad de México: Fondo de Cultura Económica, 1987. Estructuras de la mente: la teoría de las inteligencias múltiples. Ciudad de México: Fondo de Cultura Económica, 1987; MANES, Facundo; NIRO, Mateo. El cerebro argentino. Buenos Aires: Planeta Argentina, 2016. p. 269-270, 274-275 y 301, y los mismos autores en MANES, Facundo; NIRO, MateoMANES, Facundo; NIRO, Mateo. Usar el cerebro. Buenos Aires: Paidós Ibérica, 2015.. Usar el cerebro. Buenos Aires: Paidós Ibérica, 2015. p. 115 y 130.
  • 7
    Desde un punto de vista biológico, el ADN es un portador esencial de la información genética. GERARD, Michael; GERALD, Gloria EGERARD, Michael; GERALD, Gloria E. El libro de la biología. Madrid: Ilus Books, 2015.. El libro de la biología. Madrid: Ilus Books, 2015. p. 354.
  • 8
    Ampliar en, DOMINGOS, PedroDOMINGOS Pedro. The master algorithm: how the quest for the ultimate learning machine will remake our world. New York: Basic Books, 2015.. The master algorithm: how the quest for the ultimate learning machine will remake our world. New York: Basic Books, 2015. p. XVI, 1 y ss.
  • 9
    BARRAT, JamesBARRAT, James. Nuestra invención final. Madrid: Planeta Publishing, 2015.. Nuestra invención final. Madrid: Planeta Publishing, 2015. p. 205-206.
  • 10
    Ampliar en, SERRANO GARCÍA, AlbertoSERRANO GARCÍA, Alberto. Inteligencia artificial. Madrid: RC, 2016.. Inteligencia artificial. Madrid: RC, 2016. p. 5 y 9.
  • 11
    Sobre este aspecto, véase BARRAT, JamesBARRAT, James. Nuestra invención final. Madrid: Planeta Publishing, 2015.. Nuestra invención final. Madrid: Planeta Publishing, 2015. p. 244-251. Es importante puntualizar que Watson utiliza un sistema llamado UIMA (Unstructured Information Management Architecture) que actúa como un gestor experto que combina inteligentemente los resultados de los sistemas independientes.
  • 12
    Véase CORVALÁN, Juan G.CORVALÁN, Juan G. Hacia una administración pública digital. Temas de Derecho Administrativo, Buenos Aires, año II, 2017. Hacia una administración pública digital. Temas de Derecho Administrativo, Buenos Aires, año II, p. 621-645, 2017; CORVALÁN, Juan GustavoCORVALÁN, Juan Gustavo. Administración Pública digital e inteligente: transformaciones en la era de la inteligencia artificial. Revista de Direito Econômico e Socioambiental, Curitiba, v. 8, n. 2, p. 26-66, maio/ago. 2017. doi: 10.7213/rev.dir.econ.soc.v8i2.19321.
    https://doi.org/10.7213/rev.dir.econ.soc...
    . Administración Pública digital e inteligente: transformaciones en la era de la inteligencia artificial. Revista de Direito Econômico e Socioambiental, Curitiba, v. 8, n. 2, p. 26-66, maio/ago. 2017. doi: 10.7213/rev.dir.econ.soc.v8i2.19321.
  • 13
    SCHWAB, KlausSCHWAB, Klaus. La Cuarta Revolución Industrial. Barcelona: Debate, 2016.. La Cuarta Revolución Industrial. Barcelona: Debate, 2016. p. 21.
  • 14
    Se entiende como “brecha digital” a la “separación que existe entre las personas (comunidades, Estados, países) que utilizan las TIC como una parte rutinaria de su vida diaria y aquellas que no tienen acceso a las mismas y que aunque las tengan no saben cómo utilizarlas” (SERRANO, Arturo; MARTÍNEZ, EvelioSERRANO, Arturo; MARTÍNEZ, Evelio. La brecha digital: mitos y realidades. Baja California: Ed. UABC, 2003.. La brecha digital: mitos y realidades. Baja California: Ed. UABC, 2003. p. 8.). En este sentido, la Comisión Interamericana de Derechos Humanos reconoció que, bajo el principio de acceso universal, “ampliar el acceso y cerrar la ‘brecha digital’ va de la mano con la necesidad de que el Estado procure que los actores privados no impongan barreras desproporcionadas o arbitrarias para acceder a internet o usar sus servicios principales” (COMISIÓN INTERAMERICANA DE DERECHOS HUMANOSCOMISIÓN INTERAMERICANA DE DERECHOS HUMANOS. Informe anual 2013 - Informe de la relatoría especial para la libertad de expresión. Disponble en: <http://www.oas.org/es/cidh/expresion/docs/informes/anuales/2014_04_22_ia_2013_esp_final_web.pdf>.
    http://www.oas.org/es/cidh/expresion/doc...
    . Informe anual 2013 - Informe de la relatoría especial para la libertad de expresión. Disponble en: <http://www.oas.org/es/cidh/expresion/docs/informes/anuales/2014_04_22_ia_2013_esp_final_web.pdf>. párr. 17).
  • 15
    Sobre la inteligencia en la interfaz, ampliar en GRUBER, TomGRUBER, Tom. Intelligence at the Interface: Semantic Technology and the Consumer Internet Experience. Presentation at Semantic Technologies conference, May 2008. Available at: <http://tomgruber.org/writing/semtech08.pdf>.
    http://tomgruber.org/writing/semtech08.p...
    . Intelligence at the Interface: Semantic Technology and the Consumer Internet Experience. Presentation at Semantic Technologies conference, May 2008. Available at: <http://tomgruber.org/writing/semtech08.pdf>.
  • 16
    Es importante destacar el impulso que nos ha brindado Daniel Pastor y el Instituto de Neurociencias y Derecho (INEDE) para avanzar en estos temas. Él y su equipo de trabajo, son pioneros en el ámbito de las neurociencias aplicadas al derecho penal. De hecho, han creado un software que cuenta plazos en materia de prescripción penal.
  • 17
    En el año 2016, sin tener en cuenta los expedientes vinculados a temas penales, la Fiscalía General Adjunta en lo Contencioso Administrativo y Tributario emitió 912 dictámenes, en relación a los recursos de queja, de inconstitucionalidad y a los recursos ordinarios ante el Tribunal Superior de Justicia de la Ciudad de Buenos Aires.
  • 18
    Un chatbot es un agente de conversación que interactúa con los usuarios, en un determinado dominio o en un determinado tema con lenguaje natural.
  • 19
    La plataforma digital está compuesta por los portales de internet y las aplicaciones móviles; la guía de trámites; el perfil digital del ciudadano; los servicios de atención telefónica; las oficinas públicas que presten atención presencial; los servicios de mensajes de texto simples (SMS) y los servicios de atención prestados a través de redes sociales; ver art. 1, Decreto 87/2017 de Plataforma Digital del Sector Público Nacional, 2/2/2017 y Decreto 434/2016 del Plan de Modernización del Estado, 01/03/2016.
  • 20
    Véase: CORVALÁN, Juan G.; GIMBATTI, SilviaCORVALÁN, Juan G.; GIMBATTI, Silvia. Historias clínicas digitales. La consolidación del Big Data sanitario. La Ley, Buenos Aires, 18 ago. 2017. Cita Online: AR/DOC/2178/2017.. Historias clínicas digitales. La consolidación del Big Data sanitario. La Ley, Buenos Aires, 18 ago. 2017. Cita Online: AR/DOC/2178/2017.
  • 21
    Es importante considerar que, antes de aplicar estos sistemas, es indispensable asegurar que se cuente con un sistema robusto de protección de datos.
  • 22
    FUTURE OF LIFE INSTITUTEFUTURE OF LIFE INSTITUTE. “Asilomar AI Principles”. Disponible en <https://futureoflife.org/ai-principles>. consultado el 20 jun. 2017.
    https://futureoflife.org/ai-principles...
    . “Asilomar AI Principles”. Disponible en <https://futureoflife.org/ai-principles>. consultado el 20 jun. 2017.
  • 23
    Véase BARRAT, JamesBARRAT, James. Nuestra invención final. Madrid: Planeta Publishing, 2015.. Nuestra invención final. Madrid: Planeta Publishing, 2015. p. 92.
  • 24
    Ampliar en CORVALÁN, Juan G.CORVALÁN, Juan G. El peligro de la inteligencia artificial como oráculo del sistema penal. Diario Infobae, 30 ago. 2017. Disponible en: <http://www.infobae.com/opinion/2017/08/30/el-peligro-de-la-inteligencia-artificial-como-oraculo-del-sistema-penal/>.
    http://www.infobae.com/opinion/2017/08/3...
    El peligro de la inteligencia artificial como oráculo del sistema penal. Diario Infobae, 30 ago. 2017. Disponible en: <http://www.infobae.com/opinion/2017/08/30/el-peligro-de-la-inteligencia-artificial-como-oraculo-del-sistema-penal/>.
  • 25
    Corte Suprema de Wisconsin, “Estado de Wisconsin v. Eric L. Loomis”, 13 de julio de 2016, disponible en https://www.wicourts.gov/sc/opinion/DisplayDocument.pdf?content=pdf&seqNo=171690, consultado el 21/06/2017.
  • 26
    Ampliar en Corte Suprema de Wisconsin, “Estado de Wisconsin v. Eric L. Loomis”, 13 de julio de 2016, véase especialmente considerandos 17, 28, 34, 51, 93 y 94.
  • 27
    En Estados Unidos de Norteamérica, el sistema más utilizado de inteligencia artificial que establece un Score (puntaje) de riesgo es COMPAS. Esta IA se inspira en la evaluación de riesgos en el ámbito de los seguros para determinar el riesgo de accidente de una persona en particular y qué prima le corresponderá pagar. COMPAS brinda una respuesta en forma de scoring (puntaje) de riesgo en una escala de 1 (riesgo bajo) a 10 (riesgo alto). Es decir, el puntaje que la inteligencia artificial le suministra es una comparación de cómo se ve de riesgoso el individuo con relación una población segmentada. Por ejemplo, si se obtiene un score de 4, entonces el 60% de la población se ve como más riesgosa que el sujeto analizado, mientras que un 30% parece menos riesgoso. El scoring que le corresponde asignar a un sujeto, en concreto, evalúa y asigna peso a una serie de factores crimonogénicos (causas o concausas de la criminalidad) que se encuentran presenten en el sujeto con relación a una población de similares características. Por ejemplo, si usáramos para obtener ese scoring el sistema COMPAS, este le asignaría mucho peso a la edad en la que nuestro sujeto cometió su primer delito, su nivel de educación y su historial de incumplimiento anterior, etc. De este modo si la persona que solicita la libertad condicional tuviera 25 años y su primer delito fue cometido a los 16, el score de riesgo de reincidencia sería de alto riesgo; es decir, situado en la escala en un puntaje mayor o igual a 8 puntos. Por el contrario, a mayor edad del delincuente, es menor el score, incluso si este cometió un delito grave. Ampliar en, Northpointe, Practitioners Guide to COMPAS.
  • 28
    PROPUBLICAPROPUBLICA, “Machine bias: There’s software used across the country to predict future criminals. And it’s biased against blacks”. Disponible en: <https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing>.
    https://www.propublica.org/article/machi...
    , “Machine bias: There’s software used across the country to predict future criminals. And it’s biased against blacks”. Disponible en: <https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing>.
  • 29
    La empresa desarrolladora contestó públicamente que el informe de ProPublica presentaba errores técnicos. Puede consultar la respuesta en: NORTHPOINTENORTHPOINTE. “Response to ProPublica: demonstrating accuracy equity and predictive parity”. Disponible en: <http://www.equivant.com/blog/response-to-propublica-demonstrating-accuracy-equity-and-predictive-parity>.
    http://www.equivant.com/blog/response-to...
    . “Response to ProPublica: demonstrating accuracy equity and predictive parity”. Disponible en: <http://www.equivant.com/blog/response-to-propublica-demonstrating-accuracy-equity-and-predictive-parity>.
  • 30
    Esto no es uniforme en todos los sistemas jurídicos, por ej., en el sistema anglosajón las decisiones a las que arriba el jurado de culpabilidad o no culpabilidad se toman de manera inmotivada y sólo son apelables esas decisiones cuando hay una declaración de culpabilidad que conlleve una condena.
  • 31
    Véase también el artículo 52 del Código Civil y Comercial cuando dispone que “La persona humana lesionada en su intimidad personal o familiar, honra o reputación, imagen o identidad, o que de cualquier modo resulte menoscabada en su dignidad personal, puede reclamar la prevención y reparación de los daños sufridos…”.
  • 32
    Véase, FERRAJOLI, LuigiFERRAJOLI, Luigi. Sobre los derechos fundamentales. In: CARBONELL, Miguel (ed.) Teoría del neo constitucionalismo. Madrid: Trotta, 2007.. Sobre los derechos fundamentales. In: CARBONELL, Miguel (ed.) Teoría del neo constitucionalismo. Madrid: Trotta, 2007. p. 73-75.
  • 33
    Sin embargo, como afirma Charles Beitz, no resulta plausible encontrar un fundamento único o formular una lista de derechos. BEITZ, Charles R.BETIZ, Charles R. La idea de los derechos humanos. Marcial Pons - Ediciones Jurídicas y Sociales: Madrid, 2012.La idea de los derechos humanos. Marcial Pons - Ediciones Jurídicas y Sociales: Madrid, 2012. p. 141-142; 244.
  • 34
    Desde la óptica de la Organización de Naciones Unidas, “…todos deben aprovechar los beneficios de las nuevas tecnologías, en particular de las tecnologías de la información y de las comunicaciones, conforme a las recomendaciones formuladas en la Declaración Ministerial 2000 del Consejo Económico y Social”. Véase, Resolución aprobada por la Asamblea General 55/2, Declaración del Milenio, apartado III, punto 20, ítem quinto.
  • 35
    ALLENDE RUBINO, Horacio L.ALLENDE RUBINO, Horacio L. La acción de prevención en el Código Civil y Comercial. Su relación con el principio de precaución en el derecho ambiental. Microjuris online, 2016. Cita: MJ-DOC-9989-AR | MJD9989. La acción de prevención en el Código Civil y Comercial. Su relación con el principio de precaución en el derecho ambiental. Microjuris online, 2016. Cita: MJ-DOC-9989-AR | MJD9989.
  • 36
    RODOTÁ, StefanoRODOTÁ, Stefano. El derecho a tener derechos. Madrid: Trotta, 2014.. El derecho a tener derechos. Madrid: Trotta, 2014. p. 182.
  • 37
    PITSCHAS, RainerPITSCHAS, Rainer. Derecho administrativo de la Información. In: BARNES, Javier (Ed.). Innovación y Reforma en Derecho Administrativo. 2 ed. Sevilla: Global Law Press, 2012.. Derecho administrativo de la Información. In: BARNES, Javier (Ed.). Innovación y Reforma en Derecho Administrativo. 2 ed. Sevilla: Global Law Press, 2012. p. 226, 227 y 236. Este autor habla de un cambio de paradigma del Derecho administrativo de la información, en donde cada individuo ha de estar en condiciones de decidir bajo su propia responsabilidad y autonomía entre las posibilidades y los riesgos que genera la libertad de comunicación (p. 236).
  • 38
  • 39
    BARRAT, JamesBARRAT, James. Nuestra invención final. Madrid: Planeta Publishing, 2015.. Nuestra invención final. Madrid: Planeta Publishing, 2015. p. 240 y 241.
  • 40
    Ampliar en PALMA MÉNDEZ, José T.; MARÍN MORALES, RoquePALMA MÉNDEZ, José T.; MARÍN MORALES, Roque. Inteligencia artificial. España: McGraw-Hill España, 2008. Inteligencia artificial. España: McGraw-Hill España, 2008. p. 891 a 935.
  • 41
    Definición según la norma ISO 8402, complemento de la serie de normas ISO 9000.
  • 42
    El mismo acceso debe garantizarse respecto de toda persona humana o jurídica pública o privada, vinculada con fines públicos o fondos públicos recibidos, que haga uso de esas tecnologías, siempre que el diseño o uso de la inteligencia artificial se relacione con los fines públicos o con los fondos públicos recibidos.
  • 43
    Por ejemplo, desde la UNESCO se incentiva a la creación de un entorno legislativo propicio en el ámbito de las TIC. En la misma línea, la ONU sostiene que hay que apoyar el desarrollo de las tecnologías, la investigación e innovación nacional, garantizando un entorno normativo propicio a la diversificación industrial y la adición de valor a los productos básicos. Además, los Estados se deben abstener de utilizar la tecnología de la información y las comunicaciones en contravención del derecho internacional. Véase, Asamblea General, resolución Nº A/71/307, 05/08/2016, considerando 8, pág. 4; Asamblea General, resolución Nº A/RES/70/1, 21/10/2015, considerando 9.b, p. 23 y Asamblea General, resolución Nº A/RES/71/101 A-B, 23/12/2016, considerando 4, p. 4.
  • 44
    RODOTÁ, StefanoRODOTÁ, Stefano. El derecho a tener derechos. Madrid: Trotta, 2014.. El derecho a tener derechos. Madrid: Trotta, 2014. p. 302.
  • *
    El presente constituye una breve muestra de un libro próximo a editarse, relativo al impacto de la inteligencia artificial sobre los seres humanos desde un punto de vista jurídico. Está prohibida la copia, difusión y/o procesamiento de este documento, el aprovechamiento y comunicación de su contenido.

8. REFERENCIAS

  • ALLENDE RUBINO, Horacio L. La acción de prevención en el Código Civil y Comercial. Su relación con el principio de precaución en el derecho ambiental. Microjuris online, 2016. Cita: MJ-DOC-9989-AR | MJD9989.
  • BARRAT, James. Nuestra invención final Madrid: Planeta Publishing, 2015.
  • BETIZ, Charles R. La idea de los derechos humanos Marcial Pons - Ediciones Jurídicas y Sociales: Madrid, 2012.
  • COMISIÓN INTERAMERICANA DE DERECHOS HUMANOS. Informe anual 2013 - Informe de la relatoría especial para la libertad de expresión Disponble en: <http://www.oas.org/es/cidh/expresion/docs/informes/anuales/2014_04_22_ia_2013_esp_final_web.pdf>.
    » http://www.oas.org/es/cidh/expresion/docs/informes/anuales/2014_04_22_ia_2013_esp_final_web.pdf
  • CORVALÁN, Juan G. El peligro de la inteligencia artificial como oráculo del sistema penal. Diario Infobae, 30 ago. 2017. Disponible en: <http://www.infobae.com/opinion/2017/08/30/el-peligro-de-la-inteligencia-artificial-como-oraculo-del-sistema-penal/>.
    » http://www.infobae.com/opinion/2017/08/30/el-peligro-de-la-inteligencia-artificial-como-oraculo-del-sistema-penal/
  • CORVALÁN, Juan G. Hacia una administración pública digital. Temas de Derecho Administrativo, Buenos Aires, año II, 2017.
  • CORVALÁN, Juan G. Inteligencia Artificial y derechos humanos (Parte I). Diario DPI Cuántico, Diario Constitucional y Derechos Humanos, Ciudad Autónoma de Buenos Aires, n. 156, 03.07.2017. Disponible en: <http://dpicuantico.com/area_diario/doctrina-en-dos-paginas-diario-constitucional-y-derechos-humanos-nro-156-03-07-2017/>.
    » http://dpicuantico.com/area_diario/doctrina-en-dos-paginas-diario-constitucional-y-derechos-humanos-nro-156-03-07-2017/
  • CORVALÁN, Juan G. Inteligencia Artificial y derechos humanos (Parte I). Diario DPI Cuántico, Diario Constitucional y Derechos Humanos, Ciudad Autónoma de Buenos Aires, n. 157, 10.07.2017. Disponible en: <http://dpicuantico.com/area_diario/doctrina-en-dos-paginas-diario-constitucional-y-derechos-humanos-nro-157-10-07-2017/>.
    » http://dpicuantico.com/area_diario/doctrina-en-dos-paginas-diario-constitucional-y-derechos-humanos-nro-157-10-07-2017/
  • CORVALÁN, Juan G.; GIMBATTI, Silvia. Historias clínicas digitales. La consolidación del Big Data sanitario. La Ley, Buenos Aires, 18 ago. 2017. Cita Online: AR/DOC/2178/2017.
  • CORVALÁN, Juan Gustavo. Administración Pública digital e inteligente: transformaciones en la era de la inteligencia artificial. Revista de Direito Econômico e Socioambiental, Curitiba, v. 8, n. 2, p. 26-66, maio/ago. 2017. doi: 10.7213/rev.dir.econ.soc.v8i2.19321.
    » https://doi.org/10.7213/rev.dir.econ.soc.v8i2.19321
  • DOMINGOS Pedro. The master algorithm: how the quest for the ultimate learning machine will remake our world. New York: Basic Books, 2015.
  • FERRAJOLI, Luigi. Sobre los derechos fundamentales. In: CARBONELL, Miguel (ed.) Teoría del neo constitucionalismo Madrid: Trotta, 2007.
  • FUTURE OF LIFE INSTITUTE. “Asilomar AI Principles”. Disponible en <https://futureoflife.org/ai-principles>. consultado el 20 jun. 2017.
    » https://futureoflife.org/ai-principles
  • GARDNER, Howard. Estructuras de la mente: la teoría de las inteligencias múltiples. Ciudad de México: Fondo de Cultura Económica, 1987
  • GARDNER, Howard. Las cinco mentes del futuro Buenos Aires: Paidós, 2013.
  • GARDNER, Howard. La inteligencia reformulada Madrid: Paidós, 2010.
  • GERARD, Michael; GERALD, Gloria E. El libro de la biología. Madrid: Ilus Books, 2015.
  • GRUBER, Tom. Intelligence at the Interface: Semantic Technology and the Consumer Internet Experience Presentation at Semantic Technologies conference, May 2008. Available at: <http://tomgruber.org/writing/semtech08.pdf>.
    » http://tomgruber.org/writing/semtech08.pdf
  • KAKU, Michio. La física del futuro Buenos Aires: Debate, 2012.
  • MANES, Facundo; NIRO, Mateo. El cerebro argentino Buenos Aires: Planeta Argentina, 2016.
  • MANES, Facundo; NIRO, Mateo. Usar el cerebro Buenos Aires: Paidós Ibérica, 2015.
  • NORTHPOINTE. “Response to ProPublica: demonstrating accuracy equity and predictive parity”. Disponible en: <http://www.equivant.com/blog/response-to-propublica-demonstrating-accuracy-equity-and-predictive-parity>.
    » http://www.equivant.com/blog/response-to-propublica-demonstrating-accuracy-equity-and-predictive-parity
  • PALMA MÉNDEZ, José T.; MARÍN MORALES, Roque. Inteligencia artificial España: McGraw-Hill España, 2008
  • PITSCHAS, Rainer. Derecho administrativo de la Información. In: BARNES, Javier (Ed.). Innovación y Reforma en Derecho Administrativo 2 ed. Sevilla: Global Law Press, 2012.
  • PROPUBLICA, “Machine bias: There’s software used across the country to predict future criminals. And it’s biased against blacks”. Disponible en: <https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing>.
    » https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing
  • RODOTÁ, Stefano. El derecho a tener derechos Madrid: Trotta, 2014.
  • SCHWAB, Klaus. La Cuarta Revolución Industrial Barcelona: Debate, 2016.
  • SERRANO GARCÍA, Alberto. Inteligencia artificial Madrid: RC, 2016.
  • SERRANO, Arturo; MARTÍNEZ, Evelio. La brecha digital: mitos y realidades. Baja California: Ed. UABC, 2003.
  • SIMONITE, Tom. Google ya traduce de inglés a español casi tan bien como un experto humano. MIT Technology Review, 4 oct. 2016. Disponible en: <https://www.technologyreview.es/s/6342/google-ya-traduce-de-ingles-espanol-casi-tan-bien-como-un-experto-humano>. Consultado el 20/08/17.
    » https://www.technologyreview.es/s/6342/google-ya-traduce-de-ingles-espanol-casi-tan-bien-como-un-experto-humano

Fechas de Publicación

  • Publicación en esta colección
    Jan-Apr 2018

Histórico

  • Recibido
    20 Set 2017
  • Acepto
    13 Dic 2017
Universidade Federal do Paraná Praça Santos Andrade, n. 50, 3º andar, CEP: 80.020-300, Curitiba, Paraná. Brasil, Tel.: +55 41 3352-0716 - Curitiba - PR - Brazil
E-mail: revista@ninc.com.br