Resumen: La "racionalidad" es el principio según el cual los seres humanos toman decisiones basándose en un razonamiento paso a paso (algorítmico) que utiliza reglas lógicas sistemáticas. Una "explicación" ideal de una decisión es una crónica de los pasos seguidos para llegar a ella. La "racionalidad limitada" de Herb Simon es la observación de que la capacidad del cerebro humano para manejar la complejidad algorítmica y los datos es limitada. Como consecuencia, la toma de decisiones humana en casos complejos mezcla algo de racionalidad con mucho de intuición, basándose más en el "Sistema 1" de Daniel Kahneman que en el "Sistema 2". Una IA basada en DNN, de forma similar, no llega a una decisión a través de un proceso racional en este sentido. Si se comprenden los mecanismos de la DNN, se obtiene poca o ninguna explicación racional de sus decisiones. La DNN funciona de una manera más parecida al Sistema 1 que al Sistema 2. Sin embargo, los humanos son bastante buenos construyendo racionalizaciones post-facto de sus decisiones intuitivas. Si exigimos explicaciones racionales para las decisiones de la IA, los ingenieros inevitablemente desarrollarán IAs que sean muy eficaces en la construcción de tales racionalizaciones post-facto. Con su capacidad para manejar grandes cantidades de datos, las IAs aprenderán a construir racionalizaciones utilizando muchos más precedentes de los que cualquier humano podría, construyendo así racionalizaciones para CUALQUIER decisión que serán muy difíciles de refutar. La demanda de explicaciones, por lo tanto, podría ser contraproducente, lo que resultaría en la cesión efectiva a las IAs de mucho más poder. En esta charla hablaré de las similitudes y diferencias entre la toma de decisiones humana y la de las IA y especularé sobre cómo, como sociedad, podríamos proceder para aprovechar las IA de forma que beneficien a los humanos.

Edward Ashford Lee es Catedrático de la Escuela de Postgrado y Profesor Emérito Distinguido Robert S. Pepper de Ingeniería Eléctrica y Ciencias Informáticas (EECS) en la Universidad de California en Berkeley, donde es profesor desde 1986. Es autor de siete libros, algunos con varias ediciones, incluidos dos para un público general (“Plato and the Nerd” y “The Coevolution”), y de cientos de artículos e informes técnicos. Lee ha pronunciado más de 200 conferencias magistrales y otras charlas como invitado en lugares de todo el mundo y ha graduado a 40 estudiantes de doctorado.

El grupo de investigación del profesor Lee estudia los sistemas ciberfísicos, que integran la dinámica física con el software y las redes. Se centra en el uso de modelos deterministas como parte central de las herramientas de ingeniería de estos sistemas. Es director de iCyPhy, el Centro de Investigación de Sistemas Ciberfísicos Industriales de Berkeley. Entre 2005 y 2008 fue Presidente de la División de EE y, posteriormente, del Departamento de EECS de la Universidad de Berkeley. Ha dirigido el desarrollo de varios influyentes paquetes de software de código abierto, entre los que destacan Ptolemy y Lingua Franca.

Lee obtuvo su licenciatura en 1979 en la Universidad de Yale, con una doble especialización en Informática e Ingeniería y Ciencias Aplicadas, un máster en EECS en el MIT en 1981 y un doctorado en EECS en la Universidad de Berkeley en 1986. De 1979 a 1982 fue miembro del personal técnico de los Laboratorios Bell en Holmdel, Nueva Jersey, en el Laboratorio de Comunicaciones de Datos Avanzados. Es cofundador de BDTI, Inc, donde actualmente es Asesor Técnico Senior, y ha sido consultor de otras empresas.

Lee es Fellow del IEEE, fue Investigador Joven Presidencial de la NSF, ganó el Premio Frederick Emmons Terman 1997 para la Educación en Ingeniería, recibió el Premio al Logro Técnico Sobresaliente y Liderazgo 2016 del Comité Técnico del IEEE sobre Sistemas en Tiempo Real (TCRTS), la Mención Berkeley 2018, el Premio al Logro Técnico del Comité Técnico del IEEE sobre Sistemas Ciberfísicos (TCCPS) de 2019, y el Premio al Logro de la Asociación Europea de Diseño y Automatización (EDAA) de 2022, el Premio al Logro Técnico ACM SIGBED de 2022 y un doctorado honoris causa de la Universidad Técnica de Viena en 2022.