Si cree que la inteligencia artificial plantea graves riesgos para la humanidad, entonces un profesor de la Universidad Carnegie Mellon desempeña uno de los roles más importantes en la industria tecnológica en este momento.
Zico Kolter lidera un panel de cuatro personas en OpenAI que tiene la autoridad para detener el lanzamiento de nuevos sistemas de IA por parte del fabricante de ChatGPT si los considera inseguros. Podría ser una tecnología tan poderosa que un malhechor podría usarla para crear armas de destrucción masiva. También podría ser un nuevo chatbot que esté tan mal diseñado que perjudique la salud mental de las personas.
“Aquí no estamos hablando sólo de preocupaciones existenciales”, dijo Kolter en una entrevista con The Associated Press. «Estamos hablando de toda la gama de cuestiones de seguridad y temas críticos que surgen cuando empezamos a hablar de estos sistemas de IA ampliamente utilizados».
OpenAI eligió al científico informático para presidir su comité de seguridad hace más de un año, pero la posición adquirió mayor importancia la semana pasada cuando los reguladores de California y Delaware hicieron de la supervisión de Kolter una parte clave de sus acuerdos para permitir a OpenAI formar una nueva estructura corporativa para recaudar capital y obtener ganancias más fácilmente.
La seguridad ha estado en el centro de la misión de OpenAI desde su fundación como laboratorio de investigación sin fines de lucro hace diez años con el objetivo de construir una inteligencia artificial mejor que la humana para beneficio de la humanidad. Pero después de que el lanzamiento de ChatGPT desencadenara un auge empresarial global de IA, la empresa fue acusada de lanzar productos al mercado antes de que estuvieran completamente seguros para mantenerse a la vanguardia. Las divisiones internas que llevaron a la destitución temporal del director ejecutivo Sam Altman en 2023 generaron preocupación entre un público más amplio de que la empresa se había desviado de su misión.
La organización con sede en San Francisco enfrentó cierta resistencia, incluida una demanda del cofundador Elon Musk, cuando comenzó a convertirse en una empresa con fines de lucro más tradicional para continuar avanzando en su tecnología.
Los acuerdos anunciados la semana pasada por OpenAI junto con el fiscal general de California, Rob Bonta, y la fiscal general de Delaware, Kathy Jennings, tenían como objetivo disipar algunas de estas preocupaciones.
En el centro de los compromisos formales está la promesa de que las decisiones de seguridad deben anteponerse a las consideraciones financieras a medida que OpenAI forma una nueva corporación de beneficio público que técnicamente está bajo el control de su Fundación OpenAI sin fines de lucro.
Kolter formará parte de la junta directiva de la organización sin fines de lucro, pero no de la junta directiva de las organizaciones con fines de lucro. Pero tendrá “plenos derechos de observación” para participar en todas las reuniones de la junta directiva con fines de lucro y tendrá acceso a la información obtenida sobre las decisiones de seguridad de la IA, según el memorando de entendimiento de Bonta con OpenAI. Kolter es la única persona, además de Bonta, nombrada en el extenso documento.
Kolter dijo que los acuerdos confirman en gran medida que su comité de seguridad, formado el año pasado, conservará las autoridades que ya tenía. Los otros tres miembros también forman parte de la junta directiva de OpenAI: uno de ellos es el ex general del ejército estadounidense Paul Nakasone, que fue comandante del Comando Cibernético de Estados Unidos. Altman renunció al comité de seguridad el año pasado en una medida considerada como una mayor independencia.
«Tenemos la capacidad de hacer cosas como exigir retrasos en la publicación de modelos hasta que se cumplan ciertas mitigaciones», dijo Kolter. Se negó a decir si la junta de seguridad alguna vez tuvo que detener o mitigar una liberación, citando la confidencialidad de sus procedimientos.
Kolter dijo que habrá una serie de preocupaciones sobre los agentes de IA a considerar en los próximos meses y años, comenzando con la ciberseguridad: «¿Podría un agente encontrar texto malicioso en Internet exfiltrar datos accidentalmente?» – a preocupaciones de seguridad relacionadas con los pesos del modelo de IA, que son valores numéricos que influyen en el rendimiento de un sistema de IA.
«Pero también hay temas emergentes o realmente específicos para esta nueva clase de modelos de IA que no tienen análogos reales en la seguridad tradicional», dijo. “¿Los modelos permiten a los atacantes tener capacidades mucho mayores cuando se trata de diseñar armas biológicas o llevar a cabo ciberataques maliciosos?”
«Y finalmente está el impacto de los modelos de IA en las personas», dijo. «El impacto en la salud mental de las personas, los efectos de la interacción de las personas con estos modelos y lo que eso puede causar. Creo que todas estas cosas deben abordarse desde una perspectiva de seguridad».
OpenAI ya ha enfrentado críticas este año por el comportamiento de su chatbot insignia, incluida una demanda por muerte por negligencia de padres de California cuyo hijo adolescente se suicidó en abril después de largas interacciones con ChatGPT.
Kolter, director del departamento de aprendizaje automático de Carnegie Mellon, comenzó a estudiar inteligencia artificial como estudiante de primer año en la Universidad de Georgetown a principios de la década de 2000, mucho antes de que se pusiera de moda.
«Cuando comencé a trabajar en el aprendizaje automático, ésta era un área esotérica y de nicho», dijo. «Lo llamamos aprendizaje automático porque nadie quería usar el término IA porque la inteligencia artificial era un campo antiguo que había prometido demasiado y no había cumplido lo suficiente».
Kolter, de 42 años, ha seguido OpenAI durante años y era lo suficientemente cercano a sus fundadores como para asistir a la fiesta de lanzamiento en una conferencia sobre inteligencia artificial en 2015. Sin embargo, no esperaba lo rápido que avanzaría la inteligencia artificial.
«Creo que muy pocas personas, incluso aquellas que trabajan profundamente en el aprendizaje automático, realmente predijeron el estado actual en el que nos encontramos, la explosión de capacidades, la explosión de riesgos que están surgiendo en este momento», dijo.
Los defensores de la seguridad de la IA observarán de cerca la reestructuración de OpenAI y el trabajo de Kolter. Uno de los críticos más feroces de la empresa se muestra «cautelosamente optimista», sobre todo si el grupo de Kolter «es realmente capaz de contratar gente y desempeñar un papel importante».
«Creo que tiene el tipo de experiencia que tiene sentido para este puesto. Parece una buena opción para manejarlo», dijo Nathan Calvin, asesor general de la pequeña organización sin fines de lucro de políticas de inteligencia artificial Encode. Calvin, a quien OpenAI apuntó con una citación a su casa como parte de su investigación para defenderse de la demanda de Musk, dijo que quiere que OpenAI se mantenga fiel a su misión original.
“Algunos de estos compromisos podrían ser realmente importantes si los miembros del consejo los tomaran en serio”, dijo Calvin. «También podrían ser simplemente palabras escritas en papel y bastante separadas de cualquier cosa que realmente esté sucediendo. Creo que no sabemos en cuál de estas estamos todavía».
