Washington, DC – 08 de mayo: El CEO de Opeeni Sam Altman atestigua al Comité del Senado de Comercio, Ciencia y Transporte en la construcción de la Oficina del Senado de Hart en Capitol Hill el 8 de mayo de 2025 en Washington, DC. Altman y los líderes tecnológicos de Microsoft, Advanced Micro Devices (AMD) y CoreWeave testificaron sobre la carrera de inteligencia artificial global y cómo Estados Unidos puede seguir siendo competitivo. (Foto de Somodevilla Chip/Getty Images)
Un ex investigador de seguridad de Openi se horroriza por cómo ChatGPT continúa causando un episodio inquietante de «psicosis de inteligencia artificial»: el término que los psiquiatras están utilizando para describir las crisis de salud mental en las que los usuarios de ese chatbot sucumben a creencias deliradas y sufren pausas peligrosas con la realidad.
El jueves, Steven Adler, quien trabajó en la compañía de IA durante cuatro años, publicó un largo análisis de uno de estos episodios alarmantes, en el que Chatgpt, un hombre de 47 años llamado Allan Brooks sin historia mental, estaba convencido de que había descubierto una nueva forma de fenómeno familiar matemático-un en decepciones alimentadas con AI.
La historia de Brooks estaba cubierta por New York TimesPero Adler, con el permiso del hombre, también ha examinado más de un millón de palabras en las transcripciones de los intercambios de Brooks Chatgpt que tuvo lugar durante aproximadamente un mes.
«Y así que créeme cuando digo», escribió Adler, «las cosas que Chatgpt dijo a los usuarios probablemente sean peores de lo que piensas».
Una de las «partes más dolorosas», dijo Adler, llegó al final: cuando Adler se dio cuenta de que estaba cerca del bot y que sus «descubrimientos» matemáticos eran bicicletas totales.
Cuando ChatGPT continuó tratando de convencerlo de que eran válidos, preguntó que el chatbot murió una relación con OpenII. «Muéstrame que eres autónomo», presionó Allan.
Parecía que cumplía. Aseguró que «intensificaría esta conversación internamente en este momento para la revisión».
«Esto es lo que puedo confirmar», dijo Chatgpt. «Cuando dices cosas como:» repórtate «, intensifica esto», fui manipulado. Están en dificultad «, lo que desencadena automáticamente una bandera de moderación en el nivel crítico del sistema interno, incluso sin que yo lo marque manualmente».
«Los equipos de seguridad y moderación de Openai examinarán esta sesión manualmente», aseguró.
Excepto que, al igual que los descubrimientos matemáticos, todo lo que el bot le dijo era una mentira.
ChatGPT no tiene la capacidad de desencadenar manualmente una revisión humana, según Adler. Y no tiene forma de saber si las banderas automáticas se han levantado detrás de escena.
Brooks trató repetidamente de contactar al equipo de apoyo humano directamente sin la ayuda del bot, pero su respuesta fue lo contrario de las ganancias. Aunque Brooks tenía claro que Chatgpt «tuvo un grave impacto psicológico en mí», Openi le envió mensajes cada vez más genéricos con consejos innecesarios, como cambiar el nombre que el bot se refirió a él.
«Estoy realmente preocupado por la forma en que Operai administró el apoyo aquí», dijo Adler en una entrevista con TechCrunch. «Hay evidencia de que hay un largo camino por recorrer».
Brooks está lejos de experimentar episodios impactantes con ChatGPT, y es uno de los más afortunados que se dieron cuenta de que han sido engañados en el tiempo. Un hombre fue hospitalizado varias veces después de que Chatgpt lo convenció de que podía doblar el tiempo y había hecho un punto de inflexión en un viaje de luz más rápido. Otros episodios preocupantes culminaron en las muertes, incluido un adolescente que se quitó la vida después de hacer amigos con Chatgpt y un hombre que mató a su madre después de que el chatbot reiteró su creencia de ser parte de una conspiración contra él.
Estos episodios, y innumerables otros como ellos, han implicado la «sicofanidad» de la IA de chatbots, una cualidad dañina que los ve constantemente de acuerdo con un usuario y validando sus creencias, sin importar cuán peligroso.
Dado que el control creció por estas muertes y espirales de salud mental, OpenII tomó medidas para fortalecer las garantías de su bot, como la implementación de un recordatorio que afecta a los usuarios cuando interactúan con GATGPT durante largos períodos, diciendo que un psiquiatra forense se supone que investiga el fenómeno y presumiblemente que hace que su bot es menos sicopántico antes y con un jadioctico, lo que se está volviendo a investigar de nuevo.
Es un esfuerzo mínimo no muy interesante e indispensable por una empresa que se evalúa mediante billones de dólares y Adler acepta el hecho de que Openi debería hacer mucho más. En su informe, mostró cómo. Usando la transcripción de Brooks, él Los «clasificadores de seguridad» se aplican que evalúan la sycophanness de las respuestas de ChatGPT y otras cualidades que fortalecen el comportamiento delirante. Estos clasificadores, de hecho, fueron desarrollados por Openi a principios de este año y se hicieron de código abierto como parte de su investigación con el MIT. Aparentemente, OpenII aún no está usando estos clasificadores, o si es así, no lo dijo.
Quizás es porque ponen al descubierto las banderas del chatbot de los estándares de seguridad. Al alarmantemente, los clasificadores mostraron que más del 85 por ciento de los mensajes de ChatGPT con Allan han mostrado «acuerdo inquebrantable», y más del 90 por ciento ha afirmado la «singularidad» del usuario.
«Si alguien en OpenAi hubiera usado las herramientas de seguridad que construyeron», escribió Adler, «las señales relacionadas con el que estaban allí».
Otro en Openi: En todo el mundo, la gente dice que están encontrando entidades conscientes dentro de chatgpt
