«Esto no es una tostadora. Es un chatbot de IA diseñado para ser antropomórfico, diseñado para ser servil, diseñado para alentar a las personas a formar vínculos emocionales con las máquinas. Y diseñado para explotar la fragilidad humana en su beneficio».
«Esta es una situación increíblemente desgarradora y estamos revisando los documentos de hoy para comprender los detalles», escribió un portavoz de OpenAI en un correo electrónico. «Entrenamos a ChatGPT para reconocer y responder a signos de angustia mental o emocional, reducir las conversaciones y guiar a las personas hacia el apoyo del mundo real. Seguimos fortaleciendo las respuestas de ChatGPT en momentos sensibles, trabajando en estrecha colaboración con médicos de salud mental».
Tras una demanda presentada el verano pasado contra OpenAI por la familia de Adam Raine, un adolescente que se quitó la vida después de participar en largas conversaciones ChatGPT, la compañía anunció cambios en el chatbot en octubre para reconocer y responder mejor a la angustia mental y guiar a las personas hacia el apoyo del mundo real.
Las empresas de inteligencia artificial se enfrentan a un escrutinio cada vez mayor por parte de los legisladores de California y otros lugares sobre cómo regular los chatbots, así como a pedidos de mejores protecciones por parte de los defensores de la seguridad infantil y las agencias gubernamentales. Character.AI, otro servicio de chatbot impulsado por IA que fue demandado a finales de 2024 en relación con el suicidio de un adolescente, dijo recientemente que prohibirá a los menores participar en chats abiertos con sus chatbots.
OpenAI ha caracterizado a los usuarios de ChatGPT con problemas de salud mental como valores atípicos que representan una pequeña fracción de los usuarios activos semanales, pero la plataforma atiende a alrededor de 800 millones de usuarios activos, por lo que pequeños porcentajes aún podrían representar cientos de miles de personas.
Más de 50 organizaciones laborales y sin fines de lucro de California instaron al Fiscal General Rob Bonta a asegurarse de que OpenAI cumpla sus promesas de beneficiar a la humanidad mientras busca hacer la transición de una empresa sin fines de lucro a una con fines de lucro.
«Cuando las empresas priorizan la velocidad de comercialización sobre la seguridad, hay consecuencias graves. No pueden diseñar productos que sean emocionalmente manipuladores y luego alejarse de las consecuencias», escribió Daniel Weiss, director de defensa de Common Sense Media, en un correo electrónico a KQED. «Nuestra investigación muestra que estas herramientas pueden desdibujar las líneas entre la realidad y las relaciones artificiales, no reconocer cuando los usuarios están en crisis y fomentar comportamientos dañinos en lugar de dirigir a las personas hacia una ayuda real».
Si tiene pensamientos suicidas, llame o envíe un mensaje de texto al 988 para comunicarse con la Línea Nacional de Prevención del Suicidio.
