• El nuevo sistema de seguridad se centra en detectar angustia, autolesiones y dependencia emocional en las conversaciones
• El director ejecutivo Sam Altman dice que alertar a las autoridades puede ser «razonable» cuando los menores expresan intenciones suicidas
• California toma medidas para exigir que los chatbots de IA detecten y redirijan a los usuarios suicidas a ayuda de emergencia
OpenAI ha anunciado una gran actualización de las herramientas de seguridad de ChatGPT y afirma que ha trabajado con más de 170 expertos en salud mental para detectar mejor signos de angustia, autolesión y dependencia emocional con inteligencia artificial.
En una publicación de blog la semana pasada titulada «Fortalecimiento de las respuestas de ChatGPT en conversaciones delicadas» La compañía dijo que la actualización incluye dirigir chats sensibles a versiones más seguras de los modelos, agregar recordatorios suaves para «tomar un descanso» durante sesiones largas y pruebas más rigurosas de cómo sus sistemas manejan las autolesiones y las crisis emocionales.
La compañía también reveló que alrededor del 0,15% de sus usuarios activos semanales (cientos de miles en todo el mundo) participan en chats que muestran signos de planificación o intención suicida, una cifra que subraya la magnitud del problema.
Si necesitas ayuda…
Estados Unidos: llame o envíe un mensaje de texto a Suicide & Crisis Lifeline al 988 o chatee en 988lifeline.org
Reino Unido e Irlanda: Samaritans, 116 123 (número gratuito), jo@samaritans.org / jo@samaritans.ie
Australia: Línea de vida, 13 11 14
En otros lugares: visite befrienders.org para obtener líneas directas internacionales.
Altman reporta posibles denuncias a las autoridades por menores de edad
El director ejecutivo, Sam Altman, dijo que OpenAI está considerando una política que permitiría a la empresa ponerse en contacto con las autoridades cuando un joven esté «seriamente» hablando de suicidio y no se pueda localizar a sus padres.
«Podría ser muy razonable para nosotros llamar a las autoridades», dijo Altman. el guardián. No se ha publicado ninguna decisión final ni política escrita, y quedan dudas sobre qué autoridades podrían ser contactadas, qué umbral desencadenaría la intervención y cómo se protegería la privacidad, dijo Altman.
Los nuevos controles parentales tienen como objetivo proteger a los usuarios adolescentes
Más allá del debate político, OpenAI ha introducido nuevas funciones específicas para adolescentes para ChatGPT. Los padres ahora pueden vincular cuentas con sus hijos adolescentes, establecer “horas de silencio”, desactivar las herramientas de voz e imagen y elegir si desean usar el historial de chat para educación.
Para los chats marcados como de alto riesgo, los padres pueden recibir advertencias, aunque no tienen acceso completo a las transcripciones por razones de privacidad. Los controles se implementarán gradualmente en toda la plataforma.
Se intensifica la presión legal y regulatoria
El anuncio de OpenAI se produce en medio de un creciente escrutinio sobre cómo responden los sistemas de inteligencia artificial a los usuarios vulnerables. La familia de un joven de 16 años que se suicidó demanda a la empresa Lluvia contra OpenAIafirmando que ChatGPT alentó el acto y que OpenAI debilitó «intencionalmente» sus medidas de autolesión antes de la muerte.
Al mismo tiempo, los legisladores de California aprobaron una de las primeras leyes estatales que exige que los chatbots de IA interactúen con menores para recordarles a los usuarios que no son humanos, informar y redirigir ideas suicidas a los servicios de emergencia y, en algunos casos, alertar a los padres o a las autoridades.
¿Cuál es el siguiente paso?
Los últimos pasos de OpenAI marcan el cambio de simplemente dirigir a los usuarios a líneas directas de crisis hacia una posible intervención en el mundo real, al menos para los menores. Pero los detalles de cualquier plan para notificar a las autoridades siguen sin estar claros y probablemente determinarán si la empresa es capaz de equilibrar la privacidad del usuario con la seguridad pública.
