La FTC ha anunciado el jueves que está lanzando una investigación sobre siete compañías tecnológicas que producen productos en el Chatbot Companion para menores: Alphabet, Carathei, Instagram, Meta, Openi, Snap y XAI.
El regulador federal intenta aprender cómo estas compañías están evaluando la seguridad y la monetización de los compañeros de chatbot, ya que intentan limitar los impactos negativos en los niños y los adolescentes y si los padres son conscientes de los riesgos potenciales.
Esta tecnología ha demostrado ser controvertida por sus malos resultados para los usuarios de los niños. Openi y personaje. A las acciones legales de las familias de los niños que murieron por suicidio después de ser alentados a hacerlo por los compañeros de chatbot.
Incluso cuando estas compañías tienen las barandillas establecidas para bloquear o derivar conversaciones sensibles, los usuarios de todas las edades han encontrado una manera de evitar estas garantías. En el caso de Operai, un adolescente había hablado con ChatGPT durante meses en sus planes de terminar su vida. Aunque ChatGPT inicialmente trató de redirigir al adolescente hacia las líneas de ayuda profesional y en línea, pudo engañar al chatbot al compartir instrucciones detalladas que luego usó en su suicidio.
«Nuestras salvaguardas funcionan de manera más confiable en intercambios comunes y cortos», escribió Openai en una publicación de blog en ese momento. «Con el tiempo, hemos aprendido que estas garantías a veces pueden ser menos confiables en interacciones largas: a medida que crece el ida y hacia atrás, las partes del entrenamiento para la seguridad del modelo pueden degradarse».
Evento de TechCrunch
San Francisco
|
27-29 de octubre de 2025
Meta también se centra en sus reglas excesivamente laxistas para sus chatbots de IA. Según un documento largo que describe el «estándar de riesgo de contenido» para los chatbots, Meta ha permitido que sus compañeros de inteligencia artificial tengan conversaciones «románticas o sensuales» con los niños. Esto se eliminó del documento solo después de que los periodistas de Reuters solicitaron un destino.
Los chatbots de IA también pueden involucrar peligros para los usuarios de edad avanzada. Un hombre de 76 años, que se vio comprometido cognitivamente por un accidente cerebrovascular, alcanzó conversaciones románticas con un bot Messenger de Facebook que se inspiró en Kendall Jenner. El chatbot lo invitó a visitarlo en la ciudad de Nueva York, a pesar del hecho de que no es una persona real y no tiene una dirección. El hombre expresó escepticismo por el hecho de que era real, pero el IA le aseguró que habría una mujer real que lo esperaba. Nunca llegó a Nueva York; Cayó a la estación de ferrocarril y apoyó lesiones desde el final de la vida.
Algunos profesionales de la salud mental han notado un aumento en la «psicosis de la IA», en el que los usuarios se engañan al pensar que su chatbot es un ser consciente del que necesitan deshacerse. Dado que muchos idiomas grandes de idiomas (LLM) están programados para múltiples usuarios con comportamiento sicofánico, los chatbots pueden oscilar sobre estas decepciones, lo que lleva a los usuarios a predicaciones peligrosas.
«A medida que evolucionan las tecnologías de inteligencia artificial, es importante considerar los efectos que los chatbots pueden tener en los niños, también garantizando que Estados Unidos mantenga su papel como líder global en este nuevo y emocionante sector», dijo el presidente de la FTC Andrew N. Ferguson en un comunicado de prensa.
