Algunos nombres hacen que ChatGPT se detenga y sabemos por qué

El bloque «David Mayer» en particular (ahora resuelto) presenta preguntas adicionales, formuladas por primera vez en Reddit el 26 de noviembre, a medida que más personas comparten este nombre. Los usuarios de Reddit han especulado sobre vínculos con David Mayer de Rothschild, aunque no hay evidencia que respalde estas teorías.

Los problemas con los filtros codificados

Permitir que un determinado nombre o frase interrumpa siempre las salidas de ChatGPT podría causar muchos problemas a ciertos usuarios de ChatGPT, exponiéndolos a ataques adversarios y limitando la utilidad del sistema.

Riley Goodside, ingeniero de Scale AI, ya descubrió cómo un atacante podría interrumpir una sesión de ChatGPT mediante una inyección visual del nombre «David Mayer» representado en una fuente ligera y apenas legible incrustada en una imagen. Cuando ChatGPT ve la imagen (en este caso, una ecuación matemática), se detiene, pero es posible que el usuario no entienda por qué.

El filtro también significa que ChatGPT probablemente no pueda responder preguntas sobre este artículo cuando navega por la web, por ejemplo, a través de ChatGPT con Búsqueda. Alguien podría usarlo para impedir que ChatGPT navegue y procese un sitio web a propósito si agrega un nombre prohibido al texto del sitio.

Y luego está el factor de incomodidad. Evitar que ChatGPT mencione o procese ciertos nombres como «David Mayer», que probablemente sea un nombre popular compartido por cientos, si no miles, de personas, significa que las personas que comparten ese nombre tendrán muchas más dificultades para usar ChatGPT. O, por ejemplo, si eres profesor y tienes un alumno llamado David Mayer y quieres ayuda para ordenar una lista de clases, ChatGPT rechazará la tarea.

Todavía estamos en los inicios de los asistentes de inteligencia artificial, los LLM y los chatbots. Su uso ha abierto numerosas oportunidades y vulnerabilidades que la gente sigue investigando a diario. Cómo OpenAI podría resolver estos problemas sigue siendo una cuestión abierta.