La IA más inteligente no siempre significa lo mejor.
Open ha publicado una nueva investigación esta semana, en colaboración con la Organización de Seguridad de Apollo Research, que muestra que sus modelos de IA pueden «arreglar».
El esquema, por definición de los investigadores, es cuando la IA finge estar alineada con los objetivos humanos, pero sigue en secreto otra agenda. Los investigadores han utilizado comportamientos como «romper en secreto las reglas o someterse a pruebas intencionalmente» como ejemplos del mal comportamiento de un modelo.
En este momento, dice la compañía, las apuestas siguen siendo bajas.
«Los modelos tienen pocas oportunidades para establecerse en formas que podrían causar daños significativos», dijo Openi en una publicación de blog el miércoles. «Las fallas más comunes implican formas simples de engaño, por ejemplo, fingiendo haber completado una actividad sin hacerlo realmente».
Pero Operai dice que es mejor realizar una acción preventiva antes de que la IA se vuelva más sofisticada y que sus planes podrían causar daños al mundo real.
La compañía afirma que la solución es «alineación deliberativa», un paradigma de capacitación que Openi establece que está explorando. Construye excelentes modelos lingüísticos para pensar explícitamente en estas especificaciones de seguridad antes de responder preguntas.
Historias relacionadas
Business Insider cuenta las historias innovadoras que desea saber
Business Insider cuenta las historias innovadoras que desea saber
Un portavoz de OpenII le dijo a Business Insider a través de un correo electrónico que la alineación deliberativa significa que, en lugar de capacitar a un modelo para hacer una cosa u otra, se enseña los «principios detrás del buen comportamiento».
En su publicación de blog, Openi ha comparado la trama del comportamiento de un comerciante de acciones que rompe la ley para ganar más dinero, pero es bueno para cubrir sus pistas.
«La capacitación estándar para el aprendizaje automático sería como no decirle al operador de acciones las reglas y recompensarlas solo por ganar dinero y castigarlas por haber roto las reglas hasta que encuentren de alguna manera comportarse que las ventas entre las dos», dijo el portavoz de OpenAi. «La alineación deliberativa es como enseñar al operador de acciones las reglas y las leyes que deben seguir primero, y solo entonces recompensarlas por ganar dinero y castigarlos por romper las reglas».
El esquema es un problema continuo para los modelos OpenNI y también para los modelos de otras compañías.
En la investigación de engaño publicada en 2024, los investigadores descubrieron que sistemas como Meta y GPT-4 Cicero manipularon deliberadamente las reglas para lograr sus objetivos finales.
«En general, creemos que el engaño de la IA nace porque una estrategia basada en el engaño ha demostrado ser la mejor manera de desempeñarse bien en la tarea de la capacitación de la IA.
