Un tema de larga data en el uso de la IA adversaria desde la llegada de grandes modelos de lenguaje ha sido la automatización y mejora de los métodos de piratería establecidos, en lugar de la creación de otros nuevos.
Este sigue siendo el caso de gran parte del informe de amenazas de octubre de OpenAI, que destaca cómo las agencias gubernamentales y los ciberdelincuentes están optando por aprovechar la IA para mejorar la eficiencia o el alcance de sus herramientas y campañas de piratería en lugar de reinventar la rueda.
«Repetidamente, y en múltiples tipos de operaciones, los actores de amenazas que prohibimos estaban integrando IA en sus flujos de trabajo existentes, en lugar de crear nuevos flujos de trabajo en torno a la IA», señala el informe.
La mayor parte de esta actividad todavía se centra en tareas familiares, como desarrollar malware, infraestructura de comando y control, crear correos electrónicos de phishing más convincentes y realizar reconocimientos de personas, organizaciones y tecnologías específicas.
Sin embargo, la última investigación del equipo de inteligencia de amenazas de OpenAI revela algunos datos interesantes sobre cómo varios gobiernos y estafadores de todo el mundo están intentando explotar la tecnología LLM en sus operaciones.
Un grupo de informes parecía centrarse específicamente en varios temas especializados que se sabe que son áreas de particular interés para las agencias de inteligencia chinas.
«Los actores de amenazas que operaban estas cuentas exhibieron características consistentes con operaciones cibernéticas realizadas para cumplir con los requisitos de inteligencia de la República Popular China: uso del idioma chino y ataques al sector de semiconductores de Taiwán, academia y grupos de expertos estadounidenses, y organizaciones asociadas con grupos étnicos y políticos críticos del ‘gobierno chino'», escribieron los autores Ben Nimmo, Kimo Bumanglag, Michael Flossman, Nathaniel Hartley, Lotus Ruan, Jack Stubbs y Albert Zhang.
Según OpenAI, las cuentas también comparten superposiciones técnicas con un grupo chino de ciberespionaje conocido públicamente.
Quizás insatisfechas con el producto fabricado en Estados Unidos, las cuentas también parecían interesadas en interrogar a ChatGPT con preguntas sobre cómo se podrían establecer los mismos flujos de trabajo a través de DeepSeek, un modelo chino alternativo y abierto que puede haber sido entrenado en una versión de ChatGPT.
Otro grupo de cuentas posiblemente vinculadas a Corea del Norte parece haber adoptado un enfoque modular, similar a una fábrica, para extraer ChatGPT en busca de información de seguridad ofensiva. Cada cuenta individual se dedicaba casi exclusivamente a explorar casos de uso específicos, como crear extensiones de Chrome para Safari para publicar en la App Store de Apple, configurar VPN para Windows Server o desarrollar extensiones de Finder para macOS «en lugar de que cada cuenta abarque múltiples áreas técnicas».
OpenAI no hace ninguna atribución formal al gobierno de Corea del Norte, pero señala que sus servicios están bloqueados en el país y que el comportamiento de estas cuentas fue «consistente» con la comprensión de la comunidad de seguridad sobre los actores de amenazas norcoreanos.
La compañía también identificó otros grupos vinculados a China que utilizaron en gran medida su plataforma para generar contenido para operaciones de influencia en las redes sociales que impulsaron sentimientos pro-China en países de todo el mundo. Algunas cuentas se han asociado vagamente con una campaña china similar llamada Spamouflage, aunque los investigadores de OpenAI no han establecido un vínculo formal.
La actividad «compartía rasgos de comportamiento similares a otras operaciones de influencia encubiertas originadas en China, como la publicación de hashtags, imágenes o vídeos difundidos de operaciones pasadas, y el uso de imágenes de archivo, como fotos de perfil o identificadores predeterminados de redes sociales, lo que las hacía fáciles de identificar», señalaron los investigadores.
Otra característica que la campaña comparte con Spamouflage es su aparente ineficacia.
«La mayoría de las publicaciones y cuentas de redes sociales recibieron poca o ninguna participación. A menudo, las únicas respuestas o reenvíos a una publicación generada por esta red en X e Instagram fueron de otras cuentas de redes sociales controladas por los operadores de esta red», agregaron.
El informe de OpenAI no cubre Sora 2, su herramienta de creación de vídeos con IA. Las capacidades de desinformación y deepfaking de la herramienta han sido objeto de preocupaciones de larga data desde que se anunció el año pasado, y en la semana desde su lanzamiento, la aplicación solo por invitación ya ha mostrado un potencial aterrador para deformar la realidad.
Un ecosistema de estafas en crecimiento impulsado por inteligencia artificial y “eficiencia” de doble uso.
OpenAI también combate los desafíos de los estafadores que buscan utilizar sus productos para automatizar o mejorar esquemas de fraude en línea, que van desde actores solitarios que perfeccionan sus propias estafas personales hasta «operadores persistentes a gran escala probablemente vinculados a grupos del crimen organizado».
La mayor parte del uso no es sorprendente: investigación básica, traducción de correos electrónicos de phishing y creación de contenido para campañas de influencers. Sin embargo, la investigación de OpenAI revela que tanto los actores estatales como los no estatales utilizan la IA como zona de pruebas de desarrollo para actividades cibernéticas maliciosas y como herramienta administrativa para optimizar su trabajo.
Un centro antiestafa posiblemente ubicado en Myanmar utilizó ChatGPT “tanto para generar contenido para sus esquemas fraudulentos como para llevar a cabo tareas comerciales cotidianas”, como organizar horarios, redactar anuncios internos, asignar escritorios y alojamiento a los trabajadores y administrar las finanzas.
Otros han explotado la herramienta de maneras cada vez más elaboradas, como un centro de estafas camboyano que la utilizó para generar biografías «detalladas» de empresas, ejecutivos y empleados falsos, y luego utilizó el modelo para generar mensajes personalizados en las redes sociales con las voces de esos personajes para hacer que la estafa pareciera más legítima. En algunos casos, las mismas cuentas volvieron a consultar a ChatGPT sobre las respuestas recibidas de las víctimas específicas, lo que indica que el plan había tenido cierto éxito.
Los investigadores también descubrieron una interesante dinámica de doble uso: además de ser utilizado por estafadores, muchos usuarios recurren a ChatGPT para obtener información sobre posibles estafas que han encontrado.
«Vimos evidencia de personas que usan ChatGPT para ayudarlos a identificar y evitar estafas en línea millones de veces al mes; en cada operación de estafa en este informe, vimos que el modelo ayuda a las personas a identificar correctamente la estafa y les asesora sobre las medidas de seguridad apropiadas», dijeron los investigadores de OpenAI, estimando que la herramienta se «utiliza para identificar estafas hasta tres veces más a menudo que para las estafas».
Debido a que OpenAI dice que su modelo rechazó casi todas las “solicitudes obviamente maliciosas”, en muchos casos los profesionales de inteligencia de amenazas están examinando grupos y cuentas que operan en la “zona gris”, presionando el modelo para que se adapte a solicitudes que son de naturaleza dual y no estrictamente ilegales o contrarias a los términos de servicio. Por ejemplo, un proceso para mejorar la depuración de herramientas, el cifrado o el desarrollo de navegadores puede «adquirir un significado diferente cuando un actor de amenazas lo reutiliza».
«La actividad que observamos generalmente implicaba realizar solicitudes que de otro modo serían inofensivas… y posiblemente usarlas fuera de nuestra plataforma con fines maliciosos», señalan los autores.
Un ejemplo: un grupo de ciberdelincuentes de habla rusa intentó utilizar ChatGPT para desarrollar y refinar malware, pero cuando las solicitudes iniciales fueron rechazadas, se centraron en «reproducir el código predeterminado… que el actor de la amenaza probablemente luego ensambló en flujos de trabajo maliciosos».
Los mismos autores también sugirieron el modelo de código de ofuscación, patrones de cifrado y herramientas de exfiltración que los defensores de la ciberseguridad podrían utilizar fácilmente, pero en este caso los actores de amenazas en realidad publicaron su actividad en un Telegram cibercriminal ruso.
«Estos hallazgos no son inherentemente maliciosos, a menos que sean utilizados de esta manera por un actor de amenazas externo a nuestra plataforma», dijeron los autores.
