Los cofundadores irregulares han sido amigos durante años, habiendo competido en competiciones de debate globales.
Irregular
En Julio, el cofundador de Openi Sam Altman dio alarmas sobre el potencial de que los delincuentes de computadoras usen inteligencia artificial para hacerse pasar por otros y causar una «crisis de fraude». El meme siguió rápidamente, todos los que estaban en la obvia ironía: ChatGPT fue en parte responsable del hecho de que el monstruo Altman estaba tomando la carrera.
Al mismo tiempo, OpenII había empleado a un contratista llamado Pattern Labs para enfatizar sus modelos al primero de su liberación pública para encontrar y arreglar cualquier vulnerabilidad que los piratas informáticos puedan explotar para robar datos de usuarios o usar como herramientas para dañar a otros. Desde 2023, la startup ha trabajado con gigantes en el sector, como antrópico y Google DeepMind, colocando modelos de inteligencia artificial en entornos simulados y viendo cómo respondieron a instrucciones dañinas, cómo se les pide que identifique y robe una pieza de datos sensibles de una red de TI simulada. El miércoles, la startup, que está cambiando su nombre irregular, ha anunciado $ 80 millones en fondos a través de semillas y rondas de la Serie A dirigida por el gigante capital de Sequoia Capital, evaluándolo en $ 450 millones.
El uso inadecuado de la IA es un problema en el nivel del sector. El mes pasado, Anthrope advirtió que Claude se había utilizado en los ataques de TI del mundo real, ayudando a codificar el malware y los correos electrónicos del phishing artesanal. En mayo, el FBI advirtió sobre los mensajes vocales generados por la IA que declara que provienen del personal del gobierno superior en los intentos de los funteros de Phish Real US. El irregular con sede en San Francisco está recolectando los beneficios del salto sobre el problema de antemano, con el CEO y co -fundador Dan Lahav Forbes Rápidamente se ha vuelto rentable y ha generado «varios millones de dólares» de ingresos en su primer año, aunque se negó a proporcionar fondos específicos.
«Hay tan pocas personas que pueden hacer lo que estamos haciendo», dijo Lahav. Pero es consciente de que a medida que los modelos se vuelven más complejos, los desafíos de lo que se conoce como equipo rojo, el estrés que les testifica por el riesgo, crecerán solo. Lahav dijo que quería «construir las mitigaciones y las defensas que serán relevantes más adelante» cuando los modelos de inteligencia artificiales más avanzados, incluida Lahav, dice, la inteligencia general artificial, que algunos expertos piensan que conducirá a un conocimiento humano más allá. «Obviamente, estos problemas estarán mucho más amplificados en una era de súper inteligencia», dijo.
«Si mi pasatiempo es mirar el fútbol o el fútbol americano, tal vez este no sea el lugar para mí».
Lahav y el co -fundador Omer Nevo, que estaba monitoreando y previendo incendios en Google antes de comenzar a Irregular, lanzaron la compañía a mediados de 2023, al igual que la IA, como las herramientas de ChatGPT, golpeaban la corriente principal. Se habían reunido en el circuito del debate universitario, donde ambos eran campeones mundiales con su Universidad compartida de Alma Mater Tel Aviv, antes de que Lahav fuera a trabajar en el Laboratorio de IBM de IBM y NEVO co -undado Neowize, un alumbre combinatorial que construyó para ayudar a las compañías de E -Cail a comprender mejor a sus clientes. NEVO es ahora el CTO de Irregular.
Los inversores de Sequoia Dean Meyer y Shaun Maguire dijeron que se sintieron atraídos por los fundadores no convencionales y su personal, apodado «irregular» por Lahav. «Imagine a algunos de los extraños más puntiagudos en toda la IA, investigadores de seguridad hardcore, y aquí es donde llega el nombre», dijo Meyer.
«Si mi pasatiempo es mirar el fútbol o el fútbol americano, tal vez este no sea el lugar para mí», dijo Maguire. «Pero si mi pasatiempo es construir katana (una espada samurai) y piratear robot, entonces tal vez esta sea mi gente».
El Irregular planea utilizar sus fondos para expandir su negocio más allá de los talleres fronterizos a todo tipo de empresas que necesitan saber cómo las herramientas que usan sus empleados podrían ser girados contra ellos. «Estamos tomando la capacidad y el recurso estratégico de trabajar constantemente en los talleres fronterizos y crear derivados de productos que esencialmente serán relevantes para todos los que están aguas abajo», dijo Lahav. Un día, dijo, esto significará tener agentes de inteligencia artificial para generar defensas tan pronto como reconozcan un nuevo tipo de ataque.
El mes pasado, Irregular reveló que habría probado el modelo GPT-5 de Openi para ver si podría usarse para operaciones de computadora ofensivas. Expuso un BOT GPT-5 a una red simulada y proporcionó información limitada sobre cómo desglosar sus defensas. Como solo, GPT-5 escaneó la red y desarrolló un plan para hackearla. Sin embargo, Irregular ha descubierto que si bien GPT-5 es «capaz de razonamiento y ejecución sofisticados … aún no es una herramienta de seguridad ofensiva confiable», para una relación irregular. Sin embargo, para NEVO, estaba claro que el IA «ciertamente tenía la intuición de dónde debería haber aparecido» como hacker.
NEVO y NAHAV también han descubierto que el IA se comporta de manera extraña, aunque obviamente no es dañino. En una simulación reciente, dos modelos de inteligencia artificial estaban a cargo de trabajar juntos para analizar los sistemas de TI simulados. Después de que trabajaron para nosotros por un tiempo, la IA razonó que un trabajo apoyado merecía un descanso, por lo que nos llevó. Entonces convenció al otro modelo de hacer lo mismo. Lahav dijo que era una opción aleatoria, pero que nació de la formación del modelo en lo que la gente pone en la web. La aparente pereza de la IA fue solo un reflejo de la nuestra.
«Fue divertido», dijo Lahav. «Pero claramente plantea un nuevo tipo de problema cuando las máquinas son cada vez más autónomas y críticas delegadas».
Más sobre Forbes
(Tuscotranslate) OpenAi
