¿La gente realmente pagará 200 dólares al mes por el nuevo chatbot de OpenAI?

OpenAI lanzó lo que efectivamente es un chatbot de 200 dólares al mes el jueves, y la comunidad de IA no estaba segura de qué hacer con él.

El nuevo plan ChatGPT Pro de la compañía otorga acceso al «modo o1 pro», que según OpenAI «utiliza más procesamiento para obtener las mejores respuestas a las preguntas más difíciles». Se espera que una versión modificada del modelo de razonamiento o1 de OpenAI, el modo o1 pro, responda preguntas relacionadas con ciencias, matemáticas y programación de manera más «confiable» y «completa», dice OpenAI.

Casi de inmediato, la gente empezó a pedirle que dibujara unicornios:

Y diseña una computadora “basada en cangrejo”:

Y se vuelve poético sobre el significado de la vida:

Pero muchas personas en X no parecían convencidas de que las respuestas del modo o1 pro estuvieran, bueno, en el nivel de $200.

«¿OpenAI ha compartido ejemplos concretos de mensajes que fallan en o1 regular pero tienen éxito en o1-pro?» preguntó el informático británico Simon Willison. «Quiero ver un ejemplo concreto que demuestre sus ventajas».

Es una pregunta razonable; después de todo, esta es la suscripción a chatbot más cara del mundo. El servicio ofrece otros beneficios, como la eliminación de límites de velocidad y acceso ilimitado a otros modelos OpenAI. Pero 2.400 dólares al año no es poca cosa, y la propuesta de valor del modo o1 pro en particular sigue siendo turbia.

No pasó mucho tiempo para encontrar casos de fracaso. El modo O1 Pro tiene problemas con el Sudoku y se topó con un truco de ilusión óptica obvio para cualquier ser humano.

Los puntos de referencia internos de OpenAI muestran que el modo o1 pro funciona sólo ligeramente mejor que el estándar o1 en problemas de codificación y matemáticas:

Modo OpenAI o1-pro
Créditos de imagen:Abierto AI

OpenAI realizó una evaluación «más rigurosa» en los mismos puntos de referencia para mostrar la coherencia del modo o1 pro: solo se considera que el modelo ha resuelto una pregunta si acertó la respuesta cuatro de cuatro veces. Pero incluso en estas pruebas, las mejoras no fueron dramáticas:

Modo OpenAI o1-pro
Créditos de imagen:Abierto AI

El director ejecutivo de OpenAI, Sam Altman, quien una vez escribió que OpenAI estaba en un camino “Hacia una inteligencia demasiado barata para medir”, se vio obligado a aclarar varias veces el jueves que ChatGPT Pro no es para la mayoría de las personas.

«¡La mayoría de los usuarios estarán muy contentos con el o1 en el nivel (ChatGPT) Plus!» dijo en X. «Casi todos estarán mejor atendidos con nuestro nivel gratuito o el nivel Plus».

Entonces, ¿para quién es? ¿De verdad hay gente dispuesta a pagar 200 dólares al mes para hacer preguntas sobre juguetes como «Escribe un ensayo de tres párrafos sobre fresas sin usar la letra ‘e'» o «Resuelve este problema de la Olimpiada de Matemáticas»? ¿Se desprenderán felizmente del dinero que tanto les costó ganar sin tener mucha seguridad de que el estándar o1 no pueda responder satisfactoriamente a las mismas preguntas?

Le pregunté a Ameet Talwalkar, profesor asociado de aprendizaje automático en carnegie mellon y socio de riesgo en Amplify Partners, en su opinión. «Parece un gran riesgo aumentar diez veces el precio», dijo a TechCrunch por correo electrónico. «Creo que en unas pocas semanas tendremos una idea mucho mejor del interés que despierta esta función».

El informático de la UCLA, Guy Van den Broeck, fue más directo en su evaluación. «No sé si el precio tiene sentido», dijo a TechCrunch, «y si los modelos de razonamiento costosos serán la norma».

Una opinión generosa es que se trata de un error de marketing. Describir el modo o1 pro como la mejor solución para «los problemas más difíciles» no dice mucho a los clientes potenciales. Ni declaraciones vagas sobre cómo el modelo puede “pensar más” y demostrar “inteligencia”. Como señala Willison, sin ejemplos específicos de esta capacidad supuestamente mejorada, es difícil justificar pagar más, y mucho menos diez veces el precio.

Hasta donde yo sé, el público objetivo son expertos en campos especializados. OpenAI dice que quiere otorgar a un puñado de investigadores médicos de «instituciones líderes» acceso gratuito a ChatGPT Pro, que incluirá el modo o1 pro. Los errores son muy importantes en la atención médica y, como señaló en X Bob McGrew, exjefe de investigación de OpenAI, la confiabilidad mejorada es quizás la clave para desbloquear el modo o1 pro.

McGrew también pensó que el modo o1 pro es un ejemplo de lo que él llama «exceso de inteligencia»: los usuarios (y quizás los creadores del modelo) no saben cómo sacar valor de cualquier «inteligencia extra» debido a las limitaciones fundamentales de un simple interfaz basada en texto. . Al igual que con los otros modelos de OpenAI, la única forma de interactuar con el modo o1 pro es a través de ChatGPT y, según McGrew, ChatGPT no es perfecto.

Sin embargo, también es cierto que 200 dólares crean altas expectativas. Y a juzgar por la recepción inicial en las redes sociales, ChatGPT Pro no es un pan comido.