OpenAI introduce ajuste de refuerzo para crear modelos de IA expertos en dominios específicos


OpenAI introduce ajuste de refuerzo para crear modelos de IA expertos en dominios específicos

OpenAI presentó Reinforcement Fine-Tuning (RFT), una técnica de personalización de modelos que permitirá a las empresas crear modelos de IA altamente especializados para tareas complejas y específicas de un dominio. Con RFT, los usuarios pueden entrenar modelos para que piensen como expertos en campos como el derecho, la medicina, las finanzas y la ingeniería, aprovechando la misma tecnología utilizada por OpenAI para desarrollar sus modelos de frontera.

Puntos clave:

  • Configuración de refuerzo permite a las organizaciones entrenar modelos de IA expertos con solo una docena de ejemplos, utilizando el aprendizaje por refuerzo para perfeccionar el razonamiento.
  • AbiertoAI programa alfa ya está disponible y se espera un lanzamiento público a principios de 2025.
  • RFT ha demostrado ser exitoso en campos como el derecho, la atención médica y la ingeniería, permitiendo capacidades avanzadas y específicas de tareas.
  • La técnica se diferencia del ajuste supervisado en que enseña a los modelos cómo razonar y resolver problemas, en lugar de simplemente imitar los datos de entrada.

En la transmisión en vivo, Justin Reese, biólogo computacional del Laboratorio de Berkeley, mostró cómo RFT mejoró la capacidad del modelo para identificar las causas genéticas de enfermedades raras. «Evaluar enfermedades raras es bastante difícil porque se necesitan dos cosas: una comprensión profunda del aspecto médico de las cosas y un razonamiento sistemático sobre los datos biomédicos», señaló Reese durante la presentación.

Por qué es importante: RFT representa un gran paso adelante en la personalización de la IA, ya que permite a las empresas entrenar modelos para tareas precisas y específicas de un dominio. A diferencia del refinamiento tradicional, RFT mejora la capacidad de un modelo para razonar sobre problemas en lugar de simplemente replicar modelos. Este avance podría redefinir la forma en que las empresas utilizan la IA en campos que requieren una gran experiencia.

Cómo funciona: RFT utiliza el aprendizaje por refuerzo para guiar los modelos hacia un mejor razonamiento. Los usuarios proporcionan conjuntos de datos y criterios de evaluación, llamados evaluadores, para evaluar los resultados del modelo. Estos puntajes guían el proceso de capacitación y perfeccionan las capacidades de razonamiento del modelo para manejar de manera efectiva tareas complejas y de alto riesgo.

La efectividad de la tecnología fue particularmente evidente en la demostración, donde una versión refinada del GPT-4 mini superó al modelo GPT-4 básico en tareas específicas. El modelo optimizado logró una tasa de precisión del 31 % en la identificación de los genes correctos en el primer intento, en comparación con el 25 % del modelo de referencia.

¿Quién se beneficia? RFT es ideal para industrias donde la precisión es fundamental, como el análisis legal, la investigación científica y la previsión financiera. OpenAI ya ha trabajado con organizaciones como Thomson Reuters para desarrollar herramientas de IA forense, lo que demuestra el potencial de transformar los flujos de trabajo en entornos dirigidos por expertos.

Mirando hacia el futuro: OpenAI ha lanzado un programa alfa para RFT, alentando a empresas, universidades e institutos de investigación a postularse. Los participantes obtendrán acceso temprano a la API RFT y brindarán comentarios para perfeccionar la herramienta antes de su lanzamiento completo a principios de 2025.

Reinforcement Fine Tuning tiene el potencial de democratizar el acceso a la IA de vanguardia, permitiendo a las organizaciones crear soluciones personalizadas que satisfagan sus desafíos específicos. Gracias a su capacidad para ajustar modelos utilizando datos mínimos, RFT podría convertirse en una piedra angular para la innovación en todas las industrias.

Chris McKay es el fundador y editor jefe de Maginative. Su liderazgo intelectual en alfabetización en IA y adopción estratégica ha sido reconocido por las principales instituciones académicas, medios y marcas globales.