MLExpert es un modelo de lenguaje de 35 billones de parámetros de tipo Mixture-of-Experts (MoE) diseñado para la ingeniería de aprendizaje automático (ML) autónoma. Su objetivo es permitir que los sistemas de IA desarrollen y mejoren otros sistemas de IA de forma recursiva, un enfoque conocido como AI for AI (AI4AI). A diferencia de los modelos anteriores que solo asistían en tareas específicas, MLExpert opera como un agente generalista capaz de orquestar experimentos complejos y de largo alcance sin intervención humana constante.
El sistema se entrena mediante un método post-entrenamiento que utiliza la supervisión guiada por resultados para seleccionar información útil de trayectorias de interacción largas. Para esto, los autores diseñaron la 'Kaggle-MLE Factory', una infraestructura que genera tareas ejecutables y un sistema de interacción para que el modelo dirija sus propios experimentos. El entrenamiento combina el Fine-Tuning (SFT) con capacidades de uso de herramientas y codificación, y el Aprendizaje por Refuerzo (RL) con una técnica llamada Windowed Interaction RL (WIRL). Esta última trata las decisiones multi-turno entre resultados de experimentos como una ventana de ejecución, asignando una recompensa compartida basada en el resultado final para actualizar la política antes de que termine la trayectoria.
En las pruebas realizadas en el benchmark MLE-Bench Lite, MLExpert mejoró la tasa de medallas promedio del modelo base de un 37,9% a un 72,7%. Este rendimiento es comparable al de modelos de frontera más grandes, como Kimi-K3 y GLM-5.3. Además, experimentos adicionales muestran mejoras en NatureBench Lite, la optimización de andamiajes de agentes y la optimización de algoritmos, lo que sugiere que la capacidad de optimización aprendida por MLExpert se generaliza a otras tareas de ingeniería de software y ciencia de datos.
