Un equipo de investigadores ha presentado los resultados preliminares de InnovationEval, una evaluación diseñada para medir la capacidad de los modelos de inteligencia artificial para descubrir de forma independiente técnicas de aprendizaje automático (ML) novedosas. El objetivo es determinar si la IA puede realizar proyectos de investigación de principio a fin, superando las limitaciones actuales de la automatización parcial en tareas de ingeniería de software o creación de datos.
La metodología se basa en un desafío específico: los modelos deben desarrollar una técnica de post-entrenamiento que supere el rendimiento de un método humano existente, en este caso, la destilación en línea (SDPO). Para garantizar la innovación real y no la mera combinación de técnicas, el estudio restringe el alcance a cambios algorítmicos en la pérdida y las actualizaciones, excluyendo soluciones como la generación de datos sintéticos. Los modelos de frontera actuales, como Claude Fable 5 y GPT-5.6 Sol, muestran un progreso mínimo en esta tarea, incluso al consumir miles de dólares en tiempo de GPU, lo que sugiere que la automatización completa de la investigación en IA sigue siendo un desafío significativo. El equipo planea expandir esta metodología para monitorear el progreso de la IA hacia la automatización de su propia investigación.