InternW0-Δ es un modelo de Acción Mundial (WAM) diseñado para la manipulación robótica generalista, que integra dinámicas visuales y generación de acciones en un marco unificado. Su objetivo principal es resolver el desafío de integrar priorizaciones de modelos preentrenados a gran escala, incluyendo dinámicas visuales, semántica de escenas, geometría y movimiento, en un sistema coherente para la generación de acciones robóticas. El modelo combina dinámicas visuales preentrenadas, semántica de nivel de escena, priorizaciones geométricas y de movimiento en 4D, y generación de acciones dentro de un marco Mixture-of-Transformers (MoT). En este esquema, un experto de video preentrenado y un experto de acción interactúan bajo la guía semántica de un LLM congelado, mientras que un modelo de base en 4D inyecta priorizaciones geométricas y de movimiento mediante destilación de entrenamiento solo.
Para el entrenamiento a gran escala, los autores han construido un corpus heterogéneo de demostraciones de robots, datos UMI, demostraciones humanas egocéntricas y datos Ego2Robot, curados y alineados bajo una representación común de estado-acción. Este corpus contiene más de 20.000 horas de datos de entrenamiento procesados, lo que lo convierte, según los autores, en el mayor corpus de código abierto de su tipo. InternW0-Δ ha demostrado un rendimiento superior a los métodos anteriores en benchmarks de simulación y plataformas de robots reales. El proyecto planea abrir el código de entrenamiento, los pesos del modelo, la infraestructura, el pipeline de procesamiento de datos y los datos procesados, siempre que las licencias lo permitan. Este avance representa un paso significativo hacia la creación de modelos de acción robótica más robustos y generalistas, aprovechando la abundancia de datos abiertos para mejorar la precisión en la interacción física.