OpenWAM es un marco de software de código abierto diseñado para facilitar el desarrollo de modelos de mundo-acción (world-action models) en robótica. Su objetivo principal es estandarizar la comparación entre diferentes arquitecturas de modelos, permitiendo estudiar la interacción entre la predicción visual y el control motor de manera coherente. El sistema soporta la composición de modelos mediante una arquitectura de Mixture-of-Transformers (MoT) que combina un experto de video de 5B parámetros y un experto de acción de 2B parámetros, adaptando capas preentrenadas para tareas de manipulación robótica.
El preentrenamiento se basa en aproximadamente 3,34 millones de trayectorias y grabaciones, incluyendo datos de Open X-Embodiment, AgiBot World Beta y otros conjuntos de datos especializados, utilizando 32 GPUs NVIDIA B200 durante 14 días. OpenWAM ofrece cuatro programas de interacción: Video-then-action (VTA), Action-then-video (ATV), Joint y Decoupled, cada uno con diferentes esquemas de atención y orden de generación. Además, el framework integra modelos de dinámica inversa (IDM) y dinámica hacia adelante (FDM) con una interfaz de contexto local, separando la selección de tareas del modelado de transiciones.
Para mejorar la robustez, el sistema incorpora LIBERO-Long-CF, un conjunto de datos de 32.000 segmentos contrafactuales que permite a los modelos aprender de resultados alternativos y no demostrados. En pruebas en el benchmark LIBERO, OpenWAM alcanza una tasa de éxito media del 98,6% en la suite VTA, superando a otros frameworks como Fast-WAM y π0.5, y demostrando que el control preciso no requiere necesariamente atención cruzada entre tokens de video y acción en todos los casos.