RynnVLA-Latent escala modelos de manipulación robótica con acciones latentes 3D

Fuentes: RynnVLA-Latent scales robotic manipulation models with 3D-grounded latent actions

El artículo presenta RynnVLA-Latent, un marco de trabajo diseñado para superar las limitaciones de los modelos de visión-lenguaje-acción (VLA) actuales, que suelen depender de demostraciones escasas y espacios de control incompatibles entre diferentes embodiments robóticos. La propuesta central es convertir videos de interacción heterogéneos en supervisión escalable para el preentrenamiento de políticas robóticas, utilizando RynnLAM para aprender acciones latentes continuas y ancladas en 3D a partir de transiciones visuales, sin necesidad de controles nativos del robot.

El sistema combina la predicción residual de características futuras, la supervisión de flujo 3D compensado por la cámara y el desacoplamiento del movimiento de la cámara para fomentar representaciones que capturen el movimiento relevante para el control, más que los cambios de apariencia. Se aplicó a 30.1K horas de videos de humanos, robots y simulaciones, generando 745.52M descriptores de acciones latentes. Posteriormente, RynnVLA-Latent aprende a predecir fragmentos de acciones latentes a partir de observaciones visuales y lenguaje mediante flow matching, adaptando posteriormente su backbone y experto de acción a acciones específicas del robot.

Los resultados muestran que la política resultante de 4B logra un 98.8% de éxito en LIBERO y un 84.7% en LIBERO-Plus sin adaptación específica al benchmark. En VLABench, alcanza un 51.9% de éxito promedio en cinco pistas, y un 88.6% en RoboTwin 2.0 para tareas bimanuales. Además, obtiene las tasas de éxito más altas entre los métodos comparados en seis tareas de manipulación en el mundo real, demostrando el potencial de la supervisión de acciones latentes para escalar el aprendizaje de políticas robóticas más allá de los datos etiquetados con acciones nativas.