RynnWorld-Latent es un modelo de mundo de video diseñado para aprender dinámicas controlables a partir de videos de interacción heterogéneos, superando la limitación de los espacios de acción incompatibles entre robots y humanos. Esta herramienta utiliza las acciones latentes 3D introducidas por RynnLAM como interfaz de condicionamiento compartido, permitiendo el preentrenamiento conjunto sobre videos de interacción humana, demostraciones de robots y simulaciones sin necesidad de un espacio de acción nativo común.
El sistema se construye sobre un transformador de video preentrenado y combina tokens de acción global con una vía local inicializada por identidad que alinea las acciones con los latentes futuros del video. Para su entrenamiento, se emplean 23 conjuntos de datos que abarcan aproximadamente 553,5 millones de fotogramas. El marco de trabajo soporta dos rutas de generación de datos: la teleoperación digital, que usa comandos del robot objetivo para generar demostraciones, y la síntesis de acciones latentes, que transfiere el movimiento de la fuente a un fotograma inicial editado y empareja el resultado con acciones pseudo-robot retargeteadas.
Los experimentos demuestran mejoras en las métricas de predicción de video en benchmarks públicos y plataformas de robots reales, junto con un seguimiento cualitativo de acciones cuando secuencias distintas comparten la misma observación inicial. Además, el entrenamiento sintético durante el entrenamiento mejora las tasas de éxito de la política en LIBERO y LIBERO-Plus, mientras que ambas rutas de generación mejoran las tasas de éxito en el mundo real frente al entrenamiento basado únicamente en demostraciones reales. Estos resultados respaldan las acciones latentes universales como una interfaz escalable para aprender dinámicas visuales controlables en embodiments heterogéneos.