MotorMind es un marco de software diseñado para conectar modelos de visión-lenguaje (VLM) de propósito general con el control determinista de robots, eliminando la necesidad de entrenamiento específico para cada tarea. A diferencia de los modelos de visión-lenguaje-acción (VLA) actuales, que requieren entrenamiento especializado y sufren limitaciones en la generalización cero-shot, MotorMind permite que un VLM generalista opere un robot razonando directamente desde las observaciones, emitiendo acciones y adaptándose al feedback de ejecución en tiempo real. El sistema opera sin depender de agentes de codificación externos, expertos en acciones aprendidos o herramientas de anclaje visual como SAM3, simplificando la arquitectura y reduciendo costes.
En las pruebas realizadas en las suites LIBERO-PRO, MotorMind logró un 66,7% de éxito en la configuración base y un 53,8% bajo perturbaciones, superando ampliamente a los métodos anteriores de cero-shot, que obtuvieron máximos de 13,3% y 19,2% respectivamente. En un robot físico xArm6, la interfaz alcanzó un 95% de éxito promedio en manipulación directa y bajo perturbaciones humanas. Los resultados demuestran que, al equipar a un VLM con una representación adecuada de acciones intermedias y un sistema de ejecución asíncrono, es posible lograr una manipulación robótica efectiva sin entrenamiento específico. Las limitaciones restantes se atribuyen principalmente a la anclaje visual y la razonamiento encarnado, áreas que mejoran a medida que la capacidad del VLM subyacente aumenta.
