HomeBody es un sistema de robótica que equipara a los modelos de lenguaje de frontera (VLM) con memoria espacial persistente y una librería de habilidades humanoides compositivas. Su objetivo es permitir que robots como el Unitree G1, guiados por modelos como GPT Astra, realicen tareas de larga duración en entornos desconocidos sin necesidad de datos de entrenamiento específicos para cada entorno ni de aprendizaje de políticas adicionales. El sistema elimina la necesidad de una cadena de control compleja entre el razonamiento de alto nivel y la ejecución motriz, sustituyéndola por una interfaz de 'plug-and-play' que conecta directamente el VLM con una librería de habilidades reutilizables.
La arquitectura de HomeBody se basa en la exploración inicial del robot para construir un gemelo digital (digital twin) en Isaac Sim, utilizando datos de cámara, LiDAR y poses articulares. Este gemelo digital permite al VLM localizar objetos fuera del campo de visión inmediato y planificar secuencias de movimiento y manipulación. El sistema integra habilidades específicas como navegación, agarre, colocación y apertura de cajones, que comparten una interfaz común para que el VLM las componga dinámicamente. El feedback visual y la memoria espacial permiten al robot corregir errores de ejecución y mantener el contexto de la tarea. Esta aproximación facilita la autonomía en tareas cotidianas, como ordenar una cocina o recuperar objetos olvidados, demostrando la viabilidad de orquestar habilidades motorías a partir de modelos de lenguaje avanzados.