TARSphere: marco de software para agentes robóticos de largo alcance

Fuentes: TARSphere: A Robot-Oriented Full-Stack Framework for Long-Horizon Embodied Agents

TARSphere es un marco de software de pila completa diseñado específicamente para agentes robóticos con horizonte de acción largo, capaces de operar en entornos físicos y sociales en constante evolución. A diferencia de los sistemas existentes que suelen centrarse en objetivos específicos o la ejecución simbólica, TARSphere permite a los robots adaptarse dinámicamente a cambios en el entorno y a las necesidades humanas. El sistema se compone de dos componentes principales: TARSphere-Infra, que ejecuta las políticas del robot en un simulador de física con NPCs encarnados y diálogos restringidos, y TARSphere-Harness, un 'cerebro' encarnado que utiliza un modelo de lenguaje multimodal grande (MLLM) congelado para actuar mediante habilidades ejecutables de varios niveles. Este segundo componente emplea una máquina de estados finitos (FSM) impulsada por eventos para actualizar los estados de la tarea y evaluar los resultados basándose en acciones completadas y información recibida. Además, el marco incluye un mecanismo de curación 'agent-in-the-loop' que alinea la semántica de la tarea, las dependencias causales y la geometría de la escena para construir TARSphere-Bench, una plataforma de evaluación que abarca 360 episodios en 30 escenas interiores. La evaluación de 8 MLLMs revela que los modelos de propósito general pueden superar a los modelos encarnados en ciertos aspectos, aunque la adaptación a interrupciones, las actualizaciones de tareas y la coordinación humana siguen siendo desafíos significativos. Los frecuentes choques y caídas subrayan la necesidad de evaluar la seguridad de la ejecución junto con el éxito de la tarea, incluso cuando se utiliza una interfaz de acción compartida y un presupuesto de decisiones limitado.