TCP4D: modelo unificado para rastreo y generación de trayectorias robóticas

Fuentes: TCP4D: A Unified Tool-Center-Point Tracking and Generation Model for Robot Manipulation

TCP4D es un modelo de inteligencia artificial unificado diseñado para la manipulación robótica, que resuelve el desafío de extraer acciones y estados de la pinza de videos RGB mediante la representación del punto central de la herramienta (TCP). A diferencia de los enfoques anteriores, TCP4D utiliza un espacio de acción basado en la pose del TCP, que es agnóstica del cuerpo del robot, permitiendo que el modelo funcione de forma independiente del tipo de manipulador específico.

El sistema opera mediante un proceso de dos etapas: primero, un rastreador que toma un video monocular y consultas 2D iniciales para recuperar poses métricas en SE(3) y estados de la pinza junto con la geometría de la escena y parámetros de cámara. Posteriormente, un generador que muestrea características locales de la misma representación 4D para predecir trayectorias futuras, combinando estas con observaciones del robot e instrucciones de lenguaje. Un componente clave es su pipeline de aumento de embodimiento cruzado, que convierte videos RGB existentes en demostraciones para otros tipos de robots mediante el redireccionamiento del movimiento recuperado y la síntesis de observaciones, sin necesidad de estados de fuente registrados.

Los experimentos demuestran la eficacia del modelo: el rastreador logra errores de trayectoria absolutos de 7,60 mm en DROID y 16,07 mm en RoboLab, y se adapta a un nuevo embodimiento con solo diez demostraciones. El generador alcanza un 69,19% de éxito medio en RoboTwin y supera a modelos de política establecidos en tareas del mundo real. Además, el entrenamiento conjunto sobre demostraciones de fuente y aumentadas mejora el éxito en el robot objetivo en un 41,5% en comparación con el entrenamiento solo con demostraciones aumentadas.