Hebero es un marco de trabajo para el aprendizaje por refuerzo (RL) que permite la simulación paralela en GPU para tareas de manipulación robótica heterogéneas. El sistema, basado en Isaac Lab, facilita el entrenamiento conjunto y la evaluación de una única política a través de 40 tareas distintas, optimizando el uso de recursos computacionales. Los experimentos de escalado demuestran que aumentar el número de réplicas paralelas por tarea mejora el éxito dentro de un presupuesto de tiempo fijo, lo que es crucial para la viabilidad práctica de estos modelos.
Para abordar el aprendizaje con recompensas escasas y demostraciones limitadas, Hebero propone la Optimización de Políticas Guiada por Demostraciones (DGPO). Este enfoque reutiliza las demostraciones para recompensas de seguimiento densas y el aprendizaje de valor asimétrico. El marco incluye una pila compartida que permite comparaciones controladas de interfaces de demostración específicas del aprendiz dentro de PPO. Dentro de DGPO, se introduce IW-ABC, un mecanismo que utiliza una señal ligera de progreso de aprendizaje por tarea para coordinar el clonado de comportamiento adaptativo (ABC) y el peso de importancia (IW), priorizando las tareas que están rezagando en las actualizaciones de PPO.
Con 50 demostraciones por tarea, IW-ABC alcanza un 90,1% de éxito medio en estado-entrada, superando a la línea base FAMO-ABC en 7,8 puntos porcentuales. Su contraparte visual logra un 93,5% de éxito medio. Los experimentos en el mundo real confirman que una única política multi-tarea entrenada en simulación puede ejecutar con éxito cuatro tareas en un robot físico Piper, validando la transición de la simulación a la aplicación práctica.