Gen-HumanEgo es un conjunto de datos de 1.800 horas de demostraciones egocéntricas de humanos, diseñado para el aprendizaje de IA corporal y robótica. El proyecto, alojado en Hugging Face, ofrece supervisión estructurada y sincronizada para entrenar modelos de IA que interactúan con el entorno físico. La recopilación se realiza mediante un sistema unificado de seis cámaras, conocido como DAS-Ego, que captura demostraciones en primera persona en diversos dominios, incluyendo hogar, negocios, industria y agricultura.
El dataset incluye grabaciones de video RGB multi vista, reconstrucciones 3D de manos con parámetros MANO y geometría completa, mapas de profundidad de gran campo de visión y anotaciones semánticas jerárquicas. Estas anotaciones se organizan en tres niveles: video, tarea y subtarea, lo que permite describir actividades con precisión temporal y espacial. Por ejemplo, una tarea de ordenar un sofá se desglosa en subtareas específicas como colocar cojines o aplanar la funda.
Técnicamente, cada episodio está empaquetado en formato MCAP y contiene 21 puntos clave 3D por mano, mallas de mano completas y anotaciones de éxito. El repositorio está estructurado jerárquicamente por escenario y habilidad, facilitando la navegación y el análisis de los datos. GenRobot ha proporcionado herramientas adicionales, como un kit de datos para la lectura y validación de archivos, y un visualizador basado en navegador para explorar los episodios. Este recurso sirve como base para la investigación en robótica colaborativa y la comprensión de la acción humana en entornos reales.