Pareto, la plataforma de código abierto desarrollada por Hebbian Robotics, aplica el patrón de arquitectura de un sistema de vídeo como YouTube —subida, procesamiento, almacenamiento, indexación y reproducción— a la gestión de conjuntos de datos multimodales para aprendizaje robótico. Cada episodio combina varios flujos de cámara, estados articulares, acciones, lecturas de fuerza y descripciones de tarea, de modo que los vídeos por sí solos no aportan información útil: solo cobran sentido cuando se mantienen sincronizados con el resto de sensores. La plataforma, compatible con el formato LeRobot v3, resuelve a la vez el rango de filas Parquet y el intervalo temporal dentro de cada MP4.
El artículo desgrana las cinco decisiones técnicas clave: subidas rean udables con manifiestos de cierre, una canalización durable orquestada con Temporal que separa trabajadores por capacidad, una división estricta entre archivos (almacenamiento de objetos), metadatos (Postgres) e índices vectoriales (LanceDB), y una interfaz de navegador que solicita únicamente los bytes necesarios del vídeo. Los autores detallan además su servidor SigLIP 2 en Rust y ONNX para embe ddings de texto en CPU, lo que deja las GPUs libres para la ingesta. El objetivo declarado es reducir el tiempo hasta el primer uso, priorizar la búsqueda y la reproducción sincronizada, y permitir que los usuarios inspeccionen, comparen y anoten episodios antes de decidir si entran en un conjunto de entrenamiento. El texto cierra con una reflexión sobre diseñar para escalar sin empezar a gran escala, separando las decisiones estructurales de las operativas.