TouchScale es un conjunto de datos de 500 horas diseñado para el aprendizaje visual-táctil, que resuelve la limitación de los datasets actuales al integrar simultáneamente video egocéntrico y mediciones táctiles densas. A diferencia de las fuentes previas, que suelen mezclar grabaciones de diferentes sensores o procedimientos de anotación, TouchScale utiliza un único sistema de sensores portátiles unificado para registrar interacciones humanas enriquecidas con contacto. El dataset incluye aproximadamente 2.000 descripciones de tareas predefinidas que abarcan actividades cotidianas y manipulación estructurada, alineando temporalmente video RGB-D, video de muñeca RGB y mediciones táctiles bimanuales de mano completa.
Los resultados experimentales demuestran la eficacia de este recurso para la percepción y la manipulación robótica. En tareas de predicción de contacto sin entrenamiento previo (zero-shot), el índice de intersección sobre unión (IoU) aumentó del 0,134 al 0,383 al entrenar con datos de TouchScale. Además, el preentrenamiento de un codificador visual con este dataset mejoró la precisión de reconocimiento de acciones en tres benchmarks frente a otros conjuntos de datos visuales-táctiles. En aplicaciones de manipulación robótica, el uso de TouchScale para el entrenamiento intermedio de políticas de robots mejoró la tasa de éxito en el mundo real en cuatro tareas de manipulación con contacto, pasando del 22,5% al 57,5%. Estos hallazgos indican que la recopilación a gran escala de datos visuales-táctiles humanos con protocolos de sensores consistentes beneficia tanto la percepción como la manipulación robótica, y el equipo planea publicar el dataset junto con modelos de objetos reconstruidos para facilitar futuras investigaciones.