Guía técnica para ajustar modelos 3D con LoRA y Hugging Face Jobs

Fuentes: Technical guide for fine-tuning 3D models with LoRA and Hugging Face Jobs

Este artículo técnico detalla el proceso de ajuste fino (fine-tuning) del modelo de generación 3D TRELLIS.2 utilizando la técnica de adaptación de bajo rango (LoRA). El objetivo es mejorar la precisión geométrica de objetos específicos, como calzado, sin alterar las capacidades generales del modelo preentrenado. El texto explica que, aunque TRELLIS.2 ofrece una representación unificada interna, no permite adaptar fácilmente el modelo a tareas específicas, lo que puede generar errores en detalles críticos como la geometría de las suelas.

La guía se centra en el uso del conjunto de datos Google Scanned Objects (GSO) para entrenar adaptadores LoRA en los componentes del pipeline que controlan la estructura y la geometría, específicamente en los transformadores de difusión (DiT) de flujo de estructura dispersa y flujo de forma. Se recomienda congelar el flujo de textura para evitar el olvido catastrófico, dado que los datos de entrada carecen de mapas de materiales separados. El proceso se puede ejecutar localmente mediante Docker o en la nube a través de Hugging Face Jobs, que gestiona contenedores en hardware de nube. Esta metodología permite a los desarrolladores optimizar modelos de IA para aplicaciones específicas en robótica, simulación y entretenimiento, manteniendo la eficiencia computacional al reducir los parámetros entrenables a aproximadamente 9,3 millones.