Halcyon: modelos de imagen sin preentrenamiento de lenguaje

Fuentes: Halcyon: Image generation without language pretraining

La familia de modelos Halcyon demuestra que es posible generar imágenes de alta calidad mediante texto sin recurrir a la preentrenamiento de lenguaje a gran escala, un componente estándar en los sistemas actuales de generación de imágenes. Este avance, presentado en un artículo de arXiv, introduce Halcyon como una familia de modelos autoregresivos multimodales de fusión temprana, preentrenados íntegramente desde cero en GPIC, un conjunto de datos compuesto por 100 millones de pares de imagen y texto.

Los resultados técnicos indican que Halcyon-0.52B supera a LlamaGen-XL/8 en la métrica de fidelidad generativa (gFD), logrando 48.0 gFD frente a los 63.3 del competidor, mientras reduce la computación de preentrenamiento en 18.2 veces. Asimismo, Halcyon-1.6B supera a JiT-T2I-XXL/8++ con 35.3 gFD, utilizando 275 veces menos recursos computacionales para la fase de preentrenamiento. Los experimentos controlados confirman que el preentrenamiento exclusivo con texto no mejora la generación de imágenes, validando la eficacia de la fusión temprana de datos multimodales.

Además, el sistema aprende la etiquetado de imágenes sustituyendo el dropout de texto por supervisión imagen-a-texto, manteniendo una calidad competitiva en la generación de imágenes bajo el mismo presupuesto de preentrenamiento. Los autores concluyen que los sistemas de generación de imagen robustos pueden entrenarse desde cero sin la necesidad de preentrenamiento de lenguaje a escala de internet, lo que sugiere una ruta más eficiente para el desarrollo de modelos multimodales. El código y los modelos están disponibles públicamente en el sitio web de Stanford.