· Original en inglés · Artículo

TIPSv2: Modelo mejora la unión de imagen y texto

Fuentes: TIPSv2: Advancing Vision-Language Pretraining with Enhanced Patch-Text Alignment

TIPSv2 representa una nueva generación de modelos de codificación de imágenes y texto, diseñados para mejorar el rendimiento en una amplia gama de tareas multimodales y de visión artificial. El núcleo de la innovación reside en una observación sorprendente: la destilación (un proceso de aprendizaje donde un modelo más pequeño imita a uno más grande) permite una alineación superior entre los fragmentos de imagen (patches) y el texto asociado, superando incluso a los modelos 'maestros' mucho más grandes. Esto contrasta con la tendencia habitual donde los modelos más grandes superan a los más pequeños.

Para aprovechar este hallazgo, los investigadores introdujeron tres mejoras clave en el proceso de pre-entrenamiento: iBOT++, Head-only EMA y Multi-Granularity Captions. iBOT++ extiende la función de pérdida de auto-supervisión a todos los fragmentos de la imagen, no solo a los enmascarados, lo que mejora significativamente la alineación entre fragmentos y texto. Head-only EMA reduce el costo computacional al aplicar la técnica EMA (Exponential Moving Average) solo a la capa de proyección, conservando el rendimiento. Finalmente, Multi-Granularity Captions utiliza descripciones de texto más ricas, generadas por modelos como PaliGemma y Gemini, para una mejor supervisión del texto.

Las ventajas de TIPSv2 son notables. Produce mapas de características más suaves y con límites de objetos más definidos en comparación con modelos anteriores. En pruebas, TIPSv2 supera o iguala a modelos de vanguardia en 9 tareas y 20 conjuntos de datos, destacando especialmente en la segmentación de imágenes sin ejemplos (zero-shot segmentation). Por ejemplo, en la segmentación zero-shot ADE150, TIPSv2 logra una mejora significativa de 14.1 mIoU (Mean Intersection over Union).

Un aspecto importante es que TIPSv2, incluso en versiones más pequeñas (ViT-L), puede superar a modelos mucho más grandes (ViT-g y DINOv3) en ciertas tareas, demostrando la eficiencia de su enfoque de destilación y las mejoras introducidas. La disponibilidad de TIPSv2 en Hugging Face facilita su acceso y experimentación para la comunidad de investigadores y desarrolladores. En resumen, TIPSv2 representa un avance significativo en la visión-lenguaje, ofreciendo un equilibrio entre rendimiento, eficiencia y facilidad de uso.