Un estudio reciente publicado en arXiv analiza la arquitectura óptima para los codificadores visuales en modelos de lenguaje multimodales. Los autores descomponen el proceso de codificación visual en tres componentes clave: el prior visual derivado del preentrenamiento, la capacidad visual dedicada y la posición de fusión inicial. Para aislar el impacto de cada factor, el equipo desarrolló un marco de trabajo controlado donde todos los modelos se preentrenan desde cero sobre datos comunes, comparando sus resultados en tareas de respuesta a preguntas visuales y benchmarks de lenguaje bajo un cómputo de vida útil igualado.
Los hallazgos principales indican que el prior visual preentrenado no es estrictamente necesario; un codificador entrenado conjuntamente desde cero alcanza resultados par con uno preentrenado, eliminando la necesidad de una etapa de entrenamiento separada. Sin embargo, la capacidad visual dedicada resulta determinante: los modelos sin codificador visual se quedan rezagados en la comprensión visual incluso cuando se amplían los parámetros del backbone en la cantidad de parámetros del codificador. Además, la investigación demuestra que esta capacidad no debe preceder necesariamente a la fusión multimodal. Los módulos de visión solo añadidos en la fusión temprana en las capas iniciales del backbone logran un rendimiento comparable al del codificador pre-fusión y reducen el tiempo hasta el primer token. Estos resultados son consistentes a través de diferentes tamaños de backbone, siempre que el preentrenamiento del codificador se considere gratuito, y también cuando se parte de un modelo de lenguaje preentrenado. En conclusión, el estudio favorece la adopción de capacidad visual dedicada entrenada conjuntamente con el backbone y colocada temprana dentro de la arquitectura.
