Open Vision Banana (OVB) es una propuesta de investigación que presenta una receta técnica completa y reproducible para convertir generadores de imágenes preentrenados en sistemas de percepción unificados. A diferencia de Vision Banana, cuyo código y datos no eran públicos, OVB ofrece acceso total a los pesos, el código y los detalles de implementación, permitiendo la verificación y el uso por parte de la comunidad científica. El proyecto se basa en el principio de que los generadores de imágenes preentrenados codifican un entendimiento del mundo real más allá de la síntesis visual, abordando las tareas de visión como edición de imágenes condicional.
Los análisis técnicos de OVB identifican las decisiones de diseño críticas para la generalización, incluyendo la codificación de color, el diseño de prompts, la adaptación de parámetros y el equilibrio de tareas. Estos factores interactúan de manera compleja, donde las elecciones individuales beneficiosas pueden degradar el rendimiento si se combinan incorrectamente. El sistema utiliza modelos base de 4B y 9B parámetros con pesos abiertos y entrena con entre 2,1 y 3,8 millones de pares de datos de conjuntos de datos públicos. En términos de rendimiento, OVB supera a Vision Banana en la evaluación zero-shot en Cityscapes, logrando un mIoU de 73,9 frente a los 69,9 reportados por el sistema anterior, y se acerca a los estimadores de profundidad de estado del arte invariantes a la afinación.
Además, los variantes no zero-shot de OVB se sitúan a cinco puntos de distancia de Vision Banana en la segmentación de referencia y razonamiento, aunque siguen por detrás en la segmentación de instancias. Un componente destacado de la propuesta es el 'legend ensembling', una técnica de escalado en tiempo de prueba que segmenta la imagen bajo varias leyendas de clase-color y fusiona los resultados mediante votación mayoritaria. Este método corrige las vinculaciones inestables de color-clase y mejora el mIoU en hasta 8,7 puntos en Cityscapes y 15,0 puntos en COCO-Object sin necesidad de reentrenar el modelo. El proyecto incluye la liberación del pipeline de construcción y procesamiento de datos, el código de entrenamiento y evaluación, así como los puntos de control finales, intermedios y de abstracción.
