Pyramid-JiT: nueva arquitectura de IA para generar imágenes a baja resolución

Fuentes: Pyramid-JiT: New AI Architecture for Low-Resolution Image Generation

Pyramid-JiT (P-JiT) es una nueva arquitectura de decodificador único en el espacio de píxeles diseñada para mejorar la eficiencia en la generación de imágenes. A diferencia de los modelos anteriores que utilizaban arquitecturas de codificador-decodificador, P-JiT predice la imagen objetivo en varias resoluciones a lo largo del tronco de la red DiT. Esta estrategia permite al modelo predecir versiones de baja resolución (como 128x128, 256x256 y 512x512 píxeles) que actúan como guías estructurales, permitiendo al decodificador asignar mejor su capacidad a los detalles finos.

El sistema logra resultados superiores a los de Linum v2 utilizando 11,3 veces menos muestras de entrenamiento y 4,3 veces menos horas de GPU, mientras que procesa 4 veces más píxeles. Esta optimización busca reducir drásticamente el coste de atención, un factor principal en la generación de video, que actualmente es prohibitivo para herramientas asequibles. La arquitectura incorpora innovaciones de LLMs, como el ensanchamiento del flujo residual, para mejorar la expresividad de la red sin aumentar el coste computacional. El código y los pesos del modelo están disponibles bajo licencia Apache 2.0, posicionándose como un artefacto de investigación que busca facilitar el desarrollo de herramientas de animación más accesibles y eficientes.