I-DLM (Introspective Diffusion Language Models) representa un avance significativo en el campo de los modelos de lenguaje, abordando una limitación clave de los modelos de difusión: su inferior rendimiento en comparación con los modelos autoregresivos (AR) tradicionales. Los modelos de difusión, a diferencia de los AR, prometen una generación de tokens en paralelo, lo que podría romper el cuello de botella secuencial inherente a los AR. Sin embargo, en la práctica, los DLMs suelen producir resultados de menor calidad.
La investigación detrás de I-DLM identifica una causa fundamental de esta discrepancia: la falta de 'consistencia introspectiva'. Los modelos AR tienden a estar de acuerdo con lo que generan, mientras que los DLMs a menudo no, lo que lleva a incoherencias. I-DLM introduce una técnica llamada 'Introspective Strided Decoding' (ISD) para verificar los tokens generados previamente mientras se avanza en la generación de nuevos tokens en la misma pasada. Esto esencialmente permite al modelo 'revisar' su propio trabajo a medida que avanza.
La implementación de I-DLM implica tres pasos principales: primero, la conversión de modelos AR pre-entrenados a través de atención causal, un cambio en los logits y un objetivo de enmascaramiento completo; segundo, el uso de ISD para la decodificación; y tercero, la integración con SGLang para un servicio compatible con AR. Los resultados son impresionantes: I-DLM-8B iguala o supera la calidad de sus contrapartes AR de tamaño similar, y supera a LLaDA-2.1-mini (un modelo más grande) en varios puntos de referencia, todo ello con menos parámetros y una mayor velocidad de procesamiento (throughput). Además, el uso de 'gated LoRA' permite una aceleración casi sin pérdidas.
Un aspecto crucial es la eficiencia computacional. I-DLM logra una eficiencia superior a la de otros modelos de difusión, lo que significa que cada operación computacional produce más salida útil en comparación con los AR. Esto se traduce en una escalabilidad mejorada y un rendimiento superior en escenarios de alta concurrencia. La 'probabilidad de aceptación' en ISD juega un papel clave en la calidad de la salida, y se observa que se compone geométricamente a medida que avanza la secuencia. Finalmente, el proyecto proporciona documentación completa, incluyendo guías de instalación, inicio rápido, entrenamiento, inferencia y despliegue, así como un 'Model Zoo' con modelos pre-entrenados.