Next-Concept Modeling (NCM) es un marco de dos etapas, de lo grueso a lo fino, diseñado para superar las limitaciones de los modelos de lenguaje de difusión (DLM) en la generación de texto. A diferencia de los modelos autoregresivos, que son lentos, y de los DLMs estándar, que degradan su calidad rápidamente con menos pasos de muestreo, NCM utiliza un VQ-VAE residual multiescala para codificar el texto en una jerarquía de códigos discretos. Un transformador genera un nivel a la vez, predeciendo todos los códigos de ese nivel en paralelo. Esta arquitectura permite que, a escalas de parámetros equivalentes, NCM logre una perplexidad generativa superior a la de la línea base de DLM más fuerte en el conjunto LM1B, mientras opera 21 veces más rápido. En el conjunto OpenWebText, NCM es competitivo con el mejor DLM pero 10 veces más rápido, y en XSum, iguala el ROUGE-L del mejor DLM siendo 31 veces más rápido. Además, en tareas de razonamiento como Sudoku, NCM supera a los baselines autoregresivos y de difusión en todos los niveles de dificultad, utilizando menos evaluaciones de función. Este enfoque es relevante porque la inferencia se ha convertido en una carga computacional dominante, y la capacidad de generar texto de forma paralela y eficiente es crucial para aplicaciones que requieren baja latencia y alto rendimiento.
