Presentan Orthrus, framework que multiplica por 7,8 la velocidad en generación de texto con IA

Se ha presentado Orthrus, un nuevo framework de inteligencia artificial que combina la precisión de los modelos de lenguaje grandes autoregresivos con la velocidad de generación paralela de los modelos de difusión. El sistema, desarrollado por el investigador Chiennv y disponible en HuggingFace, logra hasta 7,8 veces más velocidad en la generación de texto sin perder calidad. Los modelos Orthrus utilizan Qwen3 como base (1.7B, 4B y 8B parámetros) y garantizan generación estrictamente sin pérdidas mediante un mecanismo de consenso intra-modelo. El framework solo requiere afinar el 16% de los parámetros totales, manteniendo el modelo base congelado. La tecnología supera a métodos especulativos como EAGLE-3 y DFlash, ofreciendo mayor tasa de aceptación de tokens y tiempos de inferencia más rápidos, especialmente cuando aumenta la longitud del contexto. Orthrus representa un avance significativo en la resolución del cuello de botella secuencial que caracteriza a los LLMs tradicionales.