Malleus: motor de inferencia de LLM en Rust para AMD RDNA 3.5

Fuentes: Malleus: Rust-based LLM inference engine for AMD RDNA 3.5 APUs

Malleus es un motor de inferencia de modelos de lenguaje de gran escala (LLM) de código abierto desarrollado en Rust y optimizado específicamente para las unidades de procesamiento gráfico (APU) AMD RDNA 3.5, modelos gfx1150 (Strix Point) y gfx1151 (Strix Halo). Su objetivo principal es maximizar la eficiencia en el procesamiento de prompts largos en hardware con ancho de banda limitado, superando a herramientas como llama.cpp en tareas de prellenado (prefill) mediante el uso de kernels HIP manuales y una jerarquía de memoria optimizada.

El proyecto destaca por su enfoque en la eficiencia sobre la amplitud de modelos. En pruebas con el modelo Ornith-1.5-35B-A3B, Malleus logra una velocidad de prellenado 2,1 veces superior a llama.cpp en sesiones frescas y 2,8 veces más rápida en sesiones con 131.072 tokens, reduciendo el tiempo de procesamiento de un prompt de 110.000 tokens de 12,7 a 4,5 minutos. Aunque el decodificado (decode) opera a paridad con llama.cpp, la inclusión de una cabeza MTP (Malleus Token Prediction) permite superar las limitaciones de lectura de pesos a 4 bits, mejorando significativamente el rendimiento en servicios continuos.

La arquitectura de Malleus se basa en kernels HIP escritos a mano para las arquitecturas gfx1150 y gfx1151, incluyendo operaciones GEMV, WMMA GEMMs fusionados y atención flash-decoding. El sistema utiliza archivos de pesos personalizados (.malleus) que son contenedores GGUF v3 con cuantización MLS4 (4 bits) para el decodificado y MLS8 (8 bits) para el prellenado, lo que permite un mejor rendimiento en prompts largos sin sacrificar la calidad del decodificado. El motor soporta una API unificada compatible con OpenAI Chat Completions y Anthropic Messages, incluyendo decodificación especulativa y soporte para entrada de imágenes. Está diseñado para ejecutarse en contenedores Linux con el driver amdgpu, sin conexiones de red salientes y con permisos de seguridad restringidos (rootless, solo lectura), priorizando la privacidad y la seguridad en entornos locales.