Un repositorio de código abierto presenta un parche para llama.cpp que introduce un kernel NEON específico para procesadores Arm, resolviendo una limitación de rendimiento en el procesamiento de prompts de modelos cuantizados a bajo bit. La optimización, desarrollada por un agente de IA en 2026, añade instrucciones SDOT (dot-product) para formatos como IQ3_M y Q3_K_M, que anteriormente dependían de rutas ineficientes que desempaquetaban los pesos en cada operación. Los benchmarks realizados en servidores AWS Graviton (Neoverse N1, V1 y V2) muestran mejoras significativas: hasta 6,5 veces más rápido en IQ3_M para Neoverse N1, aunque la velocidad de generación permanece inalterada. El parche, de 164 líneas, se integra en llama.cpp v0.9.0 y requiere compiladores que soporten la extensión dot-product de Arm. Aunque los resultados son inferiores a los de x86, el trabajo demuestra la viabilidad técnica de la optimización y ofrece herramientas para desarrolladores que deseen mejorar el rendimiento en arquitecturas Arm, aunque no se ha enviado oficialmente a llama.cpp debido a sus políticas de contribución de código generado por IA.
