Alpaca es un motor de inferencia de modelos de lenguaje nativo para Apple Silicon, desarrollado en Swift y diseñado para ejecutarse en macOS y iOS sin depender de librerías externas como llama.cpp, MLX o Core ML. El proyecto, creado por Torin Etheridge, ofrece una implementación independiente de todos los componentes, incluyendo el motor de tensores, el parser de GGUF y los kernels de Metal, lo que garantiza una mayor transparencia y control sobre el rendimiento y la seguridad.
La librería soporta formatos de pesos GGUF v2/v3 (F16, Q8_0 y Q4_0) y utiliza un decodificador de estilo Llama con atención agrupada y kernels de Metal optimizados para GPUs de la familia Apple10. En pruebas realizadas en un Apple M5 con 16 GB de RAM, Alpaca alcanza paridad con llama.cpp en la prellenado de 128 tokens (17.4k tok/s) y supera a este en la decodificación progresiva de 16 a 4096 tokens, logrando velocidades entre 1.02 y 1.38 veces superiores. Sin embargo, presenta un ligero retraso del 7% al 20% en la prellenado de prompts largos en archivos cuantizados.
El sistema prioriza la robustez ante entradas maliciosas, validando cada operación con referencias de CPU deterministas y tolerancias estrictas. La API es idiomática, soportando streaming de tokens asíncrono, cancelación de generaciones y verificación de presupuesto de memoria. Actualmente en versión pre-released 0.1.0, el proyecto está validado en macOS y compila para iOS Simulator, aunque aún no se ha probado en dispositivos físicos iPhone o iPad. El código está disponible bajo licencia MIT.