vramkit: compresión de pesos y KV-cache para LLMs en MacBook
vramkit es una herramienta de código abierto diseñada para reducir el consumo de memoria VRAM durante la inferencia de modelos de lenguaje grandes (LLM). El proyecto, desarrollado y validado íntegramente en un MacBook con Apple Silicon, ofrece dos técnicas principales: un codificador de pesos sin pé
