vramkit es una herramienta de código abierto diseñada para reducir el consumo de memoria VRAM durante la inferencia de modelos de lenguaje grandes (LLM). El proyecto, desarrollado y validado íntegramente en un MacBook con Apple Silicon, ofrece dos técnicas principales: un codificador de pesos sin pérdida y una compresión de caché KV (Key-Value) compatible con PyTorch. La herramienta destaca por su precisión técnica, utilizando un codificador de rangos de 32 bits con un modelo de contexto adaptativo bidimensional que supera a los compresores estándar como zstd y xz en el 33% de la compresión de pesos cuantizados de 4 bits en modelos reales como Qwen2.5-0.5B.
El componente más significativo es la compresión de la caché KV, que permite reducir el tamaño de la memoria en 2 veces con una pérdida de calidad mínima. El análisis revela que la cuantización de las claves (keys) por canal (per-channel) es superior a la cuantización por token, reduciendo la perplexidad real en solo un 0,1% frente a un aumento del 4,6% en esquemas convencionales. Esta optimización es crucial para sistemas de alto rendimiento, ya que permite mantener contextos más largos o manejar más solicitudes concurrentes en GPUs de gama alta, como las de AMD ROCm o NVIDIA, sin necesidad de infraestructura de data center. El proyecto incluye módulos agnósticos de dispositivo que funcionan en CPU, ROCm, CUDA y Apple MPS, facilitando su integración en pipelines de inferencia existentes.