Slotpin: proxy inverso para optimizar servidores locales de LLM
Slotpin es un proxy inverso de código abierto diseñado para servidores de inferencia de modelos de lenguaje locales (LLM), compatibles con llama.cpp y el motor Gufo. Su función principal es gestionar la memoria de cache (KV cache) mediante un mecanismo de 'slot pinning', lo que permite mantener las
