Slotpin es un proxy inverso de código abierto diseñado para servidores de inferencia de modelos de lenguaje locales (LLM), compatibles con llama.cpp y el motor Gufo. Su función principal es gestionar la memoria de cache (KV cache) mediante un mecanismo de 'slot pinning', lo que permite mantener las conversaciones interactivas calientes y evitar la latencia de prellenado inicial para usuarios recurrentes. La herramienta opera como un proxy de reenvío consciente de la caché, que clasifica las solicitudes en carriles específicos para proteger el rendimiento de las sesiones activas.
El sistema incluye un panel de control de solo lectura que visualiza métricas en tiempo real, como velocidad de decodificación, latencia, uso de memoria y, opcionalmente, consumo energético mediante un enchufe inteligente. Slotpin implementa un programador de prioridades con envejecimiento para gestionar la admisión de solicitudes y un mecanismo de recuperación de snapshots que permite restaurar el estado de la caché si el servidor se reinicia o si el slot es evictado. Además, ofrece una función de 'fail-fast' que aborta flujos de tokens congelados para mejorar la estabilidad del cliente.
La instalación requiere Python 3.11 o superior y funciona principalmente en Linux, aunque el proxy puede ejecutarse en cualquier sistema operativo. La configuración se realiza mediante archivos TOML, permitiendo ajustar el número de slots, la ruta de almacenamiento y los patrones de clasificación. Slotpin está diseñado para integrarse en entornos de producción donde la consistencia de la respuesta y la eficiencia en el uso de recursos son prioritarias, ofreciendo una capa de abstracción que simplifica la gestión de la infraestructura de inferencia local.