La caché de prompts es el mecanismo que hace económicamente viable el funcionamiento de los agentes de programación basados en modelos de lenguaje. En cada turno, el agente reenvía al modelo prácticamente el mismo contenido del turno anterior —prompt del sistema, definiciones de herramientas, instrucciones del proyecto e historial de la conversación— y solo añade una pequeña cantidad de material nuevo. Recalcular todo ese prefijo en cada petición resultaría lento y caro una vez que la sesión alcanza decenas o cientos de miles de tokens.
El artículo explica qué contiene realmente la caché KV de un transformador: por cada token procesado y por cada capa de atención se generan tensores de clave y valor que permiten atender a todo lo anterior sin recomputar. Si cambia un solo token, todo lo que viene después deja de compartir caché, porque los identificadores dependen del prefijo exacto.
Después describe las dos formas principales de ubicar esa caché: la afinidad de sesión, que la mantiene cerca de la GPU que la creó y enruta las peticiones siguientes al mismo worker (sencilla, pero frágil ante reinicios o balanceos); y la caché distribuida, que reparte los bloques entre varios nodos con políticas de evicción y enrutado según prefijo, a costa de más complejidad.
También aborda el problema de las sesiones en forma de árbol, donde distintas ramas comparten solo parte del prefijo, y compara el modelo de Anthropic —con puntos cache_control explícitos y precios diferenciados entre escritura y lectura— con el de proveedores como OpenAI, que ofrecen caché automática sin marcas en el prompt. La conclusión es que el comportamiento de la caché condiciona el diseño de herramientas, la latencia, el coste y las funciones del producto.