Un nuevo sistema de caché llamado 'Agent-cache' ha sido lanzado para mejorar el rendimiento de los agentes de inteligencia artificial. Desarrollado para funcionar con Valkey o Redis, Agent-cache permite almacenar en caché las respuestas de los modelos de lenguaje (LLM), los resultados de las herramientas utilizadas por los agentes y el estado de la sesión, todo a través de una única conexión. La primera versión (v0.1.0) se lanzó ayer, seguida rápidamente por la v0.2.0 que incluye soporte para modo cluster.
La relevancia de esta herramienta radica en que soluciona una limitación existente en otras soluciones de caché, que a menudo se enfocan en un solo tipo de dato (solo respuestas de LLM o solo estado de la sesión) o están ligadas a un framework específico (como LangChain o LangGraph). Agent-cache ofrece una solución multi-nivel que es compatible con LangChain, LangGraph y el Vercel AI SDK, y no requiere módulos adicionales, funcionando con Valkey 7+ y Redis 6.2+. Los desarrolladores planean añadir soporte para streaming en futuras versiones. El proyecto está disponible a través de npm y los creadores están disponibles para responder preguntas.