Agentes de IA: Caché Oculta Costos Elevados

Un nuevo análisis revela costos ocultos y significativos en el uso de agentes de codificación basados en modelos de lenguaje grandes (LLMs). Según un estudio realizado por exe.dev, los costos de lectura de caché (cache reads) crecen de forma cuadrática a medida que la longitud del contexto aumenta, llegando a dominar el costo total de la conversación. En conversaciones extensas, los costos de lectura de caché pueden representar hasta el 87% del gasto total, y alcanzar la mitad del costo de la siguiente llamada a la API ya a partir de 27,500 tokens. Este problema surge porque los LLMs cobran por la lectura de la información almacenada en caché a medida que se construye la conversación. El estudio, basado en el análisis de 250 conversaciones, sugiere que reiniciar conversaciones podría ser una estrategia más rentable que continuar con contextos extensos, y plantea interrogantes sobre la gestión de costos, el manejo del contexto y la optimización de agentes. El equipo de exe.dev está investigando soluciones, incluyendo el uso de subagentes y herramientas para iterar fuera de la ventana de contexto principal, y explorando enfoques como los modelos de lenguaje recursivos para abordar estos desafíos.