Los arneses de agentes de IA determinan el 90% de la eficiencia energética

Un análisis técnico de Neuralwatt revela que la eficiencia energética en los agentes de IA no depende principalmente del modelo ni del hardware, sino de cómo el cliente gestiona el caché de prompts. El estudio demuestra que los arneses (harnesses) que modifican el texto enviado anteriormente provocan la recomputación de grandes porciones del prompt, lo que duplica o triplica el consumo energético por solicitud. En sesiones profundas, un solo error de caché puede costar tanto como 600 turnos normales, generando además latencias significativas. El informe identifica causas específicas en herramientas como OpenCode y omp, donde cambios en el historial o recordatorios de modo operativo rompen la cadena de caché. Aunque la mayoría de estos errores son corregibles mediante actualizaciones de software, como la versión 2.x de OpenCode, la variación en las tasas de caché entre clientes (del 92% al 97%) representa una diferencia de 2,7 veces en el trabajo de prefill. Este hallazgo subraya la importancia crítica de la optimización del código del cliente para minimizar el impacto ambiental y operativo de la inferencia de modelos de lenguaje.