RUNTA ha presentado FrontierHarness Eval v1.1, un benchmark de gran escala que evalúa 22 configuraciones de harnesses con cinco modelos de inteligencia artificial y 62 tareas de terminal. La iniciativa, colaborada con Baseten, procesa 83.000 millones de tokens a través de 27.280 ejecuciones de agentes, expandiendo el alcance de la versión anterior (v1.0) en un factor de 76. El objetivo principal es determinar si es necesario cambiar el harness al modificar el modelo para optimizar la experiencia del usuario, revelando que la combinación específica de ambos elementos determina el rendimiento y el coste.
Los resultados indican que no existe un harness óptimo universal; cada modelo presenta un 'mejor valor' distinto. Por ejemplo, Codex CLI lidera en coste por paso con GLM-5.3, mientras que ZCode es el más eficiente con DeepSeek V4.1 Flash 1017. El análisis de costes por tarea muestra que la posición de los harnesses varía drásticamente entre modelos: Codex CLI pasa de ser el más barato en GLM-5.3 a la decimosexta opción en Kimi-K3. La mediana de los costes se desplaza 11 posiciones entre los 22 harnesses. Además, se identifican cuatro harnesses como los más eficientes globalmente: OpenCode v2 (menor coste, 0,561$), Pi, Codex CLI y ZCode (mayor tasa de éxito, 61,9%). El estudio destaca que el coste por tarea no garantiza una mayor tasa de éxito, y que factores como el tamaño del prompt o el número de herramientas no son los principales determinantes del coste, sino el número de pasos de razonamiento.
