JetBrains ha publicado un benchmark A/B por pares para evaluar el skill open source Caveman, que promete reducir un 65% los tokens de salida de los agentes de código obligándolos a responder con un estilo telegráfico inspirado en el hombre de las cavernas. La prueba se ejecutó sobre 86 de las 87 tareas del benchmark SkillsBench, con Claude Code 2.1.200 y el modelo claude-sonnet-5 en modo headless, sumando cerca de 240 ensayos y un coste aproximado de 106 dólares.
El resultado principal desmonta la cifra publicitaria: con la skill forzada en cada respuesta, el ahorro real de tokens de salida se queda en torno al 8,5%, y el ahorro de costes, en el 10%. Los autores explican que la salida de un agente de programación está dominada por código, diffs, llamadas a herramientas y mensajes de error exactos, que Caveman preserva intactos; solo se comprime la narración entre invocaciones de herramientas, que es una fracción menor del flujo total.
En calidad de tarea no se observó degradación: en 82 pares comparables, la diferencia media de puntuación fue de 0,015 sobre una escala de 0 a 1, con un p-valor de 0,82 en el test de los signos. La transferencia de estilo funciona como se anuncia: los textos se vuelven inconfundiblemente "cavernícolas", mientras los artefactos de código permanecen normales.
El equipo advierte además de que los ahorros son frágiles ante valores atípicos: en una de las ejecuciones, una tarea de auditoría de dependencias disparó el coste del brazo con la skill hasta 8,29 dólares frente a 0,33 dólares al cruzar el umbral de contexto largo de 200.000 tokens. La recomendación final es usar Caveman si resulta divertido —la penalización en calidad es indetectable— pero sin esperar ahorros elevados en el trabajo agente del día a día.