Los LLMs recuperan la telegrafía para ahorrar costes de tokens

Fuentes: LLMs Relearn Telegraphese to Cut Token Costs

Los modelos de lenguaje de gran escala (LLMs) están recuperando una técnica de compresión textual conocida como 'telegrafía' o 'cablese' para optimizar los costes de tokens en sus aplicaciones empresariales. Esta estrategia, que consiste en generar respuestas en un registro abreviado y sin formato, permite reducir significativamente el consumo de recursos sin comprometer la comprensión de los modelos, ofreciendo una alternativa viable a las arquitecturas más costosas. Según un estudio reciente publicado en fiveminutesforward.com, esta técnica puede ahorrar entre el 25% y el 49% en los costes de tokens, dependiendo del modelo específico utilizado, sin necesidad de nuevos hardware, entrenamiento adicional ni cambios en las APIs.

El análisis se basa en un benchmark de 50 pasajes y aproximadamente 1.300 preguntas, donde se evaluó la capacidad de varios modelos, incluyendo GLM-5.3-Flash, Qwen3.8-27b, Gemma-4-31b y GPT-5-mini, para leer y responder a preguntas ancladas a textos compuestos. Los resultados muestran que, cuando los modelos leen registros compuestos (cablese) y los transcriben a texto plano para responder, la precisión de recuperación es comparable o superior a la obtenida con textos planos. Por ejemplo, en la familia de modelos de Z.ai (GLM), la instrucción de usar un registro abreviado resultó en un ahorro del 48,4% en tokens, con una relación de recuperación de 1.09, lo que indica que los modelos leen estos registros tan bien como los textos originales. En el caso de GPT-5-mini, el ahorro fue del 17,7%, aunque con una penalización mayor en la precisión de recuperación (0.99), lo que sugiere que la compresión puede ser más costosa para modelos que no permiten desactivar el razonamiento.

El contexto histórico de esta técnica es relevante: la telegrafía, que operaba con tarifas por palabra en el siglo XIX, fomentó el desarrollo de códigos abreviados y formatos disciplinados para maximizar la eficiencia. Hoy, la API de los LLMs funciona de manera similar, cobrando por token. La investigación demuestra que la capacidad de compresión es una propiedad inherente a los pesos de los modelos, heredada de un siglo y medio de entrenamiento con datos que incluyen registros abreviados. Sin embargo, la efectividad de esta técnica depende de cuándo se aplica la compresión. Si se realiza mientras el modelo está en proceso de composición (mid-thought), se incurre en una 'taxa de registro' que reduce la precisión. Pero, si se aplica después de que el contenido esté resuelto, en registros destinados a consumo por máquinas (como memoria de agentes o intercambio entre modelos), la compresión es rentable y no penaliza la lectura posterior.

Las implicaciones de este hallazgo son significativas para la industria de la IA. La compresión de registros permite a los agentes de IA tener casi el doble de capacidad de contexto para tareas de memoria, ya que los tokens de salida son 3 a 5 veces más costosos que los de entrada. Al almacenar 'scratchpads' y resúmenes en formato cablese, las empresas pueden reducir drásticamente sus costes operativos. Además, la técnica no compromete la auditoría, ya que el formato es legible para humanos y decodificable bajo demanda, a diferencia de los protocolos emergentes de agentes que pueden ser opacos. El estudio también destaca que la compresibilidad varía entre modelos; por ejemplo, la instrucción idéntica comprimía los registros de Gemma en un 40% y los de Qwen en un 49%, lo que indica que la elección del modelo es tan importante como la instrucción para maximizar los ahorros.

En conclusión, la recuperación de la telegrafía en los LLMs representa una optimización de gran escala que está verificada y que, según los autores, no está siendo implementada a gran escala. Al utilizar registros compuestos para el consumo interno de máquinas y expandirlos solo cuando es necesario para humanos, las organizaciones pueden reducir sus costes de tokens sin sacrificar la calidad de la información. Esta estrategia, que no requiere infraestructura nueva, se posiciona como una herramienta clave para la eficiencia en la era de los modelos de lenguaje, recordándonos que la economía de la IA sigue dependiendo de la eficiencia en el uso de recursos, similar a la era de la telegrafía.