El blog de ngrok publica un artículo didáctico que explica la relación profunda entre la compresión de datos y el modelado de lenguaje. El texto parte de la idea de que compresores como gzip o Brotli y los modelos de lenguaje grandes (LLM) resuelven, en esencia, el mismo problema: predecir la redundancia de la información.
El artículo recorre las tres piezas fundamentales de la compresión moderna: las transformaciones, que preparan los datos; los modelos, que asignan probabilidades a cada símbolo; y los codificadores de entropía, que producen el flujo final de bits. Para ilustrarlo, utiliza ejemplos con cadenas de caracteres y muestra cómo la codificación aritmética puede representar toda una secuencia con un único número decimal dentro de un rango cada vez más estrecho.
El concepto clave que introduce es la entropía, medida en bits por símbolo, que marca el límite teórico de compresión de cualquier fuente de datos. Cuanto más sesgada es la distribución de probabilidades —es decir, cuanto más se repite un símbolo—, menor es la entropía y mejor la compresión. Esta misma lógica, según el autor, es la que gobierna el funcionamiento de los LLM: predecir el siguiente símbolo más probable es, en el fondo, comprimir el lenguaje.