El reciente debate en Hacker News sobre la afirmación "comprimir es predecir" ha reunido explicaciones de 3Blue1Brown, ngrok y Salvatore Sanfilippo. Todas convergen en una idea central: si un modelo probabilístico asigna una probabilidad a cada continuación posible de una secuencia, un codificador entrópico convierte esa probabilidad en bits, y la longitud ideal del mensaje coincide con la pérdida logarítmica acumulada del modelo. En ese marco, mejorar la predicción bajo pérdida logarítmica y reducir el tamaño del mensaje codificado son el mismo problema de optimización. La equivalencia no es nueva: ya está en Shannon, en los compresores estadísticos adaptativos, en la longitud mínima de descripción y en el premio Hutter. Los modelos de lenguaje actuales solo la aplican a mayor escala.
Este artículo examina dónde empieza y dónde termina esa equivalencia. Describe el coste de codificar datos bajo un modelo acordado, pero un problema de compresión comienza antes de aplicar ese modelo y no siempre termina cuando se produce la secuencia de bits más corta. Codificador y decodificador deben pactar qué tipo de objeto se representa, qué alternativas siguen siendo posibles, cómo se transmite el modelo de probabilidad y qué operaciones deberá soportar la representación resultante.
La primera parte del análisis trabaja la compresión antes de introducir cualquier modelo probabilístico. Una familia finita de objetos admisibles ya fija un límite inferior de conteo sin necesidad de hablar de predicción simbólica. La complejidad de Kolmogorov marca el límite teórico de la descripción efectiva de un objeto individual, pero no ofrece un algoritmo general de compresión: no es computable. Sobre la base de la familia acordada, el artículo introduce los codificados de longitud fija, el límite de conteo (llamado a veces entropía del peor caso en la literatura de estructuras sucintas) y el modo en que ese límite cambia según el decodificador conozca restricciones más o menos amplias. La longitud de un objeto solo tiene sentido respecto a la información ya fijada fuera de su descripción: esa es la primera manifestación de un tema recurrente del artículo.