Entropía de una cadena de Markov: uniendo Boltzmann y los modelos de juguete

Fuentes: The Entropy of a Markov Chain

La entropía, ese concepto que el físico alemán Rudolf Clausius formalizó en 1865, sigue siendo una de las ideas más profundas —y difíciles de visualizar— de la física. En esencia, la entropía cuantifica el grado de desorden de un sistema: siempre aumenta en los procesos irreversibles y permanece constante en los reversibles, como los del motor ideal de Carnot. Schrödinger popularizó en 1944 la idea de que la vida se alimenta de "negentropía", extrayendo orden de su entorno, pero traducir esa intuición a modelos matemáticos concretos ha sido un reto persistente.

Un enfoque reciente, recogido en el boletín chillphysicsenjoyer, busca tender un puente entre la entropía termodinámica clásica y los modelos abstractos mediante las cadenas de Markov, sistemas que evolucionan entre estados siguiendo probabilidades fijas. El ejemplo paradigmático es el modelo de juguete de Freeman Dyson para una célula: un sistema con N sitios donde cada uno puede estar vacío, activo o inactivo. Bajo ciertas reglas, la cadena converge a un equilibrio con probabilidades estables para cada estado. La pregunta clave es: ¿se puede definir una entropía para esta cadena que coincida con la idea física de Boltzmann?

La respuesta llega precisamente de Ludwig Boltzmann, quien demostró que la entropía puede expresarse como una función del número de estados compatibles con unas variables macroscópicas fijas. La celebérrima ecuación S = k·ln(Ω) —donde Ω es el número de microestados y k la constante de Boltzmann— es engañosamente simple: detrás de ella hay un argumento que sigue siendo objeto de refinamiento matemático casi un siglo y medio después.

Para hacerlo tangible, podemos recurrir al modelo de Pierre Curie de un imán. Imaginemos un sistema minúsculo de cinco átomos, cada uno con espín arriba o abajo. Si la energía total es E = 1, eso implica que tres átomos están alineados hacia arriba y dos en sentido contrario. Esos diez arreglos posibles son los microestados que componen el macroestado "E = 1". Boltzmann asignaría a este sistema una entropía de k·ln(10), o aproximadamente 3,32 bits en escala logarítmica binaria. Repitiendo el cálculo para cada valor de energía posible, se obtiene una curva de entropía frente a energía, una herramienta básica en mecánica estadística.

¿Y cómo se traduce esto a una cadena de Markov como la de Dyson? Si en el equilibrio la probabilidad de que un sitio esté vacío es 1/2, activo 1/4 e inactivo 1/4, entonces en un sistema de ocho sitios tendríamos, en promedio, cuatro vacíos, dos activos y dos inactivos. El número total de configuraciones compatibles con ese cuadro se calcula con el coeficiente multinómico: 8!/(4!·2!·2!) = 420. Aplicando la fórmula de Boltzmann, la entropía de la cadena resulta ser k·ln(420). Este enfoque permite asociar una magnitud termodinámica familiar a cualquier sistema markoviano que haya alcanzado el equilibrio.

El verdadero valor de este ejercicio, según la fuente, es que abre la puerta a afirmaciones generales sobre cómo evoluciona la entropía en estos sistemas. La topología del grafo de transiciones determina en buena medida si la entropía crece, decrece o se estabiliza, y existen condiciones matemáticas precisas para cada caso. El autor adianta que desarrollará estas reglas en publicaciones posteriores, con el objetivo último de entender formalmente la intuición de que sistemas aparentemente complejos, e incluso la vida, pueden describirse como estructuras que gestionan su entropía.

En definitiva, lo que estos "modelos de juguete" demuestran es algo profundo: que la venerable entropía de Boltzmann no es patrimonio exclusivo de los gases calientes o los imanes físicos, sino una propiedad emergente de cualquier sistema con un gran número de configuraciones internas. Las cadenas de Markov, herramientas fundamentales en informática, biología y aprendizaje automático, pueden así heredarla —y con ella, la promesa de cuantificar el desorden en disciplinas que antes dependían solo de la intuición.