La industria de la inteligencia artificial se enfrenta a un cambio de paradigma: la demanda de inferencia ha superado a la de entrenamiento, obligando a los fabricantes de hardware a repensar sus estrategias. Mientras que los modelos de lenguaje de gran escala (LLM) han evolucionado de millones a billones de parámetros, el uso activo de estos modelos para generar código, textos e imágenes ha multiplicado la carga computacional. Los modelos de razonamiento, que utilizan procesos como la 'cadena de pensamiento' y generan hasta 20 veces más texto que los modelos básicos, junto con la IA agéntica que opera de forma autónoma, han disparado la necesidad de recursos de cómputo.
Este aumento ha provocado alianzas inesperadas entre gigantes tecnológicos. OpenAI y Amazon han desplegado chips de Cerebras, diseñados para manejar la parte intensiva en memoria de la inferencia, a pesar de que Amazon posee sus propios chips Trainium. Nvidia ha realizado una compra de 20.000 millones de dólares a Groq, una startup especializada en inferencia, para asegurar talento e infraestructura. Además, Anthropic paga más de 1.000 millones de dólares mensuales a SpaceXAI para alquilar capacidad de cómputo adicional.
La diferencia técnica entre entrenamiento e inferencia es crucial. El entrenamiento utiliza la retropropagación para ajustar parámetros, un proceso intensivo que requiere grandes centros de datos. La inferencia, en cambio, utiliza modelos preentrenados de forma autoregresiva. Aunque elimina la retropropagación, introduce desafíos únicos como la gestión de la caché KV (Key-Value), que puede alcanzar decenas de gigabytes, y la necesidad de procesar contextos extensos en tiempo real. Esta distinción explica por qué la arquitectura de hardware debe priorizar la eficiencia en la memoria y la latencia, más que en la capacidad bruta de cálculo, marcando una inflexión en la estrategia de infraestructura de la IA.