Google lanza TPU 8tx y 8i Max para la era agéntica

Fuentes: Google launches TPU 8tx and 8i Max for the agentic era, xataka.com, techcrunch.com

Google ha anunciado el lanzamiento de dos nuevas variantes de sus procesadores Tensor Processing Units (TPU) de la octava generación: el TPU 8tx y el TPU 8i Max. Esta expansión marca un hito en la estrategia de infraestructura de inteligencia artificial de la compañía, diseñada específicamente para abordar los desafíos de la 'era agéntica', donde los sistemas de IA autónomos requieren capacidades de razonamiento masivo, seguridad de datos a nivel de hardware y densidad de cómputo extrema. Según el blog oficial de Google, esta es la primera vez que la empresa introduce cuatro sistemas TPU distintos en un solo año, complementando las variantes TPU 8t (entrenamiento) y TPU 8i (razonamiento en tiempo real) presentadas en abril.

El TPU 8tx está optimizado para la inferencia segura y confidencial, así como para el entrenamiento a pequeña escala. Diseñado para empresas reguladas y gobiernos que gestionan datos sensibles, este sistema integra capacidades de cifrado directamente en la capa de hardware. A diferencia de la cifrado tradicional que ocurre en memoria o en redes, el TPU 8tx mantiene los datos y los pesos de los modelos protegidos e aislados incluso mientras están en uso activo. Al basarse en el mismo silicio que el TPU 8t y en hosts de CPU AMD EPYC de 5ª generación, ofrece una latencia hasta dos veces menor que la del TPU 8t, sin penalización de rendimiento significativa. Esta característica permite a los equipos ajustar modelos, destilar modelos grandes y entrenar agentes mediante aprendizaje por refuerzo sin necesidad de migrar datos sensibles entre distintos clústeres, facilitando el uso de datos privados para el fine-tuning.

Por otro lado, el TPU 8i Max se centra en resolver el 'muro de la memoria', un cuello de botella crítico cuando decenas de agentes de IA trabajan simultáneamente sobre grandes bases de código o videos. Este sistema combina dos chips TPU 8i de baja latencia en un único paquete, duplicando el cómputo, la memoria SRAM y el ancho de banda de HBM en comparación con la generación anterior. Al encajar el doble de silicio en el mismo pie de rack, permite a los centros de datos desplegar una potencia de cómputo significativamente mayor por pie cuadrado y por vatio, optimizando la eficiencia energética en cargas de trabajo masivas de contexto.

El contexto de este lanzamiento es la rápida evolución de los casos de uso de los TPUs. Más de una década después de su diseño inicial para tareas internas como el reconocimiento de voz y la traducción, los TPUs ahora sirven para entrenar y servir los propios modelos de Gemini, soportar cargas de trabajo agénticas, entregar servicios a clientes de Google Cloud y permitir a los clientes desplegarlos directamente en sus propios centros de datos. Con casi 100 clientes actuales, incluyendo laboratorios de frontera, firmas de trading y universidades, la adopción de estos aceleradores ha pasado de ser especializada a ser una herramienta generalizada. La demanda de empresas ha cambiado: mientras antes se buscaba potencia bruta, ahora se requiere capacidad de razonamiento a través de ventanas de contexto masivas y seguridad robusta para agentes autónomos.

Google enfatiza que el diseño de un nuevo chip implica el diseño de transistores a nivel microscópico, mientras que el diseño de un sistema implica cómo se integran el cómputo, la red y el almacenamiento. La empresa ha apostado por la modularidad y el equilibrio del sistema, permitiendo ajustar el empaquetado, la memoria de alta velocidad y la red óptica en cuestión de meses en lugar de años. Esta flexibilidad es crucial para la era agéntica, donde los agentes necesitan procesar contextos de millones de tokens. Además, la compañía ha abierto el desarrollo de TPUs a los desarrolladores de PyTorch mediante la publicación de TorchTPU, permitiendo que el código de PyTorch y los modelos de Hugging Face ejecuten de forma nativa en TPUs, eliminando la necesidad de reescrituras de código y facilitando la adopción por parte de una amplia gama de empresas.

En conclusión, la expansión de la octava generación de TPUs por parte de Google no solo responde a las necesidades técnicas de la industria de la IA, sino que también redefine el mercado de la infraestructura de cómputo. Al ofrecer soluciones especializadas para seguridad, contexto masivo y densidad de cómputo, Google posiciona a sus TPUs como la infraestructura fundamental para la próxima generación de agentes de IA autónomos. Los clientes pueden esperar una mayor integración de estos sistemas en sus flujos de trabajo de producción, con un enfoque creciente en la privacidad de los datos y la eficiencia energética, características que serán determinantes en la competitividad de las empresas que adopten estas tecnologías.