Hugging Face ha anunciado la integración del soporte nativo de las unidades de procesamiento de tensores (TPU) en su ecosistema, permitiendo ejecutar modelos de Transformers, Diffusers y Kernels directamente en hardware de Google sin necesidad de intermediarios. Esta novedad elimina la dependencia de PyTorch/XLA y de la librería Optimum TPU, simplificando el despliegue para usuarios de PyTorch.
El lanzamiento, basado en TorchTPU, permite a los desarrolladores escribir código estándar de PyTorch y enviarlo a dispositivos TPU mediante la configuración device_map="tpu". La herramienta incluye kernels optimizados en Pallas, soporte para entrenamiento distribuido y una integración con torch.compile para mejorar el rendimiento. En cuanto a la compatibilidad, Transformers v5 ahora soporta TPUs de forma nativa, mientras que Diffusers permite generar imágenes y videos en TPU mediante una simple llamada a pipe.to("tpu"), reutilizando el grafo compilado para llamadas posteriores.
El equipo de Hugging Face ha reportado que el 96,5% de las pruebas de su suite de Transformers pasan en TPU, identificando y corrigiendo 34 problemas, de los cuales 19 ya están resueltos. Esta iniciativa posiciona a TPU como una opción viable para la inferencia y el entrenamiento a gran escala, reduciendo la complejidad de la gestión de hardware especializado.