Hugging Face ha presentado TorchNeuron, un plugin para PyTorch que permite ejecutar modelos de inteligencia artificial en los chips AWS Trainium con una interfaz nativa y simplificada. Disponible desde el 20 de octubre de 2026 en beta pública, esta herramienta elimina la necesidad de usar compiladores complejos o librerías intermedias, integrando directamente el backend de Neuron en el ecosistema de PyTorch.
A diferencia de la solución anterior, Optimum Neuron, que requería un modo de ejecución 'lazy' y recompilaciones frecuentes, TorchNeuron ofrece ejecución 'eager', soporte para torch.compile y APIs distribuidas nativas como FSDP y TP. Esto permite que las librerías estándar de Hugging Face, como Transformers, Diffusers, Accelerate, PEFT y TRL, funcionen en Trainium sin modificaciones de código. Por ejemplo, el 89% de las arquitecturas de generación de texto más utilizadas están soportadas de forma nativa, frente al 46% con la versión anterior de Optimum Neuron.
El plugin facilita tanto la inferencia como el entrenamiento. Para el entrenamiento, los scripts de ajuste fino estándar de TRL funcionan sin cambios, gestionando la paralelización de tensores y FSDP automáticamente. Los desarrolladores solo necesitan configurar parámetros específicos, como el uso de formas estáticas para evitar recompilaciones innecesarias y desactivar la carga asíncrona de pesos, que no está soportada en Neuron. Esta integración busca reducir la fricción técnica para los investigadores que deseen escalar sus modelos a hardware de entrenamiento de bajo costo.