PyTorch 2.15 optimiza el backend MPS para Mac con FP8 y MoE

Fuentes: PyTorch 2.15 optimizes MPS backend for Mac with FP8 and MoE support

El equipo de PyTorch de Hugging Face ha lanzado la versión 2.15, una actualización significativa para el backend MPS (Metal Performance Shaders) en macOS que resuelve limitaciones de rendimiento y memoria en la ejecución de modelos de lenguaje y generación de video. La principal novedad es la incorporación de soporte nativo para tensores FP8, que reducen el consumo de memoria a la mitad respecto a BF16, permitiendo el uso de operaciones de multiplicación de matrices escaladas directamente en la GPU. Esto facilita la implementación de modelos de expertos (MoE), donde el nuevo kernel de matmul agrupado acelera la decodificación de hasta 6,5 veces en un chip M3 Ultra, pasando de 9,4 a 61,3 tokens por segundo en el modelo Qwen3.6-35B-A3B. Además, se han optimizado las capas lineales y el softmax, logrando una mejora de 8 veces en la velocidad de muestreo. En el ámbito de la generación de video, la versión 2.15 reduce drásticamente la memoria requerida para decodificar video con Wan2.2, bajando el pico de uso de 270 GiB a 8 GiB. También se han corregido errores de corrupción en la edición de imágenes con Qwen-Image-2.1 y se han añadido operaciones de álgebra lineal compleja, como la descomposición LU, directamente en Metal. La actualización requiere macOS 15 o superior y Python 3.11, marcando un hito para la ejecución local de modelos de IA en hardware Apple.