El framework MLX permite a investigadores y desarrolladores ejecutar modelos de lenguaje de gran escala (LLM) localmente en Mac Studio, aprovechando la arquitectura de memoria unificada de Apple Silicon. Este artículo técnico detalla cómo se puede inferir el modelo Muse Spark Open, con casi un billón de parámetros, en un solo equipo o en un clúster de cuatro Mac Studios utilizando el driver RDMA sobre Thunderbolt. En un solo Mac Studio con 512 GB de memoria, modelos como Qwen 3.8 (27 B) y Mistral Medium 3.5 (128 B) funcionan de manera eficiente, con el chip M5 Ultra ofreciendo mejoras significativas en la velocidad de generación gracias a sus aceleradores neuronales de GPU. Para modelos más grandes como Muse Spark Open, que no caben en una sola máquina, se emplea la paralelización por tubería (pipeline parallelization) entre dos nodos. Este enfoque utiliza la comunicación de baja latencia mediante RDMA sobre Thunderbolt 5, introducida en macOS 26.2, para orquestar la ejecución de las capas del modelo. Los benchmarks muestran que, aunque la velocidad de inferencia en decodificación es similar a la de un solo nodo, la paralelización por tubería resulta hasta 1,8 veces más rápida en tareas de prefill con contextos de 65.536 tokens. Esta configuración permite a los usuarios experimentar con técnicas de IA de vanguardia en entornos privados y de escritorio, ofreciendo un rendimiento competitivo frente a las soluciones de nube.
Noticias agregadas con IA