Usuarios de Mac Mini con chips Apple Silicon (M1, M2, M3, M4 o M5) ahora pueden ejecutar el modelo de lenguaje Gemma 4 26B localmente gracias a una guía publicada en GitHub. El proceso, relativamente sencillo, implica la instalación de la aplicación Ollama a través de Homebrew, que gestiona las actualizaciones y utiliza el backend MLX para aceleración de aprendizaje automático. Para ejecutar Gemma 4 26B, se requiere un Mac Mini con al menos 24GB de memoria unificada, ya que el modelo consume aproximadamente 20GB. La guía detalla los pasos para descargar el modelo (aproximadamente 17GB), ejecutarlo y verificar la aceleración por GPU. Además, incluye instrucciones para mantener el modelo cargado en memoria de forma persistente, incluso después de la inactividad, y para acceder a su API local. Ollama también ha incorporado mejoras significativas, como la utilización de NVFP4 para reducir el uso de memoria y optimizaciones en el manejo de la caché, lo que resulta en un rendimiento más eficiente y una menor latencia. Esta capacidad abre la puerta a ejecutar modelos de IA avanzados directamente en dispositivos Apple, sin depender de servicios en la nube.
Noticias agregadas con IA