Cualquier Mac con chip Apple Silicon puede ejecutar modelos de lenguaje de gran escala (LLM) de forma local, una capacidad que a menudo pasa desapercibida. La viabilidad técnica depende principalmente de la memoria unificada, que permite a la CPU y la GPU compartir el mismo pool de RAM, a diferencia de las tarjetas gráficas de PC. Según la guía técnica, los modelos de 1 a 3 mil millones de parámetros requieren aproximadamente 1-2 GB de memoria y funcionan en cualquier Mac Apple Silicon. Los modelos de 7 a 8 mil millones de parámetros necesitan 8 GB o más de RAM, mientras que los de 14 mil millones requieren 16 GB. Los modelos de 70 mil millones o superiores necesitan 64 GB o más. Las herramientas principales son Ollama, una interfaz de línea de comandos, y LM Studio, una interfaz gráfica, ambas gratuitas y de código abierto. Aunque los modelos locales no compiten con los modelos de frontera en tareas de razonamiento complejo, ofrecen ventajas decisivas en latencia, privacidad y coste. El artículo destaca que el uso más práctico no es el chat, sino la integración de modelos pequeños en herramientas diarias, como la autocompletado de texto, que permite personalizar el estilo de escritura del usuario sin enviar datos a la nube.
Noticias agregadas con IA