Ejecutar servidores de modelos de lenguaje grandes (LLM) localmente en hardware de consumo, como el Mac mini con chip M4 Pro y 48 GB de RAM, ofrece una alternativa viable a las APIs en la nube. Esta configuración permite gestionar agentes de IA y consultas rutinarias sin depender de suscripciones externas, garantizando privacidad de datos, soberanía tecnológica y costos fijos tras la compra inicial del hardware.
El stack recomendado combina el modelo Qwen3.6-35B-A3B-OptiQ-4bit para tareas que requieren razonamiento profundo y Gemma-4-E4B-it-OptiQ-4bit para interacciones simples. La clave técnica reside en la arquitectura Mixture-of-Experts (MoE): aunque el modelo Qwen posee 35 mil millones de parámetros totales, solo activa 3 mil millones por token. Esto reduce el consumo real de memoria a unos 20 GB, permitiendo que funcione fluidamente en 48 GB junto al sistema operativo y la ventana de contexto, algo imposible con modelos densos de similar tamaño.
Para la inferencia se utiliza oMLX como servidor, conectado mediante Tailscale para crear una red privada entre el Mac mini, el iPhone y el MacBook. Esta topología permite acceder a los modelos desde aplicaciones como Telegram, Apollo o Raycast sin exponer servicios a internet público. El mantenimiento es sencillo: los nuevos modelos se descargan directamente desde HuggingFace dentro de la interfaz de oMLX. La cuantización a 4 bits mantiene una pérdida de calidad mínima (1-2 puntos en benchmarks) frente al formato nativo, optimizando el rendimiento para tareas cotidianas como programación y análisis de texto.