Los mini PC con memoria unificada, como los basados en AMD Strix Halo, NVIDIA DGX Spark o Apple Silicon, pueden cargar modelos de lenguaje de gran tamaño (LLM) que una tarjeta gráfica dedicada como la RTX 5090 no puede alojar, porque toda su RAM LPDDR5X soldada queda disponible como si fuera VRAM. Un Strix Halo con 128 GB ejecuta un modelo denso de 70.000 millones de parámetros cuantizado a 4 bits (unos 40 GB), mientras que la RTX 5090, con 32 GB de VRAM, simplemente no puede cargarlo.
El intercambio está en el ancho de banda: la RTX 5090 alcanza 1.792 GB/s frente a los 256 GB/s del Strix Halo. Como la generación de texto está limitada por la velocidad de lectura del modelo desde memoria (roofline model), el mini PC rinde unos 5-6 tokens/s en un 70B denso, mientras que el M3 Ultra de Apple llega a unos 20 tokens/s.
Los modelos de Mezcla de Expertos (MoE) invierten la situación: al activar solo una fracción de los parámetros por token, los mini PC pueden multiplicar su velocidad por diez, alcanzando ~72 tokens/s en Strix Halo con un Qwen3-30B-A3B.
La otra cara es el procesamiento del prompt (prefill), que depende del cómputo y no del ancho de banda. Ahí los mini PC quedan por detrás de las GPUs dedicadas. Como ejemplo, en Strix Halo el prefill de un 70B denso baja a unos 95 tokens/s.
En resumen: los mini PC ganan en capacidad y precio, pero pierden en velocidad de generación y prefill frente a GPUs con mucha VRAM.