La herramienta Mac LLM Calculator permite determinar la viabilidad técnica de ejecutar modelos de lenguaje localmente en hardware Apple Silicon, basándose en dos métricas críticas: la memoria unificada disponible y la velocidad de generación de tokens. El sistema calcula si un modelo encaja en la memoria del dispositivo y estima la velocidad de inferencia, un factor determinante para usuarios que buscan optimizar recursos sin depender de la nube.
El cálculo de memoria considera el peso del modelo, el caché KV para el contexto y el sistema operativo, dejando un margen de seguridad para evitar el intercambio a disco, lo cual es ineficiente. Para la velocidad, la herramienta aplica una fórmula que combina el ancho de banda de memoria con un coste fijo por token, superando las estimaciones puramente teóricas que suelen subestimar el rendimiento en modelos pequeños. Por ejemplo, el Llama 3.3 70B en cuantización Q4_K_M requiere 56 GB de memoria y alcanza aproximadamente 5.7 tokens por segundo en un Mac Mini M4 Pro de 64 GB.
La herramienta incluye una tabla de especificaciones de ancho de banda para chips desde M1 hasta M6, verificadas por Apple, y destaca que el procesamiento de prompts (prefill) es limitado por la potencia de cómputo, no por la memoria, lo que varía significativamente entre familias de modelos. Además, corrige errores previos en la estimación de modelos de expertos (MoE), ajustando el consumo de memoria por la atención compartida. El código está disponible bajo licencia MIT, permitiendo a los desarrolladores validar los cálculos con sus propios benchmarks.