Edge0-145B-NVFP4 es un modelo de lenguaje de gran escala (LLM) de 145 mil millones de parámetros diseñado para ejecutarse eficientemente en una única GPU de consumo, como la RTX 5090 D de 24 GB. Utiliza una arquitectura de MoE (Mixture of Experts) latente esparsa con 48 capas, 512 expertos por capa y 10 expertos activos por token, entrenado nativamente a 4 bits. El modelo soporta un contexto de 256K tokens y ofrece un rendimiento de decodificación de 98.3 tokens por segundo (tok/s) en la GPU RTX 5090 D, con un prefill de 16K tokens a 3165.7 tok/s.
La optimización principal reside en el formato NVFP4, que reduce el uso de memoria VRAM a 23.25 GiB y la RAM del sistema a 38.27 GiB, permitiendo la ejecución completa con residencia activa. El repositorio incluye instrucciones detalladas para desplegar el modelo mediante herramientas populares como llama.cpp, vLLM, Ollama, Docker y aplicaciones de escritorio como LM Studio y Jan. Los datos de rendimiento muestran que, aunque el formato Q3_K ofrece un prefill ligeramente superior (3554.9 tok/s), la versión NVFP4 mantiene un rendimiento de decodificación competitivo (98.3 tok/s) con un consumo de memoria significativamente menor, lo que la hace viable para dispositivos de gama alta de consumo.
