El repositorio lucataco/DeepSeek-V4.1-Flash-2x-DGX-Spark proporciona la infraestructura técnica para desplegar el modelo DeepSeek-V4.1-Flash-1017 en dos nodos NVIDIA DGX Spark (GB10) conectados mediante un cable RoCE. La configuración utiliza TensorFold para la paralelización tensorial y un paquete EXL3 de 2.9 bpw, permitiendo un contexto de 1 millón de tokens y decodificación de hasta 4 sesiones simultáneas. El proyecto incluye scripts para la instalación, la corrección de la plantilla de chat faltante en la versión 1017 y las métricas de rendimiento obtenidas en pruebas de velocidad y calidad. Los resultados indican una velocidad de decodificación de 97 tokens por segundo en una sola sesión y 118 tokens por segundo en cuatro sesiones, con una calidad comparable a la API oficial de DeepSeek. El repositorio no contiene los pesos del modelo, pero detalla el proceso de clonación, configuración de variables de entorno y ejecución de pruebas de humo. Es una herramienta útil para desarrolladores que buscan reproducir y validar el rendimiento de este modelo en hardware específico de NVIDIA, ofreciendo un entorno compatible con la API de OpenAI para pruebas de herramientas e imágenes.
Noticias agregadas con IA