El proyecto deepseek-v3-jax presenta una implementación de la arquitectura DeepSeek V3 utilizando exclusivamente la librería JAX, sin dependencias de PyTorch, Flax o Equinox. El código, compuesto por 190 líneas, permite preentrenar un modelo de 36,2 millones de parámetros desde cero en un MacBook Air M5 con 24 GB de memoria, utilizando ficción de detección como dataset de entrenamiento. La implementación destaca por su transparencia, ya que los parámetros se almacenan en diccionarios de arrays y cada componente del modelo es una función legible línea por línea. El proyecto incorpora características técnicas específicas del informe original, como la Atención Latente Multi-cabeza (MLA), que reduce el almacenamiento de claves y valores por token, y el mecanismo DeepSeekMoE, que combina un experto compartido con 16 expertos enrutados. Además, incluye una estrategia de equilibrio sin pérdida auxiliar que ajusta los sesgos de enrutamiento para igualar la carga de trabajo entre expertos, evitando la necesidad de penalizaciones adicionales. El entrenamiento se realiza con 12.000 pasos en aproximadamente 2,6 horas, alcanzando una velocidad de generación de ~10.700 tokens por segundo. El repositorio incluye instrucciones detalladas para la instalación, la preparación de datos, el entrenamiento y la generación de texto, así como pruebas unitarias y scripts para la visualización de resultados. Esta herramienta sirve como demostración técnica de la viabilidad de ejecutar arquitecturas complejas en hardware consumer mediante JAX, ofreciendo una alternativa ligera y transparente a los frameworks de alto rendimiento tradicionales.
