Repositorio técnico de un modelo de IA de Anthropic con 14 billones de parámetros

Fuentes: Technical repository for an Anthropic AI model with 14 trillion parameters

El repositorio numbat en Hugging Face contiene un punto de control (checkpoint) de un modelo de lenguaje de gran escala (LLM) de Anthropic, identificado internamente como numbat. Este modelo, parte de la familia Mythos, cuenta con aproximadamente 14 billones de parámetros, 114 capas y una arquitectura híbrida que combina Gated DeltaNet (GDN) y Multi-head Latent Attention (MLA). La implementación incluye 1.224 expertos en la capa de feed-forward, utilizando cuantización NVFP4 para optimizar el rendimiento en hardware específico.

El repositorio detalla la estructura técnica completa, incluyendo 772 shards de datos que suman unos 7,72 TB de información, cada uno en formato safetensors. Se proporciona una implementación de referencia funcional en un solo dispositivo (modeling_numbat.py) que permite cargar y ejecutar el modelo mediante AutoModelForCausalLM. La verificación técnica confirma la consistencia interna de los tensores, con escalas E4M3 y E2M1 que cumplen los límites de redondeo RTNE, y un tamaño total de 772.030.081.772 bytes.

El checkpoint corresponde a la etapa 1.830.000 de un entrenamiento de ~1,96 millones de pasos, por lo que no incluye post-entrenamiento ni RLHF. La información se basa en filtraciones de código fuente de Claude Code en marzo de 2026 y en la arquitectura esperada para una ejecución de entrenamiento de próxima generación.