ERNIE-5.5-Flash-Base es un modelo de lenguaje de 280.000 millones de parámetros totales, diseñado como un punto de partida abierto para el entrenamiento posterior. Con una arquitectura Mixture-of-Experts (MoE) dispersa, activa 14.000 millones de parámetros por token, el modelo fue preentrenado desde cero con 33,5 billones de tokens y soporta un contexto de inferencia de 1 millón de tokens. Su objetivo principal es ofrecer una base eficiente y asequible para la adaptación de dominio, el ajuste por instrucciones y la investigación en aprendizaje por refuerzo, permitiendo a los desarrolladores construir sobre las capacidades generales sin el coste de un preentrenamiento masivo propio.
La arquitectura del modelo prioriza la eficiencia en cada componente, desde las conexiones residuales hasta las capas de salida. Utiliza una atención híbrida que combina Multi-head Latent Attention (MLA) para capas clave y Heavily Compressed Attention (HCA) para el resto, optimizando el uso de la memoria KV-cache. Además, emplea Low-Rank Gated Attention para mejorar la estabilidad del entrenamiento y Virtual Head Attention (VHA) para aumentar la expresividad. En el componente MoE, se implementa un sistema de múltiples routers que corrige las limitaciones de los routers únicos, mejorando la correlación entre la selección de expertos y su utilidad real. Este diseño técnico busca equilibrar la capacidad de cómputo activado con el coste de los contextos largos, facilitando la ejecución de aplicaciones agénticas y tareas de razonamiento complejas.
