El artículo técnico 'TeleChat to Xing4' presenta la serie de modelos de lenguaje de gran escala (LLM) Xing 4, una extensión de la línea TeleChat centrada en la optimización de la infraestructura de entrenamiento en chips Ascend. El documento detalla los principios de diseño y la ingeniería de sistemas que permiten alcanzar capacidades de frontera en modelos agénticos, abarcando desde la selección arquitectónica hasta el entrenamiento post-entrenamiento de razonamiento.
La investigación analiza el equilibrio entre la capacidad del modelo y la sobrecarga de cómputo mediante mecanismos como la activación dispersa, el diseño de atención y el codificación especulativa. La infraestructura de preentrenamiento se basa en MindSpore HyperParallel, integrando particionamiento híbrido consciente de la topología, optimizadores distribuidos eficientes y gestión coordinada de cargas de trabajo de secuencias largas. Además, se emplean afinidad de CPU e aislamiento de núcleos para minimizar la interferencia del agendado del host.
Estos mecanismos permiten el preentrenamiento de un modelo de 285.000 millones de parámetros en 8.192 tarjetas Ascend 910C, estableciendo un caso de estudio concreto para estudios arquitectónicos. Para la fase de post-entrenamiento, se introduce TeleGym, una plataforma unificada de ejecución de agentes que conecta la ejecución, la evaluación y la construcción de trayectorias con la optimización de políticas. TeleGym utiliza ejecución asíncrona desasociada, muestreo excesivo limitado y despliegue parcial para acomodar duraciones de tareas heterogéneas mientras se preserva la continuidad de la trayectoria. Estos avances constituyen la base de entrenamiento orientada a Ascend para el desarrollo continuo de Xing 4 en escalas de modelo crecientes y cargas de trabajo de razonamiento cada vez más exigentes.
