AscendGYM: Benchmark de optimización de kernels para NPUs Ascend

Fuentes: AscendGYM: A Cost-Aware Kernel Optimization Benchmark for Ascend NPUs

AscendGYM es un benchmark diseñado para evaluar la capacidad de optimización de kernels en unidades de procesamiento neuronal (NPU) Ascend, utilizadas para el entrenamiento e inferencia de modelos de lenguaje grandes (LLM). A diferencia de las pruebas existentes que se centran en la generación de kernels, esta herramienta prioriza la capacidad de los agentes para optimizar implementaciones preexistentes utilizando configuraciones de entrada derivadas de cargas de trabajo reales. El conjunto inicial del benchmark incluye 48 kernels distribuidos en tres niveles de dificultad, cada uno emparejado con casos de prueba que recopilan tipos de datos y formas de tensor de tareas de entrenamiento e inferencia del mundo real. Esto garantiza que las mejoras de rendimiento en AscendGYM se traduzcan directamente en mejoras en las cargas de trabajo correspondientes.

La herramienta ofrece dos modos de evaluación: evaluación de modelo y evaluación de harness de modelo. Ambos permiten medir las capacidades de optimización de kernels de modelos entrenados y agentes personalizados. AscendGYM proporciona un entorno de ejecución completo que replica de cerca cómo se invocan los kernels de Ascend en pipelines prácticos. Además, incluye un harness integrado con orquestación de búsqueda y acumulación de experiencia. Para cuantificar los beneficios prácticos, los autores proponen la métrica Speedup-Token Score (STS), que mide las ganancias de rendimiento relativas al coste por token. Al considerar simultáneamente la velocidad y el coste, la STS permite evaluar la capacidad práctica de optimización de un modelo o harness bajo un presupuesto aceptable. El proyecto está disponible en GitHub.