StarSkirmish Bench v0.2 es una herramienta de evaluación que mide la capacidad de los modelos de lenguaje de gran escala (LLM) para desarrollar bots competitivos para StarCraft: Brood War. El sistema otorga a cada modelo una hora de tiempo de reloj para escribir un bot Protoss en C++ utilizando la librería BWAPI 4.4.0, evaluando posteriormente el rendimiento de estos bots en torneos contra un roster fijo de bots humanos y de demostración. La versión 0.2 actualiza el sistema anterior incorporando modelos insignia de OpenAI, Anthropic, Google y Meta, cada uno ejecutado en su propio entorno de línea de comandos (CLI) con el nivel máximo de razonamiento disponible.
Los resultados se miden mediante la tasa de victoria media (0-100) de cinco ejecuciones por modelo. GPT-6 Astra de OpenAI lidera la clasificación con una puntuación superior a GPT-6.1 Sol, seguido de cerca por Gemini 4 Argon, Claude Opus 5.5 y Claude Fable 5.1, todos con puntuaciones entre 37 y 39. Aunque estos modelos superan a sus predecesores, la brecha con los bots humanos más fuertes, como Stardust y PurpleWave, sigue siendo significativa; GPT-6 Astra gana solo el 7% de sus juegos contra estos rivales. El análisis revela que la cantidad de práctica contra bots fuertes es el predictor principal del éxito, aunque también se observa alta variabilidad entre ejecuciones, especialmente en Gemini 4 Argon. El benchmark destaca por su independencia de los otros LLMs en el campo, permitiendo comparar directamente las generaciones de modelos sin replantear los datos.