SWE-Game es un benchmark académico diseñado para medir las capacidades de los agentes de programación en el desarrollo de videojuegos. El estudio, publicado en arXiv, introduce una suite de 247 tareas basadas en 41 juegos de referencia ejecutables en Godot, que abarcan 13 categorías de jugabilidad en 2D y 3D. La evaluación se centra en cinco tipos de tareas: desarrollo desde una breve descripción, implementación desde un documento de diseño, completado de esqueletos, reparación de fallos inyectados y porteo de juegos de Godot a Unity.
El sistema utiliza una interfaz de instrumentación compartida que permite a los evaluadores ejecutar acciones y observar juegos implementados de forma independiente. La evaluación combina comprobaciones del estado del motor, la reproducción de entradas certificadas y demostraciones de funciones escritas por los agentes para medir la corrección mecánica, la jugabilidad demostrada y la preservación del comportamiento tras las reparaciones. Además, se aplican guiones visuales específicos para cada juego para evaluar la presentación.
Los resultados muestran que el modelo Opus5 obtiene la puntuación más alta en todos los tipos de tareas. Sin embargo, las puntuaciones máximas en las tareas de construcción permanecen por debajo de 60 sobre 100, con un puntaje de 50.38 en la categoría de 'Brief-to-Game'. El análisis de las contribuciones revisadas identifica la omisión de requisitos y errores en la lógica de jugabilidad como los problemas de implementación predominantes. En cuanto a la evaluación de comportamientos etiquetados por humanos, las comprobaciones ejecutables alcanzan una precisión equilibrada del 92,59%, superando al 78,41% de un juez basado en video. Los puntajes visuales basados en guiones muestran una correlación de Spearman de 0.829 con las calificaciones humanas de 200 clips de jugabilidad. Estos hallazgos caracterizan las capacidades actuales de los agentes en el desarrollo de juegos y apoyan la combinación de evidencia de tiempo de ejecución con la evaluación visual.