LLMs superan récords comunitarios en el juego TIS-100

Fuentes: LLMs Break Community Records in TIS-100 Programming Game

Un estudio de Wincon revela que los modelos de lenguaje grandes (LLM) han logrado avances significativos en el juego de programación TIS-100, superando en varios casos los récords establecidos por la comunidad. La investigación, que evaluó a 16 modelos de IA en 47 puzles del juego, destaca que Opus 5.5 y GPT-6 Astra lideran el ranking, resolviendo el 100% de los puzles y estableciendo nuevos puntos en la frontera de Pareto en 11 casos. Opus 5.5 logró una proximidad al récord de 77.2 puntos, mientras que GPT-6 Astra alcanzó 78.0, con una diferencia estadísticamente insignificante entre ambos. El análisis detalla que la velocidad de ejecución es la métrica más difícil de optimizar, con una proximidad media de 45 puntos, frente a 72 para nodos y 56 para instrucciones. Además, se identificó que los puzles difíciles, que requieren más ciclos de computación, son los que más se benefician de la mejora de los modelos, ya que permiten encontrar nuevas soluciones más eficientes. Los modelos demostraron especialización según el tipo de puzle, siendo más eficaces en algoritmos de secuencia y construcción aritmética que en la generación de imágenes o la sincronización de rutas. Este benchmark proporciona datos valiosos para entender las capacidades de los LLMs en tareas de ingeniería de software complejas y optimización de código.