Un investigador ha desarrollado un entorno de simulación basado en Pokémon Showdown para evaluar la capacidad de los modelos de lenguaje de gran escala (LLM) para coordinarse en juegos de estrategia. El objetivo es medir cómo los agentes colaboran, negocian acciones y comunican información entre compañeros, un aspecto crítico que la mayoría de la investigación actual en agentes multiagentes ignora al centrarse en pipelines de trabajo lineales.
El entorno utiliza el formato 2v2 de Pokémon Showdown, que ofrece un escenario de teoría de juegos sin información completa, donde los conjuntos de Pokémon y el daño son aleatorios. Esto obliga a los agentes a leer la estrategia del oponente y planificar en colaboración. El sistema permite a los agentes leer un resumen de la batalla y elegir movimientos, con opciones de comunicación que van desde el silencio total hasta un diálogo libre continuo.
Los resultados muestran que la comunicación mejora significativamente el rendimiento. Un equipo de agentes Qwen3.8-27B que podía hablar libremente ganó el 64% de las batallas contra un bot de daño máximo, frente al 42% de un equipo que no podía comunicarse. Sin embargo, la comunicación tiene un coste computacional: el modo de diálogo libre consumió 978.000 tokens por batalla, tres veces más que el modo sin comunicación, debido a la necesidad de re-ejecutar el modelo en cada turno.
El proyecto, disponible en GitHub, sirve como base para futuros benchmarks y para el entrenamiento de agentes mediante aprendizaje por refuerzo (RL) para fomentar comportamientos colaborativos. El investigador destaca que el entorno permite distinguir el efecto de la comunicación del de la observación de los movimientos del compañero, lo que lo convierte en una herramienta valiosa para la investigación en IA colaborativa.