TycoonLE (Tycoon Learning Environment) es un entorno de aprendizaje por refuerzo (RL) diseñado para la planificación económica a largo plazo en el ámbito de la logística y el transporte. Desarrollado con JAX, permite que agentes de RL asignen capital, construyan rutas de transporte, muevan cargas, gestionen deudas y optimicen retornos diferidos, todo ello dentro de una economía simulada. El entorno se centra en estudiar aspectos complejos como la legalidad de acciones, interfaces de decisión basadas en candidatos, la sincronización financiera, las recompensas demoradas, la variación procedural y las trazas auditables reproducibles. Utiliza una interfaz de forma fija donde los agentes eligen entre candidatos válidos de ruta, financiación y espera, lo que lo hace compatible con transformaciones JAX como jit, vmap y scan. TycoonLE incluye una interfaz de reproducción (replay UI) que permite inspeccionar las políticas del agente a través de sus elecciones de ruta, flujo de carga, comportamiento financiero, recompensa, puntuación y beneficios a lo largo del tiempo. Además, ofrece TycoonBench, un informe de benchmark complementario para comparar el rendimiento de agentes y modelos en las tareas de planificación del entorno. La instalación es sencilla con Python 3.11/3.12 y npm, e incluye ejemplos de uso, como un pequeño entrenamiento PPO. El proyecto utiliza sprites de OpenGFX, un conjunto de gráficos de código abierto para OpenTTD. TycoonLE está dirigido a investigadores y desarrolladores interesados en RL aplicado a logística, planificación financiera y toma de decisiones secuenciales con horizonte largo. Sus principales consideraciones incluyen la dependencia de JAX y la necesidad de comprender la arquitectura del entorno para obtener resultados significativos.
Noticias agregadas con IA