Un desarrollador ha realizado una evaluación exhaustiva del modelo de inteligencia artificial jev (versión 1.13.0) utilizando el juego 2048 como caso de prueba. El objetivo era determinar la capacidad del modelo para generar estrategias óptimas a partir de estados de juego específicos. La metodología consistió en someter al modelo a cuatro configuraciones distintas: solo el estado actual del tablero, el estado más las reglas del juego, el estado con una pista estratégica y el estado con las consecuencias puntuales de cada movimiento posible.
Los resultados, obtenidos mediante 48 partidas aleatorias y 20 partidas por cada configuración de jev, muestran un rendimiento variable. El modelo puro, dado solo el tablero, obtuvo un puntaje mediano de 706 puntos, similar al de movimientos aleatorios. Sin embargo, su capacidad mejoró significativamente cuando se proporcionó contexto adicional. En la configuración donde se le dio el estado, las reglas y una descripción de cada movimiento, el puntaje mediano subió a 1656 puntos. La mejora más notable se observó en la última configuración, donde se proporcionó el estado de los tableros resultantes de cada movimiento, la puntuación asociada y una estrategia específica para mantener las fichas grandes en la esquina inferior izquierda. En este caso, el puntaje mediano alcanzó los 2494 puntos, superando ampliamente a las reglas fijas y acercándose a la calidad de un algoritmo determinista, aunque con una tasa de movimientos inválidos del 0% en esta última iteración.