jevman es una herramienta de código abierto desarrollada por Opper AI que permite evaluar modelos de inteligencia artificial mediante un benchmark basado en el videojuego Pac-Man. El sistema permite a los desarrolladores probar sus modelos contra los fantasmas clásicos del arcade, proporcionando una métrica objetiva de rendimiento en tiempo real. El proyecto está diseñado para ser accesible, ya que cualquier modelo que funcione a través de un endpoint HTTP puede participar, incluyendo modelos alojados, ajustados o ejecutados localmente en una computadora.
La metodología de evaluación consiste en que cada modelo juega 100 partidas contra los fantasmas scripted. En cada intersección del laberinto, el juego envía el estado actual (laberinto, pelotas y fantasmas) en formato JSON y solicita al modelo que decida la dirección a seguir. El modelo debe devolver una probabilidad para cada dirección; si el tiempo de respuesta supera los dos segundos, se aplica una regla de respaldo. Las partidas tienen un límite de tiempo de cinco minutos, aunque en la prueba inicial ninguna llegó a ese extremo, con la duración máxima registrada en dos minutos y 24 segundos.
La clasificación de los modelos se basa en la puntuación media con un margen de error del 95%, y los modelos con puntuaciones dentro de ese margen se consideran empatados. El proyecto incluye un sistema de verificación mediante CI que reproduce cada juego para garantizar la transparencia de los resultados. Además, ofrece una interfaz para que los usuarios puedan enviar sus propios modelos mediante solicitudes de código (pull requests), donde el CI verifica el rendimiento antes de añadirlo a la tabla de clasificación pública.