EngiWorld es el primer benchmark estructurado diseñado para medir el rendimiento de agentes de inteligencia artificial autónomos en entornos de ingeniería profesional. A diferencia de las pruebas generales, este sistema aborda la automatización de flujos de trabajo industriales que requieren razonamiento sobre restricciones geométricas, físicas y dependencias entre software y diseño. El marco de trabajo incluye 1.301 tareas curadas por expertos que abarcan seis dominios de ingeniería: CAD, CAE, CAM, BIM, EDA y visualización 3D, distribuidas entre 26 plataformas de software profesionales con interfaces tanto de interfaz gráfica (GUI) como de línea de comandos (CLI). Además, incorpora seis tipos de tareas que van desde la selección de software hasta problemas de diseño abiertos.
Para garantizar la precisión, EngiWorld introduce una metodología de evaluación centrada en artefactos, basada en una suite unificada de verificadores de dominio. Esta herramienta verifica programáticamente la validez geométrica, la viabilidad física y el cumplimiento de reglas de los artefactos finales e intermedios. A diferencia de las métricas binarias, el sistema califica las tareas de diseño cuantitativamente según el grado de cumplimiento de las especificaciones. La evaluación de siete modelos de frontera revela una brecha significativa en las capacidades actuales: el modelo más fuerte alcanza un EngiScore de solo 44,3, y solo el 3,6% de los intentos de multi-servicio son exitosos. EngiWorld proporciona así la primera base rigurosa para medir el progreso hacia agentes capaces de operar software de ingeniería profesional de principio a fin.