ModelRift ha realizado un experimento controlado para comparar el rendimiento de dos herramientas de modelado CAD por código, CadQuery y OpenSCAD, al ser dirigidas por agentes de inteligencia artificial. El objetivo era determinar cuál de las dos permite a un agente generar piezas funcionales e imprimibles sin supervisión humana. Para ello, se asignaron tres tareas de modelado a seis agentes impulsados por Claude Opus 5, utilizando ambas herramientas por separado.
Los resultados revelaron que, aunque ambas herramientas lograron producir archivos STL válidos y funcionales, divergen significativamente en sus modos de fallo. OpenSCAD tendió a generar geometrías incorrectas de forma silenciosa, lo que obligó a los agentes a realizar múltiples iteraciones para detectar y corregir errores de diseño. Por el contrario, CadQuery, basado en el kernel OpenCascade, reportó errores de compilación explícitos. Aunque esto aumentó el tiempo de ejecución y el consumo de tokens, permitió a los agentes corregir los problemas de manera más eficiente mediante aserciones automáticas.
El estudio destaca que la diferencia clave no reside en la capacidad final de las herramientas, sino en la naturaleza de la retroalimentación que proporcionan durante el proceso de generación. OpenSCAD requiere una inspección visual o manual de los parámetros, mientras que CadQuery ofrece una validación geométrica más rigurosa a través de su estructura de datos. Este análisis proporciona datos concretos sobre la fiabilidad de los agentes de IA en tareas de ingeniería asistida por código.