BrickBench es un benchmark diseñado para evaluar el rendimiento de agentes de inteligencia artificial en la tarea de diseñar conjuntos de LEGO a partir de prompts de texto. A diferencia de tareas puramente creativas, este sistema exige que el agente genere un ensamblaje que cumpla simultáneamente con criterios semánticos, de diseño y viabilidad física. Para lograrlo, el sistema debe seleccionar piezas de una biblioteca discreta y razonar sobre restricciones locales y globales, asegurando que el modelo final pueda construirse físicamente.
El estudio analiza la validez, la alineación y el diseño en tres configuraciones distintas que varían en escala y disponibilidad de piezas. Los autores presentan BrickAgent, un entorno de software que permite a los agentes de código construir, inspeccionar y validar sus propios diseños. Los resultados indican que los agentes líderes actuales satisfacen con éxito los requisitos físicos y semánticos verificables, aunque aún no alcanzan el nivel de complejidad y calidad de los diseños creados por humanos. Este trabajo proporciona una herramienta estándar para medir el progreso en la generación de objetos físicos mediante agentes de IA, destacando las limitaciones actuales en la planificación espacial y la coordinación de componentes físicos.