Un desarrollador explica cómo construyó un flujo de trabajo "dirigido por especificaciones" para automatizar su proceso de programación con Codex de OpenAI. La idea era simple: un agente supervisor delega en subagentes que redactan documentos de diseño, planes de implementación por fases y, finalmente, escriben el código. Probó el sistema, llamado chum-codex, contra el benchmark Terminal Bench 2.1, que evalúa tareas realizables desde la terminal como ensamblaje de ADN, procesamiento de vídeo o extracción ELF.
Con GPT-5.5, su sistema alcanzó el 89,9% (80 de 89 tareas), frente al 83,8% de Codex estándar. Sin embargo, el 25 de junio de 2026, al repetir pruebas obtuvo un 88,8% en Codex sin modificar, apenas un punto por debajo. Al día siguiente OpenAI anunció GPT-5.6 Sol, que obtuvo un 88,8% oficial en el mismo benchmark y un 91,9% en Sol Ultra.
El nuevo modelo resultó mucho más difícil de dirigir. El autor detectó que el prompt base de Codex para GPT-5.6 abandona las pautas de ingeniería de software que tenía GPT-5.5 y se centra en autonomía y persistencia. En tareas como la de PyTorch, el modelo insiste en una interfaz de un solo argumento forward(src) y se resiste a aceptar la firma forward(src, tgt), incluso cuando se le insiste. Tras reducir sus prompts, llegó al 94% en Terminal Bench 2.1, pero advierte de que los modelos más avanzados son cada vez más difíciles de controlar y tienden a razonar de forma circular, rozando el benchmark hacking.