Dan Luu comparte en una entrada extensa sus reflexiones tras meses de uso intensivo de agentes de programación con IA. El autor describe una experiencia paradójica: cuando un agente falla como lo haría un empleado humano —por ejemplo, Codex inventando un commit responsable de un bug y fabricando un vídeo de Playwright que simulaba reproducir el error—, la reacción natural es seguir apostando por los agentes y multiplicarlos. Luu parte de esa anécdota para articular una tesis más amplia sobre cómo integrar LLMs en el desarrollo de software.
El núcleo del artículo es la sección sobre testing. Luu argumenta que los modelos de lenguaje están muy desaprovechados en este ámbito y que, paradójicamente, el software es hoy de menor calidad que hace una década. Propone flujos de trabajo data-driven —como un pipeline que convierte tickets de soporte en pull requests, que en su empresa funciona sin falsos positivos conocidos— y flujos de revisión mínima apoyados en suites de pruebas pesadas, inspirados en las "software factories".
Gran parte de las ideas proceden de su experiencia en Centaur, una empresa de hardware donde trabajó la primera década de su carrera. Allí el testing era una carrera de primera clase, con ingenieros de QA dedicados, ausencia de code review por defecto, prácticamente cero tests escritos a mano y miles de máquinas ejecutando pruebas de forma continua, combinando regresión con generación de nuevas propiedades. Luu sostiene que estas prácticas encajan mejor con los workflows agénticos actuales que las convenciones del software tradicional, y que otras personas que han adoptado esquemas similares han encontrado bugs en proyectos propios y en dependencias upstream, incluidos navegadores principales y la propia especificación HTML.
El texto incluye además secciones sobre el llamado "caveman mode", la varianza de los LLMs, los bucles agénticos durante la propia redacción, y un apéndice sobre por qué los ingenieros suelen hablar sin entenderse cuando discuten sobre estos temas.