Un análisis reciente de Anthropic revela que GPT-6 Astra demuestra una mejora significativa en la capacidad de los agentes para implementar y verificar código, superando a su predecesor GPT-5.6 Sol en tareas complejas como la implementación del protocolo Zstd. A diferencia de la versión anterior, que generaba pruebas unitarias vacías o ineficaces, Astra logra una precisión del 99% en pruebas completas con un coste de 1 dólar por ejecución en esfuerzo medio. Esta mejora se atribuye a una capacidad aumentada que permite a los agentes utilizar técnicas de verificación de forma más efectiva, como el fuzzing estructurado, aunque el benchmark de Zstd se ha saturado, dificultando la medición de mejoras adicionales. En pruebas con el RFC de IMAP, Astra también muestra resultados superiores al estándar por defecto, aunque con costes elevados. El estudio, realizado con un presupuesto de 90.000 dólares, destaca la necesidad de más datos para confirmar si estas mejoras son consistentes o fruto de la aleatoriedad. Los autores señalan que, aunque la generalización de las técnicas de prueba parece superior, los resultados actuales son insuficientes para determinar con certeza qué técnicas son realmente más eficaces, sugiriendo que se requieren evaluaciones a gran escala para validar estas hipótesis.
