software · 5 menciones
En Quesma Blog, un investigador comparte cómo construyó un sistema de investigación profunda con agentes de IA capaz de ejecutarse durante horas sin aumentar el gasto en suscripciones. Su primer intento con Claude Max 5x agotó todo el límite de tokens en 30 minutos: 111 agentes lanzados, solo 25 afi
Senior SWE-Bench es un benchmark diseñado para evaluar agentes de ingeniería de software con tareas que reflejan el trabajo real de un ingeniero senior, frente a las instrucciones sobreespecificadas típicas de SWE-Bench y SWE-Bench Pro. Sus tareas proceden de pull requests de repositorios que van de
DeepSWE, un nuevo benchmark desarrollado por Wenqi Huang y colegas, busca mejorar la evaluación de agentes de codificación de inteligencia artificial. Este nuevo conjunto de datos aborda las limitaciones de los benchmarks existentes, como la contaminación de datos y la falta de verificación fiable.
Poolside, empresa de inteligencia artificial, descubrió que su modelo Laguna M.1 obtuvo un salto del 20% en el benchmark SWEBench-Pro, alcanzando aproximadamente el 64% de rendimiento y posicionándose como el mejor entre modelos más grandes y establecidos. El lunes por la mañana, el equipo detectó e
OpenAI ha anunciado que dejará de utilizar y recomendar el benchmark SWE-bench Verified para medir los avances en la capacidad de los modelos de inteligencia artificial para la ingeniería de software autónoma. La razón principal es que el benchmark se ha visto contaminado, con problemas que incluyen
