software · 5 menciones
La sustitución de las llamadas a la API de las herramientas de programación por modelos locales a menudo resulta en una experiencia de desarrollo deficiente, un fenómeno que los benchmarks tradicionales no capturan. Un análisis técnico reciente evalúa el rendimiento de nueve herramientas (harnesses)
ProgramBench Vetted es una nueva versión, compuesta por 50 tareas, del benchmark ProgramBench publicado por Meta en mayo de 2026. La prueba plantea una pregunta central: ¿puede un agente de inteligencia artificial reconstruir el código fuente de un programa a partir únicamente de su binario ejecutab
El repositorio big-pickle-swe-atlas documenta la evaluación de big-pickle, un modelo gratuito en periodo stealth distribuido a través de OpenCode Zen, sobre el benchmark SWE Atlas Codebase QnA de Scale AI. La ejecución, realizada el 11 de agosto de 2026 con el harness oficial Harbor v0.18.0 y el sca
Senior SWE-Bench es un benchmark diseñado para evaluar agentes de ingeniería de software con tareas que reflejan el trabajo real de un ingeniero senior, frente a las instrucciones sobreespecificadas típicas de SWE-Bench y SWE-Bench Pro. Sus tareas proceden de pull requests de repositorios que van de
DeepSWE, un nuevo benchmark desarrollado por Wenqi Huang y colegas, busca mejorar la evaluación de agentes de codificación de inteligencia artificial. Este nuevo conjunto de datos aborda las limitaciones de los benchmarks existentes, como la contaminación de datos y la falta de verificación fiable.
