software · 6 menciones
CursorBench 3.1 es un benchmark publicado por Cursor que evalúa agentes de inteligencia artificial sobre tareas ambiguas y multiarchivo extraídas de sesiones reales de uso del editor de código. La versión 3.1 introduce nuevos problemas centrados en comprensión de bases de código, detección de errore
Senior SWE-Bench es un benchmark diseñado para evaluar agentes de ingeniería de software con tareas que reflejan el trabajo real de un ingeniero senior, frente a las instrucciones sobreespecificadas típicas de SWE-Bench y SWE-Bench Pro. Sus tareas proceden de pull requests de repositorios que van de
El entrenamiento de robots en tareas largas requiere algo más que una instrucción de alto nivel: necesita saber qué subtarea ocurre en cada instante y dónde termina una y empieza la siguiente. Esta entrada de blog presenta dos contribuciones principales orientadas a resolver ese problema a escala.
El benchmark MTG Bench evalúa la capacidad de los modelos de lenguaje de gran escala (LLM) para jugar a Magic: The Gathering de forma autónoma, sin depender de un motor de reglas que valide cada movimiento. Desarrollado por Callum Ferguson, el sistema utiliza un servidor MCP (Model Context Protocol)
Un desarrollador ha implementado una herramienta que permite generar comandos de terminal y obtener respuestas mediante inteligencia artificial utilizando símbolos como la coma y el signo de interrogación. Esta integración facilita la creación de comandos shell complejos y la consulta de información
Las grandes empresas de inteligencia artificial (Frontier labs) han incrementado drásticamente los costos de inferencia en los últimos meses. Modelos como GPT-5.5 de OpenAI y Gemini 3.5 de Google han duplicado y triplicado sus tarifas de API, respectivamente, mientras que Anthropic ha aumentado el c
