software · 7 menciones
Terminal-Bench-Science 0.1 es un benchmark de código abierto liderado por investigadores de la Universidad de Stanford y desarrollado por el equipo de Terminal-Bench junto a expertos de distintas disciplinas científicas. Su objetivo es medir las capacidades de los agentes de IA mediante flujos de tr
El Laude Institute ha presentado Headlong, un microharness de código abierto para agentes de inteligencia artificial con persistencia: el agente nunca queda inactivo y genera pensamientos por iniciativa propia en un bucle continuo inspirado en el monólogo interior humano. A diferencia de los harness
El repositorio big-pickle-swe-atlas documenta la evaluación de big-pickle, un modelo gratuito en periodo stealth distribuido a través de OpenCode Zen, sobre el benchmark SWE Atlas Codebase QnA de Scale AI. La ejecución, realizada el 11 de agosto de 2026 con el harness oficial Harbor v0.18.0 y el sca
Ante es un agente de programación autónoma que se ejecuta directamente en el terminal como un único binario de Rust de unos 15 MB, sin dependencias de tiempo de ejecución. Desarrollado por Antigma Labs y publicado bajo Apache 2.0, funciona de forma similar a Claude Code o Codex, pero prescinde de su
Un equipo de investigación presenta ORCA-bench, un nuevo banco de pruebas que evalúa la capacidad de los agentes de inteligencia artificial basados en modelos de lenguaje para asumir el análisis de causa raíz (RCA) en operaciones de guardia sobre sistemas en producción. La herramienta reproduce un e
JetBrains ha publicado un benchmark A/B por pares para evaluar el skill open source Caveman, que promete reducir un 65% los tokens de salida de los agentes de código obligándolos a responder con un estilo telegráfico inspirado en el hombre de las cavernas. La prueba se ejecutó sobre 86 de las 87 tar
Investigadores de la Universidad de California, Berkeley, han descubierto que los principales benchmarks utilizados para evaluar el rendimiento de los agentes de inteligencia artificial (IA) son fácilmente manipulables, lo que genera resultados inflados y engañosos. Un agente automatizado desarrolla