DoubleTakeBench es un conjunto de datos y herramienta de evaluación diseñado para medir la capacidad de los modelos de lenguaje y los modelos de sistema 1 para interpretar correctamente las observaciones de agentes de programación. El benchmark consiste en 525 preguntas basadas en trayectorias de agentes de código, donde se presenta un contexto, evidencia técnica y una pregunta de juicio que el modelo debe resolver. Esta metodología permite evaluar la precisión de las interpretaciones en puntos críticos del proceso de desarrollo, diferenciando entre lo que el agente observa y lo que el modelo asume.
El conjunto de datos se divide en dos partes: 346 preguntas de respuesta binaria (correcta o incorrecta) y 179 preguntas de respuesta multiclase con entre 3 y 5 opciones. El benchmark está implementado en Python 3.10+ y permite la ejecución local o a través de una API compatible con OpenAI Responses. Los usuarios pueden generar líneas de base aleatorias o evaluar modelos personalizados utilizando scripts incluidos en el repositorio. La métrica principal es la precisión sobre las 525 preguntas, aunque se reportan también métricas de precisión por división, desglose por número de opciones y cobertura.
Un ejemplo ilustrativo del tipo de pregunta es la detección de un error lógico: si un agente crea un archivo sin añadirlo a Git y luego ejecuta git diff, la ausencia de la salida no prueba que el archivo esté ignorado, ya que Git omite por defecto archivos no rastreados. DoubleTakeBench, importado del proyecto deep-swe-judgment-benchmark, ofrece un estándar para validar la razonamiento de los modelos en entornos de programación complejos.
