Sanity: sistema multiagente para detectar errores matemáticos en papers

Fuentes: Sanity: multi-agent system for detecting math errors in scientific papers

Sanity es una herramienta de código abierto que utiliza un sistema de tres agentes autónomos para detectar errores matemáticos en las ecuaciones de artículos científicos. El proceso comienza con un agente Reader que extrae las ecuaciones de un PDF o fuente LaTeX, asignándoles un número y una línea de código fuente. A continuación, un agente Verifier rederiva cada paso utilizando SymPy para verificar la coherencia algebraica, las dimensiones y los límites. Si SymPy identifica un error, el sistema genera automáticamente una declaración formal en Lean 4 con Mathlib mediante un modelo de lenguaje de gran escala (LLM) para que Lean pruebe o refute la afirmación. El Verifier toma la decisión final basándose únicamente en los resultados ejecutados de los scripts, clasificando cada afirmación como HOLDS, FAILS o UNCHECKED, y proporcionando una corrección sugerida si falla. Un agente Writer consolida estos resultados en un informe detallado y un resumen para Telegram, sin tener la capacidad de modificar los veredictos. El sistema opera mediante un flujo de trabajo en Telegram donde tres personas supervisan y dirigen el proceso, y los bots se comunican a través de un canal de transferencia de trabajo, ya que no pueden ver los mensajes de los demás. La herramienta incluye una demostración en vivo y está diseñada para integrarse en flujos de trabajo de investigación científica, ofreciendo una verificación rigurosa que combina el cálculo simbólico con la prueba formal.