Diagnóstico y reparación del razonamiento matemático en LLMs

Fuentes: Diagnosing and Repairing Mathematical Reasoning in Large Language Models

Aunque los modelos de lenguaje grandes (LLM) han demostrado capacidades notables en problemas matemáticos de frontera, persiste la incertidumbre sobre si poseen una comprensión estructural subyacente. Este artículo aborda el estudio sistemático de la comprensión matemática en estos modelos, introduciendo la noción de 'Matemática Primitiva' para evaluar el entendimiento estructural. Los autores proponen \hlei{}, un nuevo benchmark que mide el razonamiento matemático en cuatro dimensiones: Descubrimiento, Generación, Digestión y Ejecución.

El diagnóstico sistemático revela que la precisión de las soluciones oculta perfiles de capacidad distintos, mientras que las 'primitivas' desbloquean una capacidad de ejecución latente significativa. Se identifica el Descubrimiento como el principal cuello de botella en el razonamiento matemático. Además, el análisis de post-entrenamiento indica que los fallos limitados por el descubrimiento son particularmente susceptibles a reparación. Basándose en estos hallazgos, los autores introducen \abs{}, un marco de destilación auto-privilegiada por primitivas que transfiere selectivamente el razonamiento guiado por primitivas al modelo estudiante. Los experimentos extensos demuestran que \abs{} mejora consistentemente el razonamiento matemático sobre las líneas base, a través de escalas de modelos y benchmarks desafiantes.