La plataforma Hugging Face ha publicado una colección de datasets estructurados para el desafío de demostración matemática 'openai-math', disponible en el repositorio FineEnvs. Estos recursos permiten a los desarrolladores y matemáticos probar teoremas complejos utilizando el lenguaje de programación Lean 4 y la librería Mathlib. El objetivo principal es evaluar la capacidad de los modelos de inteligencia artificial para generar pruebas formales que sean aceptadas por el kernel de Lean, un estándar riguroso en el campo de la verificación formal de software.
El conjunto de datos incluye múltiples tareas específicas, cada una derivada de la familia de desafíos 'openai/math' publicada por OpenAI. Entre las tareas destacadas se encuentran 'AbhyankarSathaye', que trata sobre geometría algebraica y compleja; 'AffineBernstein', centrada en geometría diferencial; y 'AlgorithmicThinTrees', relacionada con la combinatoria. Cada entrada en el dataset contiene una descripción detallada del teorema, los metadatos de la versión (1.4) y la estructura de archivos necesaria para la ejecución, incluyendo Dockerfiles, scripts de configuración y soluciones de referencia.
La estructura técnica de cada dataset está diseñada para facilitar la integración en pipelines de evaluación. Incluye un archivo 'task.toml' que define la tarea, un 'instruction.md' con las directrices y un entorno de ejecución que permite la verificación automática mediante Comparator. La licencia de los datos originales es Apache-2.0, garantizando la reutilización y modificación. Este recurso sirve como base para la investigación en verificación formal, la síntesis de código y la evaluación de modelos de lenguaje en contextos matemáticos formales, ofreciendo un entorno controlado para medir el rendimiento de las herramientas de IA en la generación de pruebas matemáticas.
