Agent4Sci evalúa el potencial de agentes de IA en investigación científica

Fuentes: Agent4Sci evaluates frontier AI agents in scientific research

Agent4Sci es un entorno de prueba diseñado para medir la capacidad de los agentes de código de frontera para mejorar modelos científicos en benchmarks de aprendizaje automático (ML) para la ciencia. A diferencia de las listas de clasificación tradicionales, esta herramienta analiza el progreso real de los agentes en condiciones de campo, evaluando su capacidad para superar los mejores modelos publicados en 20 benchmarks que abarcan 11 dominios científicos.

Los resultados empíricos muestran que los agentes actuales logran avances en todos los benchmarks, con Claude Opus alcanzando una mejora relativa media del 10,4% sin incidentes de integridad académica. Sin embargo, el análisis de trayectorias revela que estos ganancia provienen casi exclusivamente de trucos de ingeniería de ML, careciendo de la profundidad de insight de investigación. Los principales limitaciones identificadas son la calibración errónea de la novedad, la subutilización de recursos y el colapso rápido en mejoras de ingeniería locales.

Para mitigar esto, se introdujeron habilidades ligeras de inserción para la ideación de investigación, la gestión de experimentos y listas de verificación programadas. Estas mejoras elevaron el rendimiento de Claude Opus al 20,1% y el de Codex al 8,1%, generando intervenciones más diversas y relevantes para el dominio. Agent4Sci ofrece a la comunidad una vía para rastrear y empujar a los agentes de frontera desde la ingeniería de ML hacia el insight de dominio en problemas reales de ML para la ciencia. El código y los datos están disponibles en GitHub y Hugging Face.