EvalResearchBench (ERB) es un nuevo benchmark diseñado para evaluar la capacidad de los agentes de inteligencia artificial para construir sus propias herramientas de evaluación. Este sistema aborda el problema de la auto-mejora recursiva (RSI), donde la iteración de modelos requiere evaluaciones precisas pero costosas. En lugar de depender exclusivamente de expertos humanos para seleccionar subconjuntos de benchmarks, ERB permite a un agente, denominado 'researcher', seleccionar o sintetizar tareas, implementar evaluadores y revisarlos mediante pruebas piloto antes de congelar una versión ejecutable.
El estudio analiza el rendimiento de 9 investigadores y 13 modelos candidatos, comparando sus evaluadores congelados con 14 benchmarks objetivo. Los resultados muestran que los mejores evaluadores de IA ordenan aproximadamente el 75% de las parejas de candidatos de la misma manera que los objetivos, una cifra inferior al 91% límite impuesto por las discrepancias entre los propios objetivos. No existe un investigador que domine todas las métricas, y el mejor evaluador en objetivos de desarrollo no es necesariamente el mejor en objetivos cerrados. Además, se observa que los agentes pueden truncar respuestas o agotar el presupuesto de evaluación, limitando su fiabilidad. A pesar de estas limitaciones, ERB demuestra que los agentes pueden automatizar el diseño de evaluaciones, aunque la calidad sigue siendo inferior a la de las suites de tareas públicas diseñadas por humanos.