Los LLM no superan a los optimizadores clásicos de hiperparámetros, según un estudio comparativo
Un estudio publicado en arXiv evalúa si los modelos de lenguaje grandes (LLM) pueden sustituir a los algoritmos clásicos de optimización de hiperparámetros (HPO) en el entrenamiento de modelos pequeños. Los autores utilizan el repositorio autoresearch, que permite a un agente LLM editar el código de
