protocol_standard · 10 menciones
El framework ProVer introduce un mecanismo de asignación de crédito granular en el aprendizaje por refuerzo agéntico, superando las limitaciones de la optimización de política relativa de grupo (GRPO). A diferencia de GRPO, que asigna ventajas uniformes a todos los tokens de la política, ProVer iden
Un estudio técnico demuestra que los optimizadores de consultas tradicionales, como el de Postgres, pueden ser superados por modelos de lenguaje pequeños mediante técnicas de entrenamiento avanzado. Aunque la optimización de consultas es un problema NP-hard, la verificación de la calidad de un plan
Un nuevo estudio sobre el entrenamiento por refuerzo (RL) de modelos de lenguaje grandes (LLMs) identifica un sesgo conocido como el 'Efecto Mateo', donde las mejoras en el rendimiento son proporcionales a la competencia inicial del modelo. Este fenómeno explica por qué los problemas fáciles se resu
La alineación de seguridad en los modelos de lenguaje de gran escala (LLM) presenta vulnerabilidades críticas que pueden ser explotadas mediante ajustes finos post-deploy. Un nuevo estudio, titulado 'GRP-Obliteration: Unaligning LLMs With a Single Unlabeled Prompt', introduce GRP-Oblit, una técnica
AC2 es una plataforma integral orientada al ciclo de vida de agentes de inteligencia artificial, desde la evaluación hasta el entrenamiento y el despliegue en producción. Se compone de tres paquetes principales: ac2.sdk, un cliente en Python para gestionar datasets, cargas de trabajo, sesiones, traz
Surya Narreddi, estudiante, presenta un proyecto de investigación que aplica aprendizaje por refuerzo (RL) a tareas creativas como la generación de imágenes. La propuesta responde a una limitación habitual de los modelos generativos: la única forma de intervenir en una imagen es mediante el prompt,
Ornith-1.5 es una nueva familia de modelos de inteligencia artificial de código abierto que amplía el marco de auto-mejora presentado en Ornith-1.0 hasta convertirlo en un bucle completo: el propio modelo propone nuevas tareas, genera andamios (instrucciones, herramientas y estrategias de orquestaci
LittleLearner es un proyecto de investigación que ofrece modelos de lenguaje entrenados desde cero sobre un corpus de 88.000 millones de tokens filtrado para alinearse con el currículo de educación primaria estadounidense (K–5, de kindergarten a 5.º grado). El corpus, llamado LittleCurriculum, se ob
Un nuevo estudio de aprendizaje automático cuestiona uno de los supuestos más asentados del post-entrenamiento de modelos de lenguaje: que los beneficios del aprendizaje por refuerzo (RL) se distribuyen de forma pareja entre todas las capas del transformer. Los autores demuestran que entrenar una ún
Este artículo describe el proceso de construir, desde cero, un bucle de entrenamiento de aprendizaje por refuerzo (RL) para modelos de lenguaje grandes, aplicándolo al algoritmo Dr. GRPO sobre el modelo Qwen2.5-0.5B-Instruct y la tarea GSM8K, con una sola GPU A10G. El punto de partida es una observa
