Un estudio reciente publicado en arXiv introduce CrossProfile, un benchmark diagnóstico de 60 plantillas diseñado para evaluar cómo los modelos de lenguaje de gran escala (LLM) gestionan la memoria al tomar decisiones colectivas. La investigación, que analiza tareas de perfil oculto, demuestra que las heurísticas intuitivas de selección, como priorizar las afirmaciones raras o las más relevantes para el criterio de decisión, fallan de manera predecible. El experimento, que incluye 480 tareas con claves de respuesta verificadas automáticamente, compara el rendimiento de modelos como Qwen2.5-7B, Llama-3.1-8B y DeepSeek. Los resultados indican que seleccionar por relevancia admite falsos positivos porque los elementos de distracción son temáticamente coherentes, mientras que la selección por rareza no supera al azar en la mayoría de los casos. La precisión final depende del equilibrio de la evidencia retenida en la memoria, no de la política de selección utilizada. Además, el estudio identifica un tercer fallo: la prueba social, donde los modelos otorgan más peso a los hechos atribuidos a múltiples agentes. Al eliminar las etiquetas de atribución o reasignarlas aleatoriamente, la precisión mejora entre 13 y 24 puntos. Finalmente, se concluye que en las discusiones naturales, la evidencia se pierde antes de que actúe la memoria, ya que la transcripción completa del debate ofrece menor precisión que no tomar notas en absoluto.
Noticias agregadas con IA