Los modelos de lenguaje (LLM) generan predicciones con un nivel de confianza que suele ser subjetivo y no medible, lo que limita su utilidad en aplicaciones críticas como la finanzas. Este artículo explica cómo la calibración de la incertidumbre permite a los modelos cuantificar objetivamente su confianza, diferenciando entre la incertidumbre epistémica (por falta de datos) y la aleatoria (por la naturaleza impredecible del futuro). A diferencia de una simple estimación puntual, la distribución de probabilidad calibrada asegura que las afirmaciones del modelo se alineen con los resultados reales: si un modelo asigna un 30% de probabilidad a un rango de temperatura, ese porcentaje debe corresponder a la frecuencia real de ese resultado en el pasado. El texto detalla el uso de la recompensa por retroalimentación (RLCD) para entrenar modelos como JEV, que aprenden a ser honestos sobre su certeza. Esta calibración es crucial para la toma de decisiones, ya que permite aplicar criterios matemáticos como el criterio de Kelly para dimensionar apuestas financieras. Por ejemplo, una probabilidad calibrada del 62% de que una acción suba permite calcular una fracción de riesgo específica, mientras que una probabilidad no calibrada carece de base estadística sólida. El artículo ilustra esto con un caso práctico de predicción del cierre de NVIDIA, mostrando cómo la distribución calibrada facilita la gestión de riesgo y la ejecución de estrategias de inversión basadas en datos reales.
