Pedir a un modelo de lenguaje que devuelva una puntuación sobre lo seguro que está de su propia respuesta es, en la práctica, inútil. Esta es la tesis central de un ensayo técnico reciente que repasa por qué ese hábito —convertir la salida en un objeto JSON con una clave de confianza de 0 a 100— se ha extendido sin base científica y por qué quienes lo implementan se engañan al creer que han hecho su producto más fiable.
El argumento se apoya en tres ejes. Primero, los LLM no pueden cuantificar su propia confianza de forma fiable: aunque investigaciones de Anthropic muestran que los modelos mantienen algún estado interno latente y cierta capacidad introspectiva, esa habilidad es altamente poco fiable y dependiente del contexto, y queda lejos de medir si una afirmación concreta sobre la política de devoluciones de un cliente es correcta. Los razonamientos reflexivos pueden ayudar a detectar errores, pero abren un problema recursivo: ¿cuál es la confianza de la confianza?
Segundo, ni siquiera está claro qué significaría esa puntuación: ¿correctitud, coherencia o cumplimiento del objetivo del usuario? Son tres preguntas distintas con modos de fallo distintos, aplastadas en un único número. Tercero, la confianza no es uniforme dentro de una respuesta: cada token tiene su propia probabilidad, algunas son pegamento estructural y otras cargan con la afirmación factual clave, por lo que colapsar esa distribución en un valor verbalizado es una intuición, no una medición.
El ensayo también compara con el aprendizaje automático clásico, donde existen métodos validados —escalado de Platt, regresión isotónica, temperature scaling, diagramas de fiabilidad— para calibrar la salida de un clasificador contra datos reales. En el caso de los LLM, lo más parecido son las probabilidades de tokens, que además confunden variantes de redacción con desconocimiento real. Líneas de investigación como la entropía semántica eluden el problema: requieren muestreos múltiples y comparación externa, es decir, una medición hecha desde fuera, no un número que el modelo reporta sobre sí mismo. La conclusión es que añadir una clave de confianza a un esquema JSON no aporta validez y solo transmite una falsa sensación de seguridad.