Los agentes basados en modelos de lenguaje (LLM) suelen generar puntuaciones de confianza para tareas como la escritura de código o la planificación de viajes. Sin embargo, estas cifras carecen de validez técnica porque no se derivan de una regla de cálculo, sino de la generación autoregresiva de texto. A diferencia de un meteorólogo, que ajusta su certeza según datos objetivos como la presión atmosférica o la humedad, un LLM produce cada token basándose en los anteriores, lo que hace que la puntuación de confianza sea una continuación lingüística plausible y no una medida objetiva de la información disponible.
Para que una puntuación de confianza sea fiable, debe cumplir dos condiciones: reflejar la cantidad de información utilizada para la predicción y estar calibrada, es decir, coincidir con la frecuencia real de resultados correctos en el pasado. Los LLM no cumplen estas condiciones porque no aprenden a alinear su salida con la precisión factual, sino que aprenden a predecir qué texto sigue. Esto provoca que la puntuación cambie si se repite la pregunta, si se altera la redacción o si el contexto previo sugiere una respuesta segura, independientemente de los hechos subyacentes.
La solución técnica consiste en separar la generación de la respuesta de la medición de la confianza. En lugar de pedir al LLM que diga cuánto está seguro, se debe construir una regla externa que evalúe la información disponible (como la relevancia de la búsqueda o la coherencia interna) y la calibrar mediante registros históricos de resultados. Este enfoque permite a los agentes tomar decisiones informadas sobre cuándo delegar tareas en humanos, garantizando que la confianza sea un indicador válido y no una ilusión de precisión.