Cómo construir un modelo de decisión propio con LLMs

Los modelos de decisión, conocidos como 'Sistema Uno', permiten inferir respuestas con probabilidades calibradas en un solo paso, a diferencia de los modelos de lenguaje grandes (LLM) que requieren múltiples iteraciones para generar texto. Este artículo técnico explica cómo emular este comportamiento utilizando LLMs como Qwen/Qwen3-1.7B mediante la restricción de la salida a un conjunto finito de opciones. El proceso consiste en definir un conjunto de respuestas posibles, enmascarar el vocabulario del modelo para que solo emita esos tokens y seleccionar la opción con mayor probabilidad. Aunque esta técnica es eficiente, las probabilidades resultantes no garantizan la corrección de la respuesta ni reflejan necesariamente la confianza real del modelo, lo que puede llevar a sobreconfianza. Para abordar esto, el texto detalla el proceso de calibración del modelo, utilizando la escalado de temperatura para ajustar la distribución de probabilidades y alinearlas con la precisión real en conjuntos de datos públicos como CommonsenseQA. El autor presenta un repositorio de GitHub que incluye scripts para construir, evaluar, ajustar y calibrar estos modelos, ofreciendo una guía práctica para desarrolladores que buscan implementar sistemas de decisión personalizados con alta eficiencia computacional.