Un equipo técnico ha desarrollado un método para transformar modelos de lenguaje de gran escala (LLM) comerciales en sistemas de decisión de alto rendimiento, similares a los modelos especializados 'System One' como Jev. El objetivo es permitir que un LLM tome decisiones tipadas con una probabilidad de confianza asociada a cada opción en un solo paso de inferencia, evitando la lentitud y el coste de generar texto completo.
El enfoque se basa en una técnica de prompting que numera las opciones y prellena la respuesta con un índice. Al ejecutar el modelo, se lee la distribución de probabilidades asignada a esos índices específicos en lugar de la secuencia de tokens completa. Esto permite obtener una decisión tipada con su nivel de confianza en milisegundos, sin necesidad de ajuste fino del modelo. La implementación utiliza GLM-5.3-Flash sobre vLLM, permitiendo incluso el procesamiento de imágenes junto con el texto.
En una evaluación comparativa con 29 conjuntos de datos públicos, el sistema basado en GLM-5.3-Flash mostró una precisión comparable a Jev, con una diferencia mediana estadísticamente insignificante. En contraste, el modelo Laya, de 421 millones de parámetros, obtuvo resultados significativamente inferiores. Los resultados indican que la cantidad de opciones disponibles tiene un impacto mayor en la precisión que la elección entre el modelo LLM y el sistema especializado, destacando la viabilidad de usar LLMs estándar para tareas de decisión en entornos de alto volumen.