El artículo explora la viabilidad económica y técnica de los modelos de decisión, como Jev, frente a los grandes modelos de lenguaje (LLM) para tareas de clasificación. A diferencia de los LLM, que requieren tokens de entrada y salida costosos, los modelos de decisión ofrecen salidas definidas (probabilidades, puntuaciones o valores binarios) con un coste marginal casi nulo en la generación de tokens. El texto argumenta que esta eficiencia permite implementar una nueva jerarquía de memoria, donde los modelos de decisión actúan como memoria RAM rápida y los LLM como almacenamiento de disco, delegando las decisiones de baja incertidumbre en la capa inferior para ahorrar recursos.
Para gestionar esta delegación, el autor propone el uso de reglas de decisión basadas en la probabilidad máxima y el coste de error. Se introduce el concepto de 'coste de rechazo' (F) y se analiza cómo equilibrar la incertidumbre del modelo con el coste económico de una respuesta incorrecta en niveles superiores. Se presenta una fórmula que determina cuándo es más rentable responder con un modelo de decisión o delegar la tarea a un LLM, considerando el coste de la evaluación, la probabilidad de error y el coste de la respuesta errónea en la siguiente capa. Este enfoque permite optimizar el uso de recursos computacionales en sistemas de IA complejos, reduciendo costes operativos significativos en escenarios de alto volumen de consultas.