vLLM, el motor de inferencia más utilizado para modelos de lenguaje de pesos abiertos, ha incorporado soporte para decodificación restringida en su versión 0.31. Esta actualización resuelve un problema crítico de precisión en las llamadas a herramientas externas, permitiendo alcanzar una adherencia al esquema del 100% para modelos como Kimi K2.6 y DeepSeek. Antes de esta corrección, la versión 0.28 de vLLM presentaba una tasa de éxito del 92%, lo que significaba que dos de cada 25 llamadas generadas por el modelo eran inválidas y contaminaban la ventana de contexto con errores.
La decodificación restringida funciona guiando el proceso de generación token a token, impidiendo que el modelo seleccione secuencias que violen la estructura definida por el esquema JSON proporcionado. Esto elimina la dependencia de la probabilidad estadística del modelo para generar llamadas válidas, asegurando que cada llamada pueda ser ejecutada correctamente por el harness del agente. La implementación utiliza tags estructurales de la librería XGrammar para definir la sintaxis válida de las llamadas a herramientas, incluyendo el inicio, el índice de la función y los argumentos JSON. Esta mejora es vital para cargas de trabajo agénticas multi-turno, donde la acumulación de contextos erróneos degrada el rendimiento y aumenta los costos de reintentos.