El uso de modelos de lenguaje grandes (LLM) de código abierto se enfrenta a un desafío significativo: la incompatibilidad en los formatos de llamada de herramientas. Mientras que los modelos cerrados como los de OpenAI ofrecen una integración fluida, los modelos de código abierto requieren que los desarrolladores interpreten y analicen formatos de cableado únicos para cada modelo. Estos formatos varían en la forma en que se estructuran las llamadas a funciones, desde la codificación de tokens hasta la serialización de argumentos, lo que obliga a los desarrolladores a crear analizadores personalizados para cada motor de inferencia (vLLM, SGLang, TensorRT-LLM, transformers, etc.).
Esta situación se agrava con la aparición de nuevos modelos como Gemma 4, cuyos formatos no estándar generan errores de análisis y requieren soluciones específicas. La falta de un estándar común obliga a equipos independientes (motores de gramática y analizadores de salida) a realizar ingeniería inversa de estos formatos, duplicando esfuerzos y retrasando la adopción de nuevos modelos. La solución propuesta implica la creación de una especificación declarativa compartida para describir los formatos de cableado, permitiendo que tanto los motores de gramática como los analizadores se actualicen sin necesidad de modificar el código base, y facilitando así la integración de nuevos modelos de manera más eficiente.