STROT: síntesis de código con LLMs en tiempo de compilación

Fuentes: STROT: compile-time LLM code synthesis for deterministic data routing

STROT es una herramienta de software que permite a los desarrolladores definir la lógica de clasificación, puntuación y enrutamiento de datos utilizando un modelo de lenguaje de gran escala (LLM) una sola vez, en tiempo de compilación. A diferencia de los sistemas de inferencia en tiempo de ejecución, STROT genera un artefacto Python congelado y autocontenido que opera en hardware local con un coste marginal de cero por registro. Este enfoque elimina la generación de texto durante la ejecución, garantizando que cada salida sea un JSON tipado con probabilidades y niveles de confianza, lo que previene la alucinación estructural y permite que los registros de baja confianza se abstengan en lugar de adivinar.

El sistema se basa en un modelo de decisión local, como Julia-1 de SupersonicLabs, que actúa como árbitro para cada registro. Los benchmarks proporcionados por el proyecto indican que la precisión en el enrutamiento semántico es del 92,5% con STROT, frente al 74,8% de un enfoque naive, una mejora del 18 puntos porcentuales. Además, la latencia de procesamiento es de aproximadamente 60 milisegundos por registro. La herramienta incluye mecanismos de calibración como la predicción conformal por división y escalado de temperatura para garantizar que las decisiones de baja confianza cumplan con garantías estadísticas. STROT es compatible con múltiples proveedores de modelos, incluyendo Anthropic, OpenAI y APIs alojadas, y permite la integración de modelos locales en contenedores Docker para producción offline. El proyecto está disponible en PyPI y se distribuye bajo licencia MIT.