Los benchmarks públicos de texto-a-SQL, como Spider 1.0, Bird-SQL y Spider 2.0, muestran tasas de acierto superiores al 80-90 % con modelos de lenguaje y agentes de IA. Sin embargo, estos resultados no se sostienen al aplicarlos a almacenes de datos empresariales reales. El artículo explica por qué los benchmarks académicos quedan lejos de la práctica: los datos ya forman parte del corpus de entrenamiento de los modelos, los esquemas reales se degradan con el tiempo (lo que llaman "schema rot"), abundan los datos idiosincrásicos no documentados y las consultas empresariales requieren múltiples joins, no una sola unión simple.
Para reflejar esa realidad, los autores —Michael Stonebraker y Peter Baile Chen, del MIT— presentan el Beaver Benchmark, construido a partir de cargas de trabajo reales de cuatro almacenes de datos, incluido el data warehouse institucional del MIT (Oracle, con más de 1.400 tablas). Sobre Beaver, un LLM puro obtiene una exactitud del 0 %; con RAG, ingeniería de prompts y agentic AI se alcanza apenas el 10-30 %, una diferencia de más de 50 puntos respecto a los benchmarks públicos y la distancia entre "la tecnología promete" y "la tecnología no funciona".
Como solución propia, los autores proponen el sistema Rubicon y animan a la comunidad a experimentar con Beaver para mejorar el rendimiento del texto-a-SQL en entornos empresariales reales.