El proyecto xarray-sql presenta un benchmark que evalúa la capacidad de los motores de bases de datos para ejecutar algoritmos de atención (attention) de redes neuronales, utilizando la librería einfold para optimizar los planes de consulta. El objetivo es demostrar que las reglas de optimización de SQL pueden fusionar operaciones de media ponderada por softmax, reduciendo la complejidad computacional sin perder precisión.
El script de referencia compara el rendimiento de DataFusion, DuckDB y el pipeline de einfold contra la implementación de referencia en JAX. Se prueban dos versiones SQL de la atención causal: una basada en ventanas (window) y otra que utiliza GROUP BY para calcular máximos por fila. El sistema verifica que la salida de cada motor coincide con la de JAX y que el cálculo de gradientes, realizado mediante ddx y verificado con jax.grad, es correcto.
Además, el benchmark incluye un control de validez: el estimador de Nadaraya-Watson, que comparte la estructura de media ponderada por kernel gaussiano con la atención. Esto asegura que cualquier optimización de atención también acelere consultas estructurales similares. El proyecto destaca la capacidad de einfold para detectar y fusionar estos patrones automáticamente, sin necesidad de reglas específicas escritas para cada caso, demostrando la eficacia de la reescritura de planes SQL en algoritmos de arrays para tareas de machine learning.
