MiniLake: emulador local de la API de Databricks con ejecución real

Fuentes: MiniLake: Local Databricks API emulator with real execution

MiniLake es una herramienta de software que emula la API de Databricks en un entorno local, permitiendo a los desarrolladores ejecutar pruebas completas sin necesidad de cuentas de nube ni claves de API. A diferencia de las simulaciones tradicionales, MiniLake integra bases de datos reales de DuckDB, archivos Delta Lake auténticos y la ejecución de trabajos Spark mediante contenedores Docker, garantizando que las pruebas locales reflejen el comportamiento real del sistema.

El sistema funciona como un servidor FastAPI que expone la superficie REST de Databricks, incluyendo Unity Catalog, Delta Lake y Spark. Al apuntar las herramientas de desarrollo, como el SDK de Python, Terraform o agentes de LLM, a la dirección local, los usuarios pueden crear catálogos, esquemas y tablas con permisos CRUD completos. La arquitectura es air-gapped, ya que la imagen de Docker no descarga dependencias en tiempo de ejecución, lo que permite su uso en entornos aislados.

MiniLake ofrece una interfaz web con un editor de SQL estilo Athena, completado de código y exportación de resultados, además de un servidor MCP que ayuda a los agentes de IA a comprender el dialecto SQL correcto y reducir la profundidad de llamadas necesarias. La herramienta incluye 67 herramientas, 8 recursos y 4 prompts predefinidos para optimizar la interacción con agentes de IA. Los errores de implementación no se emulan, sino que se devuelven con códigos de estado adecuados, como 501 NOT_IMPLEMENTED, para evitar engaños en las pruebas. Esta solución es ideal para equipos que necesitan validar flujos de trabajo complejos, como pipelines de ETL o despliegues con Terraform, en un entorno de desarrollo seguro y controlado.