DataJunction (DJ) se ha convertido en la capa semántica central de Netflix para resolver la fragmentación de métricas en su plataforma de experimentación. El sistema, de código abierto, permite a los equipos de datos definir y gestionar métricas de forma consistente mediante un motor de SQL que genera y analiza consultas, eliminando la necesidad de conocimientos especializados en ingeniería de datos para su uso diario.
La adopción de DJ en Netflix surgió de la necesidad de unificar definiciones dispersas y redundantes que dificultaban la interpretación de resultados en la plataforma de experimentación. A diferencia de otras soluciones evaluadas, DJ destaca por su capacidad para almacenar definiciones en un grafo conectado y su motor de SQL, lo que facilitó la creación de cubos analíticos que sirven como interfaz de consumo eficiente. Esta arquitectura permite a los desarrolladores integrar métricas directamente en herramientas internas como Druid, permitiendo un acceso rápido a datos y definiciones semánticas.
El proyecto, que comenzó como un proyecto secundario por limitaciones de recursos, ha evolucionado desde sus orígenes en Facebook, donde se desarrolló para mejorar la portabilidad de métricas en el proyecto Deltoid. En Netflix, el equipo de ingeniería se centró en el núcleo del sistema: el motor de capa semántica y la API, dejando las funciones de visualización y optimización de rendimiento para futuras iteraciones. Esta estrategia permitió demostrar el valor de la herramienta y asegurar su integración formal en la infraestructura de datos de la empresa, facilitando la derivación de insights a partir de grandes volúmenes de datos de manera escalable y mantenible.
