PostHog abandona DuckDB por limitaciones de escala en la nube

Fuentes: PostHog moves off DuckDB due to cloud scaling limitations

PostHog ha decidido migrar su infraestructura de almacenes de datos de DuckDB a Trino, tras identificar limitaciones críticas en la escalabilidad y el rendimiento en entornos cloud. Aunque DuckDB demostró ser robusto en nodos individuales, la empresa encontró que no podía gestionar eficientemente consultas complejas a gran escala sin incurrir en costes prohibitivos y problemas de predecibilidad de recursos. La compañía, que operaba con aproximadamente 1 petabyte de datos y 15,3 millones de instantáneas, experimentó cuellos de botella significativos al intentar utilizar la extensión DuckLake, que, aunque compatible, no estaba diseñada para la escala distribuida desde el inicio. Los problemas incluyeron tiempos de escritura excesivos, gestión deficiente de conexiones a bases de datos de metadatos y la imposibilidad de aplicar parches comunitarios a la velocidad necesaria. Para resolver esto, PostHog ha reconstruido su arquitectura utilizando Trino y ha desarrollado un formato de tabla abierto propio llamado HogLake. Esta nueva solución está siendo probada a escala de petabytes antes de su despliegue generalizado, con el objetivo de ofrecer una experiencia de usuario más predecible y eficiente para sus clientes, quienes buscan optimizar el análisis de datos sin las fricciones técnicas asociadas a las bases de datos tradicionales.