Logfire ha implementado una optimización técnica conocida como 'shredding dinámico' que permite acelerar las consultas de datos hasta 1.000 veces. Esta mejora, que se desplegará para todos los clientes en febrero de 2026, reduce el tiempo de ejecución de consultas que antes tardaban 30 segundos a menos de un segundo. La solución aborda la ineficiencia de almacenar atributos semiestructurados como bloques JSON únicos en el almacenamiento de columnas, lo que generaba latencia por la lectura de datos innecesaria y una compresión subóptima.
El sistema procesa datos de OpenTelemetry, que incluyen campos fijos y atributos variables. Inicialmente, Logfire utilizaba un parser rápido como Jiter para leer JSON, pero esto no evitaba el trabajo de procesamiento. La nueva estrategia extrae dinámicamente atributos comunes (como códigos de estado HTTP o IDs de usuario) y los convierte en columnas tipadas fuertes durante la ingestión. Esto permite que el motor de consulta utilice estadísticas de zona para descartar grupos de filas que no coinciden con los filtros y escanee solo las columnas relevantes, eliminando la sobrecarga de IO asociada a los bloques JSON. Aunque el esquema lógico para el usuario permanece como una única columna JSON, el esquema físico se optimiza para maximizar el rendimiento en grandes volúmenes de datos.