Una empresa ha desarrollado un sistema que utiliza modelos de lenguaje grandes (LLMs) para analizar eficientemente grandes volúmenes de registros de CI (Integración Continua). El sistema, que funciona como un agente, puede rastrear errores y dependencias en segundos, escribiendo sus propias consultas SQL para escanear cientos de millones de líneas de registro a través de una docena de consultas. La infraestructura procesa aproximadamente 1.5 mil millones de líneas de registro de CI y 700.000 trabajos semanales, almacenados en ClickHouse con una compresión de 35:1. El agente utiliza una interfaz SQL para formular sus propias consultas, permitiéndole explorar patrones de fallo de manera más flexible que con APIs predefinidas. El análisis de 8.534 sesiones de agentes reveló que el 63% de las consultas se enfocan en metadatos de trabajos (tasas de fallo, tiempos de ejecución) y el 37% en líneas de registro brutas (mensajes de error, patrones). Las investigaciones complejas pueden escanear hasta 4.3 mil millones de filas. La clave de la eficiencia reside en la denormalización de los datos (almacenando 48 columnas de metadatos con cada línea de registro) y el uso de ClickHouse, que permite una compresión significativa y consultas rápidas, con latencias medianas de 20ms para metadatos y 110ms para líneas de registro.
Noticias agregadas con IA