Un ingeniero con experiencia en Colossus (Google), depuración con eBPF y optimización de código en Datadog explica en un extenso artículo técnico por qué aceptó incorporarse a Blacksmith, una compañía de integración continua (CI) que ejecuta sus propias máquinas. El autor sostiene que el núcleo de CI, aunque a menudo se perciba como un problema de cómputo, es en realidad un problema de almacenamiento especialmente exigente: cada día se crean y destruyen alrededor de 2,5 millones de volúmenes por trabajo, con picos cercanos a mil máquinas virtuales efímeras por minuto, y los trabajos escriben unos dos petabytes diarios de los que alrededor del 95 % se descarta al terminar la ejecución.
El texto desgrana los retos técnicos que esa carga plantea: alto fan-out de lectura sobre imágenes base y espejos de repositorio compartidos por miles de máquinas a la vez; coordinación de pequeños incrementos escritos por múltiples trabajos sobre una misma caché compartida, donde la compactación al estilo de un log de mutaciones no resulta económicamente viable porque los deltas son diminutos y los escritores desaparecen en minutos; necesidad de coherencia fuerte para que ningún lector observe estados a medio actualizar; y el riesgo de que un caché compartido corrupto se propague en silencio a miles de compilaciones posteriores.
También describe cómo la agrupación de toda la flota convierte la irregularidad y los picos en una ventaja estadística, ya que los máximos de distintos clientes rara vez coinciden. Por último, plantea que Blacksmith puede relajar la durabilidad —los artefactos sí debenpersistir, pero el grueso de los datos transitorios no necesita conservarse— para ganar en velocidad y coste, un espacio de diseño que los sistemas de almacenamiento de propósito general no explotan.