El equipo de Close ha documentado su proceso de optimización para reducir el tiempo de ejecución de sus 58.000 pruebas de integración en el pipeline de integración continua (CI). Tras años de mejoras incrementales, como la migración a pytest y el uso de paralelismo determinista, la empresa alcanzó un límite de rendimiento donde los costos fijos de inicialización, como la creación de bases de datos y la recopilación de pruebas, impedían escalar más. La solución adoptada consiste en una arquitectura de orquestación centralizada que reemplaza la división estática de trabajo por una asignación dinámica basada en una cola centralizada. Este sistema permite que los trabajadores procesen solo los datos necesarios para su carga de trabajo, eliminando la redundancia en la recopilación de pruebas y permitiendo que los costos de inicialización se ejecuten en paralelo con los trabajadores. Además, la implementación de instancias spot en AWS ha permitido reducir significativamente los costos operativos, pasando de 17 ejecutores on-demand a una combinación de 2 ejecutores on-demand y 54 instancias spot, manteniendo la misma capacidad de procesamiento. Este enfoque técnico demuestra cómo la orquestación inteligente puede resolver cuellos de botella en la escalabilidad de las pruebas de integración, ofreciendo una alternativa viable a las limitaciones del paralelismo tradicional en entornos de CI complejos.
