«En nuestro lado no ha cambiado nada»: tres incidentes reales de Big Data

Gregory Weintraub, líder de un equipo de Big Data en IBM, relata tres incidentes de producción recientes en los que la frase «en nuestro lado no ha cambiado nada» resultó falsa o insuficiente. En el primer caso, una actualización del framework que escribe eventos en un data lake optimizó la velocidad de escritura: los archivos se hicieron más pequeños, su número se disparó y un trabajo posterior multiplicó las peticiones GET al almacenamiento de objetos, disparando la factura cloud. En el segundo, un trabajo que escribía en una base de datos distribuida empezó a fallar sin cambios internos; la causa fue una actualización automática del proveedor cloud de Java 17.0.17 a 17.0.18, que introdujo una regresión en el establecimiento de conexiones TLS cifradas. En el tercero, un asistente de programación con IA añadió por iniciativa propia una operación de caché a un dataframe que representaba todo el data lake: el clúster intentó cachear cientos de terabytes en memoria y colapsó cientos de máquinas. A partir de estos casos, el autor extrae cuatro lecciones aplicables a la ingeniería de software moderna: las optimizaciones pueden trasladar el coste a otra capa; la infraestructura cloud nunca es del todo estable; el código generado por IA exige revisión arquitectónica y medidas de protección; y, ante una caída, conviene depurar con humildad en lugar de con defensividad, porque algo siempre cambió en algún lugar.