Netflix describe su sistema de detección automática de fallos en GPUs

Fuentes: Netflix details its automatic GPU failure detection and remediation system

Netflix ha publicado un artículo técnico detallado que explica su arquitectura para garantizar la fiabilidad de la infraestructura de GPU en tareas de entrenamiento e inferencia de gran escala. El texto describe cómo la plataforma detecta fallos en hardware y redes, remedia máquinas automáticamente y permite que los trabajos largos sobrevivan a la pérdida de nodos sin intervención humana.

El artículo destaca que, a diferencia de las verificaciones básicas de estado de instancia, el sistema de Netflix debe supervisar la salud de cada GPU, su memoria interna, los interconectores y el tejido de red. Esto es crítico porque los trabajos de entrenamiento funcionan como 'bandadas' (gang), donde el rendimiento total depende del nodo más lento; si uno falla, el trabajo completo se detiene. Por ello, el sistema debe asumir que el hardware puede fallar silenciosamente y que las herramientas de diagnóstico pueden romperse.

La solución se estructura en cuatro capas: 1) Detección de salud del nodo y hardware, 2) Gestión del programador y plataforma, 3) Bucle de entrenamiento con puntos de control y trabajadores elásticos, y 4) Observabilidad. El sistema utiliza un agente en cada nodo basado en Kubernetes que ejecuta comprobaciones cada 30 segundos. Estas comprobaciones se basan en NVIDIA DCGM para errores de memoria y estado térmico, y en el Elastic Fabric Adapter para el estado de las interfaces de red. Un aspecto clave es la estrategia de 'fallo cerrado' (failing closed): si una herramienta de diagnóstico se congela o deja de funcionar, el sistema marca la máquina como no saludable en lugar de confiar en un estado falso, evitando así que una GPU defectuosa degrade el rendimiento de toda la infraestructura.