Netflix ha detallado en su blog de tecnología el diseño de su sistema de canario de datos, una infraestructura automatizada que valida en menos de diez minutos las transformaciones de los metadatos de su catálogo antes de que lleguen a los miembros. El proyecto nació a raíz de un incidente de producción en el que una acción manual de mitigación previa corrompió silenciosamente un flujo de datos: no se desplegó código ni se cambió configuración, pero un subconjunto de títulos quedó con metadatos vacíos, lo que provocó fallos en la generación de manifiestos y errores de reproducción.
El artículo describe el problema de fondo: los sistemas de canario tradicionales de la compañía validan despliegues de código, pero no eran capaces de atrapar corrupciones en pipelines de datos de alta velocidad, donde cada fuente upstream tiene sus propias comprobaciones que no cubren el estado transformado final.
La solución se articula en torno a tres ejes. Primero, un patrón de orquestador dedicado con un clúster de referencia y un clúster canario permanentes en la región de pruebas, coordinados por una instancia específica del servicio de metadatos que valida la sincronización de versiones antes de lanzar un experimento de caos. Segundo, la extensión de la plataforma de caos interna de Netflix, con umbrales personalizados, pruebas multiinquilino (usando el tráfico del tenant de reproducción, el más rápido en detectar fallos), sesiones sticky para evitar contaminación cruzada y la métrica Starts Per Second como señal principal por medir intentos reales de reproducción. Tercero, un manejo endurecido de casos límite en producción: experimentos en vuelo durante redespliegues, elección de líder y sincronización de versiones entre inquilinos.
El sistema se validó con inyecciones controladas de fallos (como denylisting de títulos relevantes) para confirmar que el canario detectaba las corrupciones simuladas.