Netflix ha desarrollado un mecanismo de atestación de carga de trabajo para integrar identidades internas en trabajos de Apache Spark ejecutados en computación gestionada de Amazon EMR. El sistema resuelve la limitación de que los procesos en entornos gestionados solo poseen credenciales de AWS, sin identidad interna propia, permitiendo que las cargas de trabajo accedan a recursos corporativos como tablas cifradas o sesiones interactivas.
El diseño se basa en un mapeo 1:1 entre cada proyecto de datos (Data Project) y un rol de IAM específico, gestionado por un plano de control que actúa como autoridad. Al lanzar una tarea, el plano de control firma un payload metadatos que identifica la identidad de la aplicación y el rol asociado. El plugin de Spark utiliza las credenciales de ejecución de AWS para generar una URL prefirmada, que sirve como prueba de posesión de la identidad de nube. Esta URL se envía al servicio de identidad de Netflix, que la valida contra AWS STS y corrobora la firma del plano de control. Este proceso de corroboración asegura que la identidad reportada por el proveedor de nube coincida con la asignada internamente, eliminando la necesidad de confiar en la autenticidad de la carga de trabajo por sí misma. La solución es escalable mediante el fragmentación de roles IAM en cuentas dedicadas y generalizable a cualquier entorno que otorgue credenciales de nube a procesos sin identidad propia.