Un estudio reciente revela que las multiplicaciones de matrices en GPUs, específicamente en la Nvidia A100, se ejecutan más rápido cuando se utilizan datos 'predecibles' como ceros en lugar de datos aleatorios. Esta anomalía desafía la creencia tradicional de que el rendimiento de las operaciones de matriz depende únicamente de la carga computacional y no del contenido de los datos. El autor Horace He, mediante pruebas en PyTorch y CUTLASS, observó que el uso de datos aleatorios reduce el rendimiento en comparación con datos uniformes o ceros. La causa raíz es el consumo de energía dinámica en los semiconductores; los datos predecibles reducen el cambio de estado de los transistores, evitando que la tarjeta gráfica alcance su límite de potencia y se vea obligada a reducir su velocidad (throttling).
Estudio: GPUs aceleran matrices con datos predecibles en lugar de aleatorios
