Este documento es una crítica contundente a un artículo titulado "Microbenchmarking NVIDIA’s Blackwell Architecture: An in-depth Architectural Analysis", publicado en arXiv. La crítica, escrita por Sophia Wisdom, argumenta que el artículo es fundamentalmente defectuoso y carece de sentido técnico. El núcleo de la crítica reside en la incorrecta interpretación y descripción de la arquitectura de memoria de tensores (TMEM) de la GPU Blackwell.
El artículo original parece confundir el funcionamiento de TMEM, afirmando erróneamente que puede cargar datos directamente desde la memoria global, lo cual es imposible según la documentación oficial de NVIDIA. TMEM está diseñado para operar con registros y memoria compartida, no con la memoria global. Además, la crítica señala que el artículo describe incorrectamente las rutas de acceso a la memoria utilizadas en arquitecturas Hopper y Blackwell, incluyendo una descripción errónea de los tamaños de tile soportados por la instrucción wgmma.
La crítica también cuestiona la lógica detrás de las recomendaciones del artículo sobre cuándo priorizar TMEM, argumentando que estas recomendaciones son incompatibles con las instrucciones disponibles en Blackwell y que su aplicación resultaría en una degradación significativa del rendimiento (aproximadamente un 10x más lento). La autora también desmantela un cálculo de rendimiento presentado en el artículo, demostrando que los números son irrealmente altos y no se corresponden con las capacidades reales de la GPU Blackwell B200. El cálculo, basado en una latencia de instrucción específica, resulta en una cifra de rendimiento (40 quadrillion flops/s) que supera con creces la cifra de marketing de NVIDIA (2.25 quadrillion flops/s) y una estimación realista del rendimiento alcanzable.
En resumen, la crítica acusa al artículo de contener errores fundamentales en la comprensión de la arquitectura de NVIDIA Blackwell, lo que lleva a conclusiones incorrectas y recomendaciones poco prácticas. La autora sugiere que el artículo debería ser retirado debido a su falta de rigor técnico y potencial para confundir a los lectores. La crítica subraya la importancia de una comprensión precisa de la arquitectura de hardware para realizar análisis de rendimiento válidos y evitar conclusiones erróneas.