High Bandwidth Flash (HBF) es una propuesta que combina la memoria flash de las SSD con un empaquetado similar al de HBM (High Bandwidth Memory), apilando cubos de flash junto al chip de cómputo. Su objetivo es ofrecer mucha más capacidad que HBM manteniendo un ancho de banda aceptable. En la jornada tutorial de Hot Chips 2026, Anurag Agarwal y Radhakrishna Giduthuri analizaron cómo HBF podría aplicarse a cargas de machine learning mediante simulaciones, al no existir todavía productos comerciales.
A diferencia de Intel Optane, HBF no actúa como un nivel más de memoria: funciona prácticamente como una SSD integrada en el procesador. El software debe recurrir a DMA para mover datos entre HBF y DRAM y realizar accesos en bloques grandes y alineados, como con un dispositivo de almacenamiento. Además, el host asume funciones típicas del controlador de SSD, como nivelación de escritura y retención de datos, lo que impide un despliegue plug-and-play.
Los ponentes propusieron vLLM como caso de estudio: almacenar expertos de modelos MoE en HBF y llevarlos a HBM cuando se necesiten, ubicar la caché KV en HBF cuando la atención dispersa lea solo un subconjunto de tokens, y replicar pesos entre varias GPU para reducir la comunicación entre dispositivos. HBF resulta rentable por capacidad, pero pierde frente a HBM en coste por ancho de banda, por lo que conviene a modelos pequeños o con lotes reducidos.
El artículo concluye que los retos de software son enormes —similares a programar con FILE_FLAG_NO_BUFFERING u O_DIRECT— y que adaptar frameworks a HBF podría requerir un esfuerzo comparable al de transmitir pesos desde una SSD convencional, una alternativa que el autor considera más sencilla gracias a las abstracciones del kernel.