Cerebras ha detallado su metodología para desplegar modelos de inteligencia artificial de trillones de parámetros en sus chips de escala de oblea WSE-3T. El proceso permite ejecutar modelos como Kimi K3, que cuenta con aproximadamente 3 billones de parámetros, a velocidades de entre 1.000 y 2.000 tokens por segundo. La clave técnica reside en la distribución del modelo a través de múltiples wafers, aprovechando la memoria SRAM de 44 GB presente en cada chip.
El sistema utiliza una cuantización de 4 bits para los pesos y una caché KV de 8 bits para gestionar el estado de las solicitudes. Dado que cada capa del modelo ocupa aproximadamente 16 GB, la arquitectura asigna una capa densa por wafer para alojar la caché KV, mientras que las capas de atención lineal, que requieren menos memoria, se distribuyen en dos por wafer. Esto resulta en un total de 59 wafers necesarios para el modelo Kimi K3.
La ejecución sigue un modelo de pipeline donde las activaciones se transmiten entre wafers mediante RDMA over Ethernet con un latencia de 2 microsegundos por salto. A diferencia de las GPUs tradicionales, los pesos permanecen fijos en los chips, y solo los datos intermedios se mueven. Para maximizar el rendimiento, el sistema procesa múltiples solicitudes simultáneamente en diferentes etapas del pipeline, utilizando micro-lotes para equilibrar la latencia individual con el throughput total. Esta arquitectura permite escalar a modelos más grandes añadiendo wafers, manteniendo la eficiencia energética y la baja latencia inherentes a la tecnología de Cerebras.