Cerebras ha desplegado su solución de inferencia descompuesta (disaggregated inference) en producción, una arquitectura que separa el procesamiento de prompts de la generación de tokens para optimizar la velocidad de respuesta. Este sistema combina GPUs de AMD Instinct para la preprocesamiento de entradas con los sistemas CS-3, CS-4 y CS-5 de Cerebras, diseñados para la generación de salida, logrando un aumento de cinco veces en el rendimiento por megavatio sin perder la velocidad ultra rápida característica de la marca.
La iniciativa responde a la creciente demanda de aplicaciones agénticas como Muse, Copilot y Codex, que requieren interacción en tiempo real en entornos con restricciones de energía. Al delegar la carga de prefill en GPUs, los sistemas de Cerebras pueden dedicar su capacidad de servicio exclusivamente a la decodificación autoregresiva, aprovechando su ventaja en ancho de banda de memoria SRAM. Esta configuración permite que un solo chip procese decenas de gigabytes de SRAM y decenas de petabytes por segundo de ancho de banda, superando en 350 y 5.400 veces respectivamente a las capacidades de una GPU GB300 estándar.
La empresa planea desplegar esta solución a lo largo de cientos de megavatios en su nube de inferencia y en centros de datos de socios para finales de 2027. Los socios de infraestructura, incluyendo Amazon Web Services, Fireworks AI, Gimlet Labs y General Compute, ya pueden adoptar la arquitectura mediante un stack de software descompuesto o un SDK de decodificación, permitiendo integrar sus propios motores de prefill con el motor de decodificación de Cerebras.
