Cohere presenta megakernel para acelerar inferencia de LLMs en H100

Cohere ha presentado un motor de servicio para su modelo North Mini Code, basado en un megakernel de decodificación que logra velocidades de 292 tokens por segundo en un solo H100. Esta solución supera en un 1,58 veces a vLLM y alcanza el 62% de la velocidad de luz (SoL) en lotes de tamaño 1, eliminando las latencias asociadas a la ejecución secuencial de múltiples kernels. El sistema integra batching continuo, atención pagada y longitudes de secuencia irregulares, manteniendo la compatibilidad con la API de OpenAI. A diferencia de los enfoques anteriores centrados en compiladores automáticos o demos aisladas, esta implementación es un archivo único de CUDA que permite portar kernels existentes sin cambiar el paradigma de programación. La arquitectura aprovecha la banda ancha de memoria del H100 (3,35 TB/s) para reducir la cuantización de ondas y eliminar dependencias falsas entre tareas, optimizando el uso de la memoria HBM durante la decodición autoregresiva. Los resultados muestran un rendimiento estable hasta contextos de 256K sin pérdida de precisión, posicionando a Cohere como líder en optimización de inferencia para modelos de gran escala.