PI-Attn: servidor de LLM determinista con todas las optimizaciones activas

Fuentes: PI-Attn: Bitwise-reproducible LLM serving with every optimization on

PI-Attn es un motor de inferencia para modelos de lenguaje de gran escala (LLM) diseñado para garantizar la reproducibilidad bit a bit de las salidas, manteniendo activadas todas las optimizaciones de rendimiento. A diferencia de los modos deterministas tradicionales, que desactivan optimizaciones como el batching o la caché de prefijo para evitar cambios en la suma de puntos flotantes, PI-Attn modifica el programa de puntos flotantes en sí mismo. Esto asegura que cada fila de consulta y cada elemento de salida ejecuten una secuencia canónica de operaciones idéntica, independientemente de la concurrencia, el estado de la caché o la configuración del servidor.

El sistema, desarrollado por Haocheng Lu, utiliza kernels personalizados en Rust y PyTorch que permiten que técnicas como la decodificación chunked, la caché de prefijo y la decodificación split-KV sean bitwise idénticas por construcción. En pruebas realizadas en una GPU A800 con modelos Qwen3 de 0.6B a 8B, PI-Attn logra un 1,2% de mejora en el rendimiento medio frente a su motor sin determinismo, igualando a vLLM 0.17.1, mientras que es 2,0 a 3,7 veces más rápido que el modo batch-invariant de vLLM. Además, garantiza que los tokens y las log-probabilidades sean idénticos en dos arquitecturas GPU distintas (A800 y RTX 4090 D).

La herramienta incluye un motor de inferencia en Rust, kernels específicos para atención y proyecciones, y una herramienta de verificación de determinismo (detcheck) compatible con servidores OpenAI. El proyecto destaca por su capacidad para reproducir exactamente los 55.593 log-probabilidades de un rollout de PyTorch, un hito crítico para el entrenamiento de modelos con métodos de importancia, donde los entrenadores estándar suelen fallar en más del 1% de los tokens.