SPECTRA: arquitectura para inferencia en el borde con hardware saturado

Fuentes: SPECTRA: Architecture for Hardware-Saturated Edge Inference

SPECTRA es un marco de software diseñado para resolver la limitación física conocida como 'pared de memoria' en dispositivos de borde, permitiendo la ejecución eficiente de modelos de lenguaje de gran escala en hardware con recursos restringidos. El problema central radica en la asimetría física: mientras la densidad de cómputo de las GPUs modernas ha crecido exponencialmente según la Ley de Moore, la ancho de banda de la memoria externa (GDDR6) se ha estancado. En una GPU típica, como la NVIDIA GeForce RTX 3050 Ti, la interfaz de memoria de 128 bits limita el ancho de banda a 192 GB/s. Al generar un solo token a la vez, la GPU debe cargar todos los parámetros de la red desde la memoria de alta latencia, lo que reduce la intensidad aritmética operativa a aproximadamente 1 FLOP por byte cargado. Esto resulta en una velocidad teórica máxima de menos de 14 tokens por segundo para modelos de 14 GB, dejando la mayor parte de los núcleos de la GPU inactivos. Además, la memoria VRAM de los dispositivos de consumo suele limitarse a 4 GB, impidiendo la carga completa de modelos de 7 o 14 GB, lo que obliga a usar memoria RAM del sistema a través del bus PCIe, reduciendo aún más la velocidad de generación a 0,28 tokens por segundo. SPECTRA aborda estos cuellos de botella mediante un enfoque agnóstico a la arquitectura que combina la teoría de codificación de Shannon con técnicas de extracción de saliencia topológica. Su sistema utiliza una cuadrícula de 4 bits asimétrica de grupo 32 para comprimir pesos sin pérdida, maximizando la intensidad aritmética en los registros de la GPU. El marco incluye kernels de Triton fusionados que optimizan el cálculo matricial (GEMV y GEMM) y un sistema de caché dinámica que permite almacenar contextos de 8.192 tokens en hardware de 4 GB. Al eliminar la sobrecarga de GPU en la compresión y optimizar el uso de la memoria del host, SPECTRA busca hacer viable la inferencia en tiempo real para aplicaciones como la robótica autónoma y las telecomunicaciones, superando las limitaciones de los esquemas de cuantización tradicionales que introducen errores de precisión o latencias de preprocesamiento excesivas.