AIR-LLM es una arquitectura de inferencia para modelos de lenguaje grandes (LLM) diseñada para dispositivos de borde que carecen de memoria suficiente para almacenar los pesos de los modelos. El sistema elimina la necesidad de descargar o cargar los pesos en el dispositivo local, permitiendo que estos se transmitan por el aire y se procesen en tiempo real. La solución se basa en la computación de radiofrecuencia (RF computing), donde un emisor central, como una estación base 5G, transmite los pesos codificados en una señal de onda de división múltiple por ortogonalidad (OFDM). Los dispositivos de borde reciben esta señal y utilizan sus mezcladores de radiofrecuencia pasivos para realizar la multiplicación general de matriz-vector (GEMV) directamente en el dominio de la RF, sin convertir los datos a digital.
El diseño aprovecha la multiplexación espacial MIMO para reducir el tiempo de transmisión y propone un par de codificador-decodificador eficiente en energía para calibrar el canal inalámbrico del usuario. Al mantener el emisor ciego al usuario, el sistema es escalable para un número ilimitado de usuarios dentro del alcance de cobertura. Las pruebas implementadas en canales ray-traced de NVIDIA Sionna y un mezclador RF real muestran una degradación de perplexidad del 4,0% en LLaMA-3.1-8B. En comparación con las baselines de FP16 y cuantización de pesos, AIR-LLM ahorra energía 157,7 veces y 40,4 veces, respectivamente, y reduce el tiempo de transmisión en 104,1 veces y 26,0 veces para 20 usuarios. Esta arquitectura resuelve las limitaciones de memoria y energía de la computación en el borde, ofreciendo una alternativa privada y de baja latencia a la computación en la nube.