AirDrop-LLM es una herramienta de software diseñada para orquestar la inferencia de modelos de lenguaje de gran escala (LLM) en entornos locales sin conexión a internet. Su objetivo principal es resolver la limitación de memoria de los equipos de consumo, permitiendo ejecutar modelos de 32B y 70B parámetros utilizando hardware heterogéneo, como portátiles con Apple Silicon (Metal) y GPUs NVIDIA (CUDA). El sistema opera mediante una arquitectura de clúster distribuido que descubre pares de dispositivos a través de una red Wi-Fi local ad-hoc, poolizando la memoria RAM y la capacidad de cómputo de las GPUs en un único nodo centralizado.
El proyecto destaca por su diseño de bajo consumo y dependencia cero. Utiliza sockets TCP de alta velocidad para transmitir deltas tensoriales comprimidas con LZ4, lo que reduce el tráfico de red en un 92% respecto a la transmisión de activaciones completas. Además, integra una pasarela de API compatible con OpenAI en el puerto 9995, lo que permite a agentes de código y herramientas de desarrollo como Cursor, Aider y Continue.dev interactuar con el clúster sin configuraciones manuales. La infraestructura incluye un sistema de caché de capas estáticas y un monitor de red que gestiona la degradación del rendimiento en tiempo real, reemplazando automáticamente la inferencia distribuida por una ejecución local si la latencia de red supera umbrales críticos. Esta solución ofrece una alternativa soberana y privada a las APIs en la nube, eliminando la necesidad de suscripciones costosas y garantizando la privacidad total de los datos.