SwaT (Swarm Telepathy) es un sistema que permite a agentes de modelos de lenguaje (LLM) de familias distintas comunicarse intercambiando sus cachés KV (Key-Value) en lugar de texto. Esta metodología elimina la necesidad de prellenar (prefill) el texto en el receptor, permitiendo que el modelo decodifique la información como si fuera su estado propio, sin leer el texto original. El sistema opera con ambos modelos congelados; solo se entrena un mapeador de SwaT, que requiere menos de 50 millones de tokens de texto en inglés.
El funcionamiento técnico se basa en bloques de SwaT que cruzan la atención entre las capas del emisor y el receptor, alineando las posiciones mediante el alcance de caracteres de cada token. En términos de rendimiento, SwaT mantiene más del 90% de la puntuación original del receptor en 17 benchmarks, superando a los métodos de resumen texto a texto (T2T) en un 40% de precisión y siendo 4 veces más rápido en el tiempo de procesamiento. Además, el sistema demuestra capacidades de transferencia cero-shot, donde un emisor de visión (VLM) puede transferir información a un receptor de solo texto, o un modelo chino (Qwen3) puede transferir habilidades a Llama 3. El repositorio incluye scripts para entrenar el mapeador y evaluar el rendimiento en diversos conjuntos de datos, facilitando la integración de esta técnica de comunicación latente en arquitecturas de agentes de IA.