El artículo técnico explora la implementación de viiwork para compartir la caché KV (Key-Value) entre dos hosts de GPU RTX 5090 mediante Ethernet, resolviendo el problema de la latencia de prefill cuando una sesión de conversación se traslada de un nodo a otro. El objetivo es mantener la 'calidez' de la caché en el nodo destino para evitar el recálculo del prompt completo, lo cual puede suponer segundos o minutos de espera en conversaciones largas de agentes de código.
El mecanismo, denominado kv_share, opera en tres fases: guardar el delta de la caché en el nodo origen, enviarlo a través de la red al nodo destino y importarlo en la memoria del motor de inferencia Strata. El estudio cuantifica el impacto de la topología de red en este proceso, comparando tres configuraciones: un switch LAN de 1 GbE, un cable directo de 10 GbE a través de Tailscale y un cable directo de 10 GbE sin Tailscale. Los resultados muestran que la velocidad de transferencia es crítica para que la copia llegue antes de la próxima iteración del prompt. Aunque el cable directo de 10 GbE redujo el tiempo de envío a 0,55 segundos frente a los 3,24 segundos del 1 GbE, el beneficio en la reutilización de la caché ('warm switches') fue modesto, pasando del 93,8% al 96,8%. El cuello de botella principal no fue la red, sino el tiempo de importación (aproximadamente 2,8 segundos) y la corrección de la caché. El texto detalla también un bug de software en la versión beta que impedía reimportar la caché si el motor la evictaba, corregido en la versión 2.11.1.
