John Ousterhout, profesor emérito de la Universidad de Stanford, presenta Homa, un protocolo de transporte de datos diseñado específicamente para las cargas de trabajo de inferencia y coordinación en centros de datos de inteligencia artificial. A diferencia de los protocolos tradicionales como TCP y RDMA, que optimizan el rendimiento en grandes transferencias de datos masivos, Homa está diseñado para gestionar mensajes pequeños y frecuentes, como las consultas de caché KV y la sincronización de barreras, que son críticos para la latencia en aplicaciones modernas de IA.
El problema central que resuelve Homa es el efecto de incast, donde los mensajes pequeños se acumulan en las colas de los switches, aumentando la latencia de cola (99º percentil) y dejando GPUs inactivas. Ousterhout explica que TCP y RDMA, basados en flujos de bytes y control de congestión reactivo, no priorizan adecuadamente estos mensajes críticos. Homa, en cambio, opera como un protocolo basado en mensajes que utiliza el tiempo restante más corto (SRPT) para priorizar tareas urgentes. Además, implementa un control de flujo impulsado por el receptor, que emite permisos para gestionar la congestión antes de que ocurra, y aprovecha las colas de prioridad ya presentes en los switches modernos. Los benchmarks presentados indican que Homa puede reducir la latencia de cola para mensajes cortos en más de 10 veces en comparación con TCP, mejorando simultáneamente el rendimiento para grandes transferencias.