El sistema TAO (Tool-Aware Joint Scheduling) presenta un nuevo marco de planificación conjunta para el servicio basado en LLMs, diseñado para resolver las limitaciones de los sistemas actuales en entornos de inferencia distribuida. A diferencia de las soluciones existentes, que suelen ignorar la preparación de las herramientas externas o emplear estrategias heurísticas subóptimas para la admisión en GPUs, TAO integra la disponibilidad de herramientas en su interfaz de valor. Este enfoque combina la preparación de herramientas a corto plazo, créditos de caché específicos por nodo con decaimiento temporal y la huella de tokens. Un programa dinámico selecciona y coloca las sesiones en espera bajo restricciones de capacidad, optimizando así el uso de recursos. En las 12 configuraciones de modelo, carga de trabajo y concurrencia reportadas, TAO logra mejoras significativas frente a la línea base de estado del arte más evaluada. Específicamente, reduce la latencia hasta en un 26,8%, disminuye el tiempo medio hasta el primer token (TTFT) hasta en un 36,3% y aumenta el rendimiento de decodificación hasta en un 29,5%. Este avance es relevante para la computación distribuida y el clúster, donde la gestión eficiente de la alternancia entre inferencia en GPUs y herramientas en CPUs es crítica para la escalabilidad y la eficiencia de los servicios agénticos.
Noticias agregadas con IA