La optimización de la latencia de cola (tail latency) es crucial para reducir los costes operativos y mejorar la experiencia del usuario, pero su impacto en la concurrencia del sistema es a menudo subestimado. Un artículo técnico explica cómo utilizar la curva de Lorenz empírica para cuantificar la contribución de las peticiones lentas al tiempo medio y, por extensión, a la concurrencia del sistema. El método permite determinar qué porcentaje de la carga de trabajo se debe a las peticiones que exceden ciertos percentiles de latencia, como el p99 o el p99.9.
El análisis se basa en la ley de Little, que establece que la contribución de las peticiones a la latencia media es igual a su contribución a la concurrencia. Por ejemplo, si el p99 representa el 52% de la latencia media, también representa el 52% de los hilos ocupados en el sistema. En servicios reales, este valor suele superar el 50% o incluso el 75%, lo que indica que las peticiones de cola son desproporcionadamente costosas y generan una carga significativa en la concurrencia, el contenido de bloqueos y la demanda de capacidad. Ignorar estas peticiones es un error estratégico, ya que son el principal motor de los costes y la mala experiencia del usuario. El artículo incluye una implementación en Python para calcular esta métrica y una herramienta interactiva para visualizar la curva, permitiendo a los ingenieros identificar dónde se concentran los cuellos de botella y optimizar la infraestructura de manera más precisa.