llm-inference-bench es una plataforma de código abierto diseñada para evaluar el rendimiento de modelos de lenguaje de gran escala (LLM) en entornos autoalojados. Su objetivo principal es proporcionar métricas técnicas precisas y reproducibles para demostrar la viabilidad de despliegues de producción, eliminando la ambigüedad de las definiciones de benchmark tradicionales. La herramienta compara el rendimiento de diferentes motores de inferencia, como vLLM y Ollama, bajo diversas configuraciones de cuantización, incluyendo FP16, INT8, AWQ y GPTQ.
El sistema realiza un barrido automático de concurrencia, recopilando datos de throughput, tiempo hasta el primer token (TTFT), latencia de cola (P99) y consumo de memoria VRAM. Un aspecto distintivo de la herramienta es su capacidad para funcionar sin necesidad de hardware gráfico real; incluye un motor de simulación compatible con OpenAI que permite ejecutar pruebas completas en entornos aislados o sin GPU, lo que facilita la verificación de flujos de trabajo en redes restringidas. Los resultados se generan como informes HTML autocontenidos, eliminando dependencias de CDNs, y se exponen en tiempo real a Prometheus y Grafana para el monitoreo continuo.
La metodología de medición está diseñada para evitar errores comunes, como la confusión entre la llegada de la respuesta HTTP y la recepción del primer token de contenido, o la subestimación del uso de memoria en sistemas multi-GPU. El proyecto, desarrollado entre marzo y junio de 2026, ofrece una solución técnica para ingenieros que necesitan justificar el rendimiento de sus infraestructuras de IA ante clientes o equipos de gestión, proporcionando datos objetivos sobre la capacidad de concurrencia y la latencia percibida por el usuario final.