llm-bench: herramienta de código abierto para medir rendimiento de APIs de LLM

Fuentes: llm-bench: open-source toolkit for measuring LLM API performance

llm-bench es un kit de evaluación de código abierto diseñado para medir el rendimiento de las APIs de modelos de lenguaje de gran escala (LLM) compatibles con el formato de OpenAI. Esta herramienta permite a los desarrolladores comparar endpoints de diferentes proveedores desde la perspectiva del cliente, analizando métricas críticas como el tiempo hasta el primer token (TTFT), la latencia de extremo a extremo, la tasa de tokens por segundo y la fiabilidad. A diferencia de los generadores de carga, llm-bench actúa como una herramienta de medición que reporta estadísticas distribuidas, incluyendo percentiles mínimo, mediana, P90, P95 y máximo, con tamaños de muestra específicos. El sistema gestiona los errores de forma tipada, registrando fallos como timeouts, errores de conexión o respuestas inválidas, y calcula la tasa de error por endpoint. Para garantizar la precisión, los ejecuciones están limitadas por un límite de solicitudes, un presupuesto opcional en dólares y una fase de prueba seca (dry run) antes de iniciar las pruebas reales. La herramienta soporta tanto modos de streaming como no streaming, midiendo separadamente el TTFT y el TTFC para evitar la confusión en modelos de razonamiento. Los resultados se almacenan en un conjunto de datos versionado, con SHA-256, y permiten generar informes en múltiples formatos: terminal, JSON, CSV, Markdown y HTML con gráficos SVG locales. Además, incluye una función de comparación estadística que utiliza intervalos de confianza del 95% para determinar si existen diferencias significativas entre dos endpoints. llm-bench requiere Python 3.11 o superior y se instala desde GitHub, ya que aún no está disponible en PyPI. El proyecto enfatiza la seguridad al leer credenciales exclusivamente desde variables de entorno y redactar la salida de terminal y archivos de resultados.