Herramienta para optimizar el rendimiento de servidores LLM locales

Fuentes: Tool for optimizing local LLM server performance via hill-climbing

El proyecto 'inference-optimisation-skill' ofrece una habilidad para agentes de IA que permite optimizar el rendimiento de servidores de modelos de lenguaje locales (LLM) mediante un método de escalada por colinas (hill-climbing). Esta herramienta no se limita a listar parámetros, sino que implementa un flujo de trabajo riguroso que calcula el límite teórico de rendimiento, modifica un solo parámetro a la vez, mide los resultados contra controles intercalados y valida cada mejora con pruebas de estabilidad de contexto completo bajo un límite de memoria estricto.

El sistema es compatible con Claude Code y cualquier agente que cargue habilidades en formato SKILL.md, permitiendo a los usuarios mejorar métricas como la velocidad de decodificación, el tiempo de inicio, el tiempo hasta el primer token (TTFT) y el tamaño de la caché KV. Los resultados se basan en datos medidos en hardware real, incluyendo GPUs Intel Arc B390, Arc Pro B70, RTX 3090 y clusters H200 NVL, con modelos como Ornith-1.5-3B, Qwen3.8-27B y DeepSeek-V4.1. Por ejemplo, en una GPU Intel Arc B390, la herramienta logró aumentar la velocidad de decodificación de 43.6 a 53 tokens por segundo para un solo usuario y de 84.7 a 103 para cuatro usuarios simultáneos.

La herramienta incluye scripts en Python y Bash para ejecutar benchmarks, calcular límites teóricos y gestionar colas de ejecución serializadas. Es útil para ingenieros que buscan maximizar el rendimiento de inferencia local sin depender de infraestructura en la nube, proporcionando un marco estandarizado para la medición y la publicación de mejoras técnicas verificables.