El proyecto Lowaltitudeflight/local-llm-tuning-guide ofrece una biblioteca de decisiones para desplegar modelos de lenguaje de gran escala (LLM) en máquinas multi-GPU sin conexión NVLink. La herramienta aborda la realidad de la mayoría de las inferencias autoalojadas, que utilizan GPUs como RTX 4090 o 5090 conectadas por PCIe 5.0, donde la documentación estándar suele ser ineficaz debido a la falta de especificaciones de topología.
El recurso estructura su conocimiento en seis capítulos clave: hardware y topología, paralelismo, comunicación, cuantización, decodificación especulativa y caché KV. Cada recomendación está vinculada a una fuente de evidencia, clasificada como medida, derivable o abierta, lo que permite a los usuarios validar las conclusiones con sus propios datos. Por ejemplo, se recomienda evitar el paralelismo tensorial (TP) si los GPUs están distribuidos entre switches PCIe, ya que el tráfico cruzado introduce latencias críticas. Asimismo, se detalla que la decodificación especulativa debe ajustarse según el ancho de banda disponible, ya que drafts más largos no siempre son más rápidos en conexiones PCIe.
El proyecto incluye recetas de configuración listas para usar, benchmarks de medición y una herramienta de línea de comandos (CLI) llamada Planner. Esta última analiza la topología de la máquina mediante nvidia-smi topo -m y genera una estrategia de paralelismo óptima, etiquetada con el grado de confianza de la evidencia. Esta guía es esencial para ingenieros que buscan maximizar el rendimiento y la coherencia de sus sistemas de inferencia local, eliminando la ambigüedad de las recomendaciones genéricas.