El repositorio 'local-llm' del desarrollador James O'Beirne es una guía práctica y detallada para ejecutar modelos de lenguaje de gran tamaño en un equipo propio, sin depender de servicios en la nube como los de OpenAI o Anthropic. El documento describe dos niveles de inversión: con unos 2.000 dólares es posible montar un sistema con dos RTX 3090 que ofrezca 48 GB de VRAM, suficiente para correr modelos como Qwen3.6-27B y reconocimiento de voz local con Whisper-large-v3; con alrededor de 40.000 dólares se alcanza un rendimiento cercano a Claude Opus.
La configuración más ambiciosa combina cuatro NVIDIA RTX PRO 6000 Blackwell Workstation con 96 GB de VRAM cada una (384 GB en total) montadas sobre un sistema base con un AMD EPYC Milan, 128 GB de DDR4 ECC de segunda mano y una placa ASRock Rack ROMED8-2T. El coste de esta base ronda los 5.587 dólares, frente a los cerca de 46.000 dólares del bloque de GPUs. El autor incorpora además un conmutador PCIe Gen4 de c-payne que permite comunicación peer-to-peer entre tarjetas, lo que reduce la latencia durante las operaciones de allreduce en paralelismo tensorial.
El repositorio incluye configuraciones listas para usar con docker-compose para modelos como GLM-5.2-594B, scripts de evaluación de ancho de banda y latencia P2P, y notas de BIOS y kernel necesarias para estabilizar el enlace PCIe (bifurcación, ASPM desactivado, Re-Size BAR habilitado, iommu=off). También detalla la fabricación artesanal de una caja de madera para alojar el conmutador y las GPUs, y describe el sistema de archivos ZFS donde almacena los pesos de los modelos.