vram-switcher es una herramienta de software diseñada para optimizar el uso de la memoria de video (VRAM) en tarjetas gráficas de 12 GB, permitiendo ejecutar modelos de lenguaje grandes (LLM), síntesis de voz (TTS) y generación de imágenes (ComfyUI) de forma secuencial sin necesidad de servidores proxy. El sistema gestiona automáticamente la carga de trabajo para evitar la saturación de la memoria, alternando entre servicios según la demanda: detiene el LLM para iniciar ComfyUI cuando se requiere una imagen, o detiene el LLM para asegurar la disponibilidad de IndexTTS para síntesis de voz. Esta arquitectura permite alcanzar velocidades de procesamiento de aproximadamente 1300 tokens por segundo, superando significativamente los 2 tokens por segundo de las configuraciones estándar, al liberar recursos de forma dinámica.
La herramienta es compatible con AstrBot, DeepSeek Harness y Claude Desktop, ofreciendo plugins específicos para cada plataforma. A diferencia de llama-swap o berth, vram-switcher integra servicios de IA nativos en el sistema operativo, utilizando flags de estado (tts_busy, tts_ready) para coordinar la ejecución. El proyecto incluye documentación técnica detallada sobre la configuración de perfiles, la detección de procesos y la gestión de versiones de software. Está diseñado para usuarios avanzados que buscan maximizar el rendimiento de hardware local sin recurrir a infraestructura en la nube, resolviendo el problema de la concurrencia en GPUs de consumo.