SYSTEM-D es un panel de escritorio de 4 pulgadas con pantalla táctil diseñado para servidores de inferencia de modelos de lenguaje grandes (LLM) basados en vLLM y TensorFold. La herramienta, inspirada en btop, EngineMetrics y nv-monitor, permite visualizar métricas en tiempo real como la velocidad de decodificación, el uso de la caché KV, las colas de solicitudes y el tiempo hasta el primer token (TTFT) sin necesidad de configuración en el servidor. El dispositivo utiliza una placa ESP32-S3 que se conecta a la red Wi-Fi para consultar los puntos de datos /metrics de los servidores, calculando las tasas de rendimiento localmente. El sistema soporta hasta cuatro servidores, detectando automáticamente el tipo de motor y permitiendo cambiar entre ellos mediante toques en la pantalla. Incluye 42 temas de colores y ofrece datos honestos, evitando mostrar valores inventados cuando no hay información disponible. La instalación requiere una placa ESP32-S3-4848S040, un cable USB-C y un ordenador con Python 3.9 o superior para compilar el firmware mediante PlatformIO. El dispositivo funciona con redes Wi-Fi de 2,4 GHz y requiere que los servidores expongan sus métricas a través de HTTP sin autenticación. Es una solución de bajo coste, con un precio aproximado de 37 dólares en AliExpress, que ofrece una monitorización detallada y accesible para entornos de desarrollo de IA.
Noticias agregadas con IA