El repositorio llms-on-eks ofrece una serie de guías prácticas para desplegar modelos de lenguaje grandes (LLM) de código abierto en Amazon EKS, proporcionando código de infraestructura funcional y resultados de benchmarks reales. El proyecto está diseñado para ser autocontenido: los usuarios deben provisionar un clúster EKS compartido una sola vez en la guía 001, utilizando CloudFormation y Karpenter para la gestión de nodos, y luego ejecutar cargas de trabajo adicionales en las guías subsiguientes. Esta arquitectura permite optimizar costes mediante el escalado automático de nodos, terminando los instancias cuando no hay demanda activa.
La serie cubre desde la inferencia en CPU con vLLM hasta la inferencia en GPU con NVIDIA A10G, logrando un aumento de rendimiento de hasta 200 veces en comparación con la CPU. Además, incluye guías para la gestión de almacenamiento compartido con EFS, la creación de una pasarela unificada con LiteLLM, el escalado automático basado en colas de KEDA, la observabilidad con Prometheus y Grafana, y pruebas de carga con Locust. El sistema soporta también modelos de gran escala, como Llama 3.1 70B, mediante paralelismo de tensores y redes EFA. Los costes estimados para un clúster activo son de aproximadamente 1,24 dólares por hora para inferencia GPU, frente a 0,56 dólares por hora para CPU, con un coste base de 0,23 dólares por hora para el clúster en reposo. Esta documentación sirve como referencia técnica para ingenieros que buscan implementar soluciones de inferencia de IA en entornos empresariales escalables y eficientes.
