TrnRT: motor de inferencia abierto para modelos de lenguaje en AWS Trainium

Fuentes: TrnRT: Open inference engine for LLMs on AWS Trainium

TrnRT es un motor de inferencia de código abierto diseñado específicamente para ejecutar modelos de lenguaje grandes (LLM) en la arquitectura AWS Trainium. La herramienta permite servir una API compatible con OpenAI desde una única instancia trn2.48xlarge, optimizando el rendimiento mediante el uso de 'megakernels' NKI (Neuron Kernel Interface) que fusionan múltiples operaciones por capa, como la atención KDA y las capas MoE. El sistema soporta un contexto de 1 millón de tokens mediante atención dispersa y mantiene una caché de prefijo que persiste entre la memoria del dispositivo y la del host, mejorando la latencia en sesiones prolongadas.

El proyecto destaca por su enfoque en la eficiencia operativa: cada motor opera en paralelo sobre 32 núcleos lógicos NeuronCores y utiliza un compilador offline que genera los gráficos de ejecución en el host antes de la carga en el servidor, eliminando la necesidad de compilación en tiempo de ejecución. Actualmente, el modelo GLM-5.3-Flash (320B MoE, 18B activo) es el único soportado, aunque el equipo planea añadir más modelos de código abierto. Los benchmarks muestran que, con una configuración de lote de 12, el sistema logra 28,9 solicitudes por minuto y un costo de 0,04 dólares por millón de tokens en precios spot, superando significativamente a las soluciones convencionales en términos de coste por token. La infraestructura requiere Docker, una instancia trn2.48xlarge para el servicio y un host x86_64 para la compilación, ofreciendo una alternativa técnica para desarrolladores que buscan despliegue localizado y bajo coste en la nube.