TrnRT: motor de inferencia abierto para modelos de lenguaje en AWS Trainium
TrnRT es un motor de inferencia de código abierto diseñado específicamente para ejecutar modelos de lenguaje grandes (LLM) en la arquitectura AWS Trainium. La herramienta permite servir una API compatible con OpenAI desde una única instancia trn2.48xlarge, optimizando el rendimiento mediante el uso
