ONNX Runtime es un acelerador de inferencia y entrenamiento para machine learning que opera de forma cruzada en múltiples plataformas. Su objetivo principal es mejorar la experiencia del cliente y reducir los costos mediante la optimización del rendimiento, soportando modelos de frameworks de aprendizaje profundo como PyTorch y TensorFlow/Keras, así como bibliotecas de aprendizaje clásico como scikit-learn, LightGBM y XGBoost. La herramienta es compatible con diversos hardware, controladores y sistemas operativos, logrando un rendimiento óptimo al aprovechar aceleradores de hardware cuando están disponibles, combinados con optimizaciones y transformaciones de grafos.
En el ámbito del entrenamiento, ONNX Runtime permite acelerar el tiempo de entrenamiento de modelos transformadores en GPUs NVIDIA de múltiples nodos. Esta capacidad se integra con un solo cambio de código en los scripts de entrenamiento existentes de PyTorch, facilitando la adopción para equipos que ya utilizan este framework. El proyecto, mantenido por Microsoft, ofrece documentación extensa, tutoriales en YouTube y un mapa de ruta de lanzamientos futuro. Además, proporciona repositorios de ejemplo para inferencia y entrenamiento, así como plugins específicos como el EP de QNN. El proyecto está licenciado bajo MIT y sigue las directrices de contribución de código abierto de Microsoft, incluyendo la recopilación de datos de uso para mejorar sus productos.
