InstinctFlash es un runtime de alto rendimiento diseñado para la inferencia de modelos de robótica, que permite desplegar modelos complejos en hardware de escritorio y dispositivos embebidos como Jetson Thor. La herramienta, desarrollada por General-Instinct, unifica la gestión de ocho familias de modelos de robótica mediante una única API de Runtime, optimizando el rendimiento mediante kernels de aceleración específicos y soporte para precisión FP8.
El sistema destaca por su capacidad de aceleración significativa. En pruebas realizadas en Jetson Thor, InstinctFlash logró un aumento de velocidad de hasta 33,78 veces en comparación con PyTorch, manteniendo la calidad de las tareas. Por ejemplo, el modelo LingBot-VA mostró una mejora de 5,36 veces en la línea FP8 con 25V/50A, y 4,51 veces en la configuración 2V/4A. Otros modelos como pi05 y Cosmos3 Edge DROID también experimentaron mejoras sustanciales, con aceleraciones de 7,88 veces y 3,24 veces respectivamente.
La instalación requiere un entorno Python 3.10+ y la configuración de perfiles dedicados para cada familia de modelos, utilizando comandos específicos para instalar dependencias y adaptadores. El runtime soporta tanto inferencia local como servicio remoto a través de WebSocket, compatible con el protocolo msgpack utilizado por el ecosistema openpi. Esto permite a los clientes existentes conectarse sin cambios, facilitando la integración en entornos de robótica industrial y de investigación. La herramienta incluye también utilidades de validación para certificar la no inferioridad de los checkpoints antes de su publicación, garantizando la estabilidad y precisión de los modelos desplegados.