IonRouter ha lanzado una nueva plataforma para la inferencia de inteligencia artificial (IA) de alto rendimiento y bajo costo. La plataforma, impulsada por la tecnología IonAttention, permite a los equipos ejecutar múltiples modelos de IA, incluyendo Vision-Language Models (VLMs), en una sola GPU, ofreciendo tiempos de respuesta rápidos y adaptándose en tiempo real a las demandas de tráfico. La plataforma se ha diseñado específicamente para aprovechar la arquitectura Grace Hopper y permite a los usuarios desplegar modelos ajustados, LoRAs personalizados o modelos de código abierto. Entre los modelos disponibles se incluyen el modelo insignia de ZhiPu AI, el modelo MoonShot AI, el modelo MiniMax y otros modelos de vanguardia, tanto de código abierto como propietarios. Un aspecto clave es la compatibilidad con la API de OpenAI, permitiendo a los usuarios integrar la plataforma con una simple modificación de una línea de código. IonRouter opera con un modelo de precios por millón de tokens, sin costos de inactividad, y promete una puesta en marcha en menos de un minuto, sin necesidad de experiencia en GPUs. La plataforma ya está siendo utilizada en aplicaciones como percepción robótica, vigilancia con múltiples cámaras, generación de activos de juegos y pipelines de video con IA.
Noticias agregadas con IA