Una empresa llamada Onde Inference ha desarrollado un motor de inferencia de modelos de lenguaje grandes (LLM) optimizado para los chips Apple Silicon, permitiendo que aplicaciones de la App Store ofrezcan chat en vivo directamente en el dispositivo del usuario. La tecnología, ya en producción, elimina la necesidad de servidores externos, reduciendo la latencia y garantizando que los datos de conversación permanezcan dentro del dispositivo, mejorando la privacidad del usuario. Onde Inference ofrece un SDK para desarrolladores y espera que esta solución impulse una nueva generación de aplicaciones impulsadas por inteligencia artificial en dispositivos Apple. La empresa, fundada recientemente (con copyright datado en 2026), se posiciona como un proveedor clave para la implementación de LLMs en dispositivos móviles sin depender de infraestructura en la nube.
Noticias agregadas con IA