Un nuevo runtime de IA para dispositivos llamado Edge-Veda busca solucionar problemas de estabilidad en aplicaciones de IA que se ejecutan directamente en teléfonos móviles, especialmente aquellas basadas en Flutter. Desarrollado por Ramanujammv, Edge-Veda permite ejecutar modelos de texto, visión y voz de forma sostenible, sin depender de la nube y priorizando la privacidad. El proyecto, con aproximadamente 22.700 líneas de código, aborda desafíos comunes como el estrangulamiento térmico, los picos de memoria y la inestabilidad en sesiones prolongadas, problemas que dificultan el desarrollo y la depuración de aplicaciones de IA en dispositivos reales. Edge-Veda se distingue por su capacidad de adaptación a las limitaciones del hardware (batería, memoria, temperatura), su observabilidad para facilitar la depuración y su diseño para un rendimiento consistente a lo largo del tiempo, incluyendo soporte para modelos Llama 3 y Whisper. La arquitectura incluye componentes como trabajadores persistentes, un programador central y un sistema de seguimiento de rendimiento, todo ello optimizado para un funcionamiento estable y eficiente en una variedad de dispositivos iPhone, con un enfoque en la gestión de recursos y la degradación controlada en lugar del fallo abrupto.
Noticias agregadas con IA