PrismML, una startup fundada por investigadores del Caltech y asesorada por Ion Stoica de la UC Berkeley, ha presentado una versión de sus modelos de lenguaje pequeños (LLM) optimizada para funcionar localmente en gafas inteligentes basadas en los chips Snapdragon de Qualcomm. El anuncio se realizó el miércoles durante el Snapdragon Summit, donde la empresa mostró su modelo Bonsai de 1 bit, diseñado para ejecutarse en la plataforma Snapdragon AR1 Gen 1.
El modelo, que cuenta con 2.000 millones de parámetros, está sintonizado para tareas de visión y lenguaje, permitiendo a los usuarios consultar en tiempo real lo que están mirando. PrismML destaca por reducir el tamaño de los modelos más grandes en un factor de 4, manteniendo casi toda su rendimiento en benchmarks estándar. Esta reducción es clave para dispositivos con recursos limitados, como las gafas inteligentes, que requieren eficiencia energética y de memoria.
El objetivo estratégico de la startup es promover la inteligencia artificial de pesos abiertos que se ejecute en dispositivos locales, reduciendo la dependencia de los laboratorios de IA propietarios y sus necesidades constantes de mayor potencia de cómputo. Aunque el lanzamiento de este modelo para Qualcomm es un paso significativo hacia esa visión, la compañía no ha anunciado aún ninguna gafas inteligentes que utilicen PrismML en el mercado.