Un equipo de desarrolladores ha presentado Gemma LLM, un modelo de lenguaje capaz de generar diagramas directamente en el navegador Chrome utilizando WebGPU. La demostración, disponible para Chrome versión 134 o superior, permite a los usuarios describir un diagrama y que Gemma lo cree como un dibujo de Excalidraw, todo dentro del navegador. En lugar de generar el extenso código JSON de Excalidraw (aproximadamente 5.000 tokens), Gemma produce un código mucho más compacto (alrededor de 50 tokens). Para optimizar el uso de la memoria de la GPU, se ha implementado el algoritmo TurboQuant, que comprime la caché KV en un factor de aproximadamente 2,4x. El sistema requiere WebGPU y al menos 3 GB de RAM, lo que excluye inicialmente el soporte para Safari/iOS y navegadores móviles con menos recursos. Un paquete npm llamado turboquant-wasm implementa el mismo algoritmo TurboQuant para búsqueda vectorial en CPU.
Noticias agregadas con IA