Google ha lanzado la familia de modelos Gemma 4, que ahora puede ejecutarse localmente en dispositivos gracias a la nueva versión 0.4.0 de LM Studio. Esta actualización introduce 'llmster' y la CLI 'lms', permitiendo a los usuarios ejecutar modelos como Gemma 4 26B en sus propios ordenadores, eliminando la dependencia de APIs en la nube, sus costos asociados, preocupaciones de privacidad y latencia de red. El modelo Gemma 4 26B-A4B, con su arquitectura de 'mixture-of-experts' (MoE), destaca por su eficiencia: utiliza solo 3.8B de sus 25.2B parámetros por token, ofreciendo un rendimiento comparable a modelos mucho más grandes (hasta 400B de parámetros) con un consumo de memoria y velocidad de inferencia significativamente mejores. En una MacBook Pro M4 Pro de 48 GB, el modelo genera 51 tokens por segundo. LM Studio 0.4.0 también facilita la ejecución de modelos desde la línea de comandos, ampliando su utilidad a servidores sin interfaz gráfica y flujos de trabajo automatizados. La capacidad de ejecutar modelos de IA potentes localmente democratiza el acceso a la tecnología, permitiendo a usuarios con hardware modesto competir con las capacidades de los modelos más grandes.
Noticias agregadas con IA