Microsoft ha lanzado BitNet, un framework de código abierto diseñado para ejecutar modelos de lenguaje de 1 bit (LLM) de manera eficiente en CPUs y GPUs. Esta tecnología permite ejecutar modelos de lenguaje grandes, como un modelo de 100 mil millones de parámetros, en una sola CPU, alcanzando velocidades comparables a la lectura humana (5-7 tokens por segundo). BitNet.cpp, el framework de inferencia oficial, ofrece optimizaciones que resultan en aumentos de velocidad de entre 1.37x y 6.17x en CPUs (ARM y x86), junto con reducciones significativas en el consumo de energía (entre 55.4% y 82.2%). Las optimizaciones más recientes introducen implementaciones de kernel paralelas y soporte para cuantización de embeddings, mejorando aún más el rendimiento. El proyecto se basa en el framework llama.cpp y utiliza metodologías de Lookup Table inspiradas en T-MAC. Microsoft espera que BitNet impulse el desarrollo de LLMs de 1 bit a mayor escala, facilitando su despliegue en dispositivos locales y borde.
Noticias agregadas con IA