Una nueva generación de modelos de inteligencia artificial, denominados 'Bonsai', está prometiendo importantes avances en eficiencia. Desarrollados por PrismML, estos modelos de 1 bit representan una innovación significativa al requerir una fracción de la memoria y consumir menos energía que los modelos tradicionales de precisión completa. El modelo Bonsai 8B, el primero comercialmente viable con pesos de 1 bit, necesita solo 1.15GB de memoria, es ocho veces más rápido y cinco veces más eficiente energéticamente, manteniendo un rendimiento competitivo con modelos de 8B convencionales. Modelos más pequeños, como Bonsai 4B (0.57GB) y Bonsai 1.7B (0.24GB), ofrecen velocidades impresionantes, alcanzando hasta 130 tokens por segundo en dispositivos como un iPhone 17 Pro Max. Esta tecnología abre la puerta a aplicaciones en robótica, agentes en tiempo real y computación en el borde, donde los recursos son limitados y la eficiencia es crucial. La densidad de inteligencia de estos modelos es más de 10 veces mayor que la de los modelos tradicionales, lo que los convierte en una opción atractiva para una amplia gama de tareas.
Noticias agregadas con IA