Unsloth ha lanzado Dynamic 2.0 GGUFs, una actualización significativa de su método de cuantización para modelos de lenguaje grandes (LLMs). Esta nueva versión supera a otros métodos de cuantización líderes, estableciendo nuevos puntos de referencia en pruebas MMLU y KL Divergence, lo que permite a los usuarios ejecutar y ajustar LLMs cuantizados con mayor precisión. La actualización incluye mejoras en la selección de capas, un nuevo conjunto de datos de calibración de más de 1.5 millones de tokens para mejorar el rendimiento en conversaciones, y soporte para una gama más amplia de modelos, incluyendo arquitecturas MOE. Unsloth también ha colaborado directamente con equipos detrás de modelos como Qwen3, Llama 4, Gemma y Phi-3, corrigiendo errores críticos y mejorando la precisión. Además, la empresa ha desarrollado un marco interno para replicar y verificar los resultados de benchmarks, revelando discrepancias en implementaciones previas y destacando la importancia de métricas como la divergencia KL para evaluar la precisión de la cuantización. La nueva versión está disponible en múltiples formatos (Q4_NL, Q5.1, Q5.0, Q4.1, Q4.0) optimizados para dispositivos Apple Silicon y ARM.
Noticias agregadas con IA