Un ingeniero de Workshop Labs, Addie Foote, relata los desafíos encontrados al intentar entrenar y servir modelos de lenguaje grandes con pesos abiertos, específicamente el modelo Kimi-K2-Thinking de Moonshot AI. El objetivo era post-entrenar el modelo, que cuenta con 1 billón de parámetros y está cuantizado a 4 bits, utilizando código de código abierto. Foote descubrió que las herramientas disponibles, como LLaMA-Factory y Hugging Face Transformers, presentaban errores y limitaciones significativas, especialmente al escalar para modelos tan grandes. El proceso de carga y compresión del modelo resultó ser extremadamente lento, indicando problemas de eficiencia en la infraestructura de código abierto. La experiencia destaca la complejidad de trabajar con modelos de lenguaje de vanguardia y la necesidad de desarrollar código personalizado para superar las limitaciones de las herramientas existentes, incluso cuando se utilizan bibliotecas populares como PyTorch y Hugging Face. El incidente subraya que, a pesar de la disponibilidad de modelos con pesos abiertos, la infraestructura necesaria para entrenarlos y utilizarlos de manera eficiente aún presenta desafíos considerables.
Noticias agregadas con IA