Molten es un motor de inferencia nativo escrito en Rust y Metal que permite ejecutar el modelo de razonamiento y codificación LFM2.5-24B-A2B de LiquidAI en Macs con Apple Silicon. A diferencia de las soluciones basadas en Python o C++, Molten se distribuye como un único binario de aproximadamente 6 MB que no requiere tiempos de ejecución externos, lo que garantiza un rendimiento óptimo y una menor huella de memoria. La herramienta alcanza velocidades de decodificación superiores a 300 tokens por segundo (tok/s) en un Mac M5 Max, superando a los benchmarks de llama.cpp y mlx-lm en contextos de hasta 128K tokens. Su arquitectura está diseñada para maximizar el uso de la GPU mediante la fusión de kernels específicos para formas fijas y un bucle de decodificación que mantiene la GPU ocupada casi continuamente, evitando la transferencia de datos a la CPU. El proyecto incluye una interfaz de línea de comandos, un chat interactivo y un servidor compatible con la API de OpenAI, ofreciendo salida de razonamiento y llamadas a herramientas. En términos de precisión, Molten reproduce los resultados de mlx-lm token por token, validándose en los benchmarks MATH-500 e IFEval. El desarrollo de este motor fue realizado mediante un bucle de auto-mejora recursivo utilizando agentes de codificación de IA, lo que permitió alcanzar el rendimiento actual en menos de seis días. La herramienta requiere macOS 26 o superior y al menos 24 GB de RAM, y está disponible para descarga inmediata desde su repositorio público.
Noticias agregadas con IA