MiniCPM-V 4.7: el primer modelo MoE de código abierto para inferencia local

OpenBMB ha lanzado MiniCPM-V 4.7, un modelo de lenguaje multimodal de 35B-A3B que representa el primer modelo MoE (Mixture of Experts) de código abierto con capacidades de inferencia sin pérdida en dispositivos locales. Esta actualización destaca por su eficiencia, logrando una velocidad de decodificación de más de 13 tokens por segundo con solo 3 GB de memoria en un iPhone 17 Pro Max, gracias a la técnica de programación de expertos anticipados (LES) y la cuantización fina. El modelo mejora la frontera de Pareto entre rendimiento y eficiencia, superando a Qwen3.6 35B-A3B en tiempo de inferencia en modo instructivo. Arquitectónicamente, MiniCPM-V 4.7 incorpora compresión temprana de tokens visuales basada en LLaVA-UHD v4, permitiendo una mayor densidad de capacidades en dispositivos con recursos limitados. Su arquitectura es compatible con iOS, Android, HarmonyOS y plataformas de chips de Rockchip, Intel, AMD y Arm. Para los desarrolladores, el modelo ofrece soporte para frameworks de inferencia como vLLM, SGLang, llama.cpp y Ollama, así como para frameworks de ajuste fino como SWIFT y LLaMA-Factory. Además, incluye variantes cuantizadas (GGUF, BNB, AWQ, GPTQ) y soporte para cuantización FP8, facilitando su integración en aplicaciones móviles y de computación local.