面壁智能(ModelBest)和 OpenBMB 社区发布了开源多模态模型 MiniCPM-V 4.7,分两个尺寸:一个是 35B 的混合专家模型 35B-A3B,一个是 1B 的小模型。两者都能看图片、文档、图表和视频,权重已经放上 Hugging Face,GGUF、FP8、AWQ、GPTQ、int4 这些量化版也都有。
值得看的是 35B 这个。它每个 token 只激活约 30 亿参数,大部分专家放在设备存储里,用到时再加载。面壁说这样大约 3GB 内存就能在 iOS 和 Android 上跑。按官方给的数字,iPhone 17 Pro Max 上每秒 13 个 token 以上,16GB 的 iPad Pro M4 上每秒 17 个以上。背后靠的是他们叫 Lookahead Expert Scheduling 的办法:提前猜下一层要用哪些专家,趁当前层还在算就先加载进来。最终选哪些专家仍由原来的路由决定,所以开不开这个机制,输出都一样。面壁说,它和逐层量化、专家连续存储一起用,让 iPad Pro 上的平均生成速度提高了约 5 倍。1B 模型在 MiniCPM-V 4.6 基础上改进,面向更便宜的入门设备。
芯片支持是发布当天就到位的。面壁列出的有 AMD、Apple、Arm、后摩智能、Intel、瑞芯微和 NVIDIA;另外通过 FlagOS 软件栈,还支持此芯科技、华为、海光、天数智芯、昆仑芯、沐曦、摩尔线程、Sunrise、平头哥和清微智能的芯片。
权重和代码都是 Apache-2.0,商用不需要另外申请许可,项目方只是请用户自愿填一份登记问卷。
