本文目录
阿里淘宝 MNN 团队开源的 MNN-Pocket-0.3B，是一款约 300M 参数的中英文指令模型，面向手机应用内的小型语言任务。MNN GitHub News 在 2026 年 11 月 4 日公布了 32K 上下文、约 173MB 的 INT4 部署包和 Apache 2.0 许可。它值得关注的方向，是把有限的语言处理留在端侧，而不是替代云端大模型。
模型卡列出的用途包括端侧助手、数据抽取和轻量 agent 流水线，同时明确不推荐重推理与长程代码生成。离线手机应用的起点，因此更适合是范围窄、结果能校验的小任务，而非无所不包的聊天助手。
哪些离线任务值得尝试
应用内的有限指令助手。 例如把中文或英文请求归到少数几个意图：查找已保存的笔记、打开已知页面，或根据本地文本准备一段短回复。这些是任务设计示例，不是下载权重后就附带的成品功能。界面、可用操作、本地数据访问与执行条件，仍由应用提供；模型生成操作名称，也不等于应用已经安全执行了操作。
从文本中抽取少量字段。 笔记、消息里的日期、分类或指定项目，可以作为评估对象，前提是输入已经是文本。缺字段、日期含糊、输出格式错误，都需要应用接住。固定格式有时用普通解析规则更简单；表达方式多变、输出结构又很小的任务，才更值得比较模型方案。
轻量 agent 的一个环节。 分类、短文本改写、从允许的选项中选择下一步，都可以作为测试起点。模型不必负责整个开放式流程。限制可选操作、逐步校验结果，更接近模型卡的用途定位；这些例子并不代表已经测出了任务成功率。
离线还取决于整条流程。模型文件与 MNN runtime 就绪后，推理可以在本机完成；若后续调用在线搜索或远程服务，整条任务仍不算完全离线。本地推理本身也不等于应用自动具有隐私保障，网络通信、日志、权限和数据保存方式仍需分别设计。
哪些任务不在推荐范围
Hugging Face 模型卡明确不推荐高等数学等重推理任务，以及长程代码生成。短指令、字段抽取与长链推理、跨仓库改代码、自主连续调用工具，出错后影响的范围并不相同。这款小模型的发布，不构成端侧能力全面替代云端大模型的依据。
32K 上下文表示支持的输入容量，不保证对窗口内所有内容都能准确理解。架构表另列 40,960 positions，并注明部署支持 32K；面向实际接入时，后者才是公开的部署口径。更长的窗口并不直接等于更强的推理，也不保证每部手机都能以同样资源跑满。
官方目前只声明 Chinese、English，即中文和英文。日文及其他语言不在这份支持声明内。多语混合抽取、日文问答，不能仅凭模型可下载就视为已支持；任务评估既要匹配用途，也要匹配语言。
173MB 是部署文件，不是总内存
手机部署对应 MNN-Pocket-0.3B-MNN，采用 INT4 W4A16 QAT，即量化感知训练，权重为 4 位、激活为 16 位。仓库中 llm.mnn.weight 约 171MB，加上模型图、分词器、配置等文件，部署包合计约 173MB。
这个数字是部署文件体积，不是运行时总内存或峰值 RAM。运行时还涉及推理框架、中间缓冲区，以及随上下文变化的 KV cache；应用自身和其他功能也会占用内存。存储空间放得下模型包，并不自动回答完整助手需要多少内存。
文件小也不能直接说明续航、持续发热或首字等待时间。对于这款模型在应用里的真机表现，我们暂时还没有进行测试；这里引用的是发布方 GitHub 公告与 Hugging Face 模型卡数据，而非 DigIntoAI 跑数。实际部署体验可通过网站底部的站长联系方式反馈。
tok/s 很高，但要连着条件看
11 月 4 日的 GitHub News称，iPhone 18 Pro 解码约 350 tok/s。Hugging Face 速度表则采用 INT4、512-token context 条件：iPad Pro M5 的 Metal 解码 466 tok/s、CPU 231；Snapdragon 8 Gen 5 的 OpenCL 为 138、CPU 为 251。
这些都是厂商自报，不是所有手机都能复现的统一速度。表中 Snapdragon 的 CPU 数值还高于 OpenCL，说明 GPU 后端不必然更快。iPhone 数值来自 GitHub 公告，iPad 与 Snapdragon 来自模型卡表格，各自的出处与条件不能省略。
解码吞吐是处理输入后生成 token 的速度，不等于首 token 延迟、完整请求耗时，更不等于整条 agent 流程的速度。输入长度、后端、设备状态与接入方式都会影响体验；短回复快，也不能直接推出长时间运行时仍然一样快。
能力方面，厂商在包含 Gemma-3-270M 等小模型的对比中，自报中英 11 项基准均分 50.00，INT4 为 49.59。这只是厂商评测的概括，不是 DigIntoAI 复测，也不是某个抽取任务的准确率保证。实际应用仍要看错误是否可检测、可处理。
从哪里取得，接入还缺什么
三个官方入口各有用途：Alibaba MNN GitHub 仓库提供发布公告与 runtime 项目；MNN-Pocket-0.3B 的 Hugging Face 模型卡说明指令模型、架构、用途与评测；MNN-Pocket-0.3B-MNN 仓库提供手机部署文件。家族还列有 Base、SFT、指令主模、GGUF、MNN、Dec 等变体，这里的部署路径以 MNN INT4 包为主。
部署卡面向使用 MNN runtime 的 Android、iOS、HarmonyOS 与边缘设备。取得权重不等于已经拥有手机助手：仍需兼容的 runtime 接入、配套配置与分词器、输入输出界面，以及错误结果的处理。Apache 2.0回答再利用的许可条件，不会自动补齐这些应用组件。
初步评估可以从代表性的中英文短输入、预期输出与失败样例开始。字段抽取检查漏项和编造值；操作选择设置允许列表，并在重要操作前加入确认。相比只挑最高 tok/s 或最小下载包，用目标设备和实际输入长度测试更有参考价值。
相关本地模型阅读
Cline Desktop 支持通过 Ollama／LM Studio 安装本机模型讲的是桌面应用接入本机模型的通道，不是 MNN 手机集成。Deep Principle 基于 GLM-5.3 开放 Hydrogen-1.0，权重许可不等于拿来就能跑与Atria Dawn 正式版权重开放：Hugging Face 上的 512K 上下文属于不同体量和部署要求的开放权重案例。OpenBMB 开源 MiniCPM-OCR：解析加结果校验套件处理文档识别；OCR 与指令模型处理已抽出的文本，是不同环节。
MNN-Pocket-0.3B 更合适的落点，是本地应用里可校验的小型中英文任务。紧凑的部署文件和公开的解码速度值得评估，但运行内存、其他语言支持与完整助手的可靠性，仍需单独回答。