本文目錄
阿里淘寶 MNN 團隊開源的 MNN-Pocket-0.3B，是一款約 300M 參數的中英文指令模型，面向手機應用內的小型語言任務。MNN GitHub News 在 2026 年 11 月 4 日公布了 32K 上下文、約 173MB 的 INT4 部署包和 Apache 2.0 許可。它值得關注的方向，是把有限的語言處理留在端側，而不是替代雲端大模型。
模型卡列出的用途包括端側助手、資料抽取和輕量 agent 流水線，同時明確不推薦重推理與長程程式碼生成。離線手機應用的起點，因此更適合是範圍窄、結果能校驗的小任務，而非無所不包的聊天助手。
哪些離線任務值得嘗試
應用內的有限指令助手。 例如把中文或英文請求歸到少數幾個意圖：查找已儲存的筆記、打開已知頁面，或根據本地文本準備一段短回覆。這些是任務設計示例，不是下載權重後就附帶的成品功能。介面、可用操作、本地資料存取與執行條件，仍由應用提供；模型生成操作名稱，也不等於應用已經安全執行了操作。
從文本中抽取少量欄位。 筆記、訊息裡的日期、分類或指定項目，可以作為評估對象，前提是輸入已經是文本。缺欄位、日期含糊、輸出格式錯誤，都需要應用接住。固定格式有時用普通解析規則更簡單；表達方式多變、輸出結構又很小的任務，才更值得比較模型方案。
輕量 agent 的一個環節。 分類、短文本改寫、從允許的選項中選擇下一步，都可以作為測試起點。模型不必負責整個開放式流程。限制可選操作、逐步校驗結果，更接近模型卡的用途定位；這些例子並不代表已經測出了任務成功率。
離線還取決於整條流程。模型檔案與 MNN runtime 就緒後，推理可以在本機完成；若後續呼叫線上搜尋或遠端服務，整條任務仍不算完全離線。本地推理本身也不等於應用自動具有隱私保障，網路通訊、日誌、權限和資料儲存方式仍需分別設計。
哪些任務不在推薦範圍
Hugging Face 模型卡明確不推薦高等數學等重推理任務，以及長程程式碼生成。短指令、欄位抽取與長鏈推理、跨倉庫改程式碼、自主連續呼叫工具，出錯後影響的範圍並不相同。這款小模型的發佈，不構成端側能力全面替代雲端大模型的依據。
32K 上下文表示支援的輸入容量，不保證對視窗內所有內容都能準確理解。架構表另列 40,960 positions，並註明部署支援 32K；面向實際接入時，後者才是公開的部署口徑。更長的視窗並不直接等於更強的推理，也不保證每部手機都能以同樣資源跑滿。
官方目前只聲明 Chinese、English，即中文和英文。日文及其他語言不在這份支援聲明內。多語混合抽取、日文問答，不能僅憑模型可下載就視為已支援；任務評估既要匹配用途，也要匹配語言。
173MB 是部署檔案，不是總記憶體
手機部署對應 MNN-Pocket-0.3B-MNN，採用 INT4 W4A16 QAT，即量化感知訓練，權重為 4 位、激活值為 16 位。倉庫中 llm.mnn.weight 約 171MB，加上模型圖、分詞器、設定等檔案，部署包合計約 173MB。
這個數字是部署檔案體積，不是執行時總記憶體或峰值 RAM。執行時還涉及推理框架、中間緩衝區，以及隨上下文變化的 KV cache；應用自身和其他功能也會佔用記憶體。儲存空間放得下模型包，並不自動回答完整助手需要多少記憶體。
檔案小也不能直接說明續航、持續發熱或首字等待時間。對於這款模型在應用裡的真機表現，我們暫時還沒有進行測試；這裡引用的是發佈方 GitHub 公告與 Hugging Face 模型卡資料，而非 DigIntoAI 跑數。實際部署體驗可透過網站底部的站長聯絡方式回饋。
tok/s 很高，但要連著條件看
11 月 4 日的 GitHub News稱，iPhone 18 Pro 解碼約 350 tok/s。Hugging Face 速度表則採用 INT4、512-token context 條件：iPad Pro M5 的 Metal 解碼 466 tok/s、CPU 231；Snapdragon 8 Gen 5 的 OpenCL 為 138、CPU 為 251。
這些都是廠商自報，不是所有手機都能重現的統一速度。表中 Snapdragon 的 CPU 數值還高於 OpenCL，說明 GPU 後端不必然更快。iPhone 數值來自 GitHub 公告，iPad 與 Snapdragon 來自模型卡表格，各自的出處與條件不能省略。
解碼吞吐是處理輸入後生成 token 的速度，不等於首 token 延遲、完整請求耗時，更不等於整條 agent 流程的速度。輸入長度、後端、裝置狀態與接入方式都會影響體驗；短回覆快，也不能直接推出長時間執行時仍然一樣快。
能力方面，廠商在包含 Gemma-3-270M 等小模型的對比中，自報中英 11 項基準均分 50.00，INT4 為 49.59。這只是廠商評測的概括，不是 DigIntoAI 複測，也不是某個抽取任務的準確率保證。實際應用仍要看錯誤是否可檢測、可處理。
從哪裡取得，接入還缺什麼
三個官方入口各有用途：Alibaba MNN GitHub 倉庫提供發佈公告與 runtime 項目；MNN-Pocket-0.3B 的 Hugging Face 模型卡說明指令模型、架構、用途與評測；MNN-Pocket-0.3B-MNN 倉庫提供手機部署檔案。家族還列有 Base、SFT、指令主模、GGUF、MNN、Dec 等變體，這裡的部署路徑以 MNN INT4 包為主。
部署卡面向使用 MNN runtime 的 Android、iOS、HarmonyOS 與邊緣裝置。取得權重不等於已經擁有手機助手：仍需相容的 runtime 接入、配套設定與分詞器、輸入輸出介面，以及錯誤結果的處理。Apache 2.0回答再利用的許可條件，不會自動補齊這些應用元件。
初步評估可以從代表性的中英文短輸入、預期輸出與失敗樣例開始。欄位抽取檢查漏項和編造值；操作選擇設定允許列表，並在重要操作前加入確認。相比只挑最高 tok/s 或最小下載包，用目標裝置和實際輸入長度測試更有參考價值。
相關本地模型閱讀
Cline Desktop 支援透過 Ollama／LM Studio 安裝本機模型講的是桌面應用接入本機模型的通道，不是 MNN 手機整合。Deep Principle 基於 GLM-5.3 開放 Hydrogen-1.0，權重許可不等於拿來就能跑與Atria Dawn 正式版權重開放：Hugging Face 上的 512K 上下文屬於不同體量和部署要求的開放權重案例。OpenBMB 開源 MiniCPM-OCR：解析加結果校驗套件處理文件辨識；OCR 與指令模型處理已抽出的文本，是不同環節。
MNN-Pocket-0.3B 更合適的落點，是本地應用裡可校驗的小型中英文任務。緊湊的部署檔案和公開的解碼速度值得評估，但執行記憶體、其他語言支援與完整助手的可靠性，仍需單獨回答。