本文目錄
TaoMate-HD 是阿里巴巴 TaoLive AIGC 團隊釋出的漸進解析度自迴歸音影片生成方法：語音與高解析度影片按小塊一起生成，每一塊先在粗網格上搭結構，再在輸出解析度上細化，音訊沿同一軌跡生成。專案頁與 GitHub README 將推理程式碼和 preview LoRA 的首發標在 2026-11-03。論文 *TaoMate-HD: Progressive-Resolution Autoregressive Audio-Video Generation* 掛在 arXiv 2611.03394，citation／online date 為 2026-11-02。兩個日期差一天，都不是「今晚剛發」的快訊寫法。
下面按公開材料把幾件事說清楚：長序列生成和實時直播不是一回事；八張 H20 上的生成 FPS 與輸出 24 FPS 不是一回事；基座 MiniMax H3 FL2VA 與 preview LoRA 怎麼配套；MiniMax H3 Community License 的邊界怎麼分層。這是技術解釋，不是產品評測，也不是官方演示複測。
「一小時」指什麼，不指什麼
README 的長序列條目寫：可用新 prompt 繼續一條序列而不重置 stage-local history，並寫明 The paper demonstrates hour-long streams. 專案頁長序列演示文案是 Four scenes / One hour each，以及 60:00 ONE CONTINUOUS GENERATION。論文摘要同樣寫模型支援 hour-long audiovisual generation。
人話版：這是在說能把自迴歸 rollout 接著往下跑，讓一段連續音影片做到約一小時長度。它不是實時直播吞吐保證，也不是直播 SaaS 評測結論。官方演示 UI 與影片在專案頁上；下面依據論文、README 表格和頁面靜態文案。
若要在同一大類「數字人／整場戲影片」裡對照商用產品，可看 DigIntoAI 的 HeyGen 不只做數位人了，新影片模型能從描述生成整場戲。TaoMate-HD 這邊是搭在 MiniMax H3 上的研究型漸進流式音影片，不是那個商業產品。
方法一句話
按 README：
- 三步漸進生成。 先在 480p 做兩次評估定粗結構，再在 768p 做一次補空間細節；coupled-noise lift 改影片網格時，音訊走同一條軌跡。
- 連續語音與運動。 每個去噪階段把自己的乾淨音影片預測留作下一塊同階段的歷史；初始影片錨點加上最近兩塊 AV，跨 prompt 變化帶上下文。
- 可選流水線加速。 LOW0、LOW16、HIGH 與 decoding 可在八卡上併發。serial 與 pipelined 共用同一推理 adapter 與 prompt 格式。
Continuation training 用模型自己的漸進 rollout。以上只轉述公開 README。
八張 H20 上的官方數字
README Comparison 表在 100 條 1–10 分鐘序列上評質量。對 TaoMate-HD，它還給出 timing 定義：從 prepared input 到 decoded video and audio，在八張 H20 GPU 上：
| 模式 | GPU | FPS（吞吐） | CER (%) |
|---|---|---|---|
| TaoMate-HD (serial) | 8 | 4.68 | 19.57 |
| TaoMate-HD (accelerated) | 8 | 8.99 | 21.28 |
同一 README 寫明：10 秒示例在 八張 H20 96 GB 上跑過 serial／accelerated，輸出 768 × 1376、24 FPS 影片、32 kHz 立體聲。論文評估側寫 rank-128 LoRA、自建蒸餾對、從 MiniMax-H3 FL2VA 出發、輸出 768×1376@24 FPS／32 kHz stereo——與上述輸出規格一致處可對齊理解。
在 matched BF16/SDPA 下，README 還寫：漸進相對直接 768p 約 1.60×；最佳化部署相對 serial Progressive 再約 1.92×（stage overlap、LOW-stage fusion、KV reuse、selective W8A8、attention kernels、codec scheduling）。Continuation training 稱把 CER 從 30.75% 降到 19.57%（降 11.18 個百分點）。這些都按廠商／論文給定條件閱讀。
生成 FPS ≠ 播放 24 FPS
兩個數字別攪在一起：
- 生成／吞吐 FPS（serial 4.68、accelerated 8.99）：官方在 8×H20、上述 timing 路徑下報告的速度。
- 輸出影片幀率 24 FPS：文件示例設定裡解碼影片檔案的幀率，並配 32 kHz 立體聲。
機器報出約 9 的生成 FPS，並不等於在「以 24 FPS 播放或直播」。反過來，24 FPS 成片也不等於任何設定下牆鍾每秒都吐出 24 幀新內容。
不要拿 8.99（或 4.68）去推「任意解析度、任意 prompt、任意機器上，一小時片子端到端只要 X 分鐘」。牆鍾取決於模式、硬體、編解碼、prompt 視窗，以及是否按 README 同一段 prepared input→decoded AV 來量。公開材料沒有給出覆蓋所有設定的單一端到端時長。
基座與 preview LoRA
文件要求推理同時具備：
- 基座： MiniMax H3 FL2VA；Hugging Face
MiniMaxAI/MiniMax-H3，下載含model_index.json與FL2VA/*。 - Preview LoRA：
TaoLiveAIGC/TaoMate-HD-preview；config.json（LoRA rank／alpha）與adapter_model.safetensors。
HF preview 卡寫明：這是 MiniMax H3 FL2VA 的推理 LoRA，支援八卡 serial／accelerated；Alibaba TaoLive AIGC Team 開發，Powered by MiniMax H3。README 提醒需要鑑權的倉庫要先 hf auth login——以當日 Hugging Face 顯示為準。論文提到 rank-128 LoRA；preview 實裝的 rank／alpha 看卡上的 config.json。
README 裡的命令示例（八卡、--mode serial／accelerated、--resolution 768x1376 等）只作文件引用，不是已完成的本地步驟。
許可分層（以英文 LICENSE 原文為準）
TaoMate-HD 發行遵循 MiniMax H3 Community License Agreement（倉庫 LICENSE；License date August 2, 2026）。README 還指向 NOTICE 做署名說明，並寫明基座的使用與再分發仍適用 upstream 條款。下面只作導航式轉述：不是法律意見，也不等於「無限制商用」。
協議裡的 MiniMax。 LICENSE 定義 We／Us／MiniMax＝Nanonoble Pte. Ltd.
地域。 Applicable Territory＝worldwide，排除 Excluded Territories。Excluded Territories 原句含：the European Union, the United Kingdom, the Republic of Korea and the United States of America. 另有條款：不得在 Applicable Territory 之外 use／reproduce／modify／distribute／display MiniMax H3 Works 或其 Outputs／results；此類使用未經本協議授權。具體法域是否落入，以律師意見與當日 LICENSE 為準。
年收入門檻。 若 your commercial products and services 的 yearly revenue 超過 2000 萬美元（或等值），須另取得 MiniMax 事前書面授權，郵件 api@minimax.io，主題 “MiniMax H3 licensing - authorization request”。條款寫的是商業產品／服務年收入，不是自創的「單次合同額」。LICENSE 未在該條之外另給會計公式。
UI 署名。 使用 MiniMax H3 或 MiniMax H3 Works 的商業產品／服務，須在使用者介面顯著展示 “MiniMax H3”。（原文 “H3” 與 on 之間無空格；要展示的字串仍是 “MiniMax H3”。）
分層（別混成「整包隨便商用」）：
| 層 | 覆蓋 | 公開材料訊號 |
|---|---|---|
| MiniMax H3 基座權重／MiniMax H3 Works | FL2VA 等 | MiniMax H3 Community License（地域、AUP、>$20M 授權、UI 署名等） |
| TaoMate-HD 推理改動 | adapter／推理改裝 | NOTICE：Alibaba TaoLive AIGC Team, 2026；發行仍 follow H3 Community License，upstream H3 繼續適用 |
| MiniMax H3 內 encoder | Qwen3-VL-32B | Apache 2.0（H3 材料中的獨立 LICENSE 指標） |
| 其他依賴／編解碼／庫 | PyTorch、Diffusers、vLLM 修訂、FlashAttention 等 | 各自上游許可；勿假定與 H3 同款 |
NOTICE 還寫明 upstream 模型與編解碼元件的 Apache-2.0 宣告仍適用於那些元件。Community License 附帶的 Acceptable Use Policy 列有多項禁止（含 Applicable Territory 外使用）；請讀當日 Exhibit，勿把上文當完整清單。
閱讀邊界
- DigIntoAI 一小時生成計時、4.68／8.99 FPS 實測或 CER 評分。
- 依據專案頁演示影片作出的質量判斷。
- 把 8.99 FPS 當作任意設定下一小時成片的統一牆鍾。
- 把整包當成 MIT／Apache，或寫成商用無限制。
- DigIntoAI 下載 MiniMax H3 或 TaoMate-HD-preview 權重。
一手材料從 TaoMate-HD 專案頁、arXiv 2611.03394、GitHub README／LICENSE／NOTICE、TaoMate-HD-preview、MiniMax-H3 入手；任何商用計劃前請再讀英文 LICENSE 原文。