本文目录
TaoMate-HD 是阿里巴巴 TaoLive AIGC 团队发布的渐进分辨率自回归音视频生成方法：语音与高分辨率视频按小块一起生成，每一块先在粗网格上搭结构，再在输出分辨率上细化，音频沿同一轨迹生成。项目页与 GitHub README 将推理代码和 preview LoRA 的首发标在 2026-11-03。论文 *TaoMate-HD: Progressive-Resolution Autoregressive Audio-Video Generation* 挂在 arXiv 2611.03394，citation／online date 为 2026-11-02。两个日期差一天，都不是「今晚刚发」的快讯写法。
下面按公开材料把几件事说清楚：长序列生成和实时直播不是一回事；八张 H20 上的生成 FPS 与输出 24 FPS 不是一回事；基座 MiniMax H3 FL2VA 与 preview LoRA 怎么配套；MiniMax H3 Community License 的边界怎么分层。这是技术解释，不是产品评测，也不是官方演示复测。
「一小时」指什么，不指什么
README 的长序列条目写：可用新 prompt 继续一条序列而不重置 stage-local history，并写明 The paper demonstrates hour-long streams. 项目页长序列演示文案是 Four scenes / One hour each，以及 60:00 ONE CONTINUOUS GENERATION。论文摘要同样写模型支持 hour-long audiovisual generation。
人话版：这是在说能把自回归 rollout 接着往下跑，让一段连续音视频做到约一小时长度。它不是实时直播吞吐保证，也不是直播 SaaS 评测结论。官方演示 UI 与视频在项目页上；下面依据论文、README 表格和页面静态文案。
若要在同一大类「数字人／整场戏视频」里对照商用产品，可看 DigIntoAI 的 HeyGen 不只做数字人了，新视频模型能从描述生成整场戏。TaoMate-HD 这边是搭在 MiniMax H3 上的研究型渐进流式音视频，不是那个商业产品。
方法一句话
按 README：
- 三步渐进生成。 先在 480p 做两次评估定粗结构，再在 768p 做一次补空间细节；coupled-noise lift 改视频网格时，音频走同一条轨迹。
- 连续语音与运动。 每个去噪阶段把自己的干净音视频预测留作下一块同阶段的历史；初始视频锚点加上最近两块 AV，跨 prompt 变化带上下文。
- 可选流水线加速。 LOW0、LOW16、HIGH 与 decoding 可在八卡上并发。serial 与 pipelined 共用同一推理 adapter 与 prompt 格式。
Continuation training 用模型自己的渐进 rollout。以上只转述公开 README。
八张 H20 上的官方数字
README Comparison 表在 100 条 1–10 分钟序列上评质量。对 TaoMate-HD，它还给出 timing 定义：从 prepared input 到 decoded video and audio，在八张 H20 GPU 上：
| 模式 | GPU | FPS（吞吐） | CER (%) |
|---|---|---|---|
| TaoMate-HD (serial) | 8 | 4.68 | 19.57 |
| TaoMate-HD (accelerated) | 8 | 8.99 | 21.28 |
同一 README 写明：10 秒示例在 八张 H20 96 GB 上跑过 serial／accelerated，输出 768 × 1376、24 FPS 视频、32 kHz 立体声。论文评估侧写 rank-128 LoRA、自建蒸馏对、从 MiniMax-H3 FL2VA 出发、输出 768×1376@24 FPS／32 kHz stereo——与上述输出规格一致处可对齐理解。
在 matched BF16/SDPA 下，README 还写：渐进相对直接 768p 约 1.60×；优化部署相对 serial Progressive 再约 1.92×（stage overlap、LOW-stage fusion、KV reuse、selective W8A8、attention kernels、codec scheduling）。Continuation training 称把 CER 从 30.75% 降到 19.57%（降 11.18 个百分点）。这些都按厂商／论文给定条件阅读。
生成 FPS ≠ 播放 24 FPS
两个数字别搅在一起：
- 生成／吞吐 FPS（serial 4.68、accelerated 8.99）：官方在 8×H20、上述 timing 路径下报告的速度。
- 输出视频帧率 24 FPS：文档示例设置里解码视频文件的帧率，并配 32 kHz 立体声。
机器报出约 9 的生成 FPS，并不等于在「以 24 FPS 播放或直播」。反过来，24 FPS 成片也不等于任何设置下墙钟每秒都吐出 24 帧新内容。
不要拿 8.99（或 4.68）去推「任意分辨率、任意 prompt、任意机器上，一小时片子端到端只要 X 分钟」。墙钟取决于模式、硬件、编解码、prompt 窗口，以及是否按 README 同一段 prepared input→decoded AV 来量。公开材料没有给出覆盖所有设置的单一端到端时长。
基座与 preview LoRA
文档要求推理同时具备：
- 基座： MiniMax H3 FL2VA；Hugging Face
MiniMaxAI/MiniMax-H3，下载含model_index.json与FL2VA/*。 - Preview LoRA：
TaoLiveAIGC/TaoMate-HD-preview；config.json（LoRA rank／alpha）与adapter_model.safetensors。
HF preview 卡写明：这是 MiniMax H3 FL2VA 的推理 LoRA，支持八卡 serial／accelerated；Alibaba TaoLive AIGC Team 开发，Powered by MiniMax H3。README 提醒需要鉴权的仓库要先 hf auth login——以当日 Hugging Face 显示为准。论文提到 rank-128 LoRA；preview 实装的 rank／alpha 看卡上的 config.json。
README 里的命令示例（八卡、--mode serial／accelerated、--resolution 768x1376 等）只作文档引用，不是已完成的本地步骤。
许可分层（以英文 LICENSE 原文为准）
TaoMate-HD 发行遵循 MiniMax H3 Community License Agreement（仓库 LICENSE；License date August 2, 2026）。README 还指向 NOTICE 做署名说明，并写明基座的使用与再分发仍适用 upstream 条款。下面只作导航式转述：不是法律意见，也不等于「无限制商用」。
协议里的 MiniMax。 LICENSE 定义 We／Us／MiniMax＝Nanonoble Pte. Ltd.
地域。 Applicable Territory＝worldwide，排除 Excluded Territories。Excluded Territories 原句含：the European Union, the United Kingdom, the Republic of Korea and the United States of America. 另有条款：不得在 Applicable Territory 之外 use／reproduce／modify／distribute／display MiniMax H3 Works 或其 Outputs／results；此类使用未经本协议授权。具体法域是否落入，以律师意见与当日 LICENSE 为准。
年收入门槛。 若 your commercial products and services 的 yearly revenue 超过 2000 万美元（或等值），须另取得 MiniMax 事前书面授权，邮件 api@minimax.io，主题 “MiniMax H3 licensing - authorization request”。条款写的是商业产品／服务年收入，不是自创的「单次合同额」。LICENSE 未在该条之外另给会计公式。
UI 署名。 使用 MiniMax H3 或 MiniMax H3 Works 的商业产品／服务，须在用户界面显著展示 “MiniMax H3”。（原文 “H3” 与 on 之间无空格；要展示的字符串仍是 “MiniMax H3”。）
分层（别混成「整包随便商用」）：
| 层 | 覆盖 | 公开材料信号 |
|---|---|---|
| MiniMax H3 基座权重／MiniMax H3 Works | FL2VA 等 | MiniMax H3 Community License（地域、AUP、>$20M 授权、UI 署名等） |
| TaoMate-HD 推理改动 | adapter／推理改装 | NOTICE：Alibaba TaoLive AIGC Team, 2026；发行仍 follow H3 Community License，upstream H3 继续适用 |
| MiniMax H3 内 encoder | Qwen3-VL-32B | Apache 2.0（H3 材料中的独立 LICENSE 指针） |
| 其他依赖／编解码／库 | PyTorch、Diffusers、vLLM 修订、FlashAttention 等 | 各自上游许可；勿假定与 H3 同款 |
NOTICE 还写明 upstream 模型与编解码组件的 Apache-2.0 声明仍适用于那些组件。Community License 附带的 Acceptable Use Policy 列有多项禁止（含 Applicable Territory 外使用）；请读当日 Exhibit，勿把上文当完整清单。
阅读边界
- DigIntoAI 一小时生成计时、4.68／8.99 FPS 实测或 CER 评分。
- 依据项目页演示视频作出的质量判断。
- 把 8.99 FPS 当作任意设置下一小时成片的统一墙钟。
- 把整包当成 MIT／Apache，或写成商用无限制。
- DigIntoAI 下载 MiniMax H3 或 TaoMate-HD-preview 权重。
一手材料从 TaoMate-HD 项目页、arXiv 2611.03394、GitHub README／LICENSE／NOTICE、TaoMate-HD-preview、MiniMax-H3 入手；任何商用计划前请再读英文 LICENSE 原文。