目次
TaoMate-HDは、AlibabaのTaoLive AIGCチームによるプログレッシブ解像度の自己回帰オーディオ・ビデオ生成手法です。音声と高解像度動画を小さなチャンク単位で同時に生成し、各チャンクはまず粗い映像グリッド上で組み立てられ、出力解像度で精細化されたうえで、同じ軌跡に沿って音声が生成されます。プロジェクトページとGitHub READMEは、推論コードとpreview LoRAの初回公開を2026-11-03と記しています。論文 *TaoMate-HD: Progressive-Resolution Autoregressive Audio-Video Generation* はarXiv 2611.03394で、citation/online dateは2026-11-02です。両日は1日ずれており、いずれも当日速報の題材ではありません。
公開資料が実際に述べている範囲を整理します。長尺生成とライブ配信の違い、8枚H20上のFPS数値と24 FPS出力仕様の違い、MiniMax H3 FL2VAベースとpreview LoRAの関係、MiniMax H3 Community Licenseの境界です。製品レビューではなく、デモを再現したという主張でもありません。
「1時間」が意味するもの——意味しないもの
READMEの長尺項目は、ステージ局所の履歴をリセットせず新しいプロンプトで系列を続けられること、および論文がhour-long streamsを示していることを述べます。プロジェクトページの長尺デモは「Four scenes. One hour each.」「60:00 ONE CONTINUOUS GENERATION」と表現されます。論文要約もhour-long audiovisual generationに対応すると書きます。
平たく言えば、これは自己回帰ロールアウトを継続して約1時間の連続AV系列に到達できる、という主張です。リアルタイムのライブ配信スループットの約束ではなく、SaaSライブ製品の評価でもありません。公式デモUIと動画はプロジェクトページにあり、以下は論文・README表・静的文言を根拠にします。
同じ広い「デジタルヒューマン/シーン動画」領域の商用対比には、DigIntoAIのHeyGen がアバターの先へ、説明文からシーン全体を生成する動画モデルを公開がある。ここでのTaoMate-HDはMiniMax H3上の研究寄りのプログレッシブ・ストリーミングAVであり、その商用製品ではありません。
手法の要約
READMEが示すパイプライン:
- 3段階のプログレッシブ生成。480pで2回評価して粗い構造を決め、768pで1回評価して空間詳細を足す。coupled-noise liftで映像グリッドを変えつつ、音声も同じ軌跡で生成する。
- 連続する発話と動き。各denoising段階は、次チャンクの同じ段階向けに自身のクリーンなAV予測を履歴として残す。初期映像アンカーと直近2つのAVチャンクが、プロンプト切替をまたいで文脈を運ぶ。
- 任意のパイプライン加速。LOW0/LOW16/HIGH/decodingを8 GPUで並行し得る。serialとpipelinedは同じ推論アダプタとプロンプト形式を使う。
Continuation trainingはモデル自身のプログレッシブ・ロールアウトを用いる、とあります。上記は公開READMEに従います。
8枚H20上の公式数値
READMEのComparison表は1〜10分の100系列で品質を評価します。TaoMate-HDについては、prepared inputからdecoded video and audioまでを8枚のH20 GPU上で測ったタイミングも報告しています。
| モード | GPU | FPS(スループット) | CER (%) |
|---|---|---|---|
| TaoMate-HD (serial) | 8 | 4.68 | 19.57 |
| TaoMate-HD (accelerated) | 8 | 8.99 | 21.28 |
同じREADMEは、10秒例を8枚のH20 96 GB GPUでserial/acceleratedの両モード実行し、768 × 1376、24 FPS動画、32 kHzステレオ音声と記します。論文の評価記述(MiniMax-H3 FL2VA起点の自作蒸留対へのrank-128 LoRA、出力768×1376@24 FPS/32 kHzステレオ)は、重なる範囲でこの出力仕様と一致します。
matched BF16/SDPAのもと、READMEはプログレッシブ解像度がdirect 768p生成に対し約1.60×、最適化デプロイがserial Progressiveに対しさらに約1.92×(stage overlap、LOW-stage fusion、KV reuse、selective W8A8、attention kernels、codec scheduling)と報告します。Continuation trainingはCERを30.75%から19.57%へ下げた(11.18ポイント)とあります。いずれも記述された条件下のベンダー/論文数値として扱ってください。
生成FPSと再生24 FPSは別物
混同しやすい2つの数値があります。
- 生成/スループットFPS(serial 4.68、accelerated 8.99) — 報告されたモードで、8×H20上の公式タイミング経路がprepared inputからdecoded AVまで進む速さ。
- 出力動画フレームレート(24 FPS) — 文書化された例設定でのデコード済み動画のフレームレート(32 kHzステレオと併記)。
約9の生成FPSが出ても、それは24 FPSで「再生」や「ライブ配信」している意味ではありません。逆に24 FPSファイルでも、あらゆる設定で壁時計1秒ごとに24枚の新コンテンツを生成したことにはなりません。
8.99(や4.68)を掛けて「どんな解像度・プロンプト長・マシンでも1時間分が常にX分で終わる」へ外挿しないでください。時間はモード、ハード、コーデック、プロンプト窓、READMEと同じprepared-input→decoded-AV区間を測るかに依存します。公開資料は全設定共通の端到端壁時計を1本では渡していません。
ベースとpreview LoRA
文書上、推論には両方が必要です。
- ベース: MiniMax H3 FL2VA、Hugging Face
MiniMaxAI/MiniMax-H3、model_index.jsonとFL2VA/*を含むダウンロード。 - Preview LoRA:
TaoLiveAIGC/TaoMate-HD-preview、config.json(LoRA rank/alpha)とadapter_model.safetensors。
HF previewカードは、このアダプタをMiniMax H3 FL2VA向け推論LoRAとし、8 GPUのserial/acceleratedで使える、Alibaba TaoLive AIGC Team開発・Powered by MiniMax H3と記します。READMEは認証が必要なリポジトリではアクセス権のあるアカウントで hf auth login するよう注意します——当日のHugging Face表示が正です。論文はrank-128 LoRAに言及し、previewのrank/alphaはカードの config.json を見てください。
READMEのコマンド例(8 GPU、--mode serial/accelerated、--resolution 768x1376 など)は文書の引用であり、完了したローカル手順ではありません。
ライセンスの層(正本は英文LICENSE)
TaoMate-HDリリースはMiniMax H3 Community License Agreementに従います(リポジトリ LICENSE、License date August 2, 2026)。READMEは帰属を NOTICE に、ベースの利用・再配布にはupstream条件が引き続き適用されると示します。以下は英文のナビ用要約であり、法的助言ではなく、「無制限の商用利用」でもありません。
合意上のMiniMax。 LICENSE定義では We/Us/MiniMax = Nanonoble Pte. Ltd.
領域。 Applicable Territoryはworldwideで、Excluded Territoriesを除く。Excluded Territoriesはthe European Union, the United Kingdom, the Republic of Korea and the United States of America. と明記されます。またMiniMax H3 Worksやその出力・結果をApplicable Territory外で use/reproduce/modify/distribute/displayしてはならず、そのような利用は合意で認可されない、とあります。特定読者の法域が内か外かは、顧問と現行LICENSE原文に委ねます。
年商しきい値。 your commercial products and services のyearly revenueが2,000万米ドル(または相当)を超える場合、api@minimax.ioへ件名 “MiniMax H3 licensing - authorization request” で事前の書面認可を別途取得する必要があります。条項はそれら商用製品・サービスの年収であり、発明した単発契約額ではありません。LICENSEはその文言以外の会計式を示していません。
UI表記。 MiniMax H3またはMiniMax H3 Worksを使う商用製品・サービスのユーザーインターフェースでは、“MiniMax H3”を目立つように表示する必要があります。(LICENSE原文では “H3” と on のあいだにスペースがありませんが、表示文字列は “MiniMax H3” です。)
層を分けて読む(「zip全体が自由商用」へ潰さない):
| 層 | 対象 | 公開資料上のシグナル |
|---|---|---|
| MiniMax H3ベース重み/MiniMax H3 Works | FL2VAベースなど | MiniMax H3 Community License(領域、AUP、>$20M認可、UI表記など) |
| TaoMate-HD推論改変 | アダプタ/推論改変 | NOTICE:Alibaba TaoLive AIGC Team, 2026;リリースはなおH3 Community Licenseに従い、upstream H3条件は残る |
| MiniMax H3内エンコーダ | Qwen3-VL-32B encoder | Apache 2.0(H3資料内の別LICENSEポインタ) |
| その他依存/コーデック/ライブラリ | PyTorch、Diffusers、vLLM改訂、FlashAttentionなど | 各upstream;H3と同型と仮定しない |
NOTICEはupstreamモデルとコーデック要素のApache-2.0表記も当該要素に適用されると残します。Community License付属のAcceptable Use PolicyはApplicable Territory外利用を含む多数の禁止を列挙します——上の要約を完全版とせず、現行Exhibitを読んでください。
この読みの範囲外
- DigIntoAIによる1時間生成の計時、4.68/8.99 FPS測定、またはCER採点。
- プロジェクトページのデモ動画視聴に基づく品質判断。
- 8.99 FPSをあらゆる設定での1時間出力の共通壁時計とみなすこと。
- スタック全体をMIT/Apache、または商用無制限とすること。
- DigIntoAIによるMiniMax H3やTaoMate-HD-preview重みのダウンロード。
一次資料はTaoMate-HDプロジェクトページ、arXiv 2611.03394、GitHub README/LICENSE/NOTICE、TaoMate-HD-preview、MiniMax-H3から始め、商用計画の前に英文LICENSEを再読してください。
