AI アバターで知られる HeyGen が、汎用動画モデル HeyGen Video（API モデル ID：heygen-video-1）を公開しました。公式ブログでの発表は 10 月 21 日、更新は 10 月 22 日です。アバターに話させるのではなく、テキストの説明から被写体、場所、光、音までを生成します。

MiniMax H3 がベース

HeyGen の開発者ドキュメントは、このモデルを "built on MiniMax H3 and post-trained by HeyGen" と説明しています。ベースモデルは MiniMax H3 で、HeyGen が事後学習を行ったということです。MiniMax の最近の動きは MiniMax M3.1 Flash の記事もご覧ください。

HeyGen が説明する機能

HeyGen によると、クリップの長さは 5〜15 秒で、解像度は 480p、768p、1080p、2K から選べます。映像と音声は同じ生成工程で作られ、各クリップにはセリフ、環境音、効果音が付き、別途の音声生成やリップシンクは不要だとしています。出力は 24 fps の MP4（H.264）と AAC ステレオ音声です。長さを auto にすると、セリフに合わせて 5〜15 秒の範囲で自動的に決まります。

モードは 3 種類です。

  • テキストから動画：プロンプトのみ。
  • 画像から動画：プロンプトと画像 1 枚。画像がそのまま最初のフレームになります。
  • リファレンスから動画（API の既定）：プロンプトと画像、動画、音声。提供した製品、人物、場所を保ったまま新しいシーンを作ります。

Avatar V との違い

ドキュメントの説明は明快です。アバターエンジンは「すでに持っている見た目を、すでに書いた台本どおりに動かす（animate a look you already own from a script you already wrote）」もので、HeyGen Video は説明文から被写体、場所、光、音を一度に生み出します。HeyGen は両者の併用を勧めており、Avatar V がメッセージを伝え、HeyGen Video が冒頭のカットや製品ショット、B ロールを担う形です。

リファレンスで人物とシーンを制御する

リファレンスから動画では、画像 9 枚、動画 3 本、音声 3 本まで、合計 12 個まで指定できます。リストの順番がプロンプト内のラベルになり、1 枚目の画像は Picture 1、1 本目の動画は Video 1 のように種類ごとに番号が振られます。参照動画は最初の 5 秒しか読み込まれないため、HeyGen は使いたい部分を事前に切り出すよう勧めています。HeyGen によると、この方法で渡した製品写真は色、形、マークが映像内でも保たれます。似た手法は Kling 4.0 のキーフレームとリファレンスでショットを演出する方法と比べてみてください。

公式が挙げる弱点

ドキュメントによると、最も得意なのは被写体 1 つ、場所 1 つ、動作 1 つで、カメラが固定かほぼ動かない短いショットです。一方、画面内の長い文字、花びらや紙、髪のような柔らかい動き、組み立てや機器操作などの細かい手の動きは最も不安定だとしています。現在見られる映像は公式デモで、私たちはまだ試していません。人物や物体がすべてのクリップで崩れないという保証もありません。

提供範囲と料金

HeyGen によると、HeyGen API と Creative Studio で利用できます。API は有料 API キー専用で、1080p と 2K は 768p の 3 倍の料金になります。ただし、ブログとドキュメントのどちらにも具体的な単価は載っていません。Creative Studio のどのプランで使えるか、どの地域で提供されるかは、まだ発表されていません。

ソース

  • HeyGen Blog: Announcing HeyGen Video
  • HeyGen Developer Docs: HeyGen Video