以數位人聞名的 HeyGen 推出了通用影片模型 HeyGen Video,API 模型 ID 為 heygen-video-1。官方部落格於 10 月 21 日發布公告,10 月 22 日更新。它不再只是讓數位人開口,而是根據文字描述生成人物、場景、光線和聲音。
基於 MiniMax H3
HeyGen 開發者文件的原話是:"built on MiniMax H3 and post-trained by HeyGen",即底座來自 MiniMax H3,由 HeyGen 做後訓練,並非完全自研。MiniMax 近期的動態可參考 MiniMax M3.1 Flash 發布。
官方介紹的能力
據 HeyGen 介紹,每段影片長 5 到 15 秒,解析度可選 480p、768p、1080p 或 2K。HeyGen 稱畫面和聲音在同一次生成中產出,每段自帶對白、環境音和音效,不需要另外配音或對嘴型。輸出為 24 fps 的 MP4(H.264),音訊為 AAC 立體聲。時長設為 auto 時,模型會依台詞在 5 到 15 秒之間自動定長。
共有三種模式:
- 文字生影片:只給提示詞。
- 圖片生影片:提示詞加一張圖,圖片就是影片的第一個畫面。
- 參考生影片(API 預設模式):提示詞加圖片、影片或音訊,生成新場景,同時保留你提供的產品、人物或地點。
與 Avatar V 的區別
文件說得很直接:數位人引擎是讓你已有的形象照你寫好的腳本來演(animate a look you already own from a script you already wrote),而 HeyGen Video 是根據描述一次生成人物、場景、光線和聲音。HeyGen 建議兩者搭配:Avatar V 負責講內容,HeyGen Video 負責片頭、產品鏡頭和空鏡。
參考素材如何控制人物和場景
參考生影片最多可提供 9 張圖片、3 段影片和 3 段音訊,總數不超過 12 個。清單順序就是提示詞裡的標籤:第一張圖是 Picture 1,第一段影片是 Video 1,各類型分別編號。每段參考影片只讀取前 5 秒,官方建議上傳前先剪出想讓模型參照的部分。HeyGen 稱這樣提供的產品照片,顏色、外形和標誌都能保留到畫面裡。同類做法可對照 用 Kling 4.0 關鍵影格和參考素材導演一個鏡頭。
官方承認的弱點
文件稱模型最擅長單一主體、單一地點、單一動作、鏡頭固定或幾乎不動的短鏡頭;最不穩定的是長段畫面文字、花瓣紙張頭髮這類柔軟的運動,以及組裝、操作設備等精細手部動作。目前所見的影片都是官方示範,我們尚未實測,也無法保證人物和物體在每段影片裡都不變形。
開放範圍與價格
HeyGen 稱模型已透過 HeyGen API 和 Creative Studio 開放。API 僅限付費 API key 使用,1080p 和 2K 按 768p 價格的 3 倍計費,但部落格和文件都沒有列出具體單價。Creative Studio 哪些方案可用、開放哪些地區,官方尚未公布。
來源
- HeyGen Blog: Announcing HeyGen Video
- HeyGen Developer Docs: HeyGen Video
