以数字人闻名的 HeyGen 推出了通用视频模型 HeyGen Video,API 模型 ID 为 heygen-video-1。官方博客于 10 月 21 日发布公告,10 月 22 日更新。它不再只是让数字人开口,而是根据文字描述生成人物、场景、光线和声音。

基于 MiniMax H3

HeyGen 开发者文档的原话是:"built on MiniMax H3 and post-trained by HeyGen",即底座来自 MiniMax H3,由 HeyGen 做后训练,并非完全自研。MiniMax 近期的动态可参考 MiniMax M3.1 Flash 发布。

官方介绍的能力

据 HeyGen 介绍,每段视频时长 5 到 15 秒,分辨率可选 480p、768p、1080p 或 2K。HeyGen 称画面和声音在同一次生成中产出,每段自带对白、环境音和音效,不需要单独配音或对口型。输出为 24 fps 的 MP4(H.264),音频为 AAC 立体声。时长设为 auto 时,模型会按台词在 5 到 15 秒之间自动定长。

共有三种模式:

  • 文生视频:只给提示词。
  • 图生视频:提示词加一张图,图片就是视频的第一帧。
  • 参考生视频(API 默认模式):提示词加图片、视频或音频,生成新场景,同时保留你提供的产品、人物或地点。

与 Avatar V 的区别

文档说得很直接:数字人引擎是让你已有的形象按你写好的脚本来演(animate a look you already own from a script you already wrote),而 HeyGen Video 是根据描述一次性生成人物、场景、光线和声音。HeyGen 建议两者搭配:Avatar V 负责讲内容,HeyGen Video 负责片头、产品镜头和空镜。

参考素材怎么控制人物和场景

参考生视频最多可提供 9 张图片、3 段视频和 3 段音频,总数不超过 12 个。列表顺序就是提示词里的标签:第一张图是 Picture 1,第一段视频是 Video 1,各类型分别编号。每段参考视频只读取前 5 秒,官方建议上传前先剪出想让模型参照的部分。HeyGen 称这样提供的产品照片,颜色、外形和标识都能保留到画面里。同类做法可对比 用 Kling 4.0 关键帧和参考素材导演一个镜头。

官方承认的短板

文档称模型最擅长单一主体、单一地点、单一动作、机位固定或几乎不动的短镜头;最不稳定的是长段画面文字、花瓣纸张头发这类柔软的运动,以及组装、操作设备等精细手部动作。目前所见的视频都是官方演示,我们尚未实测,也无法保证人物和物体在每段视频里都不变形。

开放范围与价格

HeyGen 称模型已通过 HeyGen API 和 Creative Studio 开放。API 仅限付费 API key 使用,1080p 和 2K 按 768p 价格的 3 倍计费,但博客和文档都没有列出具体单价。Creative Studio 哪些套餐可用、开放哪些地区,官方尚未公布。

来源

  • HeyGen Blog: Announcing HeyGen Video
  • HeyGen Developer Docs: HeyGen Video