把杯子往桌边推一点,接下来会发生什么?这样的判断,人往往很快就能做出来。让 AI 处理同样的问题,则需要它把物体的位置、动作顺序和可能出现的变化联系起来。

2026 年 11 月 10 日,穆罕默德·本·扎耶德人工智能大学(MBZUAI)设立的基础模型研究院 IFM 发布了 PAN 2。这个世界模型尝试把行动后的变化呈现为视频,让研究者观察一项计划在模拟中如何展开。

对开发者来说,这次发布值得关注的地方也很具体:模型权重和代码已经有公开入口,研究团队可以自行部署、检查生成过程,并设计自己的测试。至于模拟能在多大程度上帮助真实任务,还需要逐项验证。

一、输入一个场景,再告诉它要做什么

PAN 2 接受文字描述,也可以加入一张起始图片。用户描述当前场景和接下来要执行的动作,系统据此生成最长 20 秒的视频。

它的工作流程分成几个环节。语言模型先整理场景与行动,把事件、动作发生的时间和镜头变化写进结构化描述。文本编码器随后处理这些内容,视频扩散模型生成画面的内部表示,最后由视频解码器还原为可观看的视频。

这也解释了为什么提示词会影响结果。起始位置有没有交代清楚,谁在操作物体,动作之间怎样衔接,都会进入生成过程。官方提供了提示词改写脚本和相关技能,方便把日常语言整理成模型使用的格式。

如果要自行试用,可以先从一个场景、一个动作开始。比如固定桌面布局,描述某件物体被移动后的位置变化,再逐步增加动作。这样更容易看清错误出在哪个环节,也方便比较改写前后的提示词。

二、已经开放了哪些内容?

目前公开的核心权重是 29B 参数的视频扩散骨干,文字生成视频和图片生成视频共用这一检查点。官方 GitHub 仓库提供训练与推理代码,Hugging Face 提供权重和模型说明。

完整流程还会用到其他组件,包括 Qwen3.5-9B 文本编码器和 Wan 2.2 VAE。负责整理场景与动作的语言模型,也需要在部署时安排好。

PAN 2 自有代码和权重采用 Apache 2.0 许可;第三方组件适用各自的许可。准备做产品或对外提供服务时,应逐一查看这些组件的许可文件、版权声明和使用要求。下载 PAN 2 权重只是部署准备中的一步。

三、运行之前,先看计算资源和依赖

官方仓库给出了环境、权重转换和推理说明。采用仓库内的推理脚本时,需要按文档处理发布权重的格式,并准备好文本编码器、VAE 和运行依赖。

有一个细节很容易被忽略:默认推理启动方式会让每张 GPU 上的工作进程持有完整的 29B 模型,再把不同提示词分配给这些进程。增加 GPU 数量主要用于同时处理更多请求。

文档还提供模型或模块卸载选项,可以在运行过程中把部分内容放到 CPU 内存,再按需移入 GPU。实际能否运行、生成要等多久,都要结合硬件和具体配置测试。本文未进行本地部署,暂不提供最低显存承诺或速度估计。

对于第一次接触这类模型的读者,比较稳妥的顺序是先看官方示例与输入格式,再核对现有硬件,最后用少量固定样本测试。先把环境和一条生成流程跑通,后续比较才有基础。

四、画面顺畅,仍然需要逐步检查动作

PAN 2 的模型卡对局限写得相当直接。官方多步计划研究中,约三分之二的模拟计划至少有一步没有完成。针对本来就应当失败的计划,模拟是否忠实,仍缺少相应测量。

连续交互时,物体外观也可能逐渐变化。另一个问题是模型会跳过某些必要过程,让场景直接接近目标状态。如果只看最后一帧,很容易漏掉中间的错误。

因此,评估时值得把一项任务拆成几个可观察的检查点:物体有没有持续存在,位置变化是否合理,动作顺序有没有保留,完成条件是否真的满足。对于操作规划,失败的过程同样值得保存和分析。

这些模拟输出需要与真实观察或实验结果对照。涉及机器人控制等安全敏感用途时,还需要独立的人类审查和验证。对外展示生成视频,也应清楚标注其合成性质。

五、这次开放,对哪些人更有用?

PAN 2 更容易引起世界模型、机器人和智能体规划研究者的兴趣。开放的权重与代码,使他们能够调整输入、检查失败案例,并在自己的任务上开展可重复的实验。

对于关注 AI 前沿的普通读者,可以先抓住一个问题:系统能否把一段行动安排,连续、可靠地展现出来?这个问题包含了时间、因果关系和物体状态,也能帮助我们理解世界模型的研究方向。

接下来值得看的,是更多独立测试能否说明它在哪些动作上稳定、在哪些环节容易出错,以及部署成本能否被进一步降低。这些结果会逐渐勾勒出 PAN 2 适合承担的实际任务。