Sora到底懂不懂物理世界 AI视频生成引发行业震惊[多图]

Yann LeCun：生成视频的过程与基于世界模型的因果预测完全不同

图灵奖得主 Yann LeCun 率先亮明观点。在他看来，仅仅根据 prompt 生成逼真视频并不能代表一个模型理解了物理世界，生成视频的过程与基于世界模型的因果预测完全不同。

他接着讲到，模型生成逼真视频的空间非常大，视频生成系统只需要产生一个合理的示例就算成功。不过对于一个真实视频而言，其合理的后续延续空间却非常小，生成这些延续的代表性片段，特别是在特定行动条件下，任务难度更大。此外生成视频的后续内容不仅成本高昂，实际上也毫无意义。

因此，Yann LeCun 认为，更理想的做法是生成视频后续内容的抽象表达，并消除与我们可能所采取动作无关的场景中的细节。

当然，他借此又 PR 了一波 JEPA(Joint Embedding Predictive Architecture，联合嵌入预测架构)，认为上述做法正是它的核心思想。JEPA 不是生成式的，而是在表示空间中进行预测。与重建像素的生成式架构(如变分自编码器)、掩码自编码器、去噪自编码器相比，联合嵌入架构(如 Meta 前几天推出的 AI 视频模型 V-JEPA)可以产生更优秀的视觉输入表达。

François Chollet：只让 AI 看视频学不成世界模型

Keras 之父 François Chollet 则阐述了更细致的观点。他认为，像 Sora 这样的视频生成模型确实嵌入了「物理模型」，但问题是：这个物理模型是否准确?它能否泛化到新的情况，即那些不仅仅是训练数据插值的情形?

Chollet 强调，这些问题至关重要，因为它们决定了生成图像的应用范围 —— 是仅限于媒体生产，还是可以用作现实世界的可靠模拟。