OpenAI 发布文生视频模型 Sora，意味着什么？

先做个广告：如需代注册ChatGPT或充值 GPT4.0会员（plus），请添加站长微信：gptchongzhi

这一部分在 Sora 的技术报告的标题和最后一部分「涌现」里有所体现。这次的技术报告，题目直接就是「视频生成模型作为世界模拟器」，而且把 Scaling video generation 称为走向通用物理世界模拟器的 promising path。

推荐使用GPT中文版,国内可直接访问：https://ai.gpt86.top

在后面的技术报告里，我们看到了一个熟悉的词语：Emerging。按照这一段话的描述，从这一部分开始，Sora 所展现出的能力是超出原有预期的，属于「智能涌现」。

这些能力使得Sora能够模拟出一些来自物理世界的人、动物和环境的某些方面。

同时，OpenAI 也在强调，这些能力完全来自于 Scale。Scale Law 还在上分！

具体来说，OpenAI 阐述了 Sora 的几项能力：

3D一致性。Sora可以生成具有动态摄像机运动的视频。随着摄像机的移动和旋转，人物和场景元素在三维空间中保持一致移动。
长程一致性和物体永久性。对于视频生成系统来说，一个重要的挑战是在采样长视频时保持时间上的一致性。我们发现，Sora通常能够有效地建模短程和长程的依赖关系，尽管并非总是如此。例如，我们的模型可以在人、动物和物体被遮挡或离开画面时仍然保持它们的存在。同样，它可以在一个样本中生成同一角色的多个镜头，并在整个视频中保持它们的外观。
与世界互动。索拉有时可以模拟对世界产生简单影响的动作。例如，画家可以在画布上留下持续存在的新笔触，或者一个人可以吃掉一个汉堡并留下咬痕。
模拟数字世界。Sora还能够模拟人工过程，一个例子是视频游戏。Sora可以同时使用基本策略控制Minecraft中的玩家，同时以高保真度渲染世界及其动态。通过提示Sora提到“Minecraft”的标题，可以激发这些能力。

结论就是：

这些能力表明，继续扩展视频模型是发展高能力物理和数字世界以及其中的物体、动物和人类的模拟器的有希望的途径。

至于说这个能力，或者说这个发现的意义和重要性，我觉得从两个方面理解，一是数字孪生（空间计算、空间视频），二是世界模型。

去年，NVIDIA 花了蛮大力气宣传他们的 Omniverse，也就是数字孪生的概念。然后就是苹果的 Vision Pro，主推一个空间计算。现在我觉得这些东西都能串联起来了。

数字孪生就是是物理对象、过程或系统在虚拟世界的副本。它不仅仅是一个3D模型，使用传感器不断更新真实世界的数据。提供了一个实时的、虚拟的环境，用于测试变化、培训人员，并在影响真实世界对应物之前识别潜在问题。数字孪生有望改变制造业、工程学，甚至城市规划等领，用于简化流程、预测故障，并根据模拟结果做出更好的决策。
NVIDIA Omniverse是一个专为实时3D协作和模拟设计的平台。Omniverse可以轻松地整合设计工具、大型数据集和先进的人工智能。不同学科的团队可以在共享的虚拟空间中无缝合作。它具有超强的逼真物理模拟，创建出非常精确和响应迅速的数字孪生。公司可以建立虚拟工厂来优化生产、设计更安全、更高效的机器人，或者模拟整个城市的交通模式。改善运营、培训和规划的可能性确实是无限的。

世界模型主要强调的就是不需要专门训练学习而自发认知到的那些「常识」，这些常识可能来自于基因深处，来自于生物体对世界的天然的感知，比如重力，比如色彩，这些天然的常识往往与文字无关，甚至无法用语言准确描述，而与感官感受有关。