OpenAI 研究员Jason wei：Sora是视频生成的GPT-2时刻「定义下一个五年」

来自OpenAI  一线的研究员jason wei给出了他关于sora的观点，从中我们可以窥探OpenAI实现AGI的方法论‍‍‍‍‍‍

jason wei：

在我看来，Sora在视频生成领域扮演着类似当年GPT-2在文本生成领域中的突破角色‍

想当初2018年诞生的GPT-2，可以生成条理清晰且语法规范的多段文本，虽然彼时它还做不到撰写从头至尾无误、逻辑一致且无编造内容的完整论文，但正是它的出现激励了后续一系列模型的进步。在短短五年内，从GPT-2到GPT-4，后者已经能够在保持连贯思维及撰写长篇论述时不产生臆造信息方面取得显著进步，GPT-4已经能够理解像思维链这样的复杂技能

思维链的一个关键概念是信息密度。语言模型在一次前向传递中只能做这么多，因此语言模型所能使用的计算量必须与提示信息的难解程度成正比。 互联网上文本（即语言模型的训练集）的信息密度远非一致。有些词组几乎毫无意义，而另一些词组则基本上无法预测。 但想象一下，如果我们有一个训练集，其中每一个下一个标记的信息密度都大致相同，然后在此基础上训练一个大型语言模型。那么经过训练这个模型将是多么强大的推理工具啊

与此类似，现在的Sora技术可以创造出既有艺术美感又逼真的短视频片段。不过，当前的Sora还不足以生成拥有始终一致角色设定和紧凑精彩剧情的40分钟电视剧集。不过，我相信随着Sora及其同类视频生成模型的发展演进，保持长期一致性、实现接近完美真实的视觉效果以及构建有实质内容的故事情节等能力会逐步提升。

针对这一发展趋势，jason做出如下几点预测：

• 视频相较于文字而言，信息含量相对稀疏，这意味着通过视频方式习得推理等复杂技能所需的计算资源和训练数据量会大幅攀升

  ‍‍

• 因此，结合视频与其他相关模态的信息协同作用，对于快速启动和促进学习过程将起到关键作用

  ‍‍

• 就如同高质量文本数据集的价值一样，高质量视频数据的需求将会空前激烈

  ‍‍

• 深谙视频领域的人工智能研究专家将会成为热门人才，但他们也需要像过去NLP领域的研究者适应大语言模型的成功所带来的新趋势那样，去适应这些新兴范式

  ‍‍

• 影视行业的变革可能会遵循与GPT-4改变写作工具和辅助手段类似的路径发展——即AI技术将大大提高普通作品的质量标准，但距离专业人士创作的高度仍有相当距离‍

结语

jason wei 提到后续的sora模型开发利用与视频相关的其他模态作为相关信息来引导学习过程将至关重要，这个其实在sora的发布的技术简报里有提到了，OpenAI手握当今世界最先进大语言模型GPT4，后续还有GPT5,GPT6，高质量视频数据与最先进大语言模型的信息协同将是通往AGI的利器，至少这是OpenAI的AGI方法论‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍