GPT-1是第一代模型，当时的论文题为“通过生成式预训练模型来提升对语言本身的理解”（Improving Language Understanding by Generative Pre-Training），其中Generative Pre-Training正是现在GPT的来源。在传统的机器学习中，学者们更倾向于使用带有标注的数据进行训练。例如，“我心情真棒”这个句子中的括号部分就是一个标注。然而，在这篇论文中，OpenAI开始思考世界上存在大量未被标注的数据。虽然这些数据难以使用，但只要我们足够地学习，我们就能培养出模型对语言表达的理解能力。

GPT-2是第二代模型，OpenAI成功地让模型学会了理解语言。但他们开始思考，这个模型到底有什么用？虽然它能够理解文字，但它似乎无法完成任何实际任务。经过大量试验后，他们发现，传统机器学习中的自然语言处理并不一定要被划分成很多子任务。

如果语言本身就包含了这些信息，那么各种任务都可以通过统一的学习方法来完成。例如，传统的翻译任务需要中英文之间的对应关系进行学习。但实际上，互联网上有很多类似的提问，例如“香水用法语怎么说最恰当”，然后会有人回答“Parfum”。这段文字既包含了中文原文，又包含了网友的法语翻译，因此翻译任务可以通过学习大量语料库来自然而然地完成，而不需要单独的学习方法。

同样的道理，分类、相似性查找等任务也可以通过大型模型的统一表达来完成。因此，OpenAI提出了第二篇论文「大语言模型，是无需监督的多任务学习者」（Language Models are Unsupervised Multitask Learners）。这意味着该模型可以自主地学习完成许多多样的任务，不需要人工监督和指导。所学的知识应该是具有普适性的，可以处理许多不同的任务。

GPT-3是第三代模型，也就是ChatGPT的前身。在这个阶段，OpenAI面临了一个挑战：如何将这个掌握人类语言并拥有多任务处理能力的模型充分利用起来。传统的优化思路不再适用于这个训练了大量数据的巨大模型，因为每次单独优化针对不同任务并不现实。

因此，OpenAI放弃了这种方式，转而思考下一个重要问题：是否可以通过举例子来让语言模型学习？他们在第三篇论文中提出了这个想法，即「大语言模型，通过几个例子就能学会你要他做什么」(Language Models are Few-Shot Learners)。比如，如果你给一个智慧球举例，让它从1数到100，那么它应该能够根据你的例子完成内容补全。甚至在多次学习之后，它可能已经不需要你再给出具体的例子了。