先做个广告：如需代注册ChatGPT或充值 GPT4.0会员（plus），请添加站长微信：gptchongzhi
原文发布日期：2023年5月22日
推荐使用GPT中文版,国内可直接访问：https://ai.gpt86.top
作者：Sam Altman，Greg Brockman，Ilya Sutskever
现在开始考虑超级人工智能的治理，正当其时——未来AI系统甚至比通用人工智能的性能要强大的多。鉴于我们现在所看到的情形，可以相信在十年内，AI系统在大部分领域会超过专家技能水平，并且实施与当今最大的公司之一一样多的生产活动。就潜在的好处和坏处而言，超级人工智能将比人类在过去不得不应对的其他技术更加强大。我们能够拥有一个更加繁荣的未来，但是为此，我们必须管控风险。考虑到现实风险的可能性，我们不能仅仅被动反应。核能是具有这类特性技术的一个通常应用的历史例子，合成生物技术是另一个例证。我们也必须降低当今AI技术的风险，但是，超级人工智能将需要特殊处理和协作。为了抓住成功驾驭AI技术发展的机会，有很多想法对我们来说至关重要；我们在这里列出我们对于其中三个想法的初步思考。第一，在主要的发展行动中，我们需要一定程度的协同，以确保超级人工智能发展以允许我们既维护安全又有利于顺利将这些系统与社会融合的方式进行。有很多方法可以实现这一目标；世界各地主要政府可以设置一个项目，使当前许多超级人工智能发展行动成为其一部分，或者我们可以一致同意：AI前沿技术性能的年增长速度限定在一个特定水平（这有赖于一个新的组织，正如我们在下文提议的那样）。第二，对于超级人工智能发展活动， 我们很可能逐渐需要一个类似于国际原子能的组织；任何高于特定能力（或者计算资源）门槛的活动应当受制于一个国际有权机构，该机构能够检查系统，要求审计，测试安全标准遵守情况，在部署程度和安全水平方面设置限制，等等。跟踪计算和能源利用情况会大有裨益，并且让我们看到了能够实际实施这个想法的希望。第一步，公司可以自愿同意开始执行该机构有朝一日提出的要求；第二步，个别国家可以执行这一要求。重要的是，该机构专注于减少现实风险，而不是（专注于）留给各个国家解决的问题，比如规定AI应当被允许说什么。第三，我们需要确保超级人工智能安全的技术能力。这是一个开放式研究问题，在这方面，我们和其他人正在一道投入很大精力。允许公司和开源项目在一个显著能力阈值之下开发模型，而不需要我们在这里描述的监管要求（包括繁重的机制，比如许可或审计），我们认为这很重要。当前的AI系统在世界上将创造巨大的价值，然而确实也会带来风险，这些风险与其他网络技术风险程度相当，社会可能采取的措施似乎是适当的。相比之下，我们所关心的AI系统将拥有超越任何技术的性能，我们应当非常谨慎，不要将相似的标准应用在远远低于该标准的技术上，从而淡化对它们（超级人工智能）的关注。但是，治理最强大的AI系统，与部署它们的相关决定一样，必须要有有力的公众监督。我们认为世界各地的人们应当民主决定AI系统的边界及默认值。我们还不知道如何设计这样的机制，但是我们计划在其发展中进行试验。我们始终认为，在这些宽泛的边界之内，对于他们使用的AI系统如何表现，个人用户应当享有很大的控制权。鉴于这些风险和困难，我们为什么还要创建这个技术，这是值得思考的。第一，我们相信它将带来一个比我们目前能够想象的更加美好的世界（我们已经在教育、创造性工作以及个人生产力等领域，看到了一些早期例证）。这个世界面临着很多问题，我们需要很多帮助来解决这些问题，这个技术能够改善我们的社会，每个人运用这些新工具的创造性能力必将令我们震惊。经济增长以及生活质量的提高，也将是惊人的。第二，我们认为阻止创建超级人工智能将是危险和困难的。因为超级人工智能的好处是如此巨大，创建成本逐年降低，创建人数在快速增长，而且这是我们技术路线的固有部分，阻止它将需要一个全球监视统治的类似东西，而且即使如此也不确保有效。所以我们必须把它做好。更多：
ChatGPT｜OpenAI：我们开展对齐研究的方法
ChatGPT｜OpenAI通用人工智能计划——AGI计划与超越（译文）
![]()
本文链接：http://xiaogongchang.cn/chatgpt/675.html
