ChatGPT技惊四座，迅速火红出圈。这是一个能够在大多数情况下与人类对等交流，甚至在某种程度上共情的机器智能。这个超大语言模型的成功也肯定会对其他领域产生深远的影响：
- 人机界面将被大大扩张，机器功能的设计和开发不再只是由一群受过专业训练的程序员来完成，普罗大众不仅仅只会是机器功能的使用者，也会是机器功能的开发者和创建者。
- 超大语言模型展现了在天量数据集中提取关键信息的超人类能力，可以帮助我们大大提升在科学研究，文献综述和分析等方面能力和速度。这会彻底改写人类知识的定义和表达。
- 自然语言模型将继续演进成为多模态模型，进一步整合处理语言，语音，图像，视频和三维数据，这将涵盖人类接受和交流信息量的90%以上。
由于“算力摩尔定律”的作用，机器智能的增强和扩张能力在可预见的未来还是会以指数速率增长。我们应该隐隐可以感到通用人工智能（AGI）的时代可能快要到来了。在AGI的时代，人类社会的产业结构，社会关系结构都将面临巨变，我们赖以生存甚至可能曾引以为傲的才艺，技能，知识，创造力，甚至人类智能本身，都会在突飞猛进的机器智能面前被重新衡量和定位，乃至价值重估。关键的问题是：面对这样的巨变，人类社会整体，和各个政府，公司，社会团体等等的机构，都做好充足的思想和实践的准备了吗？面对随AGI而来的同样巨大的上行利益和下行风险，我们应该有怎样的应对方法呢？我们应该怎样去规划和操作AGI的演进路径，才能让AGI给人类整体带来福祉并减少相应的风险？
OpenAI CEO Sam Altman 最近发表了一篇文章，阐明了自己的一些观点，并提出了“事缓则圆”的策略。他同时也呼吁整个社会尽早规划，为AGI的到来作规划和准备。以下为其文章的译本。
我们的使命是确保通用人工智能（AGI）——通常比人类更聪明的人工智能系统——能够造福全人类。
如果我们最终能将AGI 成功创建，那么这项技术可以大大增加产品和服务的丰富度，也可以强力助推全球经济发展，甚至帮助发现新的科学知识，推进人类认知的可能性极限，这将提升我们整个人类文明的水平。
AGI 有可能给每个人赋予不可思议的新能力：我们所有人的认知能力都可以获得机器智能强有力的帮助，为人类的聪明才智和创造力提供巨大的力量倍增器。
另一方面，AGI 也会带来严重的滥用、严重的事故和严重扰乱社会的风险。 由于 AGI 的潜在效益如此巨大，我们认为永远停止其发展是根本不可能也是不可取的。相反，整个社会和 AGI 的开发者们必须齐心协力想办法把它做对做好，让AGI在正轨上发展，为人类造福。 [1]
虽然我们无法预测准确的发展路径，我们推进AGI的进展也可能会碰壁和踩坑，但我们可以阐明我们最核心的一些原则：
1. 我们希望 AGI 使人类能够在宇宙中实现最大程度的繁荣。我们不指望AGI会把我们带入一个未来的乌托邦，但我们希望将AGI好的一面最大化，将坏的一面最小化，让 AGI 成为人类文明的助推器和放大器。
2. 我们希望 AGI 的利益、获取权利和治理能得到广泛而公平的分享。
3. 我们还需要应对前路上的巨大风险。 在面对这些风险时，我们要承认我们认知的有限性，许多理论上似乎正确的办法在实践中往往和预期效果相去甚远。我们认为，我们必须通过部署功能较弱的技术版本来不断学习、迭代和适应，而不是妄想祈求“一次成功”的发展路径。
短期计划
为了准备迎接 AGI 的到来，我们需要在短期内做几件很重要的事。
首先，随着我们不断创建更强大的AI系统，我们希望部署它们并不断获得在现实世界中操作它们的经验。在管理和培育各种已经开发的功能以迎接 AGI 的到来的过程中，我们相信最佳的策略就是“事缓则圆”——逐渐过渡到 AGI 世界比突然过渡要好。 我们预期强大的 AGI 变更世界的速度将远超常人想象，因此人为地调整其前进的步调使其渐进，将是更好的策略。
渐进的过渡过程让普罗大众、政策制定者和各类机构有更多的时间理解正在发生的事情，亲身体验这些系统的好处和缺点，逐步调整我们的经济结构，并制定和实施各种必需的监管措施。这样可以让人类社会和 AI 共同进化，并允许人类在风险相对较低的情况下逐步弄清楚我们到底想要什么样的AGI，一起来制定取舍方案。
我们目前认为，成功应对 AI 部署挑战的最佳方法是采用快速学习和谨慎迭代的紧密反馈循环。 社会将面临人工智能系统应该被允许做什么、如何消除系统偏见、如何处理工作岗位流失等等的重大问题。最佳决策当然也将取决于技术演进的路径，AI的推进与任何新领域一样，到目前为止，大多数专家预测的演进路径都是错误的。这使得我们现在做的任何决策都像是毫无依据的闭门造车，很难有靠谱的规划。 [2]
总体来说，我们认为在世界上更多地使用 AI 会带来好处，并希望推广它（通过将模型放入我们的 API 中，将它们开源等）。 我们也相信，将AI能力的普及也将导致更多更好的研究、权力的分散和解构、更多的社会利益以及更多的人来贡献新的想法。
随着我们的系统越来越接近 AGI，我们对模型的创建和部署将变得越来越谨慎。 我们的谨慎会比以往社会通常面对新技术应用时的一般意义的谨慎要大得多，也比许多用户所希望的要谨慎得多。 AI 领域的一些人认为 AGI（以及后继更强大的系统）的风险是虚构的； 如果结果证明他们是对的，我们会很高兴，但是现阶段我们宁可假设这些风险是攸关人类存亡级别的超大风险。
随着我们的系统越来越接近 AGI，我们对模型的创建和部署将变得越来越谨慎。
在某些时候，部署的利弊之间的平衡（例如授权恶意行为者、造成社会和经济破坏以及加速不安全的竞赛等）可能会发生变化。在这种情况下，我们有可能会显著改变我们谨慎部署的计划。
其次，我们正在努力创建更加协调和可控的模型。 我们从 GPT-3 的第一个版本等模型到 InstructGPT 和 ChatGPT 的转变就是一些这方面尝试的例子。
特别是，我们认为很重要的是人类社会就如何使用人工智能达成共识，划定极其广泛的界限，但在这些宽泛的界限内，个人用户有很大的自由裁量权。我们最终的希望是世界机构就这些广泛的界限应该是什么达成一致意见。在短期内，我们计划征集一些外部机构的反馈意见。世界上的各类机构将需要通过额外的帮助和经验来加强他们在AGI方面的认知和理解，以便为有关 AGI 的复杂决策做好准备。
我们可能会对我们产品的“默认设置”设置许多限制，但我们也计划让用户可以方便轻松地更改他们正在使用的 AI 的行为。我们相信赋予每个人做出自己的决定的权力和思想多样性的内在力量。
随着我们的模型变得更强大，我们将需要开发新的协同技术（以及测试以了解我们当前的技术在何种场景下会失败）。 我们的短期计划是使用 AI 来帮助人类评估更复杂模型的输出，并监控复杂系统。而从更长远来看，我们将使用 AI 来帮助我们提出新的想法以发展创建更好的协同技术。
重要的是，我们认为我们需要在AI安全性和AI功能两方面双管齐下，同时推进。 分开谈论它们或者设置不同的优先级别是错误的，因为它们在很多方面是相关交织的。我们最好的安全性工作恰恰来自与我们最强有能的模型。也就是说，提高安全进步与能力进步的比率很重要。
第三，我们希望就三个关键问题展开全球对话：如何治理这些系统，如何公平分配它们产生的收益，以及如何公平共享利用AI权限。
除了这三个领域之外，我们还尝试建立与导向良好结果相一致的激励机制，并以此引导来建立我们的组织结构。 我们的章程中有一个条款是关于协助其他组织提高安全性，而不是在后期 AGI 开发中与他们竞争。 我们对股东可以获得的回报设定了上限，这样我们就不会被激励去尝试无限制地获取价值，也不会冒险部署具有潜在灾难性危险的东西（当然也是作为与社会分享利益的一种方式）。 我们机构由一个非营利组织来管理，以确保我们把为人类谋福祉作为经营目标（并且可以凌驾于任何以财务赢利为目的的决策和运作之上）。在安全需要的情况下我们可以取消我们对股东的股权义务，我们也赞助了世界上最全面的全民基本收入保障（UBI）的实验。
我们尝试建立与导向良好结果相一致的激励机制，并以此引导来建立我们的组织结构。
我们在发布新系统之前会自觉提交独立机构作审计评估，有关这一话题我们将在今年晚些时候作更详细的讨论。在将来某些时候，甚至在开始训练模型系统之前就应该交由独立机构审查评估。而对于一些最前沿的开发项目，也可以对用于创建新模型的算力增长率作出一定的限制。我们认为现在已经到了重要的时间关口来设立一些公共标准，就关于任何AGI 的工作何时应停止训练运行、确定模型可以安全发布或从生产使用中撤出模型等等问题作出规范。最后，世界上主要政府也应该对超过一定规模的模型培训有相当的理解和洞察力，开始形成立场和观点。
长远计划
我们相信人类的未来应该由人类决定，因此与公众分享有关进展的重大信息很重要。应该对所有试图建立 AGI 的努力进行严格审查评估，并对重大决策进行公众咨询。
第一个 AGI 将只是智能媒介体上的一个点。我们认为进展很可能会从那里继续，可能会在很长一段时间内保持我们在过去十年中看到的进展速度。如果这是真的，未来世界可能会变得与今天截然不同，风险可能会非常大。 一个错位的超级智能 AGI 对世界造成的破坏的严重程度可能远超我们的想象； 一个掌握了此种能力的专制政权也可以做到这一点。
在受影响的众多领域和产业中，人工智能帮助加速科学发展的前景是令人激动并非常值得期望的方向，这也许比其他任何领域都更具有深远的影响力。有足够能力加速自身进步的 AGI 可能会导致一些重大变化以惊人的速度发生（即使开始阶段的变化缓慢，我们预计它在最后阶段也会很快加速，令人防不胜防）。 我们认为较慢的起步更容易确保安全。如果有必要，要协同各方在关键时刻减速AGI的发展和部署（即使在我们不需要这样做来解决技术协同问题，减速也可能给社会足够的时间来适应）。
成功过渡到一个拥有超级智能的世界可能是人类历史上最重要、最有希望、也是最可怕的一步。成功远未得到保证，而巨大的共同利害关系（无限的下行风险和无限的上行潜在利益）有望将我们所有人团结起来，共同迈入一个我们任何人都无法完全想象的繁荣程度的世界。我们希望为世界贡献一个能与这种繁荣相匹配的AGI。 ______________________________________________________________________________
注解：
1. 相对于我们之前的预期，我们似乎得到了很多意外的礼物：例如，创建 AGI 需要大量的算力，因此世界会知道谁在研究它。而早先构想的许多强化学习模型（RL Agent）通过相互竞争来潜移默化地进化而到达AGI的演进路径，这一可能性比最初看起来要小得多。几乎没有人预测到我们会在预训练语言模型上取得如此巨大的进展，它可以在迄今为止整个人类产生的几乎所有文字集上进行学习训练。
我们考虑一个二维四象限的分析框架：AGI 可能会在不久或遥远的将来发生；从最初的 AGI 到更强大的后继系统的起飞速度可能会很慢或很快。我们中的许多人认为这个四象限的分析框架中对人类社会最安全的象限是不久的未来和起飞速度慢。较短的时间线似乎更易于协调，并且更有可能由于较少的计算力过剩而导致起飞速度变慢，而较慢的起飞时间使我们有更多时间根据经验找出如何解决安全问题以及如何适应。
2. 例如，当我们刚开始启动 OpenAI 时，我们没想到扩张会像事实证明的那样重要。 当我们意识到这将是至关重要的时，我们也意识到我们原来的结构是行不通的——我们根本无法筹集到足够的资金来完成我们作为非营利组织的使命——所以我们想出了一个新的 结构。
另一个例子，我们现在认为我们最初关于开放的想法是错误的，并且已经从认为我们应该发布所有产品资源（虽然我们开源了一些东西，并期望在未来开源更多令人兴奋的资源！）转向认为我们应该先弄清楚如何安全地共享系统资源以及系统资源可能带来的好处。我们仍然相信让全社会及时掌握事情动态的好处是巨大的，并且实现这种理解是确保所构建的系统的确是整体社会想要的东西的最佳方式（显然这里有很多细微差别和冲突）。
