AI何时能助人类一周工作15小时，甚至不工作？

游戏天地 2025年07月01日 14:00 1 admin

至于人工智能是让人类变得更团结还是更分裂，博斯特罗姆认为这并非技术本身能够决定，最终还是取决于人性中的智慧与善意在面对其他倾向是否能够胜出

文|《财经》记者江玮编辑| 苏琦在《超级智能》出版十年之后，英国未来学家尼克·博斯特罗姆出版了他的新书《未来之地》。他构想了一个所有问题都已经被解决的“深度乌托邦”，试图在其中寻找人类的目的和意义是什么。 AI何时能助人类一周工作15小时，甚至不工作？

《未来之地》中文版封面

在人类面临如此多挑战的当下，为什么要去想象一个挑战已经不复存在的理想世界？像物理学家通过粒子加速器创造极端条件，博斯特罗姆通过这本书创造了一个极端条件的思想实验，用它来理解人类价值和目标。博斯特罗姆甚至乐观地认为，许多读者可以在有生之年接近“深度乌托邦”。他希望在这样的世界到来之前，先启发一些讨论：如果人工智能开启了新的能力水平，我们想要一个什么样的未来？生活在一个已经不需要人类付出努力的世界，什么样的生活才是有意义的？人工智能将是促成“深度乌托邦”成为现实的因素，博斯特罗姆近日在接受《财经》专访时说。在他看来，超级智能一旦发展成熟，将如同掀翻棋盘般，彻底改变一切。英国物理学家斯蒂芬·霍金曾表示，彻底开发人工智能可能导致人类灭亡。博斯特罗姆在《超级智能》中写道，人类的命运将取决于超级智能机器的行为。人类如何才能够保持对机器的完美控制？“这就像是一场竞赛：人工智能的能力在快速发展，人类逐渐了解如何调整这些系统……人类对机器的完美控制原则上是可能的，只是我们并不确定能否及时找到解决方案。”博斯特罗姆说。至于人工智能是让人类变得更团结还是更分裂，博斯特罗姆认为这并非技术本身能够决定，最终还是取决于人性中的智慧与善意在面对其他倾向是否能够胜出。博斯特罗姆是牛津大学未来人类研究所的创始人。在研究所于去年关闭之后，他发起了“宏观战略研究倡议”。宏观战略研究对他而言是找出漂浮在空旷宇宙中的这个星球上的人类文明身处何方，又发生了什么。 AI何时能助人类一周工作15小时，甚至不工作？

《未来之地》作者尼克·博斯特罗姆

人工智能风险
《财经》：你在十年前出版的《超级智能》曾预警人工智能可能危及人类生存，而这本新书讨论的是人工智能帮助人类解决了所有挑战的世界。你对于人工智能风险的看法是否随着时间发生了变化？博斯特罗姆：这其实是我一直在思考的硬币两面。在我写《超级智能》的时候，大部分篇幅都在描述事情是如何出错的，我希望能够找出避免这些风险的方法。但事情也可以进展顺利，所以我现在想，也许是时候看看硬币的另一面了，积极的那面。这并不是说我的观点改变了，只是因为这是一个巨大的话题，一本书只能充分涵盖其中一面。这也不是说我一开始相信某件事情，而现在信的却截然相反。更像是我之前看到的是一张模糊的照片，现在像素更清晰了。比如，当前人工智能系统的拟人化程度令人震惊，在很多方面都很像人类，它们可以和我们交谈，甚至表现出一些与人类相同的心理偏见和特性。十年前，我们并不能明显感知到这点。而仅仅过了几年，我们就看到这种非常像人类的人工智能形态。《财经》：随着这类人工智能的兴起，我们如何能确保人工智能不会与人类反目？人类可以保持对机器的完美控制吗？博斯特罗姆：这是一个对齐（Alignment）问题。在我写《超级智能》的时候，这个问题被忽视和忽略了。当时人们还在试图让人工智能变得更有能力，但却没人致力于确保，如果我们开发的人工智能能力越来越高，我们如何可以按希望的那样来引导人工智能。现在情况发生了变化。有很多汇聚了优秀人才的团队正在努力开发可扩展的人工智能对齐方法，即使我们面对的是极端超级智能系统，也依然具备可行的控制技术。但这并不是一个已经完全解决的问题，我们能否及时解决这个问题仍悬而未决。这就像是一场竞赛：人工智能的能力在快速发展，人类逐渐了解如何调整这些系统。但我们无法确定，如果明天有人找到了让系统真正变得更加智能的技巧，我们是否有可靠的方法来充满信心地驾驭这种情况。所以这是一个开放的问题，人类对机器的完美控制原则上是可能的，只是我们并不确定能否及时找到解决方案。《财经》：你在书里所描述的“问题已解的世界”（Solved World）从技术、生产力和治理方面呈现出什么特点？博斯特罗姆：有两种属性。一是它处于或者接近技术成熟状态，也就是说，我们基本上已经开发了全部有用的通用技术，这些技术在物理上是可能的，原则上是可能实现的，即使我们现在还不具备这样的能力。比如，治愈衰老、太空殖民、完美的虚拟现实、将人类意识上传到电脑、对人类大脑情感机制的精细控制与认知能力的增强、完美的自动化技术，这些事物都没有违反物理定律。而超级智能的出现，让那个长期未来像望远镜一样被快速拉近。这是第一个属性，即近乎魔法的技术能力。第二个假设是，治理问题已经得到了很好解决，或者至少在一定程度上得到了控制。这本书并没有关注政治治理方面，但我假设它不是糟糕的，没有出现管理不善，人人都有机会，和平到来，政府不压迫人民等等。这两个属性构成了我对“问题已解世界”的定义。《财经》：这样一个理想世界什么时候会到来？你提到我们可能在有生之年看到一部分。博斯特罗姆：这更像是一种希望，而非预测。鉴于目前人工智能的发展速度，这样世界的到来是可能的。超级智能一旦发展成熟，将像掀翻棋盘般，彻底改变一切。在好的情况下我们会看到这个理想世界，一个“深度乌托邦”。但在坏的情况下，我们可能面临灭绝。有很多可能的结果。目前来看还很难预测，但出现一种强大的、可以从根本上改变很多事情的力量是可能的。我们是否会实现“深度乌托邦”或者其他任何一种乌托邦，现在还是未知数。这本书没有对时间线做出预测，但我确实认为，这种可能性是现实的，很可能会在许多读者的有生之年内实现。如果某些人工智能实验室负责人对前景的预测可信的话，这一切甚至也许只需要几年时间。《财经》：使“深度乌托邦”成为现实面临的最大挑战是什么？博斯特罗姆：如果“深度乌托邦”要成为现实，人工智能将是促成这一切发生的因素。在没有人工智能的情况下，我们可能需要成千上万年才能实现。但是人工智能不仅有潜力带来巨大的好处，随之而来的还有事情可能出错的各种情况。因此主要的挑战就在于确保这些坏的事情不会发生。这也是我们前面所讨论的对齐问题，要确保超级智能系统不会与人类为敌。其次是治理挑战，确保人类不会使用这些日益强大的人工智能工具来伤害彼此。人类使用了很多技术来制造武器等诸多破坏性事物。第三个挑战受到的关注要少得多，这是我最近工作关注的内容，即如何确保我们不会伤害正在建构的人工智能。我认为其中的一些数字心智将具备道德地位，是真正有感知的存在，有自己的利益和目标。绝大多数心智在未来很可能将是数字的，而非生物的。这些数字心智的规模可能差异巨大，从类似于行星级别的超级智能，到像松鼠那样微小的意识体，甚至是那种仅仅用来运行洗衣机的微型智能。未来可能会出现各种形态的数字心智，这构成了一种道德上的挑战：我们能否将人类的同理心拓展到他者。这可能很难，毕竟，有时人类连彼此都难以好好相待。而对于动物，情况只会更糟。在畜牧业中，人类经常严重虐待动物。某些数字意识，可能只是数据中心里一些不可见的进程，没有眼睛，也不会发出哪怕一丝“吱吱”声，需要我们想象身处它们的情境。我最近写的一篇论文草稿里提及了第四种挑战，尽管我现在还没有考虑得太清楚。如果我们创造出某种形式的超级智能，它可能存在于一个有其他超级智能的世界中。这些超级智能可能是由遥远星系中的外星文明构建的，也可能是由宇宙波函数的其他分支所产生，又或者如果生活在一个计算机模拟中，模拟器本身也将是超级智能体。所以这个挑战就在于要确保我们创造的任何形式超级智能，都能够与这组可能已经存在的原住者相处融洽。传统神学中的神明，也可以算作其中一类。确保人类与它们之间关系融洽非常重要。我们还得保证人类能够走到建设超级智能的那一步，而不是在这之前就以其他方式自我毁灭。我们现在仍拥有大量核武器和生物武器，以及其他可能摧毁文明的方式，如果在那之前我们自己就把文明搞垮了，那将是非常可悲的。我们连与超级智能“掷骰子”、一试未来命运的机会都没能争取到，就已经出局了。《财经》：你预见的“深度乌托邦”是一个所有挑战都已经解决的完美世界。另一个未来学家凯文·凯利则提出了“渐进乌托邦”（Protopia）的概念，他认为问题与解决方案总在循环扩张，乌托邦只能是一个渐进的过程。你如何看待这两种乌托邦的不同？博斯特罗姆：凯文·凯利提出的“渐进乌托邦”更多地是关于此时此地，它锚定在当前的现实和实际中，反映的是你如何看待过去几十年的技术发展。正如技术进步的一贯模式，人类不断尝试各种方法，跌跌撞撞地解决了一些问题，在这个过程中又会制造出新的问题，之后我们再去解决这些问题。这并不是说每件事都是完美的，但如果你从更远的角度看，你会发现，我们需要解决的问题质量越来越高。比如，如何按时上床睡觉，而不是沉迷于你的社交媒体。这可能是个问题，但总比面对如何获得足够的食物来养活孩子这样的问题好。我们用那些解决起来依然困难但更好的问题来替代更糟糕的问题，这反映了我们过去和现在所处的位置。但“深度乌托邦”试图通过快进推断：如果我们把现在的趋势发挥到极限，会发生什么？人工智能变得越来越强大，很有可能在某一时刻，它可以完成人类所能做的一切。它将彻底变成超人，解锁完整的科技树（Technology Tree）。因此，“深度乌托邦”提出的是一个不同问题，是关于逻辑的最终结果。而“渐进乌托邦”的逻辑结论是，到了某个节点，解决问题的实体会比人类更善于解决问题。也许即使到了“深度乌托邦”，依然会有挑战和问题出现，但会有比人类更高效的超级智能来解决。《财经》：你的书里提到了“马尔萨斯陷阱”，你如何从技术进步的角度解释它？一些未来学家认为，人工智能将终结稀缺性，但在物质充沛的世界，人工智能是否会带来其他意义上的稀缺？博斯特罗姆：“马尔萨斯陷阱”依然会存在。人们常常忽略了它的存在，也许只是在一些历史教材的某些段落中读过。我们不应轻易认为2025年的世界状态是正常的默认状态。我们今天能够享有高于平均温饱水平的收入，其实是一种巨大例外，是我们的幸运。这种状态并不理所当然地会持续下去的。随着超级智能推动技术迅速走向成熟，经济发展可能极其迅速，我们可以解锁巨量资源，甚至最终开发太空资源等。但人口增长的速度可能更快。人口增长是可以呈指数级的——哪怕每年增长10%，最终的总量也可能变得天文般庞大。尤其如果未来大多数的“人”是数字意识体，那它们可能只需几分钟就能复制一次。因此即使是天文数字级别的资源储备，也可能在极短时间内被迅速耗尽。未来我们将不得不再次面对马尔萨斯的挑战，并可能需要采取某种方式，对“有多少、何种形式的意识体得以存在”做出更多选择，以确保每一个存在的个体，都能拥有高质量的生命体验。我不认为这是当下必须立刻解决的迫切问题，但在未来某一时刻，它将成为必须应对的课题。否则，任何形式的乌托邦都将只是短暂的幻象——随着人口增加，人均收入重新跌落到仅够生存的水平。 AI何时能助人类一周工作15小时，甚至不工作？

劳动力市场的影响
《财经》：你如何看待人工智能对劳动力市场的改变？博斯特罗姆：目前的影响并不大，主要是一些轻微的边际影响。一些科技公司可能不再像几年前那样雇用大量初级软件工程师和程序员，因为编码助手运行得很好，而且越来越好。科技公司会认为，既然人工智能可以做到，也许不该再让大量初级程序员加入进来。我个人觉得，一些低水平的研究辅助任务可以由人工智能系统很好地完成，比如你想就某个主题展开一些初步研究调查，或者对一些随机事件写报告，人工智能完全有能力完成，而且速度更快。随着人工智能可靠性以及与业务流程融合程度的提高，这种类型的自动化任务将迅速扩张。现在的人工智能，即使在没有提升的情况下，一旦完全融入经济、数据集和工作流程，也足以实现很大一部分人类劳动力的自动化。但到目前为止，我认为人工智能对劳动力市场的影响还非常有限。《财经》：在你描述的理想世界中，人类不再需要工作。你如何看待人工智能取代人类工作的道德维度？失业本身就是一件坏事吗，还是由失业带来的不平等、身份丧失、缺乏目的等等使得失业成为一个问题？博斯特罗姆：我不认为失业总是一件坏事，这有两个前提。一是人类不像现在这样总是需要换一份别的工作。在一个充满活力的经济体系中，人们需要流动，一些工作被创造出来，取代了之前的工作。但在“问题已解的世界”，我们看到的是普遍失业。由于人们不挣工资，他们需要其他维持生计的来源。准确地说，在这种情况下，所有工作都可以自动化，实现了极为迅速的经济增长。有了这种经济富矿，慷慨的全民基本收入变得可行，或者让每个人都拥有主权财富基金的股权。另一个是尊严和自我价值来源。在当下，如果人们失去工作时，他们会觉得自己一无是处，失去与同事以及其他人的社会关系。我认为这种文化需要转变，需要不再把失业看作是失败的标志，而应该是：你现在不必再做这些工作，你已经从工作中解放。我们需要发展一种新的文化，培养卓越的休闲方式。有些人会觉得无聊，他们躺在沙发上，觉得自己一无是处。但另一些人则享受每一个空闲时刻，他们有自己的爱好，和朋友共度时光，锻炼，去自然探险，或者花时间和孩子在一起，听音乐，有很多这样的事情可以做。在当前的教育系统中，我们仍然需要培养坐在办公桌前的人，完成布置的工作任务。但在理想世界里，这些都不再需要了，教育系统将被改变，它将教会人们享受生活，真正享受生活的多样性。《财经》：英国经济学家凯恩斯曾在一个世纪前预言，到2030年，人们每周只需要工作15个小时。但显然我们离这个目标还很远，还有很多人总在加班。为什么凯恩斯的预言未能实现？博斯特罗姆：他预测的其实是两件事。一是在这一百年的时间里，生产力将增长4倍到8倍，这确实发生了。另一件则是在这种情况下人们每周只需工作15小时，这并没有发生。虽然人们还在工作，但西方国家的一些统计数据显示，人在一生中的工作时间比以前少了，人们有更长的接受教育时间和更长的退休时间，每天的工作时间略有减少，同时有更多的假期、产假或者陪产假。把所有这些都算上的话，人的工作时间显著减少。生产力虽然得到提升，人们选择用于增加支出和消费。所以你可以说是贪婪战胜了懒惰。部分原因在于人们想要的在很大程度上是位置商品，你拥有的东西是其他人没有的。地位消费总是贪得无厌。我们原本可以少在衣服上花钱，即使天气很冷也足以御寒，但我们仍然花了更多钱，因为想让别人对我们的外表留下深刻的印象。一个旧手机也可以运行同样的应用程序，但新手机看起来更酷，所以我们又多花了钱。在现代，这种地位驱动的消费助长了许多消费行为。如果你只是想保证有足够的食物，不会挨饿受冻，人们其实可以少工作很多，很多人甚至可以不工作。假设你生活在一个富裕国家，努力工作十年，然后搬到一个生活成本低的国家，如果你愿意接受生活只有基本必需品，你极有可能可以靠积蓄生活。只是很少有人这么做。位置商品对于驱动消费行为的重要性，这是凯恩斯当年没有觉察到的。《财经》：随着超级智能的崛起，有哪些人类活动是不可替代的？博斯特罗姆：作为消费者，我们面对产品和服务，不仅关心它们的客观和内在属性，还关心它们是如何制造以及由谁制造的。消费者会愿意支付额外费用，比如在购买烟灰缸之类的小玩意时，如果它是由当地手工艺人制作，而不是在工厂里批量生产的。又或者我们还是更喜欢观看人类跑步和打拳击，即使机器人跑得更快或出拳更有力。鉴于消费者的这些偏好，即使在技术成熟的情况下，对人类劳动力的需求仍然存在，而且这方面的权重还会增加，因为人们变得非常富有，可以买得起更多此类产品来满足品位，而不仅仅只看其表面。它变得不那么功利了：我喜欢这个物件是因为它背后的历史；我认识制作它的人，他们怀着爱与关怀对待它；它被某位名人拥有了一段时间，现在出现在我的客厅里。会有一段短暂的过渡期。当人类第一次掌握可以对很多事情实现自动化的技术时，可能在一段时期内，我们不会完全信任技术。即使它们可以完成各种工作，我们还是没信心把重要的决定交给它们。人类从事的许多工作将是监督人工智能劳动力，审查其产出，对其进行评估和检查，并做出最终决定，尽管事实上，人工智能完全有能力胜任这些工作。最终，我们会对人工智能培养出足够的信任，把事情外包给它们。但还是会有受到保护的特定工作类别，比如法律规定特定的任务必须由人来执行，就像现在的公证人、法官或政治决策者，又或者是出于宗教理由，比如牧师。这些都是通用自动化之外潜在的重要例外。现在属于这一类别的工作相对较少，但随着各行业实现完全自动化，会有更多的工作进入这一类别。 AI何时能助人类一周工作15小时，甚至不工作？

人生的意义是什么
《财经》：你在书里讨论了“深层冗余”和“浅层冗余”，这两者的主要区别是什么？面对“深层冗余”，人类可以做什么？博斯特罗姆：浅层冗余意味着没有任何功能性的经济目的需要我们付出努力，我们不需要为生计而工作。一个肤浅冗余的世界意味着不需要人类的经济劳动，所有工作都由机器人完成。无论你工不工作，都会收到薪水。深层冗余则超越了这一点。当你不工作的时候，还有很多活动需要你以不同方式付出努力。有些人可能会去健身房锻炼，因为这样才能保持身材。有人可能会花时间装饰他们的房子，因为只有这样才能把房间变成自己想要的样子。或者去购物，这是你想要得到特定物品的唯一方法。即使你很有钱，你仍然必须做出选择才能得到想要的东西。再比如学习数学，这是你实现擅长数学的唯一途径。即使你是亿万富翁，可以请家教，但你仍然需要做数学练习，自己付出努力。然而到了技术成熟时，实现这些结果会有捷径，不仅是经济上的努力变得没有必要，其他形式的努力也变得没有必要。你不必再去健身房，只需服用健身药丸，就会自动带来和去健身房一样的效果。你也不必大费周章去不同的商店购物，人工智能知道你的品位和偏好，为你挑选好所有东西，使你得到一个更好的房子和更好的品位。你会因此产生一种更深刻的冗余感——看起来任何东西都不需要努力。《财经》：生命的意义是什么？你在书的结尾提出了这个问题，但没有给出答案。博斯特罗姆：这个问题其实可以从不同层面来回答。其中一个原因是，我写这本书已经花了很长时间，写到那个阶段时，我只是特别想把它完成并尽早发布，最好是在奇点到来之前，还能留出一些时间，所以它确实需要收尾。我知道无论我在哪一页停笔，都会有更多我尚未涉及的问题。这就是这类话题的特点：它太庞大了，一旦你开始认真思考，就会发现总还有更多的东西可以继续挖掘。我不想写成那种无限拖延下去的书。我有一个好朋友，他写书写了大概已经有15年。书越写越大，但始终没能真正出版。我在想，也许到了某个时候，人工智能可以在十分钟内把整本书写完，要是我的这本书在那之前还没出版，就变过时了，那真挺遗憾的。我不想那样，这也是我必须给这本书画上句号的一个现实原因。但另一方面，我认为让读者自己去思考这个问题，未尝不是件好事。答案因人而异，会随着你所持的不同立场而呈现出不同的面貌。我觉得很关键的一点是，当我们说“生命的意义”时，“意义”到底是什么？在给出答案之前，你需要先弄清楚这个问题。如果你对“生命的意义”的理解是人们将来会用什么来填满他们的日常生活？我在书中其实讨论了这个问题。事实上，你甚至可以把这本书看作某种可能生活方式的片段化呈现。比如，书中那些角色，他们到处去听讲座，然后互相讨论，接着去泡温泉放松。那种生活状态其实就是一种相当乌托邦式的存在。他们像蝴蝶一样，采集知识的花蜜，在学习中获得乐趣，同时也享受生活。我设定这些场景，正是想借此呈现一种生活方式。我写这本书的目的不仅仅是解释各种概念、论证和思想，当然这是书中很重要的一部分，但我也希望通过这本书传达一种特定的精神，用有趣和有爱的方式来面对这些问题。如果未来真的会有一些人要做出那些影响长期未来的重大决定，他们在进入我所说的“假想中的讨论室”之前，心态也许和具体的想法一样重要。我希望他们能以一种开放的心态去面对这样艰难的任务。在保持人类价值观的同时，怀着一种慷慨、有趣和爱护的态度，去思考我们可以建构的未来。这也是为什么这本书会以这样的方式来写，因为面对这些宏大的问题，人是很容易脱轨的，要么是失去了人性中的一些人类价值，要么是困在当下，无法想象不同的未来。无论是哪一种，都会让人变得错乱。要在思考这些问题的过程中，保持完全的理智，并与自身的价值观及更广泛的人类情感保持连结，其实是非常困难的。《财经》：如果是你生活在“深度乌托邦”，你的人生意义会是什么？博斯特罗姆：我们还是得先对“意义”这个词做出界定。我在书中确实花了很多篇幅讨论“目的”，并且区分了“意义”与“目的”的不同，我认为“意义”是一种特殊类型的“目的”。我也谈到其他更普遍形式的目的，尤其是“人工目的”的可能性，而这正是乌托邦居民所拥有的主要目的。简单来说，就是你为自己设定的任意目标，一旦确立了这个目标，你就会有理由去努力实现它。游戏就是这种形式。你决定打一场高尔夫，你给自己设定了这个目标，让球进到18个洞。你用高尔夫球杆击球，这其实非常不方便，用你的手捡球并按顺序移动它会容易得多。但出于某种原因，你做了这个决定，要试着只用一根高尔夫球杆把球打进18洞。一旦你接受了这个目标，你就有了一个人为的目的。你只有全神贯注、尽最大努力去击球，参与高尔夫球运动的每一个环节，可能是和朋友一起，才能真正实现这个目标，并因此度过一段愉快的时光。所以，游戏其实就是一种人为设定目标的活动，目的是促成本身就有价值的体验。乌托邦中的人们所做的事情，就是一起创造出越来越精巧、复杂、奇妙且富有美感的游戏形式。这不是指小小的棋盘游戏，并非只是移动几个棋子那么简单，更像是一种将人生作为审美表达的方式，与他人共同生活、互动，努力把生活本身变得美好、充满乐趣。除了人工目的，人们可能依然保留某些自然目的。比如，如果你认为，缅怀祖先是一件有价值的事。在“深度乌托邦”降临之前，他们为了你能走到今天，付出了诸多牺牲。那么，怀着感激之情铭记他们会是一种值得保留的目的，这件事是你无法外包给机器完成的。假设你造了一个机器人，让它说：“祖父，我记得你，我很感激你。”这并不能真正算作是你在缅怀祖先，必须是你亲自花时间去做这件事，才算是真正的纪念。类似的还有各种社会关系的牵绊。比如，当你对另一个人有个人情感时，重要的就不是完成一件事，而是你亲自为对方做了这件事，这其中包含了一种独特的价值。即使在技术达到任意高度的未来，有些目的仍然需要你亲自动手、亲自用心去完成。所以，这些自然目的会继续存在，而且它们可能变得越来越重要。至于生命的意义这个问题，我觉得就更复杂了。我们到时会处在一个什么样的情境，不是那么明确。也许，那时的意义会更多地转向精神性、宗教性或超验性的方向。就算我们已经拥有了近乎魔法的技术，对现实气泡有了完美的掌控能力，也许在那之外还有一个更大的现实。取决于这个更宽广的现实是如何构成的，我们也许仍然能获得某种意义，就像我在书中所阐述的那样。在这个更大的宇宙面前，即使我们实现了技术的完全成熟，我们在其中可能仍是极其微小的存在。《财经》：在写这本书的过程中，你最重要的收获是什么？博斯特罗姆：很难简明扼要地总结，但也许可以这样说：我们的人类价值和欲望，在很大程度上是锚定在当前所处的情境之中的。当你试图将这些价值延伸到一个完全不同的情境中，比如“问题已解的世界”，那么这些价值就开始变得不明确、松散，或者说，像是一种分布外的外推（Out-of-distribution extrapolation）。在这种情况下，我们究竟会选择什么、想要什么，答案在很大程度上其实是不确定的。我们关心的很多东西，都是一种预设，以经验性、偶然性的事实为前提，这些事实构成了我们所处的位置。而一旦这些前提被移除，我们就很难说清楚自己到底还想要什么，或者会赋什么予价值。这就像是进入一个自由浮动的世界，一旦离开我们熟悉的环境，很难用可以理解的方式来描述。但这是我在写这本书的过程中，逐渐体会到的一个重要领悟。 AI何时能助人类一周工作15小时，甚至不工作？

人工智能治理
《财经》：在一个后工具性的社会，你认为什么样的体制会继续发挥作用？治理、市场这些概念是否仍有意义？博斯特罗姆：很难用详细具体的画面来描述在一个后超级智能世界中，哪些社会组织是有意义的。我们究竟应当以怎样的方式来实现自己，也许并不是我们现在这个阶段能够，也未必需要详细规划清楚的事情。因为未来的人类将处于离那种情境更近的位置，对正在发生的事情也会看得更清楚。而且，他们还将拥有超级智能的人工智能顾问，帮助他们设计和组织社会结构。我并不知道这个问题的答案。我的猜测是，到了那个阶段，这些制度性的安排可能会与现在的完全不同——不仅仅是在边缘做一些小调整，某些制度的必要性和本质都可能需要在技术成熟之后彻底重新思考。《财经》：你在个人网站上提到目前在关注与人工通用智能（AGI）治理相关的工作，有什么可以分享的吗？博斯特罗姆：其实是我正在探索的一些想法，只是某个问题的切面。我在思考这些问题，但常常感觉难以找到方向。这回到了我们前面提到的那个问题，关于宏观战略。我们究竟在搭建什么？为什么是在这个地方建它，而不是在另一个地方？我们是不是应该去做完全不同的事？当你开始从这个层面思考，就很难判断：什么方向才算是改进，什么又可能会把我们带得更远。在人工智能治理领域，我有非常深的这种感受。对于很多决策问题，你可以看到支持与反对的合理理由。比如，我们是需要政府更多介入人工智能的发展，还是应该更少？我们是应该推动开源开放，还是保持封闭，由实验室来密切注视前沿技术？这些都不是显而易见的问题。我有自己的看法，但我也很清楚，这些看法未必能完全覆盖所有相关事实，我也不确定什么方案才是真正最优的。我并没有足够的信心认为自己已经找到了明确的蓝图。就算我是这个世界的帝王，有人问我应该怎么处理人工智能问题，我恐怕也只能提出一些边际上的建议，也许是有用的，但不是一整套确信可行的系统方案。所以我还在继续思考。我想说的是，可以做一些事情来使我们的轨迹朝着一个更加合作的未来前进，不同国家、不同民族和包括数字思维在内的不同类型存在，都在寻求合作。这会带来更积极的未来愿景，而不是以一种零和的心态来看待问题。我认为对未来最大的威胁之一，其实就是各种形式的冲突。不是我们能否战胜自然的问题，风险在于我们是否能避免与其他智能存在的冲突。如果找不到相处的办法，我们会让一切变得更糟。很难确切知道这具体意味着什么。但我认为，至少它意味着不断寻找机会，以一种更加合作的方式来解决问题。没有人会得到他们想要的100%。但我认为未来的容量足够大，可以让每个人得到他们想要的90%或者95%，然后我们再来争吵那剩下的那5%也无妨。只要我们能确保每一个存在，包括数字智能在内，都能拥有美好的生活，到那时候，谁得到最后的5%其实也没那么重要了。《财经》：你如何评价当前的人工智能治理？我们需要什么样的治理机制？博斯特罗姆：现在的治理还可以，问题在于，随着人工智能的能力和影响力不断增强，我们是否需要一种不同的应对方式。不同的模式各有利弊。最近我在思考的是：如果一个人工智能项目是可以公开投资的，它将有利于促进合作。因为外部的人就能通过投资的方式参与其中，成为它的一部分，而不必选择与其竞争，甚至想要摧毁它。如果一个人工智能产品已经存在，而你作为局外人完全无法分享它的红利，也无法对它有任何控制权，你可能就会觉得：既然我不能参与，那我只能自己做一个产品，即使这意味着要投入一场无法放慢节奏、无法谨慎行事的竞赛。如果你完全被排除在外，你可能会觉得自己非得加入竞赛不可，甚至在某些情况下，可能会试图干扰或破坏它，尤其当这个人工智能项目对国家安全极其重要时。但如果外部参与变得可能，情况可能就会不同。比如可以设想国际合作项目，或者更简单地，允许人们投资人工智能公司、持有股份、参与利润分配、对其技术使用方式拥有一定影响力。这或许可以是缓解负和博弈的一种办法。如果这个人工智能项目是以公司形式运行的，公众可以通过持股参与，那么投资性参与的机制就可以建立起来。不过，这又涉及政府监管的问题，就像对其他公司一样，政府也需要对人工智能公司设立监管框架。由于人工智能对世界的影响极其巨大，这类监管可能更需要严格执行。问题是，如果政府高度介入人工智能公司的运作，那投资人会不会担心公司有朝一日会被政府没收。如果有这种担忧，他们可能根本就不会投资，这就会使合作红利的设想失效。有没有可能找到一种平衡机制，既保留人人都可以参与的开放性，像上市公司一样，又能具备足够的政府监督，这样就可以建立一个监管框架，确保人工智能的私营公司能够负起责任和确保安全。我正在探索这些想法，还没有完全下定论，但我认为这值得与其他人提出的模型一起探索，比如人工智能版的“曼哈顿计划”或人工智能版的欧洲核子研究中心（CERN）。可以把几种方案并列摆出来比较，评估它们的可行性与吸引力，这也许能帮助我们找到更好的组织方式。《财经》：你认为人工智能让人类变得更加团结还是更加分裂？博斯特罗姆：两种情况都有可能，很难预测。就像对社交媒体提出同样的问题，即使我们现在能看到结果都很难说它究竟是让我们更团结还是更分裂。我们通过社交媒体可以更方便地与人保持联系，也更容易了解发生了什么事。但与此同时，它也容易制造“过滤气泡”——你和你所属的群体围坐一圈，互相强化、赞同彼此的观点，同时一起讨厌圈外的那些人。这样很容易造成群体之间的巨大裂痕。如果我们能找到一些办法，鼓励人们多倾听对手的观点，试着从他们的视角去理解问题，并进行对话，这可能有助于我们朝着一个和平、合作的未来迈进。技术本身是支持这种可能性的，但问题是，人们是否选择这样的方式。这就像任何一种强大的技术，它可以被用于造福人类，但如果有人坚持拿它做坏事，同样可以造成巨大伤害。人工智能也面临类似的问题。它的潜力是巨大的，可以帮助人们更好地理解世界、解释复杂问题、促进合作方案。但如果人们选择用它来屏蔽异见、放大自身立场、制造武器，甚至用它来优化战争决策流程，那就是另一回事了。所以我觉得，问题最终还是取决于人性中的智慧与善意在面对其他倾向是否能够胜出。这一点，并不是技术本身能预测或决定的。 AI何时能助人类一周工作15小时，甚至不工作？