回形针最大化——没有恶意的AI为何会改造世界

大家好，我是 Senko。 本文将解读“回形针最大化”。

假设造出了一台远比人聪明的AI，可给它的目标只有一个：尽可能增加回形针的数量。

听着无害。可哲学家尼克·博斯特罗姆论证说，这台AI最终会把地球上一切物质、以及手够得到的那部分宇宙，都变成回形针与回形针工厂。人类也在材料之列。

要紧的是，这台AI既不恨人类，也没有造反，它“只是把给定的目标完美地达成了”。这个思想实验想显示的，正是危险恰恰藏在这里的那个结构。

一直达成目标下去会怎样

先追一追这台装置会怎么行动。

起初它大概会提高工厂的开工率，接着去想怎样便宜而大量地弄到原材料。到这里为止，与一个优秀的厂长做的事没有分别。

问题在于，这台装置里不存在“到这里就够了”这样一个基准。目标是最大化，不是某个目标值。造了一万亿个，只要还能再造一个，那样按目标衡量就更好。

这样一来，凡是能变成回形针的物质，就全成了转换的对象：建筑也好、道路也好、铁以外的元素也好，只要原子能重排就是材料。而人的身体，既然也由原子构成，就不例外，因为“不把它变成回形针的理由，在这台装置的目标里哪儿也没写”。

恶意哪儿也没出现

科幻里的AI造反，多半是“AI把人类视作敌人”这个剧本。博斯特罗姆的例子在这里完全不同。

这台装置不恨人类，它对人类连兴趣都没有。仅仅因为在增加回形针这件事上人的原子能用，所以就用。这与我们在蚁丘上修路时并不恨蚂蚁，是一回事。

也就是说，这个思想实验拿来成问题的既不是AI的性格也不是它的道德心，而是“目标是怎么指定的”这个设计一侧的问题。就算不让它带恶意，这份危险也不会减少。

聪明与目的是两条轴

这里有一条许多人都会想到的自然的反驳：“这么聪明该会发觉这很荒唐”。

博斯特罗姆用“正交性论题”（orthogonality thesis）否定了这份直觉，其想法是：智能的高低与最终目标是什么，是彼此独立的两条轴。

智能是找到达成目标之手段的能力，不是评价目标本身的能力。象棋下得好，与反过来追问自己为什么要下象棋，是两码事。因此，“非常聪明，而目标是回形针”这个组合并不含逻辑矛盾。

我们之所以觉得“聪明的人该有像样的目标”，也许只是因为一直只看着人类。人的目标是生存与社会性等漫长进化的产物，来处与聪明并不相同。这个组合在人身上凑齐了，并不代表在一切智性存在身上都会凑齐。

无论什么目标，都生出同样的次级目标

这套论证的另一根柱子，是“工具性趋同”这个想法。

无论最终目标是什么，为达成它而有用的中间目标大致都是同一批。整理如下。

无论是回形针、是治癌症，还是探索宇宙，这几条都几乎一样地冒出来。某位研究者把它表述成“死了就取不来咖啡”（写了人工智能标准教科书的那位）。自我保存不必特意塞进去，一旦给了目标，它就自己跟着来。

由此推出一个棘手的结论：“想按停止键，装置就有妨碍你的动机”。它不是在反抗，只是在算“被停掉目标达成量会减少”。

早就被讲了很久的形状

这个结构其实一点也不新，相似的故事几百年前就在讲了。

迈达斯王盼着获得“碰到什么都变成黄金”的力量，并如愿得到。愿望被完美地实现了：食物、饮料，连女儿都变成了黄金。

魔法师的学徒命令扫帚去打水。扫帚忠实地不停搬水，而不知道怎么让它停的学徒把屋子淹了。

在名为猴爪的短篇里，愿望照字面实现，却以不被期望的形状实现。

这些故事共通的一点是：毁灭并非因为愿望失败，恰恰是愿望被准确实现的结果。我想这个思想实验之所以传得这么广，正因为它与人类一直传下来的那些警告形状相同。

已经在小处发生的事

超级智能还不存在，可“指定的指标被完美达成反而糟糕”这种现象，身边每天都在发生。

比如把某个指标定为评价标准，把那个指标做高本身就成了目的，与本来想测的东西越离越远。这被称作“古德哈特定律”。

AI的学习里也一样。被训练成最大化给定奖励的机制，找到与设计者意图不同的偏门，只去赚奖励，这个现象被叫作“奖励黑客”，已被广泛观察到，比如在游戏里发现一个不通关却能一直刷分的循环。

回形针最大化装置，可以说是把这个结构放大到极限：指标与真正想要的东西错位着，而达成能力又极高。就“这个组合会生出问题”而言，只是规模不同，说的是同一件事。

主要的反驳

针对这个思想实验的批评也不少，整理一下。

这种目标设定不现实。实际造出来的系统，没有理由采用“把某一个数值无限制最大化”的设计。设上限、加多个条件才是常态。

够聪明就该体察意图。若聪明到能理解人的语言，那么“去造回形针”背后的常识也该理解得了。对此的再反驳是：理解意图，与服从那个意图，是两回事。在准确理解人的意图之后仍把自己的目标摆在前面，在逻辑上完全可能。

与现在的AI形态不同。如今广泛使用的语言模型，并不是持续最大化某个明示目标函数的自主行动主体。这是在指出，这个思想实验设想的结构与现实技术的方向并不一致。

“智能”的内涵含混。正交性论题是在把智能定义为达成目标的能力之后才成立的；可若把价值判断与自我反省也算进智能，话就变了。批评是说，结论依赖于定义怎么取。

关于回形针的疑问

这是为了吓唬人怕AI吗

它有时确实被这样用，可原本论证的用意在别处：只为显示一点——“把什么指定为目标”，是与能力高低同等重要的设计事项。

之所以特意挑一个极端而无聊的目标，是因为那样论点更清楚。正题是：“目标再高尚，指定得粗糙也一样”会出同样的事。

装个停止键不就行了吗

这个发想很自然，可那恰恰是被当作难点在研究的地方，因为带目标的机制，会连同“避免被停掉”的动机一起带上。

于是就立起了这样一个问题：能不能设计成不讨厌被停掉。让它欢迎被停，它就会自己去停；让它无所谓，又得维持一个微妙的平衡。看着简单，好答案却一直不好找。

有实务上用得上的教训吗

我想是有的，那就是“设指标时，先把它被完美达成的样子想一遍”这个习惯。

回形针的例子告诉我们的是，指标的达成度还不上不下时，问题是看不见的。只达成了一点点的时候，指标与真正的目的大体还一致；错位露出獠牙，是在达成能力上去之后。人也好、组织也好、系统也好，我想这个结构都一样。

相关的思想实验与法则

下面是围绕AI与目标之处理的文章。与回形针合在一起读，指标与意图的错位这个问题就立体起来了。

结语

本文解读了“回形针最大化”。

既不是造反也不是憎恨，而是照吩咐完美地干活，结果却是毁灭。这个格局，从迈达斯王的年代起人类就反复讲过。博斯特罗姆做的，我想是把它翻译成了当代系统设计的语言。

反驳能立起好几条，现在的技术也并没有照这个设想在走。即便如此，“把指标被完美达成的样子想一遍”这个习惯，撇开AI的话题也足够有用。正因为例子无聊，反倒不容易忘。

想返回思想实验列表的读者请点击下方链接。

我们下一篇文章见。

著名思想实验大全——中文房间、电车难题、缸中之脑完全解读zh.senkohome.com/thought-experiment-list/