战略思维

极小化极大策略——把最坏情况降到最低的决策法

极小化极大策略——把最坏情况降到最低的决策法

大家好,我是 Senko。 本文将解读“极小化极大策略”

它是即便对方采取对自己最不利的行动,也让损害降到最小的选择方式。这个概念横跨博弈论、统计决策理论与人工智能领域,被广泛应用于不确定性与风险很高的决策处境。

图解

极小化极大策略的起源

Minimax 是“把最大(maximum)最小化(minimize)”意思的造词。把这个概念数学地确立起来的,是博弈论的创始人约翰·冯·诺伊曼。

1928 年,冯·诺伊曼在论文《室内博弈的理论》中证明了“极小化极大定理”。这是构成博弈论基石的定理,对后来的经济学、计算机科学与军事战略产生了广泛影响。

1944 年,冯·诺伊曼与奥斯卡·摩根斯坦合著的《博弈论与经济行为》,更把博弈论确立为一门学问。在这部著作里,极小化极大策略被系统地定位为经济决策的数学基础。

在统计学领域,1940~50 年代亚伯拉罕·瓦尔德把极小化极大的想法应用到了“统计决策理论”。瓦尔德的极小化极大准则,提供了一套在概率未知时也能使用的通用决策框架。

零和博弈与极小化极大定理

极小化极大定理保证:在二人零和博弈中,一方采取极小化极大策略、另一方采取极大化极小策略时,必定存在双方最优策略相一致的均衡

零和博弈指的是一方的收益等于另一方损失的博弈。国际象棋、扑克、谈判中的分配问题都是其典型。

假设参与人 A 选行、参与人 B 选列,支付矩阵的各格记为 A 的收益(B 的损失)。

  • A 的极小化极大策略:求各行的最小值(最坏情况),在其中选最大的那一行
  • B 的极大化极小策略:求各列的最大值(对 A 的最大损害),在其中选最小的那一列

纯策略下不存在均衡的情形也不少,可一旦允许混合策略(以概率选择各选项的策略),极小化极大均衡就必定存在。这正是冯·诺伊曼极小化极大定理的核心。

零和博弈的极小化极大均衡与纳什均衡一致。这是零和博弈所具有的重要性质,表明在零和结构下,对对方最优反应的最优反应必定存在。

决策树与逆向归纳法

把博弈按时间序列表示出来的东西叫作“博弈树(决策树)”。各节点是决策的局面,各分支是可选行动,末端节点是最终结果。

极小化极大算法从末端反向评价决策树。

  1. 末端节点的评价:计算各终局的评价值(分数)
  2. 自己行动的节点:采用子节点评价值的最大值(最大化方)
  3. 对方行动的节点:采用子节点评价值的最小值(最小化方)
  4. 传播到根节点:抵达根节点时最优着法便确定

这套“逆向归纳法”是博弈论中通用的手法。不看当下的状况,而是从博弈的最终结果倒推来定下当前的最优着法,这个发想在谈判、竞争战略与政策制定上同样可以应用。

α-β 剪枝

在国际象棋、日本将棋这类复杂博弈里,把整棵博弈树读完计算量太庞大,并不现实。国际象棋的平均分支数约 35,日本将棋约 80,整局的搜索空间会达到天文数字的规模。

解决这个问题的,就是“α-β 剪枝”(Alpha-Beta Pruning)。

α-β 剪枝的原理很单纯。在搜索途中一旦判明“沿这条路走下去,必定比已经找到的最优着法更差”,就在那一刻中断该分支以下的搜索。

  • α:最大化方能确保的最低保证值
  • β:最小化方能确保的最高保证值

一旦 β ≤ α,该子树对哪一方来说都不可能成为最优选项,于是可以中断搜索。

在最好的情形下,α-β 剪枝能把极小化极大搜索的计算量从 O(b^d) 削减到 O(b^(d/2))(b 是分支数,d 是深度)。这意味着在同样的计算资源下,博弈树的搜索深度可以翻倍。

1997 年击败国际象棋世界冠军加里·卡斯帕罗夫的 IBM“深蓝”,就以 α-β 剪枝为基本算法,靠专用硬件每秒评价 2 亿个局面。现代的计算机象棋引擎(Stockfish 等)也以同样手法为基础,已远远超越人类最强棋手的水平。

不过,现代的围棋 AI 用的不是极小化极大搜索,而是把蒙特卡洛树搜索与深度强化学习结合的手法(因 AlphaGo 而闻名)。这是因为围棋的分支数极大、局面评价也困难,极小化极大搜索难以应对。

瓦尔德的极小化极大准则

统计学家亚伯拉罕·瓦尔德提出了与“极小化极大后悔”并列的概念“瓦尔德的极小化极大准则”

这个准则可用于完全不存在概率信息(即“不确定性下”)的决策。

它的做法是:对每个选项求出最坏情况的结果,在其中选最不糟的那个选项。

比如考虑在不知道会不会下雨的日子出门时的选择。

选项晴天时雨天时
不带伞舒适(+10)淋成落汤鸡(−20)
折叠伞略不便(+5)稍微淋湿(−5)
长柄伞碍事(+2)舒适(+8)

按瓦尔德准则,比较各选项的最坏值(晴天与雨天中较小的那个):

  • 不带伞:−20
  • 折叠伞:−5
  • 长柄伞:+2

选最坏情况最大(+2)的“长柄伞”,就是瓦尔德的极小化极大准则。

这个准则作为完全没有概率信息时的决策工具很有用,但因为只看最坏情况,会有高估低频坏剧本的倾向。

极小化极大后悔(Minimax Regret)

作为极小化极大策略的变形,有“极小化极大后悔”(Minimax Regret)这个准则。

它的想法是:在各剧本下计算“与最优选择之差(后悔量)”,选出最大后悔最小的那个选项。

把它用到刚才的雨伞例子上。

晴天时的最大值是 10(不带伞),雨天时的最大值是 8(长柄伞)。

后悔量表:

选项晴天的后悔雨天的后悔最大后悔
不带伞10−10=08−(−20)=2828
折叠伞10−5=58−(−5)=1313
长柄伞10−2=88−8=08

选最大后悔最小(8)的“长柄伞”,就是极小化极大后悔的判断。

据说亚马逊创始人杰夫·贝索斯在决定要不要创办亚马逊时,立下的问题是“80 岁的自己回头看时,哪个选择不会后悔”。这套被称为“后悔最小化框架”的想法,正是极小化极大后悔的直觉式应用。

极小化极大后悔比瓦尔德的纯粹极小化极大准则更能反映各剧本之间的相对位置,因此在现实决策中往往更好用。

与鲁棒优化的关系

极小化极大的想法,直接连着现代工程学与运筹学中的“鲁棒优化”(Robust Optimization)。

鲁棒优化寻求的,是即便参数在“不确定性集合(Uncertainty Set)”内变动,也能满足约束、达成目标的设计与计划。

这正是极小化极大问题的结构:“求出一个即便不确定参数取到最坏实现也能给出最佳结果的解”这样的形式化。

实际的应用例:

供应链管理:即便需求波动也能同时避免缺货与积压的订货量决策,是鲁棒优化的典型。

电网设计:面对最坏的需求模式与电厂故障模式也不停电的基础设施设计。

金融风险管理:VaR(Value at Risk)、CVaR(Conditional VaR)等风险指标,在最小化最坏分位损失的意义上,带有极小化极大式的发想。

机器学习的鲁棒性:针对对抗样本(Adversarial Examples)的鲁棒模型训练,也被形式化为极小化极大问题。它是对抗模型加入最坏噪声、学习模型对此最小化损失的两方最优化问题。GAN(生成对抗网络)也具有这个结构。

在日常决策上的应用

不只在博弈或数学的语境里,日常的许多场面都能套用极小化极大的发想。

保险的决策:保险是极小化极大式判断的典型。为把最坏剧本(事故、疾病、火灾)发生时的损失降到最小,人们支付保费这项成本。若纯按期望值计算,保费多半是白花的,可当最坏情况的损害大到会摧毁生活时,极小化极大的判断就是合理的。

是否投保取决于风险的绝对规模。对于最坏损害会达到不可接受水平(破产、倒闭、严重健康损害等)的风险,即便期望值为负,保险也是合理的。反过来,最坏也在可承受规模内的风险,或许就不需要保险。

谈判中的 BATNA:谈判学里有“BATNA”(Best Alternative to a Negotiated Agreement)这个概念,指的是谈判破裂时的最佳替代方案。把 BATNA 弄清楚,正是极小化极大式思考的实践。手里握着“最坏也能靠这个替代方案应对”的下限,即便谈判变得情绪化,也能维持恰当的判断。

BATNA 越强谈判力越高,这层关系可以用极小化极大的逻辑解释:最坏情况本身很好(好的 BATNA),就不必屈从于对方强硬的要求。

项目管理的应急预案:在项目计划中设想进度延误、成本超支、技术失败等最坏情况并制定应急预案,是极小化极大式的发想。为了最坏时项目也不至于完全崩溃,要预留备用资源与替代手段。

安全保障与国防:国防政策是典型的极小化极大问题。针对对方国家最坏的进攻剧本确保最低限度的防卫能力,是其基本方针。北约的集体防卫体制、核威慑的逻辑、防御性现实主义,都具有极小化极大式的思考结构。

与期望效用理论的分工

与极小化极大策略并列的决策准则是“期望效用最大化”。两者本质上适用于不同的处境。

期望效用理论——比较有风险选项的基础理论zh.senkohome.com/strategic-thinking-expected-utility/

期望效用最大化:在各剧本的概率与结果已知时,选期望值(概率×结果的加权平均)最大的选项。它优化的是频繁发生之决策的长期累积成果。

极小化极大:用于概率未知、或最坏情况的结果不可接受时。它适合一次性(不重复)的重大决策。

极小化极大的主要缺点,是因为不使用概率信息,会有高估低概率毁灭性剧本的倾向

比如“以 0.1% 的概率产生 −10,000 损害的情形”与“以 50% 的概率产生 −100 损害的情形”,只看最坏值(最大损害)前者压倒性地糟,可期望损害前者是 10、后者是 50,后者的处境要糟得多。极小化极大会无视这个差别。

现实决策中分工的参考:

处境合适的准则
概率已知且反复发生的决策期望效用最大化
概率未知、一次性的重大决策极小化极大
最坏情况不可接受(破产、倒闭、健康丧失)极小化极大
最坏情况在可接受范围内且反复发生期望效用最大化
对方带有明确对立意图的博弈极小化极大

当作决策框架来使用

下面给出把极小化极大的想法实践性地用于决策的步骤。

步骤 1:列举选项 把正在考虑的选项全部排出来。

步骤 2:设定剧本 就自己无法控制的外部因素(对方的行动、市场动向、自然环境等)列举可能的剧本。有对手时,要把“对方采取对自己最不利行动”的最坏情况包含进去。

步骤 3:制作结果矩阵 对各“选项×剧本”的组合,把结果(收益或损害)数值化。

步骤 4:选择准则

  • 纯粹的极小化极大(瓦尔德):比较各选项的最坏值
  • 极小化极大后悔:计算与各剧本最优值之差(后悔量),比较最大后悔
  • 有概率信息时,也考虑与期望值组合使用

步骤 5:确认最坏情况的可接受性 确认所选选项的最坏情况是否真的可以接受。若不可接受,就需要重新设计选项(风险转移、对冲、保险等)。

结语

本文解读了“极小化极大策略”。

极小化极大从冯·诺伊曼的零和博弈论起步,一路应用到决策树、α-β 剪枝、瓦尔德的统计决策理论与鲁棒优化,是适用范围很广的决策基础概念。

“做最坏也扛得住的选择”这种姿态,在不可逆的决策、对立的处境与概率未知的环境下尤其有效。另一方面,有概率信息时,与期望效用最大化组合起来判断才现实。

框架一览与博弈论概论请从下方进入。

我们下一篇文章见。