大家好,我是 Senko。 本文将解读“伯克森悖论”。
“帅哥性格差”“美女没脑子”——这类刻板印象你或许听过。长相和性格本该毫无相关,这种印象是从哪来的?其实背后潜伏着一个统计学陷阱。
它与辛普森悖论并列为统计学的代表性陷阱,从数据分析到日常判断,影响范围极广。
什么是伯克森悖论
这个悖论由美国统计学家约瑟夫·伯克森于 1946 年指出:本来无关的两个特征,只在特定人群中观察时,会显得负相关。
具体想一想。假设“长相”和“性格好坏”在全体人口中互不相关。
现在,假设你挑选交往对象的条件是:“长相在一定水准以上”或“性格在一定水准以上”,至少满足其一。也就是说,两项都低的人根本进不了候选。
只在这批候选人里观察,怪事就发生了。长相极佳的人能入选,是因为哪怕性格一般也满足长相条件;反过来,性格极好的人能入选,是因为哪怕长相一般也满足性格条件。
结果,在候选人群里,看起来长相越好的人性格越差。
用图来理解
用二维图更直观。横轴是长相,纵轴是性格,把全体人口画成散点图。两个特征无关时,点均匀铺满一个正方形。
现在用“长相 + 性格 ≥ 某个值”的条件筛一遍,只剩下正方形右上方的三角形。在这个三角形里,长相越高(越靠右),性格就倾向越低(越靠下),沿着斜边浮现出负相关。
数学上这是必然的:一旦给两者之和设了下限(做了条件筛选),一方高的话另一方低也能达标,负相关便结构性地产生了。
医学研究中的问题
伯克森当初指出这个问题,正是在医学研究的语境下。
用医院数据研究两种疾病的关联时,实际无关的疾病之间有时会显出负相关。
原因在于:医院里的患者都是“因为某种原因而住院的人”。因疾病 A 住院的人,无论有没有疾病 B 都会被计入;因疾病 B 住院的人,无论有没有疾病 A 也会被计入。
健康的人(A 和 B 都没有的人)不在医院,这种样本偏差便催生了表面上的相关。比如医院数据显示糖尿病和骨折负相关,那多半不是糖尿病能防骨折,而只是“住院”这个筛选条件造出的假象。
社交平台上的例子
伯克森悖论在当代社交平台上也频频上演。
我们在社交平台上刷到的帖子,大多要么“有趣”,要么“炎上(激起愤怒)”,或者两者兼备。又无聊又没人骂的帖子根本流不进时间线。
结果我们会形成印象:“越有趣的帖子越不容易炎上”或“炎上的帖子都很无聊”。“有趣”和“易炎上”本质上可能毫无相关,只是我们看到的样本有偏,才生出了表面上的相关。
潜伏在日常中的伯克森悖论
身边的场景里,这个悖论比比皆是。
电影评价:你也许觉得“预算越大的电影越难看”。可你看的电影,要么“有话题度”要么“看着有意思”:低成本但好看的电影因为有口碑所以你看了,高成本但难看的电影因为有话题所以你也看了,而低成本又难看的电影根本进不了你的视野。于是在你看过的电影里,预算和好看程度呈现负相关。
餐厅评价:觉得“便宜的店反而好吃”,可能也是同一结构。你去的店要么“便宜”要么“口碑好”,又贵又难吃的店你不去,又便宜又难吃的店你也不去。在你去过的店里,价格和美味自然显得负相关。
求职市场:“工资越高的工作越辛苦”的印象,部分也能用伯克森悖论解释。人们应聘的工作大多满足“工资高”或“轻松”之一,工资低又辛苦的工作根本没人去。
与辛普森悖论的区别
伯克森悖论常与辛普森悖论混为一谈,但机制不同。
辛普森悖论是“整体与部分的相关方向逆转”,由混杂变量(第三个变量)造成。
伯克森悖论则源于“按特定条件筛选人群(条件化)”。不需要混杂变量,仅仅是样本的选法就能凭空造出相关。
如何防范
要避开伯克森悖论,关键是时刻留意分析对象的人群是如何被筛选出来的。
只盯着被特定条件筛过的人群(医院患者、社交平台的爆款帖、自己的交往候选……)去下一般性结论,非常危险。用覆盖原始总体的数据核实,是不被表面相关欺骗的基本对策。
“这个结论在全体数据里也成立吗?还是只是我看到的样本有偏?”——时刻带着这个问题,就是对伯克森悖论最好的防御。
是选拔造出了相关
伯克森悖论的本体,在于选拔的条件本身,会把虚假的关系带进收集来的数据。
只把满足条件的人聚起来,那个条件就在两个要素之间造出了一层减法的关系:一边低了,另一边就必须高,否则过不了选拔。
| 选拔的场所 | 选拔条件 | 生出的虚假负相关 |
|---|---|---|
| 名校的学生 | 成绩或特长其中之一很高 | 成绩越好的学生,特长看着越平庸 |
| 医院的住院患者 | 有某种较重的症状 | 疾病A与疾病B无关也会看着负相关 |
| 被录用的员工 | 经验或悟性其中之一足够 | 经验越长的人,悟性看着越低 |
| 交往对象的候选 | 长相或性格其中之一好 | 长得好看的人,性格看着越差 |
第四条常被当成“好看的人性格差”这种成见来讲,可它很可能只是看着如此。
在总体中长相与性格并无关系,可两样都低的人已经从候选里被剔掉了,于是在剩下的集体里就显出了负相关。
察觉它的线索
麻烦的是,光看数据是看不出发生过选拔的。手里只有选拔之后的数据,缺掉的那部分看不见。
- 确认数据的来处:这些人是按什么条件聚起来的
- 看散点图的形状:左下角是不是不自然地空着
- 与总体的数据对照:在整体上是不是也出现同样的关系
第二条是实践性的线索。发生了伯克森悖论的数据,会呈现出“两样都低”那一片被抠掉的、近似三角形的形状。
我自己在分析结果显示出意外的负相关时,也会先确认一句“这批数据是怎么收集来的”。比起先去琢磨相关的解释,先怀疑样本是怎么造出来的往往更快。
违背概率直觉的相关悖论
以下是与伯克森悖论同样、让数据的样子背叛直觉的相关悖论。
结语
本文解读了“伯克森悖论”。
从有偏样本中看到的相关,未必是现实的相关。从日常判断到学术研究,这条教训在一切与数据打交道的场合都用得上。
知道了“帅哥性格差”只是统计错觉,看世界的方式也许会有一点点不同。
想返回悖论列表的读者请点击下方链接。
我们下一篇文章见。
📚 系列:世界经典悖论(77/81)
读者也常看这些



