大家好,我是 Senko。 本文将解读“伯克森悖论”。
“帅哥性格差”“美女没脑子”——这类刻板印象你或许听过。长相和性格本该毫无相关,这种印象是从哪来的?其实背后潜伏着一个统计学陷阱。
它与辛普森悖论并列为统计学的代表性陷阱,从数据分析到日常判断,影响范围极广。
什么是伯克森悖论
这个悖论由美国统计学家约瑟夫·伯克森于 1946 年指出:本来无关的两个特征,只在特定人群中观察时,会显得负相关。
具体想一想。假设“长相”和“性格好坏”在全体人口中互不相关。
现在,假设你挑选交往对象的条件是:“长相在一定水准以上”或“性格在一定水准以上”,至少满足其一。也就是说,两项都低的人根本进不了候选。
只在这批候选人里观察,怪事就发生了。长相极佳的人能入选,是因为哪怕性格一般也满足长相条件;反过来,性格极好的人能入选,是因为哪怕长相一般也满足性格条件。
结果,在候选人群里,看起来长相越好的人性格越差。
用图来理解
用二维图更直观。横轴是长相,纵轴是性格,把全体人口画成散点图。两个特征无关时,点均匀铺满一个正方形。
现在用“长相 + 性格 ≥ 某个值”的条件筛一遍,只剩下正方形右上方的三角形。在这个三角形里,长相越高(越靠右),性格就倾向越低(越靠下),沿着斜边浮现出负相关。
数学上这是必然的:一旦给两者之和设了下限(做了条件筛选),一方高的话另一方低也能达标,负相关便结构性地产生了。
医学研究中的问题
伯克森当初指出这个问题,正是在医学研究的语境下。
用医院数据研究两种疾病的关联时,实际无关的疾病之间有时会显出负相关。
原因在于:医院里的患者都是“因为某种原因而住院的人”。因疾病 A 住院的人,无论有没有疾病 B 都会被计入;因疾病 B 住院的人,无论有没有疾病 A 也会被计入。
健康的人(A 和 B 都没有的人)不在医院,这种样本偏差便催生了表面上的相关。比如医院数据显示糖尿病和骨折负相关,那多半不是糖尿病能防骨折,而只是“住院”这个筛选条件造出的假象。
社交平台上的例子
伯克森悖论在当代社交平台上也频频上演。
我们在社交平台上刷到的帖子,大多要么“有趣”,要么“炎上(激起愤怒)”,或者两者兼备。又无聊又没人骂的帖子根本流不进时间线。
结果我们会形成印象:“越有趣的帖子越不容易炎上”或“炎上的帖子都很无聊”。“有趣”和“易炎上”本质上可能毫无相关,只是我们看到的样本有偏,才生出了表面上的相关。
潜伏在日常中的伯克森悖论
身边的场景里,这个悖论比比皆是。
电影评价:你也许觉得“预算越大的电影越难看”。可你看的电影,要么“有话题度”要么“看着有意思”:低成本但好看的电影因为有口碑所以你看了,高成本但难看的电影因为有话题所以你也看了,而低成本又难看的电影根本进不了你的视野。于是在你看过的电影里,预算和好看程度呈现负相关。
餐厅评价:觉得“便宜的店反而好吃”,可能也是同一结构。你去的店要么“便宜”要么“口碑好”,又贵又难吃的店你不去,又便宜又难吃的店你也不去。在你去过的店里,价格和美味自然显得负相关。
求职市场:“工资越高的工作越辛苦”的印象,部分也能用伯克森悖论解释。人们应聘的工作大多满足“工资高”或“轻松”之一,工资低又辛苦的工作根本没人去。
与辛普森悖论的区别
伯克森悖论常与辛普森悖论混为一谈,但机制不同。
辛普森悖论是“整体与部分的相关方向逆转”,由混杂变量(第三个变量)造成。
伯克森悖论则源于“按特定条件筛选人群(条件化)”。不需要混杂变量,仅仅是样本的选法就能凭空造出相关。
如何防范
要避开伯克森悖论,关键是时刻留意分析对象的人群是如何被筛选出来的。
只盯着被特定条件筛过的人群(医院患者、社交平台的爆款帖、自己的交往候选……)去下一般性结论,非常危险。用覆盖原始总体的数据核实,是不被表面相关欺骗的基本对策。
“这个结论在全体数据里也成立吗?还是只是我看到的样本有偏?”——时刻带着这个问题,就是对伯克森悖论最好的防御。
结语
本文解读了“伯克森悖论”。
从有偏样本中看到的相关,未必是现实的相关。从日常判断到学术研究,这条教训在一切与数据打交道的场合都用得上。
知道了“帅哥性格差”只是统计错觉,看世界的方式也许会有一点点不同。
想返回悖论列表的读者请点击下方链接。
我们下一篇文章见。
📚 系列:世界经典悖论(53/57)