大数定律

思考,快与慢

大数定律是一项统计学原则——来自稳定总体的重复观测,随着观测次数增加,往往会接近该总体的潜在比例。它在本书中的决定性意义既是心理学意义上的,也是数学意义上的——人们很容易注意到小样本中的显著差异,却常常无法意识到,样本量决定了这些差异值得多少信任。

定义与统计逻辑

这一原则可以用一个装有数量相等的红色和白色弹珠的棺材来说明。如果一名耐心的计数者每次反复抽取四颗弹珠,记录其组成,放回弹珠后重复这一过程,那么两红两白的结果出现的频率,大约是四红或四白这两种极端结果的六倍。具体结果仍然是随机的,但重复抽样会呈现出规则的数学模式。抽样过程不像锤子敲击鸡蛋那样提供令人满意的因果图景;它的可预测性存在于总体频率之中,而不是存在于可见的机制之中。

样本量还决定极端结果出现的频率。当一名计数者每次抽取四颗弹珠,而另一名每次抽取七颗时,较小的样本更经常产生同质结果,即全部为红色或全部为白色。经过许多次试验,四颗弹珠的计数者观察到这类极端样本的频率,大约是七颗弹珠的计数者的八倍——预期比例分别为百分之十二点五和百分之一点五六。没有任何因素导致一名计数者获得更多极端组成。这一差异源于抽样的数学规律。

肾癌县域

这一原则阐明了美国各县之间肾癌分布看似令人困惑的现象。发病率最高的县往往位于农村地区,人口稀少,并集中在中西部、南部和西部传统上支持共和党的州。这一模式会引发关于贫困、医疗条件有限、饮食、酒精或烟草的因果解释。然而,同一种农村生活方式不可能合理地同时解释发病率异常高和异常低的县。

相关特征是人口规模。农村县提供了全国人口的较小样本,正如抽取四颗弹珠的样本小于抽取七颗弹珠的样本。小样本更有可能大幅偏离平均水平,而且可能向任一方向偏离,因此尤其容易出现记录到的癌症率极高和极低的情况。县的人口规模既不会导致癌症,也不会阻止癌症;它只是使观测到极端发病率的概率更高。

因此,这一表面差异是抽样人为结果,而不是稳定的流行病学事实。如果次年重复分析,总体模式应当仍会存在——极端数值在小县中仍然更常见——但发病率高的具体县未必仍是原来的那些县。一个看似某地特征的结果,因而可能只是样本量造成的暂时性偶然。

样本量与人的判断

这一原则揭示了直觉推理中反复出现的一种弱点。读者看到肾癌例子后,会立即寻找原因,起初不会把“人口稀少”视为核心线索。即使知道大样本通常更可靠,人们也可能会对四个单位的样本比七个单位的样本更频繁地产生极端结果感到惊讶。统计知识可能存在于记忆中,却未必会自发地应用于眼前的案例。

同样的不敏感性也出现在一项医院比较中——研究比较不同日期出生的男孩所占比例。由于同一百分比看起来同样能够代表总体人口,大多数人会认为,小医院和大医院出现男孩比例超过百分之六十的概率相近。抽样理论则给出不同预测——小医院应当有更多天数超过这一阈值,因为相较于大样本,小样本更可能偏离潜在的百分之五十。

一个相关的棺材问题比较了两种样本——一种由五颗球组成,其中四颗红色、一颗白色;另一种由二十颗球组成,其中十二颗红色、八颗白色。假定先验概率相等,直觉往往会被第一个样本吸引,因为它的红色比例更高;但正确的后验赔率是——对于四比一的样本,棺材含有三分之二红球而非三分之一红球的赔率为八比一;对于十二比八的样本,赔率为十六比一。尽管较大样本的观测比例没有那么极端,它仍提供了更有力的证据。心智偏重鲜明的比例;统计推理还会计算证据的数量。

对推断与预测的影响

大数定律支持一种更广泛的推断纪律。贝叶斯推理要求,即使具体案例提供了鲜明证据,也要让基准率保持在视野之中;同时还必须评估证据的诊断价值,而不能只是凭感觉接受它。在出租车问题中,该城市百分之八十五的出租车是绿色,百分之十五是蓝色,而一名证人以百分之八十的可靠度辨认出租车为蓝色。这些统计基准率和具体案件证词必须结合起来,而不能被一个直觉故事取代。因果基准率不同,因为它描述的是个案如何产生;统计基准率描述的是个案所属的总体,而且当鲜明细节出现时,人们常常会低估它。

这一原则也构成均值回归的基础。一名高尔夫球手在比赛平均成绩为七十二杆时打出六十六杆,可能同时展现了高于平均水平的才能和异常的好运;另一名球手打出七十七杆,可能同时展现了较弱的表现和坏运气。第二天,才能或许会持续,但运气无法预测,因此最佳预测是将每名球员的表现向平均水平移动,而不是简单重复第一天的结果。同样的逻辑也能防止观察者把一次波动之后出现的更寻常结果,误认为是奖励或惩罚导致变化的证据。

参考类预测把同样的纠正方法应用于大型项目和公共预测。它不是完全根据单个案例中令人鼓舞的细节来构建预测,而是从可比案例的结果开始。在本书描述的课程教材项目中,一项非正式调查显示,失败率为百分之四十,完成时间为七至十年。这一外部视角基线比团队自信的内部视角估计更现实;后者从早期进展外推,并忽略了未知的干扰。大量可比案例能够揭示单个吸引人的叙事所遗漏的风险。

这一原则还为评估预测者设定了标准。在一项为期二十年的研究中,菲利普·泰特洛克从二百八十四名以评论政治和经济趋势为生的人那里收集了八万多项预测。这些专家的表现不如一种简单策略——给三种可能结果分配相等概率;即使在专家最熟悉的地区,专家也没有明显优于非专家。更多知识只带来了轻微改善,也可能强化过度自信。其教训并不是说专业知识毫无价值,而是说预测必须跨许多案例进行评判,而不能依据孤立成功所具有的说服力和连贯性。

校准与显著性

大样本使人们能够把真正的预测技能与运气区分开来。当法官给出主观概率区间时,如果所陈述的比例与结果出现的频率相对应,那么法官就是经过适当校准的——例如,真实值中大约百分之九十八应当落在百分之一和百分之九十九的界限之间。然而,研究发现,实际值约有百分之三十落在这类极端界限之外,说明天真的和老练的判断者都普遍给出了过窄的区间。重复观测比令人难忘的个别预测更可靠地揭示了这种系统性过度自信。

在一项对大型企业首席财务官所作一万一千六百项预测的调查中,也出现了同样模式;这些预测涉及下一年度的标准普尔指数。其估计值与实际市场数值之间的相关性略低于零,但参与者似乎没有意识到自己的预测几乎毫无用处。他们百分之八十的置信区间包含了过多意外结果——百分之六十七的结果落在区间之外,超过预期百分之二十的三倍。因此,汇总证据揭示的不仅是偶尔的错误,还有信心与准确性之间稳定的不匹配。

大数定律不会使每个个体结果都变得可预测,也不会为每一种模式提供原因。它的力量更加克制,却也更加深刻——随机观测在总体上可以呈现可靠的规律,而小样本则可能制造出某些地方、某些人或某些效应异常的表象。它教导人们,在允许一个引人入胜的故事成为解释之前,可信的推断必须关注样本量、重复案例、基准率、回归和校准。