断腿规则

思考,快与慢

断腿规则是一项针对统计预测中有纪律例外的原则。它与保罗·米尔对专家判断的批评相关,主张通常应当相信公式,而不是印象式判断;但如果某个罕见事实具有压倒性的重要性,那么它可以合理地取代公式。该规则的重要性在于其适用范围狭窄——异常信息之所以重要,并不是因为它让案例显得独一无二,而是因为它与结果之间存在能够得到证明的决定性联系。

定义与起源

该规则出现在关于专家为何常常不如算法的讨论中。专家往往通过考虑复杂的特征组合来使预测复杂化,并用关于个别案例的额外信息推翻简单公式。保罗·米尔认为,这通常会降低预测效度。人类决策者经常觉得自己有理由修正公式,但他们大多数时候都是错的;简单的特征组合通常比巧妙而针对具体案例的调整表现更好。

米尔的思想实验提出了这个令人难忘的例外。一条公式预测某个特定的人当天晚上是否会去看电影。如果得知这个人当天摔断了腿,那么不采用该公式就是恰当的。摔断腿既十分罕见,又具有决定性——这一事实的发生直接改变了去看电影的实际可能性,不同于无数鲜明却关联性很弱的细节;后者常常会诱使预测者介入。断腿规则这一名称便由此附着在这一原则之上。

在预测中的运作

该规则确立了普通证据与例外证据之间的层级关系。在通常情况下,预测公式会以一致的方式汇总特征,并避免专家直觉所具有的不稳定权重。决策者不应仅仅因为自己知道某些额外信息、注意到某个醒目的细节,或认为当前案例不同于构建模型时所使用的案例,就抛弃公式。

例外必须同时具备两个性质。信息必须罕见,以至于普通统计模式尚未充分体现它;信息还必须具有决定性,以至于它对预测结果具有强大的因果或实际影响。摔断腿同时满足这两个条件。边缘性的偏好、色彩鲜明的个人经历,或专家认为某个案例特殊的感觉,并不会自动满足其中任何一个条件。因此,该规则既能保护统计推理免受随意例外的影响,又能为真正使基准预测失效的事实保留空间。

与专家错误的关系

断腿规则回应了人类判断不可靠这一更广泛的问题。在对相同信息进行重复评估时,专业人士经常会与自己先前的判断相矛盾。经验丰富的放射科医师在不同时间对同一张胸部光片作出不同分类的比例约为百分之二十;一项针对一百零一名独立审计师的研究也发现了相近程度的不一致。一项对四十一项研究的综述表明,这种不稳定性在多个职业中都很常见。无法可靠复现的判断,不可能成为可靠的预测指标。

该规则还说明了为什么专业知识和自信心并不是可靠的保障。在一项持续二十年的研究中,菲利普·泰特洛克收集了二百八十四名以评论政治和经济趋势为生的人所作的八万多项预测。这些专家的表现不如一种基准方法——该方法为三种可能结果赋予相等概率;即使在专家最熟悉的地区,专家也没有显著优于非专家。知识只能略微改善预测,而知识最丰富、名气最大的预测者往往变得更加过度自信。断腿规则并不否定专业知识;它要求专家指出真正具有决定性的例外,而不是把自信转化为推翻证据的许可。

与统计校准和外部视角的关系

这一原则与均值回归、外部视角和参考类预测属于同一类保障机制。极端结果通常同时包含稳定成分以及运气或其他暂时性因素,因此预测通常应向平均值回移,而不是简单重复最初的极端结果。一名高尔夫球手在锦标赛第一天打出六十六杆,可能拥有高于平均水平的才能,也可能享受了异常好的运气;第二天的预测应保留才能这一成分,但应把未来的运气视为平均水平。相应的错误,是把一次异常观察误认为对这个人的完整且永久的描述。

同样的纪律也出现在计划谬误中。当一个为以色列教育部设计课程的团队估计教材完成所需时间时,它依赖内视角,因而作出了不现实的乐观预测。补救方法是采用外部视角——确定一个由可比项目组成的参考类,并利用这些项目实际的完成时间和超支情况。本特·弗吕沃布耶格的表述强调,规划者应当使用分布信息,而不是忽视它。参考类预测通过包含数百个项目计划与结果的大型数据库来运用这一方法,同时允许在具体且具有决定性的差异足以提供正当理由时偏离基准。

重要性与局限

最好把断腿规则理解为一项例外管理规则,而不是一项支持直觉反对统计的论证。它那个令人难忘的例子为统计纪律划定了边界——公式之所以强大,恰恰是因为它们抵制人类不一致的调整;但任何模型都不应被视为能够抵御直接改变案例的信息。该规则的力量来自鲜明对比——一边是真正具有决定性的中断,另一边则是日常涌现的、所谓特殊的细节;后者只会让故事显得连贯。

这一差别尤其重要,因为置信区间和主观概率判断通常过于狭窄。当法官估计诸如道琼斯平均指数之类的数值时,他们往往先作出最佳估计,再向上或向下调整,以形成百分位数值。这些调整通常不足,导致置信区间表达的确定性超过证据所能支持的程度;在许多研究中,实际数值落在所陈述的极端界限之外的比例约为百分之三十,而不是预期的百分之二。因此,正当的例外必须以事件的结构为基础,而不是以预测者确信存在例外为基础。断腿规则保留了这一严格标准——只有当证据既异常又具有决定性时,才推翻算法。

相关故事流