统计学家小样本调查
思考，快与慢统计学家小样本调查是丹尼尔·卡尼曼与阿莫斯·特沃斯基首次直接检验高水平研究人员是否具备良好统计直觉的研究。其决定性发现令人不安——数学专业知识并不能阻止专家夸大小样本结果的可靠性，也不能阻止他们对研究所需数据量提出糟糕建议。这项调查把一次私下的错误自白转化为关于一种广泛认知偏差的实证证明。
起因与背景
丹尼尔·卡尼曼发现，心理学家经常选择过小的样本，以至于面对无法确认真实假设的百分之五十风险。这个问题尤其令人尴尬，因为他教授统计学，也知道如何计算更安全的样本量，却在规划自己的研究时依赖传统和直觉。他的研究中一些奇怪的结果，曾被视为令人困惑的发现，如今却显现为抽样不足造成的产物。
阿莫斯·特沃斯基访问研讨会时，两位研究人员很快同意，对统计直觉能力的乐观看法是错误的。他们先前的讨论始于这样一个问题——人们是否拥有对统计学原理的直觉把握，其程度可与四岁儿童表现出的语法直觉相媲美。这项调查使问题更加明确——如果即使是因数学素养而被选中的研究人员也会系统性地犯错，那么这种困难就不能被简单归因于普通的无知。
设计与参与者
丹尼尔·卡尼曼和阿莫斯·特沃斯基围绕现实的研究情境设计了一份问卷，其中包括对成功实验的重复验证。参与者必须选择样本量，估计研究失败的风险，并向计划开展研究的假想研究生提出建议。因此，这一设计既检验抽象的统计理解，也检验研究人员在收集证据前作出的实际判断。
阿莫斯·特沃斯基在数学心理学学会的一次会议上向高水平参与者施测问卷。参与者包括两本统计学教材的作者，使这一群体尤其适合用来严格检验专业能力。研究人员并不是要考察专家在明确提示后能否进行形式计算；他们考察的是通常指导样本量决策和研究结果可信度判断的直觉判断。
发现与论文
当样本较小时，专家大幅高估了原始实验结果成功重复验证的可能性。他们还向虚构的研究生提出了非常糟糕的建议，错误判断她需要收集多少项观察数据。他们的回答重现了丹尼尔·卡尼曼和阿莫斯·特沃斯基在自己身上发现的同一种错误——他们把小样本产生的不稳定结果视为比抽样变异所能支持的程度更加可靠。
因此，这项调查把个人认识转化为比较性结果。丹尼尔·卡尼曼不再只是一个曾经信任有缺陷直觉的研究人员；他和阿莫斯·特沃斯基获得了证据，表明这种错误延伸到了一个因数学专业知识而选出的群体。即使是最应当理解抽样变异的统计学家，在依赖即时判断而非计算时，也并不具备良好的统计直觉。
这些发现成为他们第一篇合作论文《小数定律信念》的基础。这个标题有意带有讽刺意味——人类关于随机抽样的直觉似乎假定，大数定律同样适用于小数。论文敦促研究人员适当地怀疑自己的统计直觉，并尽可能以计算取代印象形成。这一建议并不是要研究人员彻底放弃判断，而是要他们认识到一种特殊危险——当样本过小、无法支持某种鲜明而连贯的印象时，信任这种印象会带来风险。
方法与后果
这项调查还确立了后来界定丹尼尔·卡尼曼与阿莫斯·特沃斯基研究合作的工作方法。他们以对话的方式开展研究，提出问题，检视自己即时给出的答案，并把每个问题视为一次小型实验。他们关注第一反应式的直觉回答，包括即使知道答案错误、仍感到想要给出的回答。共同拥有的直觉成为关于他人可能如何行动的假设，随后通过受控演示加以检验。
这种方法使调查既具有自我批判性，又富有生产力。丹尼尔·卡尼曼和阿莫斯·特沃斯基并没有把自己定位为诊断普通公众缺陷的超然专家；他们首先揭示了自身有缺陷的直觉。随后，他们把两人之间的一致性当作线索，推测这种错误可能具有普遍性。调查参与者提供了关键的确认，显示这种偏差能够经受训练、职业经验以及对统计学语言的熟悉。
这项研究还预示了后来关于预测和专家判断的证据。菲利普·泰特洛克对284名政治和经济预测者开展研究，收集了八万多项预测，发现专家的表现甚至不如等概率基准，即使在他们熟悉的领域也是如此。保罗·米尔对临床预测的综述同样发现，简单的统计规则能够达到或超过受过训练的专业人士；在后来大约两百次比较中，算法在约百分之六十的研究中显著更加准确，其余比较则打成平局。这些发现属于不同的研究计划，但它们延伸了调查的核心教训——在不确定性高、有效性低的环境中，专业知识不会自动产生可靠的直觉判断。
校准研究中也出现了同样的教训。构建主观概率分布的法官通常会给出过窄的置信区间；在大约百分之三十的问题中，实际值落在所声明的极端界限之外，而不是落在适当校准所要求的低得多的比例之外。因此，统计学家小样本调查处于一种更大的模式之中——专家把信心误当准确性，低估不确定性，并忽视公式或更大样本所具有的纠正力量。
这项调查的意义超出了样本量规划。它帮助确立了一项研究计划，专门在追问某个答案是否符合统计学之前，先识别直觉答案。在这项计划中，统计学家的失败并不是关于粗心专业人士的轶事，而是人类判断可能系统性地以相似性、信心或连贯性取代机会数学的证据。它持久的后果是方法论上的谦逊——当抽样变异很重要时，计算并非可有可无的改进，而是抵御心智那种具有说服力的小数直觉的保护措施。
