← 拆书合集 · x → f → f(x)
理性:从AI到僵尸

理性:从AI到僵尸

Rationality: From AI to Zombies · 2015
Eliezer Yudkowsky
x
一台被自然选择优化成系统性生产自信的错误的认知装置,能不能修复它自己?
f
把理性当成对进化固件的逆向工程:信念先为预期经验缴租,再用赔率形式的贝叶斯量证据、用期望证据守恒测谎,最后把信念外化成可追踪的赌注与记录——因为内省无法自我校准。
f(x)
确立重要信念前先写下三个能让置信度移动至少 20 个百分点的观察;写不出来就按身份旗帜扣留,评估证据只问似然比,不问自己多想要那个结论。
x · 作者在讨论什么问题

尤德科夫斯基要处理的不是「如何变得更聪明」,而是一个难堪得多的问题:你的大脑是自然选择造的,优化目标从头到尾只有基因复制,从来不是信念准确——那么,一台被优化成系统性生产「自信的错误」的认知装置,能不能修复它自己?

「系统性」三个字是问题的重心。偏差不是随机噪声,而是可预测的方向性错误:直觉是为草原校准的快速逃生系统,如今却被拿来评估核风险、金融决策和 AI 的可靠性。更麻烦的是,这个问题自带递归死锁——你想修理认知,能用的工具恰恰是那台待修的装置。知道偏差存在不等于能规避偏差:书里「缓存思考」的诊断说,多数「思考」只是检索旧缓存,学会一堆偏误术语,常常只是给旧缓存贴了新标签。

所以这本书不是「卡尼曼加强版」的偏误手册,而是一份针对人类认知架构的逆向工程报告:先弄清这台装置为什么被造成这样,再问在它上面还能不能长出追踪真相的能力。

f · 作者怎样回答

他的回答由四个部件咬合而成,共同完成一件事:在不可信的固件上,搭一套不依赖固件自觉的校准结构。

部件一:切开「适应性执行器 vs 真值追踪器」。 进化造的是前者——让基因活下去的执行系统。它与「信念准确」在祖先环境里偶尔重叠,但没有必然联系。这个区分回答了为什么默认信任直觉是错的:不是直觉常错,而是它的优化目标从来就没对准现实。

部件二:给信念设准入海关——必须为「预期经验」缴租。 一个信念如果不改变你对任何观察的预期,它就不是地图,而是「信念作为服装」:插在身上表明阵营的身份旗帜。对应的操作是:确立任何重要信念前,写下三种具体观察,若它们成真,置信度至少移动 20 个百分点。写不出来,你持有的就不是信念。

部件三:更新引擎加测谎仪。 引擎是赔率形式的贝叶斯:后验赔率 = 先验赔率 × 似然比。乳腺癌算例把它按在直觉上:患病率 1%,先验赔率 1:99;检测似然比 8:1;后验赔率 8:99,约 7.5%。收到阳性结果,患癌概率仍只有约 7.5%,与多数医生的直觉差一个数量级。证据的力度只取决于它在假设为真与为假两个世界里出现频率之比,不取决于你多想要那个结论。测谎仪是期望证据守恒:正面证据若能提升信念,负面证据就必须降低它;当你发现正面证据总能移动你、负面证据总有解释,你不是在更新,是在执行免疫协议。

部件四:把信念从颅骨里提出来。 这一步专门处理递归死锁。书里对「结论早已写在纸张底部」的诊断是:智识越强,向上构造可信路径的能力越强,聪明人因此更危险;而内省在原理上无法自我校准,因为系统性偏差塑造了「看」这个动作本身。唯一出口是结构性的:公开赌注、事前预测、可追踪的记录。预测市场能校准,不靠群体智慧,靠的是把信念外化成能与现实对账的数字。

四个部件这样分工:一号解释默认为何不可信,二号规定什么才有资格叫信念,三号给出信念移动的方向与步幅并当场抓作弊,四号在装置外面架反馈环,绕开「修理工具本身就是坏件」的死锁。

x   一台被进化优化成「自信地出错」的装置,能否修复自己?
    │
    ▼
f   ①诊断   适应性执行器 ≠ 真值追踪器:偏差有方向,不是噪声
    ②海关   信念须为预期经验缴租——写出三个能推翻你的观察
    ③引擎   后验赔率 = 先验赔率 × 似然比
       测谎  期望证据守恒:负面证据从不减你信念 = 免疫协议
    ④出口   内省无法自我校准 → 信念外化成赌注与预测记录
    │ 应用
    ▼
f(x) 判断信念只问一件事:什么观察能让你改主意
f(x) · 怎样回应这个世界

接受这套回答后,改变发生在判断的顺序上。

资料校准