数学之美
数学之美 · 2012
贾里尼克在 IBM 做语音识别时，把团队里最后一个语言学家开除了，系统性能反而提升。吴军用这个挑衅的故事把问题钉住：几十年里，语言学派的路线是手写语法规则，想用有限规则演绎出无限的合法句子；工程上它却一路溃败——规则相互交互引发组合爆炸，「我用望远镜看见了你」这类歧义靠规则裁决不了（工具义还是对象义，需要世界知识），而每补一条规则又生出更多例外，维护成本无限增长。
他的刺扎得更深：这些花一辈子写规则的人，可能在描述一门根本不存在的语言。真实语言不是语法书里「应该如此」的演绎结构，而是数亿次使用行为叠加后留下的概率痕迹。于是问题从「哪条规则漏了」升级成一个认识论追问：真实世界的规律到底以什么形态存在——能被专家写成规则树，还是只在海量数据的分布里显形？一个系统在边界上反复崩溃时，你该继续打补丁，还是承认自己从一开始就拿错了逼近工具？
吴军的回答不是替规则派修补，而是整个换范式：用海量数据里的概率分布去描述「实际如此」的世界。这个回答靠四个部件咬合成一台机器。
测量部件是香农熵 H(X) = −Σ P(x)·log P(x)，它量化「一个词出现时你有多意外」：「的」几乎不意外，「量子」后面接「火锅」高度意外。香农 1948 年估算英语条件熵约 1.0–1.3 bit/字符，远低于 26 个字母等概率时约 4.7 bit 的理论上限——自然语言存在强烈的统计正则性。规律确实存在，且以分布的形态存在；统计路线在原理上就成立，不是权宜之计。
成本部件是马尔可夫假设。N-gram 不解析整棵语法树，只问「给定前两个词，下一个词的概率分布是什么」。这不是偷懒，是一个经过验证的赌注：多数时候远程依赖的统计贡献，不值得为它付出模型复杂度的代价。全书的核心断言由此立起：少假设 × 多数据，优于多假设 × 少数据。
迁移部件是统一形式 argmax P(Y|X)：翻译、语音识别、文本分类都能写成「给定观测 X，求最可能的 Y」，而规则体系每换一个任务就得重写。数学抽象真正的价值不在精确，在迁移性。
裁决部件是降级方式。严格说，规则派和统计派的假设都是错的；区别在于规则脆——单点违反、整体崩溃，统计韧——假设违反三成，输出依然可用。吴军在 Google 亲历统计机器翻译系统性压过专家多年构建的规则系统，验证的正是这一点：胜出的不是更聪明的规则，是更能容错的架构。
x：规则系统总在边界上反复崩溃——真实规律以什么形态存在？
│
├─ 旧路·规则范式：手写「应该如此」
│ 多假设 × 少数据 → 单点违反，整体崩溃（脆）
│
└─ f·统计范式：用数据拟合「实际如此」
少假设 × 多数据 → 违反三成，仍可用（韧）
│
▼
分水岭不是假设多少，是假设被违反时的降级方式
│
▼
f(x)：边界出错先问「换不换概率模型」，不再问「补哪条规则」
f(x) · 怎样回应这个世界
接受这套回答，几个具体的顺序和标准会被换掉。