大语言模型为什么能像人一样说话和思考？

📌 一句话摘要

本文系统论述了大语言模型的语言理解与推理能力，从特征叠加、稀疏自编码器、功能词元假说和回路分析等角度，深入解析了 LLM 的工作机制及其能力形成原理。

📝 详细摘要

本文由字节跳动李航、张少华、林苑撰写，系统性地探讨了大语言模型（LLM）为何能像人一样说话和思考。文章首先提出三个核心观点：LLM 学习到的是语言使用和推理的高阶模式，而非仅低阶统计规律；其能力由策略、模型、算法和数据共同决定，不能简单归因于 Next Token Prediction；LLM 的内部机制已得到一定解析，不再是完全的黑盒。随后，文章从四个层面深入剖析了 LLM 的工作机制：特征叠加（Superposition）解释了神经元如何表示远超其数量的特征；稀疏自编码器（SAE）作为解压工具，可提取具有可解释性的特征；功能词元假说揭示了以功能词元为中心的记忆检索机制，是 LLM 理解上下文的关键；跨层转码器（CLT）和归因图则用于分析跨层特征回路。最后，文章对比了 LLM 与人类在语言、推理、幻觉、创造力等方面的能力差异，指出 LLM 虽在语言任务上表现卓越，但在具身认知、严谨推理和意识层面与人类存在本质区别。

💡 主要观点

1. LLM 学习到的是语言使用和推理的高阶模式，而非仅低阶统计规律。 LLM 不仅掌握了词汇和语法，更习得了语义、语用和世界知识等高阶模式，这是其涌现出类人语言能力的关键，反驳了乔姆斯基关于 LLM 仅学到表层统计规律的批评。
2. LLM 的能力由策略、模型、算法和数据共同决定，不能简单归因于 Next Token Prediction。 NTP 只是表面形式，预训练中的极大似然估计、后训练的强化学习、Transformer 的强表示能力以及随机梯度下降的优化算法，这些技术的系统整合与规模化实现才是 LLM 成功的关键。
3. 功能词元假说揭示了 LLM 以功能词元为中心的记忆检索机制。 高频功能词元（如冠词、标点）在训练中激活了大部分特征，并在推理时动态检索最具预测性的特征，这是 LLM 理解上下文和生成连贯文本的核心机制。
4. LLM 的内部机制已通过 SAE、CLT 等工具得到一定解析，不再是完全的黑盒。 特征叠加假说解释了神经元的多对多表示，SAE 可提取可解释特征，CLT 和归因图能追踪跨层特征回路，这些工具正逐步揭开 LLM 的工作机制。

💬 文章金句

• LLM 学习到的是语言使用和推理的模式，重要的是学到了其高阶模式。
• 有观点将 LLM 的成功简单归因于 NTP，这是过于简单化的理解。
• 功能词元在推理过程中发挥着记忆检索的核心作用，它们能从上下文中动态地激活最具预测性的特征。
• LLM 既不是基于形式逻辑规则进行推理，也不是按照计算规则进行算术运算。
• LLM 并不存在对应人的意识机制，虽然我们会感到与 LLM 对话时有与真人交互的感觉。

📊 文章信息

阅读完整文章