#539. 手搓 AlphaGo：前 DeepMind 科学家拆解 AI 围棋核心原理，以及对 LLM 强化学习的深远启示

📌 一句话摘要

前 DeepMind 研究员 Eric Jang 从零开始重建 AlphaGo，深入拆解蒙特卡洛树搜索、策略网络与价值网络的协同工作原理，并对比现代 LLM 强化学习的根本困境。

📝 详细摘要

本期播客深度对谈了前 DeepMind 高级研究科学家 Eric Jang，他在休假期间用极低预算从零重建并改进了 AlphaGo。Eric 从围棋规则讲起，逐步拆解了 AlphaGo 的核心组件：蒙特卡洛树搜索（MCTS）如何通过选择、扩展、评估、回传四步流程，结合策略网络与价值网络，将几乎不可解的搜索问题变得高度可处理。他重点阐述了 MCTS 作为「改进算子」的优雅之处——永远能基于当前状态给出一个更好的策略标签，使得学习过程从未陷入「所有信号都是零」的困境。 节目进一步对比了 AlphaGo 的强化学习范式与现代 LLM 使用的策略梯度方法，揭示了后者在方差、信用分配和样本效率上的根本困境：在大规模动作空间中，有效监督信号极为稀缺。Eric 还分享了自己用一万美元算力就复现 AlphaGo 的经历，呼应了「成为第一所需算力远比追赶者大得多」的规律。最后，他展望了将 MCTS 思想引入 LLM 推理的挑战与潜力，以及将围棋作为自动化 AI 研究孵化器的前沿实践。

💡 主要观点

1. AlphaGo 的核心突破是用神经网络摊销 NP 难级的搜索问题 一个十来层的神经网络，通过单次前向传播，就能高精度近似原本需要深层穷举的搜索问题。这种「宏观特征瓦解计算复杂度」的思路，在 AlphaFold 等模型中也得到了验证。
2. MCTS 是优雅的改进算子，永远不会从零开始探索 与朴素策略梯度方法不同，MCTS 基于当前策略和价值网络，总能提供一个更好的动作分布标签，避免了 RL 中「所有信号都是零」的探索困境，极大提升了采样效率和训练稳定性。
3. 监督学习的软标签信息密度远超 RL 的单样本信号 通过蒸馏 MCTS 的访问计数分布作为软目标，每个样本携带的信息量远比 one-hot 动作标签更大，这解释了为什么蒸馏在 AlphaGo 训练中如此关键。
4. 「成为第一」的算力成本远高于「后来追赶」 Eric 仅用一万美元算力就复现了 AlphaGo，对比 DeepMind 当年数百万美元的投入。这一规律在 LLM 时代同样成立，先行者必须为探索未知付出巨大溢价。
5. MCTS 思想有望用于改进 LLM 的推理过程 虽然 LLM 面临动作空间大、价值估计难等挑战，但将搜索机制引入 token 生成或数学推理链条，是未来提升大模型决策质量的有前景方向。

💬 文章金句

• AlphaGo 最深远的贡献并非围棋本身，而是一个概念突破：区区十来层神经网络，通过一次前向传播，就能以极高精度近似一个几乎不可解的深层搜索问题。
• AlphaGo 之所以优雅，就是你永远不需要从一个 0% 的成功率开始，也不需要解决怎么拿到非零成功率的探索问题。
• 成为第一个做成一件事所需的算力，永远比后来追上来所需的算力大得多。
• 在一个软标签里，每样本的信息量，以比特计，要大得多。这就是为什么蒸馏这么有效。
• 在混沌的边缘，神经网络的力量最强。

📊 文章信息

收听完整播客