知识库

Eye(FR) → Mill(skill) → Library(/app)

← 返回列表
BestBlogs.dev · 2026-05-13 · 已成文 · 来源 file

高并发下大模型降智力?范式团队刚刚修复了 vLLM 一个隐藏极深的“吞 Token”大坑 — 来自收藏队列的工程/Agent 相关条目,沉淀为可检索 claim 卡。

为什么重要

收藏条目进入 AI 处理集后必须补写,否则 star 与知识文断档;本卡把收藏接回可检索结论。

正文

高并发下大模型降智力?范式团队刚刚修复了 vLLM 一个隐藏极深的“吞 Token”大坑 — 来自收藏队列的工程/Agent 相关条目,沉淀为可检索 claim 卡。

Claim

高并发下大模型降智力?范式团队刚刚修复了 vLLM 一个隐藏极深的“吞 Token”大坑 — 来自收藏队列的工程/Agent 相关条目,沉淀为可检索 claim 卡。

Why it matters

收藏条目进入 AI 处理集后必须补写,否则 star 与知识文断档;本卡把收藏接回可检索结论。

Summary

收藏(FR favorite)无 ka 条目的 Mode B 补写。1:1 挂在同 URL Vault item。 正文四段给出可执行动作;证据含原文与 HN/讨论入口(若可得)。

Actions

  • (none)

Evidence

  • (none)

Caveats

  • (none)

Research queries

  • (none)

Body

正文

背景

FR 收藏但无 ka-v0,导致处理集与知识库断档。

机制

Mode B:同 item 写入围栏 ka-v0 + 正文四段;FR mark_read 对齐;不 bulk 清未读。

取舍

覆盖收藏缺口 vs 单篇深度;本批优先接通链路,深度可后续杂志化。

动作

核原文 → 合并同主题 → 纳入工作台检索。

结合的源文章

主源
高并发下大模型降智力?范式团队刚刚修复了 vLLM 一个隐藏极深的“吞 Token”大坑
打开原文 ↗

原文快照

展开 / 收起快照

📌 一句话摘要

范式团队发现并修复了 vLLM 推理框架在流水线并行模式下因内存整理机制算错 Token 数量导致高并发下模型准确率下降 4.5% 的隐藏 Bug。

📝 详细摘要

本文报道了范式团队在 vLLM 推理框架中发现并修复的一个严重 Bug。该 Bug 隐藏在 vLLM 的内存整理机制(condense)中,仅在流水线并行(PP)模式下触发。当高并发请求触发 condense 操作时,非末尾 GPU 会错误地将当前已处理的 Token 数量当作总数量,导致系统只拷贝了残缺的 Token 并丢弃了剩余部分,甚至可能混入其他请求的 Token。这使得模型读到的 Prompt 不完整,从而产生答非所问的结果。在 256 并发下,Qwen3-8B 模型的 GSM8K 准确率从 0.877 骤降至 0.832。修复方法已通过 PR #41133 合入主分支,用户需更新 gpu_model_runner.py 中的 _update_states 逻辑。文章提醒开发者在高并发场景下不仅要关注吞吐量,还应使用 lm_eval 等工具进行精度测试。

💡 主要观点

  1. vLLM 在流水线并行模式下存在一个导致 Token 丢失的严重 Bug。 Bug 源于内存整理机制(condense)在 PP 模式下错误计算 Token 数量,非末尾卡将当前处理数误认为总数,导致高并发时只拷贝部分 Token 并丢弃剩余内容。
  2. 该 Bug 会导致大模型在高并发下准确率显著下降。 在 256 并发测试中,Qwen3-8B 的 GSM8K 准确率从 0.877 跌至 0.832,降幅达 4.5%,表现为模型答非所问的降智现象。
  3. 修复方案已通过 PR #41133 合入 vLLM 主分支。 用户需更新 gpu_model_runner.py 中的 _update_states 逻辑,或等待下一个正式 Release 版本。范式团队建议在高并发场景下使用 lm_eval 进行精度测试。

💬 文章金句

  • 范式团队发现,这个 Bug 藏在 vLLM 引擎的内存整理机制(condense)里。
  • 在 PP 模式下,非末尾卡在记录 Token 状态时,误把当前算完的数量当成了总数量。
  • 模型读到的 Prompt 是断章取义的,回答自然南辕北辙。
  • 建议大家在高并发场景下多跑跑 lm_eval 测测精度,别只看吞吐量!

📊 文章信息

AI 初评:85
来源:51CTO技术栈
作者:51CTO技术栈
分类:人工智能
语言:中文
阅读时间:5 分钟
字数:1117
标签: vLLM, 大模型推理, 流水线并行, Bug 修复, 高并发