📌 一句话摘要

本文介绍阿里 ATH-MaaS 团队构建的 HSCodeComp 基准——首个评估 AI Agent 分层规则应用能力的专家级 Deep Search 评测集，获评 ACL 2026 最佳资源论文，并揭示当前最强 Agent 与人类专家之间约 45% 的能力鸿沟及其深层原因。

📝 详细摘要

文章系统介绍阿里团队在 ACL 2026 获评最佳资源论文的 HSCodeComp 基准。该基准评估 AI Agent 在海关商品编码（HS Code）分类场景中逐级调用工具、检索并严格应用专家规则的能力，本质上是一个「专家级深度搜索」任务。文章详细阐述了任务形式化（多模态商品档案、分层关税规则、历史裁定库的三元输入）、基准构建方法（26 位专家的六步标注流程、632 条样本横跨 32 个商品大类），评测了 28 个前沿系统，发现最强 Agent 仅约 49.4% 准确率而人类专家达 95%，并通过 Test-Time Scaling 失效分析、历史裁定库增益验证、视觉信号边际价值量化等三组实验，揭示了分层规则应用是当前 AI Agent 的结构性瓶颈，而非简单 Scaling 可解决的问题。

💡 主要观点

1. HSCodeComp 是首个评估 Level 3 分层规则应用能力的专家级基准，填补了当前 Agent 评测的关键盲区。 文章将 Agent 所需知识复杂度分为三级：开放域数据（Level 1）、结构化数据（Level 2）、分层专家规则（Level 3）。前两者已有 BrowseComp、GAIA、MedBrowseComp 等基准，但 Level 3 此前为空白，HSCodeComp 正是针对这一层级的首个真实专家级评测集。
2. 最强 AI Agent 与人类专家之间存在约 45% 的能力鸿沟，且该鸿沟属于结构性瓶颈而非 Scaling 可解。 评测 28 个系统后，最强 Agent（Hermes-Agent + Qwen3.7-Max）10 位准确率约 49.4%，人类专家达 95%。即便在 6k 条专家标注数据上做 SFT + Agentic RL 训练，Qwen Agent 也仅提升至 65%，说明分层规则应用对当前 AI Agent 是结构性挑战。
3. Test-Time Scaling（投票与自反思）无法弥合差距，推理深度增加反而导致性能下降。 多数投票（K=1→16）几乎不带来提升，因为 Agent 无法区分正确路径与自信的错误；自我反思提升微弱且会将部分正确样本改错；GPT-5 的 10 位准确率随推理深度从 40.82% 跌至 35.44%，原因是缺乏准确工具反馈的「自由发挥」会引发幻觉与推理漂移。
4. 历史裁定库（CROSS）是最稳定可靠的增益来源，视觉信息仅起边际补充作用。 接入 CROSS 后三个骨干模型准确率均提升 5~10pt，因为真实历史裁定提供了高质量 few-shot 先例来消解规则歧义。视觉信息仅对强 VLM（如 GPT-5）有 +4pt 增益，对弱骨干几乎无效，说明「规则/知识检索」是地基，视觉是有益但非必需的补充。
5. 难度集中于长尾类目，分层规则应用是法律、医疗、税务等多个高价值垂类的共性挑战。 全军覆没的样本高度集中于 Novelty & Special Use（1.3%）、Men's Clothing（2.2%）等长尾品类；HSCodeComp 揭示的能力边界与诊断方法可迁移至 ICD-10 医疗编码、CFR 法律合规、税务审计等同类任务。

💬 文章金句

• HSCodeComp 揭示了当前 Agent 的能力边界，也为构建真正可靠的专业 AI 系统提供了科学的评测标杆。
• 对于有价值信息位于领域知识与规则中的专业任务，应优先做知识与规则的检索利用，而非让模型自己「想」，才能避免幻觉与推理漂移。
• HSCodeComp 是一个「规则/知识中心」而非「检索算力中心」的任务：决定成败的不是算得多快、想得多深，而是能否检索到正确的专家规则与判例，并严格、逐层地把它们应用到位。

📊 文章信息

阅读完整文章