📌 一句话摘要

本文介绍淘宝直播数字人从 Workflow 升级到 Agentic 架构，通过 AgentTuning 蒸馏降低延迟、RLVR 减少幻觉及创新 Multi-Agent RL 算法，实现低延迟高拟真互动，事实正确性提升 4.1pt。

📝 详细摘要

文章详细阐述了淘宝直播数字人互动架构的演进：首先从传统静态 Workflow（意图识别―检索―生成）升级到动态 Agentic 架构，实现全局上下文感知、多次按需工具调用与自我纠错以及多模态响应；随后通过 AgentTuning 蒸馏将千亿参数教师模型的思维链迁移至小模型，使单次工具调用耗时压缩至 0.3 秒，端到端延迟降至 1.79 秒，多轮对话用户比例提升 2.76%；接着利用 RLVR（基于正确性、帮助性及长度奖励的 GRPO 强化学习）优化回复模型，显著提升事实正确性和帮助性，减少幻觉；针对业务中工具调用奖励与回复奖励目标冲突的挑战，研发 Multi-Agent RL 算法，将工具调用模型与回复模型分离为两个 Agent，分别使用规则遵守/工具调用奖励和正确性/帮助性奖励进行在线协同强化学习，实验表明事实正确性提升 4.1pt，帮助性提升 23.6pt，工具调用合理性提升 18.2pt；最后通过架构升级带来的全局上下文感知、多弹幕自适应工具调用及融合直播文案，进一步提升互动质量和并发处理能力。全文结合理论分析、工程实验与消融验证，展示了从架构到算法的完整技术闭环。

💡 主要观点

1. AgentTuning 蒸馏将延迟降至 1.79 秒，多轮对话用户比例提升 2.76%。 通过将千亿参数教师模型的思维链蒸馏至小模型，实现低延迟工具调用与回复，满足直播互动时效性要求。
2. RLVR 强化学习显著提升事实正确性和帮助性，减少幻觉。 使用正确性、帮助性及长度奖励进行 GRPO 训练，使回复更贴近工具调用结果并满足用户实际需求。
3. Multi-Agent RL 将工具调用与回复模型分离，事实正确性提升 4.1pt，帮助性提升 23.6pt，工具调用合理性提升 18.2pt。 分别用规则遵守/工具调用奖励优化工具调用模型，用正确性/帮助性奖励优化回复模型，解决单 Agent 在复杂奖励下难收敛的问题。
4. 架构升级带来全局上下文感知、多弹幕自适应工具调用及融合直播文案，提升互动质量和并发处理能力。 感知域从单维度匹配到全局上下文，决策域支持多次工具调用与自我纠错，执行域实现多模态响应，适应高并发直播场景。

💬 文章金句

• 首创 Multi-Agent RL 算法，将工具调用与回复解耦协同优化，事实正确性提升 4.1pt，打造高拟真、强交互的下一代数字直播范式。
• 通过融合 LLM 与 Agent 自主规划能力，利用 AgentTuning 蒸馏降低延迟、RLVR 减少幻觉，并针对业务挑战研发 Multi-Agent RL 算法，将工具调用与回复模型分离进行协同强化学习优化。

📊 文章信息

阅读完整文章