当“正确”不再确定时，如何验证智能体行为

📌 One-Sentence Summary

本文提出了一种新颖的自主 AI 智能体验证框架，该框架通过对执行轨迹进行支配者分析，将关键结果与偶然噪声区分开来，从而超越了脆弱的逐步测试方法。

📝 Summary

本文探讨了测试像 GitHub Copilot Coding Agent 这样的自主 AI 智能体时所面临的关键挑战：由于智能体行为具有非确定性和多路径特性，传统的验证方法会失效。作者提出了一个“信任层”框架，该框架将智能体执行过程建模为图（前缀树接收器），而非线性脚本。通过应用编译器理论中的支配者分析，该算法能够自动识别出每次成功运行都必须经过的“关键状态”，同时过滤掉诸如加载屏幕之类的“可选变化”。该算法仅需学习 2-10 条成功轨迹，利用三级等价检测系统（视觉哈希、SSIM 和 LLM 语义分析）来合并轨迹，并通过拓扑子序列匹配来验证新的执行过程。在一项使用 VS Code 扩展测试套件的控制实验中，支配树方法实现了 100% 的准确率，而智能体自我评估的准确率为 82.2%；在识别“非缺陷”场景方面，支配树方法的 F1 分数为 52.2%，而智能体自我评估为 0%。该框架提供了可解释的失败原因，并设计为可集成到 GitHub Actions CI 流水线中。

💡 Main Points

1. 传统测试方法因假设确定性的线性执行路径，而无法适用于自主智能体。 基于断言的测试、录制回放、视觉回归和 ML 预言机都共享一个结构性假设，即正确性等同于遵循固定的状态序列。当智能体在非确定性环境中导航时，这一假设就会失效。
2. 该框架将智能体执行过程建模为图（前缀树接收器），并应用支配者分析来提取关键状态。 通过将执行轨迹转换为有向图并计算支配者关系，该算法自动将“必须完成”的里程碑与诸如加载屏幕之类的“偶然”噪声区分开来，从而创建了一个最小化且可解释的正确性定义。
3. 一个三级等价检测系统将视觉指标与 LLM 语义分析相结合，以确定状态等价性。 系统使用感知哈希和 SSIM 进行快速匹配，然后利用多模态 LLM 解决模糊情况（例如，忽略时间戳变化但标记缺失的 UI 控件），从而实现对执行轨迹的鲁棒合并。
4. 结构性验证在准确性和故障诊断方面显著优于智能体自我评估。 在控制实验中，支配树方法实现了 100% 的准确率，而智能体自我评估的准确率为 82.2%；该方法还能独特地识别“非缺陷”场景（F1 分数为 52.2%，而智能体为 0%），从而减少了 CI 流水线中的误报。

💬 Key Quotes

• 失败的不是智能体，而是验证本身。
• 正确性的定义从“这件事发生了吗？”转变为“为了让成功成为现实，必须发生什么？”
• 我们不需要黑盒模型去评判其他黑盒模型。我们需要的是开发者能够检查、推理和信任的结构性保证。
• 通过将“事实来源”从智能体的内部逻辑转移到学习到的外部结构，我们提供了必要的保证，使自主智能体成为现代基础设施中可行且生产级的工具。

📊 Article Meta

Read Full Article