AI 在生产环境中的下一个前沿：混沌工程

📌 One-Sentence Summary

本文认为，混沌工程的下一个前沿是基于意图的层，该层利用 AI 从行为假设中推导出实验，取代了那些累积起来却无法积累洞察的静态脚本。

📝 Summary

本文提出了一个全面的论点：混沌工程已经达到了一个平台期，其安全机制（SLO 错误预算、中止条件）已经成熟，但意图层——即实验旨在教授什么——几乎不存在。作者（拥有一项基于意图的混沌工程专利，专利号 US12242370B2）提出了一种架构，其中实验是从行为意图规范中推导出来的，而非硬编码的脚本。该系统包含四个层：意图规范、实验生成、实时安全评估和结果记录。文章引用了来自 Intuit、GPTZero、Coders.dev、Fruzo 和 Insurance Panda 的实践者观察，他们独立地指出了相同的结构性差距：当前的工具可以告诉你破坏多少，但无法告诉你破坏它能学到什么。作者认为，这是一个 AI 问题，因为在新型拓扑上的爆炸半径预测、假设生成、敏感性权重学习和异常归因都需要学习模型，而不仅仅是更好的编排。文章最后指出了该领域需要解决三个具体差距：一个标准的意图规范模式、结构化的实验结果数据以及假设质量评估指标。

💡 Main Points

1. 混沌工程拥有成熟的安全层，但意图层几乎不存在。 当前工具可以确定一个实验是否安全运行（通过 SLO 错误预算、中止条件），但无法确定哪个实验最有信息量。一个实验可能很安全，却产生不了任何有用的东西。
2. 随着系统的演进，静态脚本会积累洞察债务。 脚本编码了关于服务拓扑和依赖行为的假设，随着微服务架构的变化，这些假设会悄然失效。脚本仍在运行，但测试的是一个已不复存在的世界。
3. 基于意图的混沌工程从行为假设中推导实验，而非从组件目标中推导。 意图规范编码了一个关于系统行为的可证伪假设（例如，“当库存服务延迟升高时，结账流程在 SLO 内完成”）、验收标准、排除区域和预算约束。然后，实验生成器会找到该行为关键路径上的组件。
4. 爆炸半径的严重程度取决于活跃的用户行为，而不仅仅是组件的健康状况。 在注册过程中发生数据库超时是灾难性的；而在偏好更新过程中发生同样的超时则不可见。基础设施指标无法区分这些上下文，但基于意图的系统可以，因为它知道正在测试的是哪种行为。
5. 这是一个需要学习模型的 AI 问题，而不仅仅是更好的编排。 在新型拓扑上的爆炸半径预测、假设生成、敏感性权重学习和异常归因都需要从过去的实验中泛化。这些是因果推断和学习问题，而非规则执行。

💬 Key Quotes

• 安全告诉你破坏多少。意图告诉你破坏它能学到什么。这些是不同的设计问题，需要不同的工具，将它们混为一谈正是大规模混沌项目倾向于累积脚本却无法积累洞察的原因。
• ‘团队手动执行’和‘工具可计算执行’之间的区别，就是一项实践能否随团队规模扩展的区别。
• 脚本捕获的是机制：终止这些 Pod，注入这种延迟。它不捕获推理：我们运行这个实验是因为我们相信结账断路器应在面向用户的错误率攀升至 0.1% 之前触发。
• 真正智能的混沌测试所缺失的，不是更好的 AI 来破坏事物。而是能够以美元金额理解爆炸半径的 AI。
• 工具无法根据预测爆炸半径与实际爆炸半径之间的差异来更新依赖模型——这个信号丢失在了一份事后分析文档中。

📊 Article Meta

Read Full Article