在 Zoox 加速 LLM 驱动的开发者生产力

📌 One-Sentence Summary

Zoox 的 AI 负责人分享了一种系统化的方法，通过构建企业 AI 平台 Cortex，借助安全的 LLM 访问、RAG、智能体 API 以及对采纳率的关注，来加速整个开发者生命周期。

📝 Summary

本演讲详细介绍了 Zoox 构建内部 AI 平台 Cortex 以提升开发者生产力的历程。负责人 Amit Navindgi 阐述了开发者生命周期中从信息发现到客户支持等环节的挑战，以及 AI 如何消除摩擦。演讲的核心是平台的架构：一个通往 Claude 和 Gemini 等模型的安全网关，基于内部资源（Confluence、Slack、GitHub）通过 RAG 构建的知识库，以及一个允许团队通过组合工具来创建自定义智能体的智能体 API。一个关键的创新是“智能体即 API”范式，即团队在中央注册表中一次性定义工具，并通过 REST 调用智能体，从而将业务逻辑与平台关注点分离。演讲还涵盖了关键的企业级功能，如针对写入操作的人机协同、配额管理以及支持多模态输入。除了平台本身，Navindgi 还强调了通过识别 AI 倡导者、构建使用仪表盘、举办黑客马拉松以及营造分享成功与失败的文化来推动采纳率的重要性。他提倡一种务实的“构建你无法购买的东西”的方法，并引用了采用 Cursor 而非内部解决方案的例子。核心要点是，一个成功的 AI 战略不仅需要构建一个强大的平台，还需要积极推广其使用并衡量其影响。

💡 Main Points

1. 构建一个安全且易于贡献的平台，作为企业 AI 的基础。 Zoox 构建了 Cortex 作为通往多个 LLM 的安全网关，包含用于内部知识的 RAG 流水线和一个智能体 API。该平台设计为可由任何工程师扩展，从而防止核心团队成为瓶颈。
2. 实施“智能体即 API”范式，以简化智能体的创建和部署。 团队在中央注册表中一次性定义工具，并通过 REST API 调用智能体，指定模型、提示词和工具。这分离了业务逻辑与扩展性和安全性等平台关注点，使所有团队都能轻松创建智能体。
3. 通过推广、衡量和社区建设来优先提升采纳率。 构建平台只是成功的一半。Zoox 通过识别 AI 倡导者、构建仪表盘追踪使用情况和影响、举办针对特定团队的会议以及举办黑客马拉松来激发热情和创造新工具，从而推动采纳率。
4. 采用“构建你无法购买的东西”的策略，之后再收敛。 当 Cursor 可用时，Zoox 选择购买它并关闭了一个内部项目。“1 > 2 > 0”的原则允许为了保持速度而暂时存在重复，目标是在一段时间后收敛到最佳解决方案。

💬 Key Quotes

• 当 AI 缺失时，感觉就像系统坏了。
• 构建你无法购买的东西。如果某个供应商工具能满足你 80% 的需求，那就买它。
• 1 大于 2 大于 0。一个优秀的解决方案胜过两个相互竞争的方案，但两个相互竞争的方案仍然好过什么都没有。
• 抵制炒作，专注于影响。这是在公司内部规模化 AI 的唯一途径。
• 如果你无法衡量它，你就无法改进它。

📊 Article Meta

Read Full Article