Codex 的 computer use：OpenAI 展示新的 AI 队友能力

📌 One-Sentence Summary

OpenAI 演示 Codex computer use，展示智能体如何操作本地 GUI 应用、在后台多任务执行、利用 accessibility 数据，并受限于按应用授权的权限边界。

📝 Summary

这是一次信息密度很高的 Codex computer use 产品与架构演示。它的价值不只是展示功能，而是说明当一个 coding agent 能够操作图形界面后，工作边界会发生什么变化：它可以在 UTM 里创建虚拟机，在 Spotify 和 Reminders 等应用之间协同任务，快速发送消息，并用独立 cursor 在后台继续工作，不打断用户当前操作。技术部分尤其有用，因为视频明确提到系统结合了多模态屏幕理解和 accessibility framework，使 Codex 能够更准确地读取文本和交互 UI 元素，而不是只依赖截图。Spark 的讨论也很关键：在某些任务里，快速的非多模态模型可以通过结构化 UI 信息完成操作，避免图像处理带来的延迟。安全设计则落在按应用授权上，这是本地 computer use 最重要的信任边界。视频仍然是产品演示，所以没有提供 benchmark、失败模式分析或完整实现约束。但对于关注 GUI agent、本地自动化和智能体 UX 的开发者来说，它及时、具体，而且值得优先观看。

💡 Main Points

1. Codex computer use 把智能体从代码和文件扩展到本地 GUI 软件 演示中 Codex 可以点击、输入和导航原本不属于终端和代码编辑流程的应用。
2. 后台执行改变了智能体工作的使用体验 Codex 可以使用自己的 cursor 执行任务，用户仍能继续使用电脑，因此 computer use 不会强行打断当前工作流。
3. accessibility 数据相比纯截图有重要技术优势 系统可以利用 accessibility framework 暴露的 UI 结构和文本，包括当前截图里未必直接可见的信息。
4. 快速模型可以在部分 UI 任务中绕开多模态图像处理 Spark 的例子说明，结构化 UI 访问可以降低延迟，让智能体交互更接近实时。
5. 按应用授权是核心安全边界 智能体只能访问用户明确授权的应用，从而降低误触敏感本地信息的风险。

💬 Key Quotes

• Codex 已经从 coding agent 快速演进成真正的队友，而且不只是 coding 队友，你真的可以用 Codex 做任何任务。
• Codex 可以自己点击操作，而不会打断我正在电脑上做的事情。
• 因为它不一定需要图像，我们可以使用像 Codex Spark 这样非常快的非多模态模型。
• 我们把 computer use 设计成只能访问你允许的应用。

📊 Article Meta

Play Full Video