智能体成新型攻击入口？模型上线前 OpenAI 内部到底审什么？董事会成员首次详解

📌 一句话摘要

OpenAI 董事会成员 Zico Kolter 深度解析了 AI 安全从模型级问题向生态系统级问题的转变，强调了智能体时代提示注入成为核心风险，并指出模型不会因能力增强而自动变得更安全。

📝 详细摘要

本文基于对 OpenAI 安全与安全性委员会主席 Zico Kolter 的深度访谈，系统梳理了 AI 安全领域的前沿观点。Kolter 首先介绍了 OpenAI 内部的模型发布审查机制，包括预备性框架（Preparedness Framework）的运作方式。他提出 AI 风险的四分类模型：模型犯错、有害使用、社会影响和失控风险，并强调安全（Safety）与安全性（Security）的区别。核心观点包括：模型不会因变大而自动变安全，安全需要专门的工程投入；智能体时代提示注入成为新型攻击入口，攻击面大幅扩大；现代 AI 安全体系是瑞士奶酪模型，需要多层防御叠加。他还分享了 GCG 越狱攻击的发现过程，以及学术界在 AI 安全研究中的独特价值。

💡 主要观点

1. 模型不会因能力增强而自动变得更安全，安全需要专门的工程投入。 Kolter 指出，虽然模型在可量化评估的维度上确实更安全了，但这种进步并非能力提升的附带产物，而是大量额外安全训练、输入输出监控、多层防御体系共同作用的结果。
2. 智能体时代提示注入成为核心安全风险，攻击面大幅扩大。 当智能体拥有工具调用和真实世界权限时，第三方数据中的恶意指令可被模型误认为用户命令执行，导致数据泄露等严重后果。安全设计需同时考虑模型层、编排层和权限控制。
3. 现代 AI 安全体系是瑞士奶酪模型，需要多层防御叠加。 包括输入分类器、模型安全训练、输出分类器、行为监控和运营安全在内的多层防护共同构成安全体系，任何单层都可能存在漏洞，但多层叠加可大幅降低攻击成功率。
4. AI 安全正在从模型级问题转向生态系统级问题。 Kolter 认为，当前 AI 安全的真正挑战已不再是单一模型的安全，而是整个 AI 体系在持续演化中带来的系统性风险，需要模型提供方、第三方安全机构和最终用户共同承担责任。

💬 文章金句

• 今天 AI 安全真正的挑战，已经不再只是'模型会不会说错话'。
• 模型并不会因为变大，就自动更难被操纵、更难被攻击。
• 你不能指望模型只靠'变大'就自动变安全。真正的安全，只能靠大量工程投入和系统化建设实现。
• 提示注入其实是 AI 智能体时代一种全新的安全漏洞。
• AI 安全正在从'模型级问题'转向'生态系统级问题'。

📊 文章信息

阅读完整文章