Voice AI 何时迎来「Her」时刻？

📌 One-Sentence Summary

Neil Zeghidour 从延迟、全双工交互、工具调用等待和本地 TTS 经济性出发，解释为什么语音 AI 仍未真正达到电影《Her》中的自然体验。

📝 Summary

这场 AI Engineer 演讲对当前语音 AI 前沿做了兼具技术和产品判断的拆解。Gradium AI 联合创始人 Neil Zeghidour 指出，行业反复宣称已经迎来「Her 时刻」，但这掩盖了几个尚未解决的工程问题。核心批评是，多数生产级 voice agent 仍依赖 STT 到 LLM 再到 TTS 的级联系统。这类架构实用、智能性也在提升，但顺序执行天然难以满足人类对话的延迟要求：自然对话希望理解、推理和发声的完整闭环大约在 200 毫秒内完成，而单是 TTS 就可能吃掉这个预算，工具调用还会额外带来数秒等待。演讲也说明了为什么直接转向 speech-to-speech 模型并不够。半双工系统无法自然处理打断、重叠说话和 back-channeling，而 Moshi 这样的全双工模型更接近真实对话，却仍缺少级联系统在可靠性、智能性、可观测性和工具调用上的成熟度。关于 linguistic fillers 的部分很实用，展示了团队如何在后端等待时用自然话语维持对话流动。最后，演讲把问题扩展到生产成本和隐私，提出 Gradium Phoneon 作为端侧 TTS 路径，既降低云 API 成本，也让敏感语音交互留在本地。对 AI builder 和创业者来说，这支视频的价值在于把 demo 魔法和可部署系统区分开，并准确指出 voice agent 的真实瓶颈。

💡 Main Points

1. 「Her 时刻」仍受延迟和交互设计限制 Zeghidour 认为，即使当前 demo 已经很强，响应延迟、同时说听和对话智能仍没有被同时解决，因此离自然人类对话还有距离。
2. STT-LLM-TTS 级联系统实用但结构上偏慢 演讲解释了顺序执行的语音栈在加入 LLM 推理或不可预测的工具调用之前，就已经很容易超过人类对话约 200 毫秒的目标。
3. 全双工语音模型更符合人类对话中的重叠和反馈 半双工系统只能听或说，面对打断和 back-channeling 很脆弱；全双工模型可以一边听一边说，让对话流动更自然。
4. Speech-to-speech 模型仍需补上级联系统的可靠性 Moshi 展示了自然交互潜力，但演讲明确指出，全双工系统还需要更强推理、可观测性、工具调用、个性化和安全性，才能替代级联架构。
5. 本地 TTS 同时关系到单位经济和隐私 Gradium Phoneon 被定位为轻量端侧 TTS 引擎，既能减少昂贵的云端 API 成本，也能让敏感语音数据留在设备上。

💬 Key Quotes

• 我们的使命是释放语音尚未被实现的潜力
• 在人类对话中，理解、生成答案并说出来的整个栈大约需要在 200 毫秒内完成
• 不是让音频进入 speech to text，再进入 LLM 和 text to speech，而是让模型直接以语音为输入并输出语音
• 只要这类自然声音模型还不能达到级联系统同等的可靠性、智能性和个性化，我就看不到它们替代级联系统的路径
• 如果所有私人数据都保留在本地，你会更放心
• 我强烈反对一些竞争者的说法，语音不是 commodity，我认为这完全错误

📊 Article Meta

Play Full Video