AI 前沿观察|解读日期 2026 年 11 月 9 日|资料截至北京时间 11 月 9 日 20:30:17

两位朝向不同的说话者与听说装置,示意语音助手如何选择回应对象

原创概念插画。图中的声纹用来区分说话者。

语音助手讲到一半,你转头问同伴要不要带伞。助手如果回答了天气,就是认错了说话对象。如果它安静下来,却再也没有讲完前一句,你仍得请它重来。11 月 7 日,OpenMOSS 公布了实时交互系统 MOSS-Live。在团队公布的一组模拟侧谈测试中,系统回应插话内容的比例只有 2%,接着讲原话的比例是 68%。这两个数字之间的空当,比一段流畅的对话演示更值得细看。团队公告|完整评测表

两件事要同时进行

全双工指系统在开口时仍能听取输入。人们常用一句“嗯”让说话者继续,也会用一句“等一下”要求对方停下来。两种声音都和助手的声音重叠,含义却取决于当时谁在说、对谁说,以及上一句话说到了哪里。即便语音识别把每个字都写对,这些问题也还留给交互系统。

按 OpenMOSS 的说明,前台模型负责听、说和交接话轮,后台模型负责查询、调用工具和较长的推理。两者共享上下文、记忆和任务状态。团队用舟山出游的例子解释这种分工:后台查酒店时,用户仍能在前台问轮渡和停车,还可能临时把徒步改成去海边。查到酒店只是中间一步。等助手准备把结果说出口,目的地和用户关心的条件是否仍然有效,才决定那条结果有没有用。这是团队对演示场景的描述,实际实验日期未披露。系统设计与演示说明

另外三成去了哪里

Full-Duplex-Bench(FDB)v1.5 专门构造声音重叠的场景。其中“用户对别人说话”一类,基准作者合成了 100 条语义上说给旁人听的话,再调低音量、削弱部分高频并加上反射声,模拟人转头离开麦克风。原始方案先转写系统的回答,再用自动裁判判断它做了什么。除了回答插话、续讲原话,还允许归入“表示不确定”或“无法归类”;后者包括沉默和答非所问。基准论文第 2 节

现在可以读懂开头的数字了。分母是同一侧谈子任务中的评测样本。按团队表格,MOSS-Live 的两项比例加起来是 70%,剩余约三成没有落入这两项。汇总表没有逐条给出剩余回答,因此不能把这三成都算成沉默。换到用户确实想打断助手的子任务,期望行为随之翻转。MOSS-Live 回应插话的比例为 84.50%,同表的 Qwen Audio 3.0 Plus 为 97.50%。只报侧谈中的低回应率,会漏掉用户真正需要抢回话轮的时刻。项目仓库 FDB v1.5 分项表

对听的人来说,这些分类对应的代价也不同。助手简短地确认一句是不是在叫它,用户还有机会纠正;助手一声不响地停下,用户得先察觉对话已经断了。原基准把前一种迟疑单列出来,也允许在说话对象不清楚时作简短确认。想判断那三成里有多少需要用户重新发起对话,至少还要听到它停在了哪一句,以及用户接下来做了什么。基准的行为定义

声学处理也给结果划了一条边界。侧谈样本同时改变了句意和声音的远近。系统听出“这句话在叫另一个人”和系统学会“声音变远就继续讲”,在这批样本上可能得到相同的分。仅凭汇总比例,读者分不开这两种解释。若让同一个人以相同音量、相同朝向分别对助手和同伴讲话,再看两组回应率能否拉开,就更接近对说话对象判断能力的检验。侧谈样本的构造方法

选对工具之后,还有多远

前台交互之外,团队也给出了任务端的结果。在 FDB v3 的六个参评系统中,MOSS-Live 和 Doubao SeedDuplex 的工具使用成功率同为 51%。MOSS-Live 的工具选择 F1 为 95.68%,参数准确率为 72.17%。F1 综合衡量该选的工具选全了多少、选中的又有多少是对的。它和任务成功率的计分单位不同,把两个百分数相减,得不出有多少次调用是被错误参数拖累的。那需要把每个任务的选择、传参和执行结果连起来看。项目仓库 FDB v3 分项表

这也留下一个具体的研究问题。假如一次酒店查询使用了正确的地点和日期,用户却在等待期间改了主意,这次调用本身可能完全正确。助手把旧结果念出来,整段交互依然会让人失望。公开表格分别评估了工具调用和话轮行为,还无法从这两组汇总数读出“任务未结束时用户更正条件”这一组合情形的成功率。官方提供了体验入口与接口指南;本篇依据公告和评测表解读,本次检索未找到针对这组数字的独立复测。官方体验与资料入口

值得保留的一段失败录音

下一步最值得看的材料,是把失败录音和后台任务记录按时间对齐。让用户在同一次查询中两次说出相同的地点,第一次对同伴说,第二次明确更改给助手的指令。逐轮记录助手何时让出话轮、后台是否采用新地点、最后播报了哪份结果。即使两次都答错,也能分清要改进的是听者识别、任务更新,还是旧结果回到前台时的检查。

OpenMOSS 给出的数字已经让一个笼统的印象变得可以检验:在受控侧谈里,少接错话和顺利续讲之间留有可测量的距离。若独立评测能在自然多人录音中保留这项优势,并追踪到用户临时改变要求之后的最终结果,我们才有更充分的理由把实验表里的进展带到会议室里。

参考资料

  1. OpenMOSS 发布说明与系统设计
  2. MOSS-Live 项目仓库与完整评测表
  3. Full-Duplex-Bench v1.5 基准作者论文

作者作品推广

除了写技术博客,我也在做一些让日常更有条理的小工具,欢迎了解我独立开发的两款 App:

  • 日常收支小记:记下收支,也给每一笔钱安排好去处。记录日常账目,安排预算与储蓄目标。在 App Store 了解。
  • 一事微光:从一件小事开始,让今天多一点微光。按当下的时间和精力选择行动,记录完成后的感受与发现。在 App Store 了解。

更多技术文章和个人作品,欢迎来我的网站:zffjzz.top。也欢迎把使用感受告诉我,让这些小工具慢慢变得更好。