AI 前沿观察|解读日期:2026 年 11 月 17 日|资料截至北京时间 20:28:22

两间陈设相似的书房通向同一条走廊,蓝杯只在其中一张桌上

原创概念示意图。房间与足迹用于说明问题,不是评测视频或模型的实际轨迹。

走进一间书房,看见桌上有只蓝杯。绕过走廊,又看见相同的书桌和台灯,蓝杯却不见了。是有人拿走了杯子,还是你走进了隔壁?Henry Zheng 等人在北京时间 11 月 17 日凌晨提交的预印本里,把这类困惑变成了可以判分的视频问答。新基准叫 ReSpaceBench。它抓住了一个容易漏测的能力:要说清一间屋子里什么变了,得先认准这是哪间屋子。

走过门槛,才算一次访问

以前的测验已经会问路线。比如在 VSI-Bench 的公开示例中,答题者从门边面朝床出发,要补出走向窗户时的转向。做对这道题需要把不同时刻看见的家具摆进同一个空间。那项早期研究还报告,让模型在答题时显式画出空间关系,有助于判断距离。可是,即使两间书房的床和窗户摆法完全相同,主人也不会把它们当成同一个地方。

ReSpaceBench 的做法,是把“进入一个实际房间”设为一次访问的边界。镜头在屋里转身,画面可能大变,房间却没换;从这扇门出去再从隔壁的门进去,画面可能很像,地点却换了。作者在受控的室内行走视频中放进同类房间作为干扰,还安排不同次走访之间的物体变化。这样,答题者既不能只靠房间类别认路,也不能认定陈设一变就到了新地方。问题的关键从“这幅画面像什么”移到了“两段画面之间,人走过哪里”。

人和模型,要在同一份卷子上比

按作者报告,基准覆盖合成与真实住宅共 590 个场景,含 3,244 道题。九项任务涉及辨认重访的房间、追踪前后状态,以及利用这些信息继续推理。团队测试了 32 个模型,零样本条件下表现最好的模型总体准确率为 50.5%。这里的零样本成绩与后文用专门数据训练后的成绩分开报告。五成也不能直接读作“等于猜测”:猜对的概率取决于题目怎么出、给了哪些选项。

人工标注者没有做完整份卷子。研究者在其中 450 道题上作比较,同一子集上,表现最好的零样本模型为 52.2%,人工为 90.1%,相差 37.9 个百分点。这个差值回答的是“面对这批相同的问题,双方差多少”。若拿全卷的 50.5% 去减人工分数,就把换题的影响也算进去了。另一个容易忽略的分母是房间:一道题答错不等于走错一次门,几道涉及同一房间的题,也可能因为最初的一次误认而接连答错。

回看录像,该找的是哪几秒?

如果只记得两张书桌很像,直觉上可以让模型自己倒回去,多看几眼。作者还测了三种能主动查找视频证据的框架。按其报告,与同一底层模型直接作答相比,这些框架总体没有改善。作者检查执行记录时看到两类失误:有的漏掉了需要的证据,有的找到了画面,却把分属两次访问的房间对应错了。预印本摘要也提到,借助标注选择视频帧时,保留中间的访问和转场很重要。

回到蓝杯的例子。若回看策略专挑与“书桌”最相似的画面,可能找回两张都很清晰的桌面特写;然而,两张特写恰好绕开了那个决定答案的路口。对这个问题,拍得模糊的出门、转弯、再进门,可能比另一张高清桌面更有用。这是对错误机制的一种解释,并不意味着作者已经证明三种框架都按相似度找画面。总体没有增益,也不意味着没有一道题因回看而受益。

分数能练上去,接下来该换条路考

团队另用合成素材制作训练集 RS-30K,称其模板、场景、路线和视频均与评测集不重合。作者报告,用它微调 Qwen3-VL-8B 后,总体准确率从 35.5% 到 60.4%,提高 24.9 个百分点;房间对应任务的增益最大。这是同一个模型训练前后的比较。它说明这批任务里有可学的规律,但分数本身分不出模型究竟学会了沿途定位,还是更擅长辨认出题时常用的视觉线索。本文核到该预印本的版本记录与作者摘要,未核到全文分项表,本次检索也未找到独立复现。

还有一层差别在于谁决定往哪走。做视频题时,拍摄者已经替答题者穿过了走廊;换成自己找杯子的机器人,如果走到门口仍分不清房间,它可以退回路口,再看一次门的位置。反过来,它也可能因为第一次选错方向,再也看不到答题所需的线索。前一种能力可以用录像反复测试,后一种还涉及主动选路,不能用这里的准确率代替。

下一步,我更想看一组配对录像:保留起点、终点的房间陈设,只改走廊中段的路线,让一条路回到原处,另一条路通向隔壁。若模型真的利用了途中证据,它就应该在两段录像里给出相反的判断,并能指出经过哪道门改变了答案。再做反向对照:路线不变,只挪动屋里的杯子,此时关于房间身份的回答应当保持不变。能同时通过这两道关,比单独再涨几个百分点更能说明模型记住的是地方,而不只是桌面。

参考资料

  1. Zheng 等:Lost in the Hallway,arXiv 摘要与提交记录。本次新研究的数字均来自作者。
  2. Yang 等:Thinking in Space,早期空间理解研究。
  3. VSI-Bench 作者项目页:视频问答示例。后两项提供背景,不是对新结果的复现。

作者作品推广

除了写技术博客,我也在做一些让日常更有条理的小工具,欢迎了解我独立开发的两款 App:

  • 日常收支小记:记下收支,也给每一笔钱安排好去处。记录日常账目,安排预算与储蓄目标。在 App Store 了解。
  • 一事微光:从一件小事开始,让今天多一点微光。按当下的时间和精力选择行动,记录完成后的感受与发现。在 App Store 了解。

更多技术文章和个人作品,欢迎来我的网站:zffjzz.top。也欢迎把使用感受告诉我,让这些小工具慢慢变得更好。