AI 前沿觀察|解讀日期:2026 年 11 月 10 日|資料截止:北京時間 20:28:04

想像你拿著一張夾克的照片找衣服,先說“找件紅色連帽的”,又補了一句“顏色換成藏藍”。如果排在最前面的是紅色連帽夾克,系統記住了你說過什麼,卻沒弄清哪句話還算數。如果它交回來一件藏藍色立領夾克,又像是隻聽了最後一句。阿里巴巴與北京航空航天大學的 Xiangyang Wu 等人設計了多模態檢索基準 TRIAD,把這兩種容易混淆的失誤放進同一個實驗。其預印本首版提交於北京時間 11 月 9 日 21:11;值得細讀的,是作者如何讓同一個需求考兩次。

三張夾克樣卡並列,半透明描圖紙突出換色後仍需保留的連帽特徵

原創示意圖。夾克是本文為解釋對照設計而舉的例子,並非論文樣本或檢索結果。

怎樣讓同一個需求考兩次

一種問法是給出參考圖,一次講清最後想找什麼;另一種問法從同一件參考物出發,把條件分散到幾輪裡,允許用戶修改先前的要求。最後想找的東西一樣。如果系統擅長辨認顏色和款式,卻在第二種問法上表現差些,就有理由回頭檢查它怎樣使用對話歷史。只拿一道簡單的單句題和一道複雜的對話題比較,得不到這麼具體的線索。

這項對照是 TRIAD 三類任務中的一類。另外兩類分別考察能否在具體圖片和上位概念之間檢索,以及能否同時滿足肯定和否定條件。六個子集各有一千條查詢,每條都在固定的一千個候選中排序。一個查詢可以有多個合格答案。作者用平均精度均值(mAP)評分:可以把它理解為沿著列表往下找,每遇到一個合格項,就看排在它前面的結果有多準,再對合格項和查詢取平均。即便第一件衣服碰巧選對,後面混入許多不合要求的衣服,分數也會受影響。論文正文

四十次比較裡,究竟是什麼下降了

作者在服飾和汽車兩個領域,分別比較了二十種配置的單輪與多輪得分。這二十種配置來自十七個系統。四十組“配置 × 領域”比較裡,有三十九組的多輪 mAP 更低。這個數字描述的是平均分變化的方向:它既不表示四十次搜索裡錯了三十九次,也沒有告訴我們每個系統遇到的困難一樣大。

看論文表 4就能體會這個區別。在服飾子集上,Qwen3-VL-Embedding-2B 從單輪的 0.442 降到多輪的 0.212;同系列 8B 配置從 0.508 降到 0.454。還有一個例外:帶 T-CoT 的 Embed-RL-4B 在服飾上從 0.360 升到 0.376,在汽車上卻仍然下降。單看這幾行,可以判斷困難有輕重,卻不宜據此把規模或某一種推理方法認定為原因。

這個比較還有個容易忽略的細節:原配對題的候選池高度重合,卻不完全相同。哪怕兩道題找的是同一件衣服,只要其中一邊混進了更多看起來幾乎一樣的款式,分數就可能變。作者在附錄中改用多輪題的同一候選池給單輪輸入重新打分,總體下降趨勢仍在。這個對照增強了對趨勢的信心,但不能把每一分差距都歸給某一個詞或某一輪對話。

也可以倒過來讀這個對照。單輪輸入相當於有人替系統整理好了需求,給它一條幹淨的查詢。如果連這一條也排不好,改進對話記憶未必幫得上忙。因此,單輪分數本身應當和兩種輸入之間的差值一起保留。

刪掉舊話,為什麼既有用又有害

研究中最有解釋力的一步,是把此前的對話拿掉,只給檢索系統最後一輪。在這項補充實驗裡,作者用的是十一種配置,兩個領域合計二十二組,而非主實驗的四十組。最後一輪和完整歷史面對完全相同的候選。按各領域全部查詢計算,二十二組都是保留歷史的得分更高:只說“換成藏藍”,本來就不足以交代什麼款式才合適。附錄 D.1.1 與圖 10

可是,只看用戶修訂了條件的對話,二十二組裡有十組反而是隻讀末輪更好。這兩項結果並不矛盾。一般情況下,前文提供了末句沒重複的信息;一旦用戶改口,前文又多出了一個如今應當作廢的值。檢索器可能既從“連帽”受益,又被“紅色”帶偏。這裡的“可能”不能省:排序能揭示舊條件與失誤的關係,不能讓我們直接讀出模型內部怎樣存儲或刪除顏色。

下一步,看看排錯的究竟是哪件衣服

對做檢索實驗的人,一個比繼續報總分更有用的問題是:新要求說得越清楚,哪一種錯誤就越少?可以固定參考圖和候選池,分別放進兩件容易混淆的衣服,一件只違背新顏色,一件只缺少始終有效的帽子。再把“換成藏藍”改寫成意思相同的自然說法,分別觀察兩類錯誤進入前列的頻率。這是從論文引出的後續檢驗,不是作者已經得到的結果。若一種改進只壓低了舊顏色,卻把沒有帽子的衣服推到前面,就很難說它更懂得用戶的修改。

現有證據來自作者在固定候選池上的評測。服飾和汽車允許把條件說得很清楚,現實請求卻常常含有模糊偏好,用戶也可能連自己要保留哪一點都還沒想好。本文未運行作者代碼,本次檢索也未找到獨立復現。TRIAD 眼下給出的,是一個可以繼續追問的分界:在最終意圖明確時,系統能否只改用戶改過的那一項?換一批候選、換一套說法,這條分界還在不在,比再多一個榜單名次更值得關注。

參考資料

以下入口均來自同一篇預印本,不代表獨立驗證。

  1. arXiv 版本記錄與摘要
  2. TRIAD 首版全文:任務與評分協議
  3. 主實驗表 4:同一最終意圖的單輪與多輪得分
  4. 附錄 D.1.1:末輪輸入、完整歷史與修訂對話

作者作品推廣

除了寫技術博客,我也在做一些讓日常更有條理的小工具,歡迎瞭解我獨立開發的兩款 App:

  • 日常收支小記:記下收支,也給每一筆錢安排好去處。記錄日常賬目,安排預算與儲蓄目標。在 App Store 瞭解。
  • 一事微光:從一件小事開始,讓今天多一點微光。按當下的時間和精力選擇行動,記錄完成後的感受與發現。在 App Store 瞭解。

更多技術文章和個人作品,歡迎來我的網站:zffjzz.top。也歡迎把使用感受告訴我,讓這些小工具慢慢變得更好。