封面圖

日期:2026-07-31
適合讀者:研究生、科研新人、有工程背景的 AI 讀者
關鍵詞:follow-up idea、research proposal、論文侷限、可證偽假設、最小實驗

摘要

很多研究生讀完一篇好論文後,會停在兩個極端:要麼覺得作者已經把問題做完了,自己只能複述;要麼受到啟發,馬上想做一個很大的系統,把數據、模型、訓練目標、評測和應用場景都改一遍。前者沒有形成問題,後者很難執行。真正適合作為科研訓練的 follow-up idea,通常不是“再做一篇更大的論文”,而是一個小而可靠的研究問題:它來自原論文未解決的侷限,有清晰假設,能用有限計算和數據驗證,並且無論正結果還是負結果都能帶來信息。

這一篇討論如何把論文裡的 limitation、failure case、ablation 空白、benchmark 偏差和機制解釋不足,轉化為可執行的選題。2024-2026 年,圍繞 AI research ideation、idea evaluation、scientific forecasting 和 AI-assisted research 的論文迅速增加:從大規模人類研究檢驗 LLM 是否能產生新 idea,到 Chain-of-Ideas、GraphEval、AAAR-1.0、PreScience、Future-Aligned Proposal 等工作,都在提醒我們:idea 不是靈感閃現,而是一種可以被拆解、評估和訓練的科研能力。

本文的核心結論很簡單:一個好的 follow-up idea 至少要同時通過五個檢查:問題來自真實缺口,假設可證偽,實驗能在兩到四周內跑通,證據能區分多個解釋,失敗時仍能寫出有價值的分析。

目錄

  1. 為什麼 follow-up idea 比“大方向”更適合訓練
  2. 從論文侷限到研究問題:五類入口
  3. 小而可靠的 idea 應該長什麼樣
  4. 代表論文路線圖:AI 如何輔助科研構思
  5. 關鍵論文精讀:把 idea 當成可評估對象
  6. 方法/實驗對比表
  7. 最小復現實驗與 proposal 模板
  8. 常見誤區
  9. 適合研究生繼續做的選題
  10. 參考資料

為什麼這個主題重要

科研新人最容易低估的能力,不是讀論文,也不是跑代碼,而是“把一個模糊啟發壓縮成一個可執行問題”。讀論文時你會看到很多可能方向:作者說未來要擴展到多語言、長上下文、更多模態、更大模型、更真實環境、更強 benchmark;審稿意見裡會說 baseline 不夠、統計不充分、消融不足、數據集太窄;復現時你會發現代碼缺參數、結果對 seed 敏感、某個模塊實際沒貢獻。這些都可能成為 follow-up,但大多數還不是研究問題。

原因在於,研究問題必須能被證據支持或推翻。比如“讓 agent 更可靠”太大;“在 WebArena 類任務中,引入額外 verifier 是否能減少工具調用後的狀態誤讀”才接近一個問題。前者無法決定數據、baseline 和 metric,後者可以設計最小實驗:固定 agent 框架,比較 no-verifier、rule-verifier、LLM-verifier,分析失敗類型和額外 token 成本。

對研究生來說,follow-up idea 的價值不只是發論文。它更像一套訓練裝置:

  • 訓練你判斷一篇論文的核心 claim 到底是什麼。
  • 訓練你把 limitation 寫成假設,而不是寫成願望。
  • 訓練你在資源有限時設計最小實驗。
  • 訓練你面對負結果時仍然提煉機制和邊界條件。
  • 訓練你把“讀過十篇論文”變成“知道下一步該測什麼”。

2026 年的科研環境也讓這件事更重要。ICLR 2026 作者指南要求如果 LLM 在研究構思或寫作中起到重要作用,作者需要說明其具體角色,並強調作者仍對內容、事實和科研誠信負責。換句話說,AI 可以幫你發散 idea、檢索文獻、檢查 novelty,但不能替你承擔研究判斷。一個成熟研究者必須能回答:這個 idea 為什麼值得做,最小證據是什麼,風險在哪裡,失敗後學到什麼。

從論文侷限到研究問題:五類入口

1. 明示 limitation:作者自己承認的邊界

論文的 limitation section 是最直接的入口,但不要照抄“未來工作”。作者寫“只在英文數據上評估”,並不等於你的 follow-up 就是“擴展到中文”。你要繼續追問:跨語言後哪個機制可能失效?是 tokenizer、訓練數據、文化常識、檢索庫覆蓋率,還是 evaluation rubric?如果不能指出機制,擴展數據集往往只是工程補充。

一個更好的寫法是:原方法在英文 instruction-following 上依賴高質量人工偏好數據;假設遷移到低資源語言時,偏好模型更容易獎勵流暢性而不是事實正確性;最小實驗是在兩個語言子集上固定模型和任務,比較偏好評分與人工 factuality 標註的一致性。

2. Failure case:錯誤樣例裡的規律

很多論文會展示失敗案例,但讀者常常只把它當成附錄。真正有用的做法是把 failure case 重新編碼:錯誤發生在長輸入、稀有實體、多跳推理、工具返回衝突、視覺遮擋、分佈外格式,還是 benchmark 指令歧義?如果你能把錯誤分成三到五類,並找到其中一類穩定出現,就已經接近 follow-up。

注意,failure case 不是“挑一個失敗例子講故事”。你至少要驗證它不是偶然樣本。可以抽取 50-100 個錯誤樣例,手動標註錯誤類型,或用模型輔助標註後人工複核。小規模但清楚的錯誤分類,常常比盲目跑一個更大 benchmark 更有研究價值。

3. Ablation 空白:該測但沒測的變量

上一篇講過 ablation study。對 follow-up 來說,最常見機會來自“論文聲稱 A 有用,但沒有排除 B 的解釋”。比如作者引入複雜 planner 後性能提升,但沒有控制 test-time token 預算;引入新數據合成流程後提升,但沒有和同等規模隨機採樣數據比較;提出 memory 模塊後變好,但沒有檢查模型是否只是從更長上下文獲益。

這類 follow-up 的優點是小而硬:你不需要提出全新系統,只需要設計一個更公平的對照,驗證原 claim 的邊界。缺點是要非常嚴謹,否則容易變成“復現實驗沒跑齊”。你的目標不是拆臺,而是回答一個可重複的問題:在控制變量後,原方法的哪一部分仍然成立?

4. Benchmark 偏差:任務定義和指標不匹配

AI 論文裡很多爭議來自 benchmark。一個方法可能在 leaderboard 上提升,但提升來自數據洩漏、格式適配、prompt tuning、judge 偏差、長答案偏好或測試集過窄。follow-up 可以從 benchmark 的測量對象入手:當前指標到底測的是能力、風格、成本,還是對數據集分佈的適配?

例如,開放式評測中 LLM-as-a-judge 可能偏好更長、更自信或更像參考答案的輸出。一個小 follow-up 可以固定候選答案內容,系統擾動長度、語氣和引用格式,測試 judge 排名是否變化。這樣的研究不一定需要訓練模型,但能直接影響後續論文的證據質量。

5. 機制解釋不足:分數上漲但原因不明

很多方法論文會給出直覺:檢索增強減少幻覺,process supervision 改善推理,self-consistency 提升可靠性,tool use 擴展能力邊界。但直覺不是機制。follow-up 可以把“為什麼有效”變成可測信號:檢索是否提高了證據覆蓋率?process supervision 是否減少中間步驟錯誤?self-consistency 是否只是在多數投票裡過濾隨機噪聲?工具調用是否真的解決了知識缺口,還是隻是提供了更長上下文?

機制型 follow-up 通常更適合研究訓練,因為它不依賴大規模 compute,而依賴實驗設計。你可以用小模型、小數據、小任務做清楚的診斷,只要問題定義足夠鋒利。

Follow-up idea 流程圖

小而可靠的 idea 應該長什麼樣

一個可執行 follow-up idea 可以寫成一句話:

針對論文 P 中 claim C 在條件 S 下證據不足的問題,我假設機制 M 是關鍵瓶頸;在固定 A、B、C 變量後,通過最小實驗 E 比較 baseline 和 variant,並用指標 Y 與診斷信號 Z 判斷假設是否成立。

這句話裡有六個要素:

  • 來源:idea 來自哪篇論文、哪張表、哪個失敗樣例或哪條審稿意見。
  • 缺口:原論文證據缺了什麼,不是泛泛說“還有提升空間”。
  • 假設:你相信什麼機制導致問題,且這個機制可能被推翻。
  • 最小實驗:兩到四周內可以完成的實驗,不依賴未知資源。
  • 判據:成功和失敗分別意味著什麼。
  • 退出條件:如果跑不出預期,怎樣判斷是實現問題、假設問題還是數據問題。

這裡的“小”不是指沒有野心,而是指變量少。一個可靠的 follow-up 最好只改變一個主變量,最多帶一個輔助變量。比如:

不可靠寫法 更可靠寫法
做一個更強的 RAG agent 固定生成器和檢索庫,只比較 reranker 是否改善衝突證據場景下的 factuality
把方法擴展到多模態 先測原方法在視覺遮擋、OCR 噪聲、跨圖指代三類失敗上的退化曲線
用強化學習提升推理 先驗證 process reward 是否比 outcome reward 更能定位中間步驟錯誤
設計新 benchmark 先構造 200 個反事實樣例,證明現有 benchmark 無法區分兩類能力
用 AI 自動生成研究 idea 先評估生成 idea 的 novelty、feasibility 和 expected effectiveness 是否能被專家穩定區分

一個實用標準是“最小可發表單元”。它不一定能獨立成為頂會長文,但應該可以成為 workshop paper、reproduction report、短博客、附錄實驗或 proposal 的核心。更重要的是,它應該能讓你學到某個確定結論:原 claim 的邊界、某個機制的證據、某個 benchmark 的缺陷,或某類負結果的解釋。

代表論文路線圖:AI 如何輔助科研構思

近兩年關於科研構思的論文越來越多,它們本身也提供了 follow-up 訓練的參照系。可以按四條線閱讀:

方向 代表資料 關注問題 對研究生的啟發
人類 vs LLM idea generation Can LLMs Generate Novel Research Ideas?(arXiv 2024) LLM 生成 idea 是否新穎、可行、多樣 不要把 novelty 和 feasibility 混為一談
文獻結構化生成 Chain of Ideas(arXiv 2024) 用文獻發展鏈幫助 LLM 構思 idea 應來自研究脈絡,而不是孤立 prompt
研究任務 benchmark AAAR-1.0(arXiv 2024,2025 修訂;ICML 2025 註釋見 arXiv) 方程判斷、實驗設計、論文弱點評估、review critique 實驗設計和找弱點本身可以被評估
idea evaluation GraphEval(arXiv 2025)、Literature-Grounded Novelty Assessment(arXiv 2025) 如何評估 idea 質量和 novelty novelty 需要文獻證據,不能只靠模型自評
empirical outcome prediction Predicting Empirical AI Research Outcomes with Language Models(NeurIPS 2025) 預測兩個研究 idea 哪個會在 benchmark 上更好 idea 可行性可以轉化為“可預測結果”的問題
scientific forecasting PreScience(arXiv 2026)、Future-Aligned Research Proposals(arXiv 2026) 用時間切片預測未來論文貢獻 好 proposal 應能連接已有證據和未來發展
自動化科研流水線 The AI Scientist / Towards end-to-end automation of AI research(Nature 2026) 從 idea 到實驗、論文、評審的端到端自動化 自動化能放大效率,也會放大錯誤假設

這條路線的共同點是:它們都不再把 research idea 當作無法分析的靈感,而是把它拆成 novelty、feasibility、significance、expected effectiveness、experimental design、weakness detection 和 future alignment 等可討論維度。對科研新人來說,這比“讓 LLM 給我十個創新點”有用得多。

關鍵論文精讀:把 idea 當成可評估對象

Can LLMs Generate Novel Research Ideas?

這篇 2024 年 arXiv 論文招募 100 多位 NLP 研究者,比較專家 idea 和 LLM ideation agent 生成 idea 的盲審評價。它的關鍵不在於“LLM 是否贏過人類”這個單點結論,而在於它把 idea 評價拆成了 novelty、feasibility 等維度,並指出 LLM 自評、多樣性和最終研究結果驗證仍是開放問題。讀這篇時要重點看實驗設計:如何控制作者身份、如何組織 blind review、如何處理主觀評價。

對 follow-up 訓練的啟發是:不要只問“我的 idea 新不新”,還要問“專家會不會認為它可行”“它是否只是換了術語”“它是否和已有論文重複”。如果 novelty 高但 feasibility 低,你得到的不是好選題,而是一個需要繼續壓縮的假設。

Chain of Ideas

Chain-of-Ideas 的核心思想是把相關文獻組織成發展鏈,再讓 LLM 基於鏈條生成 idea 和實驗設計。它提醒我們,很多 idea 的質量取決於文獻結構:你是否知道這個方向從哪個限制走到哪個改進,哪些方法被證明無效,哪些任務定義發生過變化。對人類讀者來說,這等價於 Related Work 地圖的實踐版。

做 follow-up 時,可以借鑑這種鏈式方法:選一篇目標論文,往前追三篇被它解決的工作,往後看三篇引用或同主題新論文,然後寫出“舊限制 -> 當前方法 -> 新限制”的鏈條。如果鏈條寫不出來,說明 idea 還停留在孤立靈感。

AAAR-1.0

AAAR-1.0 把研究者日常任務做成 benchmark,包括 ExperimentDesign 和 PaperWeakness。項目頁說明數據構建中有資深 AI 研究者參與標註,並通過多輪檢查過濾;它也顯示,即使強模型在研究弱點識別、實驗設計等任務上仍有明顯侷限。這裡不要只看模型分數,而要看任務定義:什麼樣的輸出才算好的實驗設計,什麼樣的 weakness 不是泛泛而談。

這對研究生非常實用。你可以把自己的 follow-up idea 當作 AAAR 風格任務來檢查:如果讓另一位同學只看論文和你的 idea,他能否寫出同樣的實驗計劃?如果不能,說明你的問題定義還不夠清楚。

GraphEval 與 Literature-Grounded Novelty Assessment

GraphEval 把複雜 idea 拆成 viewpoint graph,用圖結構輔助評價;Literature-Grounded Novelty Assessment 則提出基於檢索和 rerank 的 novelty checker,強調 novelty 判斷必須 grounded in literature。兩者共同指出一個問題:idea 評價不是一句“看起來很新”,而是要分解觀點、找相關論文、比較差異,並給出基於文獻的理由。

實踐上,你可以為每個候選 idea 寫一張 novelty card:最近三篇最相近論文是什麼?你的差異是任務、數據、方法、理論解釋、評測協議,還是應用場景?如果差異只能寫成“我們也試一下 X”,novelty 很弱;如果差異能寫成“已有工作沒有控制變量 V,因此無法區分機制 M1/M2”,就更像研究問題。

Predicting Empirical AI Research Outcomes

NeurIPS 2025 的這篇論文把 idea 評價轉化為 pairwise prediction:給定兩個研究 idea,預測哪個會在 benchmark 上表現更好。論文報告了由會議論文中抽取的 idea pair 和實驗結果,並比較模型系統與專家判斷。它的意義不是讓我們盲信模型預測,而是提出一個很好的訓練問題:在真正跑實驗前,你能否說清楚哪個 idea 更可能成功,理由是什麼?

做 follow-up 時,可以把候選 idea 兩兩比較:A 更有 novelty,但實驗風險高;B novelty 較低,但能驗證關鍵機制;C 需要額外數據,不適合當前週期。用 pairwise ranking 逼自己取捨,比讓模型生成十個方向更有效。

PreScience 與 Future-Aligned Research Proposals

2026 年的 PreScience 把科學預測做成時間切片 benchmark,圍繞近年 AI 論文和引用信息構造任務;Future-Aligned Research Proposals 則把 proposal 質量與未來論文方向對齊起來,用 cutoff 前資料生成 proposal,再看它是否預示 cutoff 後出現的研究貢獻。這些工作給 follow-up idea 一個新視角:好 idea 不只是和過去不同,還應該能解釋“為什麼下一步可能發生在這裡”。

對訓練營讀者來說,不需要復現完整 benchmark,但可以借鑑時間切片思路:讀論文時只使用某個時間點之前的資料,寫出當時合理的 follow-up,再用之後半年或一年的論文檢查它是否被別人做了、哪裡判斷錯了。這個練習能快速提高研究嗅覺。

方法/實驗對比表

下面是一張可直接用於選題篩選的對比表。每個候選 follow-up 都應至少填一行。

維度 低質量候選 高質量候選 檢查問題
來源 “我覺得可以改進” 來自具體論文表格、failure case、limitation 或 reviewer concern 能定位到哪一頁、哪張表、哪段 claim 嗎
缺口 論文沒做 X 論文缺少能區分 M1/M2 的證據 原論文為什麼無法回答這個問題
假設 X 會更好 在條件 S 下,機制 M 會影響指標 Y 和診斷信號 Z 什麼結果會推翻假設
實驗 訓練一個更大模型 固定主系統,只改變一個變量 兩到四周能完成嗎
baseline 只和原論文比 包含簡單替代、強 baseline、隨機或預算控制 是否排除便宜解釋
指標 只看 leaderboard 分數 主指標 + 成本 + 錯誤類型 + 方差 是否能解釋為什麼
風險 沒有風險 明確數據、算力、代碼、評估偏差風險 卡住後有什麼降級方案
產出 必須正結果 正負結果都能寫出邊界或機制 失敗後是否仍有信息

最小復現實驗與 proposal 模板

一個適合訓練營的 follow-up idea,最好先寫成一頁 proposal,再開始跑實驗。模板如下:

1. 目標論文

寫清楚論文標題、版本、鏈接、核心 claim、你依賴的表格或段落。不要只寫“某篇 RAG 論文”。

2. 缺口定義

用兩到三句話說明原論文沒有回答什麼。建議用這種格式:

原論文證明了 A 在 benchmark B 上提升,但沒有控制變量 C,因此無法判斷提升來自機制 M1 還是 M2。

3. 可證偽假設

寫出正反兩種結果的解釋:

如果 M1 成立,則在控制 token budget 後,variant V 應仍提升 factuality,並減少錯誤類型 Z;如果提升消失,則原增益可能主要來自更長上下文或解碼預算。

4. 最小實驗設計

列出數據、模型、baseline、變量、指標、seed、日誌字段。這裡要具體到能開 issue 的程度:

  • 數據:使用哪個公開數據集、哪個 split、是否抽樣、抽樣 seed。
  • 模型:base checkpoint、推理框架、是否量化。
  • 變量:只改一個主變量,例如 retriever、verifier、prompt step、reranker、top-k。
  • baseline:原方法、簡單替代、no-op 或預算匹配版本。
  • 指標:主指標、成本指標、錯誤分類、置信區間或至少多 seed 均值。
  • 日誌:保存輸入、輸出、中間證據、隨機 seed、版本 hash、失敗原因。

5. 預期貢獻

不要寫“提升性能”。寫你要貢獻什麼類型的知識:

  • 證明某模塊在控制預算後仍有效。
  • 找到原方法只在某類數據上有效。
  • 給出一個 benchmark 偏差診斷。
  • 說明某個直覺機制不成立。
  • 提供可復現的負結果和錯誤分析。

6. 停止條件

給自己設定退出線:兩週內無法復現主結果,轉為 reproduction report;三組 seed 方差過大,優先做穩定性分析;數據構建成本超出預期,縮小到診斷子集;核心假設失敗,寫邊界條件而不是繼續堆模塊。

常見誤區

誤區一:把 future work 當成題目

論文說 future work 可以擴展到多模態,你就寫“我要做多模態版本”。這只是任務擴展,不是研究問題。你需要指出多模態引入了什麼新矛盾:視覺證據和文本證據衝突?圖像編碼器凍結導致細粒度 grounding 不足?評測指標無法區分視覺理解和語言先驗?

誤區二:idea 太大,導致沒有第一步

“構建一個自動科研 agent”很吸引人,但第一步是什麼?如果第一步都說不清,說明題目太大。把它壓縮成一個模塊問題:agent 生成的實驗設計是否覆蓋必要 baseline?LLM self-review 是否能發現缺失消融?idea ranking 是否受論文熱度偏置影響?

誤區三:只追 novelty,不追 feasibility

2024 年的人類研究已經提醒我們,LLM idea 可能被認為更 novel,但 feasibility 較弱。研究生選題不能只看新穎度,因為你還要把實驗跑出來。可行性不是保守,而是把風險顯式化:數據是否能拿到,代碼是否能跑,GPU 是否夠,評估是否可信。

誤區四:把 AI 生成結果當成證據

LLM 可以幫你列 limitation、找相關論文、生成實驗計劃,但它的輸出不是 novelty 證明,也不是實驗結果。ICLR 2026 對重要 LLM 使用要求披露,正說明科研責任仍在作者。使用 AI 輔助構思時,至少要記錄 prompt、檢索來源、人工篩選標準和最終人工判斷。

誤區五:失敗後繼續加模塊

如果最小實驗失敗,最差的反應是繼續加複雜模塊,直到某個 benchmark 上漲。更好的做法是回到假設:是機制錯了,變量沒控制好,數據太小,還是 metric 不敏感?一個清楚的負結果,往往比一個解釋不了的正結果更能訓練研究能力。

適合研究生繼續做的選題

1. Follow-up idea rubric 的小規模人類一致性研究

收集 30-50 個來自近期 LLM 論文的候選 follow-up idea,請 3-5 位研究生按 novelty、feasibility、significance、evidence strength 打分,分析一致性和分歧原因。目標不是訓練模型,而是建立本組的選題評審標準。

2. LLM 輔助 limitation mining 的可靠性評估

給定論文全文,讓 LLM 抽取 limitation、missing ablation、benchmark risk,再由人工核驗。比較不同提示方式:直接抽取、先構建 claim table、先做 related work map、先做 reviewer-style critique。指標可以是人工確認率、具體性和可執行性。

3. 從 ablation 空白生成最小實驗計劃

選取一個方向的 10 篇論文,人工標出缺失消融,再讓模型生成最小實驗計劃。分析模型是否能控制變量、是否遺漏 baseline、是否提出不可執行實驗。這個題目可以和 AAAR-1.0 的 ExperimentDesign 思路呼應。

4. Novelty checker 在中文 AI 論文閱讀中的適配

基於 Literature-Grounded Novelty Assessment 的思路,做一個輕量流程:中文問題描述 -> 英文關鍵詞擴展 -> arXiv / Semantic Scholar 檢索 -> 相似工作分面比較 -> novelty card。重點評估它能否幫助中文讀者避免重複造題。

5. Research proposal 的時間切片復盤

選 2024 年某個方向的論文,只允許使用當時之前的文獻寫 follow-up proposal,再用 2025-2026 年論文檢查 proposal 是否命中真實趨勢。這個練習可以借鑑 PreScience 和 Future-Aligned Proposal 的時間切片思想,但規模可以很小。

總結

設計 follow-up idea 的關鍵,不是想一個宏大方向,而是把論文裡未被充分證明的地方,壓縮成一個可證偽、可復現、可解釋的小問題。讀論文時,你要從 limitation、failure case、ablation 空白、benchmark 偏差和機制解釋不足裡找入口;寫 proposal 時,你要明確來源、缺口、假設、最小實驗、判據和停止條件;跑實驗時,你要保證即使結果為負,也能回答“我們學到了什麼”。

這一篇可以作為後續文章“如何從 10 篇論文形成一個 research proposal”的前置訓練。本文關注單篇論文後的最小 follow-up;關於 research proposal 的文章會進一步討論如何把多個 follow-up 串成完整 proposal。真正的科研閱讀系統,就是從一篇論文的一處縫隙開始,逐步建立自己的問題地圖。

參考資料

檢索日期:2026-07-31。

  1. Chenglei Si, Diyi Yang, Tatsunori Hashimoto. Can LLMs Generate Novel Research Ideas? A Large-Scale Human Study with 100+ NLP Researchers. arXiv:2409.04109, submitted 2024-09-06. https://arxiv.org/abs/2409.04109
  2. Long Li et al. Chain of Ideas: Revolutionizing Research Via Novel Idea Development with LLM Agents. arXiv:2410.13185, submitted 2024-10-17, v5 2024-10-30. https://arxiv.org/abs/2410.13185
  3. Renze Lou et al. AAAR-1.0: Assessing AI's Potential to Assist Research. arXiv:2410.22394, submitted 2024-10-29, v4 2025-05-25; arXiv comments note ICML 2025. https://arxiv.org/abs/2410.22394
  4. AAAR-1.0 project page. https://renzelou.github.io/AAAR-1.0/
  5. Tao Feng, Yihang Sun, Jiaxuan You. GraphEval: A Lightweight Graph-Based LLM Framework for Idea Evaluation. arXiv:2503.12600, submitted 2025-03-16, v2 2025-05-28. https://arxiv.org/abs/2503.12600
  6. Simra Shahid et al. Literature-Grounded Novelty Assessment of Scientific Ideas. arXiv:2506.22026, submitted 2025-06-27. https://arxiv.org/abs/2506.22026
  7. Jiaxin Wen, Chenglei Si, Yueh-Han Chen, He He, Shi Feng. Predicting Empirical AI Research Outcomes with Language Models. NeurIPS 2025 Main Conference Track; arXiv:2506.00794 submitted 2025-06-01. https://proceedings.neurips.cc/paper_files/paper/2025/hash/03f99ca79b87c513d0b502e737a41a41-Abstract-Conference.html
  8. Anirudh Ajith et al. PreScience: A Dataset and Benchmark for Scientific Forecasting. arXiv:2602.20459, submitted 2026-02-24, v2 2026-07-02. https://arxiv.org/abs/2602.20459
  9. Heng Wang et al. Learning to Predict Future-Aligned Research Proposals with Language Models. arXiv:2603.27146, submitted 2026-03-28, v3 2026-05-26. https://arxiv.org/abs/2603.27146
  10. Chris Lu et al. Towards end-to-end automation of AI research. Nature 651, 914-919, 2026. https://ideas.repec.org/a/nat/nature/v651y2026i8107d10.1038_s41586-026-10265-5.html
  11. DARPA. The Heilmeier Catechism. https://www.darpa.mil/about/heilmeier-catechism
  12. ICLR 2026 Author Guide. https://iclr.cc/Conferences/2026/AuthorGuide
  13. NeurIPS 2026 Main Track Handbook. https://neurips.cc/Conferences/2026/MainTrackHandbook
  14. Papers with Code. Tips for Publishing Research Code. https://github.com/paperswithcode/releasing-research-code