封面圖

日期:2026-08-15
適合讀者:研究生、LLM 預訓練入門研究者、有工程背景的 AI 讀者
檢索日期:2026-08-15

摘要

Data-Centric AI 的核心問題不是“數據越多越好”,而是:什麼數據在什麼訓練階段、什麼模型規模、什麼評測目標下真正有用?對 LLM 研究來說,這個問題已經從經驗工程變成可以讀論文、做 ablation、寫復現報告的研究主題。DCLM、FineWeb、RedPajama、Dolma/OLMo、Nemotron-CC 等資料把數據篩選、去重、質量評分、數據混合、合成改寫和評測反饋逐漸公開化;WIMBD、Data-Juicer、NeMo Curator 等工具則讓語料審計和處理流程更可復現。

這篇文章給出一條 Data-Centric AI 論文精讀路線:先讀經典去重與數據選擇論文,理解重複、汙染和分佈匹配;再讀 DCLM、FineWeb、RedPajama、Dolma/OLMo 這類開放數據工程報告,學習如何把語料處理變成可對比實驗;然後讀 2025 年以來的 FineWeb 2、Nemotron-CC、REWIRE、JQL、DataPrep-Bench 等資料,理解數據質量評估正在從啟發式過濾走向模型判別、合成數據驗證和訓練效用預測。本文重點服務科研訓練:如何讀、如何拆、如何復現,以及如何從數據問題形成自己的研究選題。

目錄

  1. 為什麼這個主題重要
  2. 核心閱讀方法
  3. 代表論文路線圖
  4. 方法與實驗對比表
  5. 復現建議
  6. 常見誤區
  7. 適合研究生繼續做的選題
  8. 總結與參考資料

為什麼這個主題重要

LLM 論文裡最容易被低估的部分,往往是數據。很多模型報告會詳細寫參數量、優化器、上下文長度和 benchmark 分數,卻只用幾句話概括訓練語料:“filtered web data, code, math, books, synthetic data”。但如果你真正想復現或改進模型,數據部分通常比架構部分更難:原始網頁如何抽取?哪些規則刪掉了低質頁面?重複文本是按 exact hash、MinHash 還是 semantic dedup 去掉?質量分類器是用什麼正負樣本訓練的?被過濾掉的數據是否真的沒價值?合成數據是補充、改寫還是替代自然數據?這些問題決定了訓練成本、泛化能力、汙染風險、隱私風險和論文結論的可信度。

2025-2026 年的變化尤其明顯。DCLM 把“固定模型和訓練代碼,只競爭數據”做成 benchmark;FineWeb 和 FineWeb 2 公開了 Common Crawl 清洗、去重、過濾和多語言擴展流程;Nemotron-CC 把質量分類、去重和合成數據生成組織成可運行 recipe;OLMo 2 繼續強調 fully open 的訓練數據、訓練代碼和評測;DataPrep-Bench 開始把“LLM 能否準備訓練數據”本身作為 benchmark。這些工作說明,Data-Centric AI 已經不是附錄裡的工程雜項,而是 LLM 研究裡的主線問題。

對研究生來說,本主題的訓練價值在於三點。第一,它迫使你把“模型提升”拆成可驗證因果因素,而不是把所有提升歸功於新架構。第二,它天然適合小規模復現:你不需要訓練 70B 模型,也可以在 100M-1B 規模上覆現過濾、去重、混合、合成數據的方向性結論。第三,它能產生很多可靠 follow-up idea,因為開放數據工程仍有大量未解決問題:跨語言質量評分、合成數據汙染、領域數據保真、benchmark leakage、數據選擇與學習率 schedule 的耦合等。

核心閱讀方法

讀 Data-Centric AI 論文時,建議先畫一條“數據生命週期線”,不要直接看最終分數。

第一,原始語料是什麼。記錄來源、時間範圍、語言、許可證、格式和規模。Common Crawl、GitHub、arXiv、StackExchange、Wikipedia、書籍、考試題、用戶對話和合成問答代表完全不同的數據分佈。不要把“web data”當成一個均質概念。

第二,處理流程是什麼。把 pipeline 拆成 extraction、language ID、PII 處理、規則過濾、質量分類、exact dedup、fuzzy dedup、semantic dedup、domain mixing、tokenization、shuffling、evaluation。每一步都要問:輸入是什麼,輸出刪了多少,判斷信號來自哪裡,是否保留被刪樣本的 metadata。

第三,質量如何定義。很多論文說 high-quality data,但質量可能指可讀性、教育價值、低重複、低毒性、低 PII、與目標域相似、能提升 MMLU、能提升代碼能力,或者能改善安全性。質量不是單標量;Longpre 等人的 pretrainer's guide 已經提示,質量過濾、毒性過濾、領域覆蓋之間存在 trade-off,不能用一個分數解釋所有任務。

第四,證據來自哪裡。最強證據不是“過濾器看起來合理”,而是 controlled ablation:同一模型、同一 tokenizer、同一訓練預算、同一評測協議,只改變數據處理策略。DCLM 的價值就在於把數據研究放進固定訓練代碼和 50 多個下游評測的 testbed 中。

第五,復現邊界是否清楚。數據論文必須交代代碼、配置、隨機種子、Common Crawl snapshot、模型規模、訓練 tokens、評測版本和失敗樣例。若只發布最終 dataset 而沒有處理腳本,後續研究只能使用,不能真正解釋。

Data-Centric AI 閱讀路線圖

代表論文路線圖

1. 從去重開始:重複不是小問題

第一組必讀論文是 Deduplicating Training Data Makes Language Models Better 和 Deduplicating Training Data Mitigates Privacy Risks in Language Models。前者顯示常見語料中存在近重複和長重複片段,去重可以降低模型無提示覆述訓練文本的概率,並減少 train-test overlap 對評測的影響;後者進一步指出重複會放大隱私攻擊風險,訓練樣本出現次數與被再生成概率高度相關。讀這兩篇時,不要只記“要去重”,而要區分三件事:訓練集內部重複、訓練集與驗證/測試集重疊、以及長 substring memorization。

第二層是 fuzzy / semantic dedup。FineWeb 使用 MinHash 處理網頁近重複;DCLM baseline 包含清洗、Bloom filter 去重和模型過濾;SemDeDup 則把重複從文本表面相似擴展到語義相似,通過 embedding、聚類和相似度閾值刪掉冗餘樣本。這裡的精讀問題是:刪掉重複後,模型到底少學了噪聲,還是少見了某些高頻事實?FineWeb 的一個重要啟發是,跨全部 Common Crawl dump 的全局去重並不必然優於按 dump 去重,因為過強去重可能改變時間和質量分佈。去重不是越激進越好。

復現訓練可以從一個小語料開始:取 5-10GB 網頁文本,做 exact hash、MinHash 和 embedding-based semantic dedup 三種版本;訓練同一小模型或做 continued pretraining;比較 validation loss、MMLU 子集、memorization probe、重複率和領域覆蓋變化。這樣比直接閱讀“某某數據集更強”更能理解因果鏈。

2. 數據選擇與混合:好數據取決於目標分佈

DSIR 和 DoReMi 是理解數據選擇的兩條經典路線。DSIR 把數據選擇形式化為從大規模未標註 raw corpus 中選擇子集,使其在低維特徵空間中接近目標分佈;DoReMi 則用 proxy / reference 模型的 excess loss 自動優化多域數據混合權重。它們共同說明,數據質量並不只是刪低質文本,也包括“讓訓練分佈對目標任務有用”。

讀這類論文時,建議建立三個層次:document-level selection、domain-level mixing、schedule-level curriculum。document-level selection 關心單篇文本是否保留;domain-level mixing 關心 web、code、math、books、academic、instruction data 的比例;curriculum 關心訓練階段順序。2026 年 ICLR 關於 curriculum-based LLM pretraining 的工作還提醒,數據質量順序與學習率 decay 可能發生衝突:高質量數據如果總在低學習率階段出現,可能被“浪費”。這類結論很適合研究生做小規模驗證。

3. DCLM、FineWeb、RedPajama:把數據工程變成實驗科學

DCLM 是 Data-Centric AI 路線的核心節點。它固定訓練代碼和模型規模,讓研究者從 Common Crawl 候選池中設計過濾和混合策略,再用統一評測判斷數據是否更好。官方頁面強調“models are fixed and the challenge is data”,這對科研訓練很重要:你可以把模型創新的噪聲降到最低,專注研究數據處理本身。DCLM 官方倉庫在 2025 年還提示 CORE / EXTENDED 計算曾有 baseline bug 修復,因此歷史 leaderboard 數字不能無條件橫向比較;這也是讀數據 benchmark 時必須記錄版本的例子。

FineWeb 的價值是透明化 web-scale pipeline。它從 Common Crawl 出發,經過 URL filter、Trafilatura 抽取、語言過濾、Gopher / C4 / FineWeb 規則過濾和 MinHash 去重,並公開了大量 ablation。FineWeb-Edu 使用 Llama-3-70B-Instruct 對樣本教育質量打分,再訓練分類器篩選教育文本。讀 FineWeb 時要注意兩個問題:一是它把“教育質量”定義成面向知識和推理 benchmark 有用的過濾信號,而不是通用文本美學;二是它的 dedup ablation 說明數據分佈會被處理策略深刻改變。

RedPajama-V2 代表另一種設計哲學:儘量提供大規模數據池和 40+ 質量信號,讓研究者自己決定過濾策略。它不是隻發佈一個“最佳篩選版本”,而是把自然語言指標、重複度、perplexity bucket、質量分類器等 metadata 一起提供。對科研來說,這種 high-recall 數據池更適合做數據選擇實驗,因為你能回看被過濾樣本,而不是隻能接受最終成品。

Dolma/OLMo 則強調 fully open model flow。Dolma 提供 3T tokens 的混合語料和工具;OLMo 2 / OLMo 2 32B 頁面公開預訓練、mid-training、post-training 數據階段,例如 OLMo-Mix-1124、Dolmino-Mix-1124 和訓練 token 信息。讀 OLMo 資料時,重點不是背模型分數,而是學習“模型卡 + 數據卡 + 配置 + checkpoint + evaluation suite”如何組成可審計研究對象。

4. 2025-2026 趨勢:質量分類、合成改寫與多語言

FineWeb 2 把 FineWeb 的思路擴展到 1000+ 語言,並針對語言識別、每語種去重、每語種過濾閾值和 PII 匿名化做了適配。它提醒我們:英文 web pipeline 不能直接遷移到多語言。低資源語言的質量評分、重複率、腳本識別和過濾閾值都可能不同。

Nemotron-CC 是 2025 年以來很值得讀的數據工程案例。NVIDIA 的官方資料把 pipeline 寫成 Common Crawl -> Extract & Clean -> Deduplicate -> Quality Classify -> Synthetic Data Generation,並在 NeMo Curator 中提供 recipe。它的關鍵主張是:純粹過濾會丟掉大量中等質量但可轉化的數據,因此可以在高質量數據上做合成問答、知識抽取、改寫或翻譯,把數據量和質量之間的 trade-off 重新打開。官方博客給出 6.3T tokens、其中約 1.9T synthetic tokens 的版本信息;這些數字和後續 Nemotron-CC-v2 / v2.1 數據集會變化,正式引用前必須重新核對。

REWIRE / Recycling the Web 更直接地研究“被過濾掉的數據還能不能回收”。論文提出 guided rewrite,把低質量網頁轉化成更適合預訓練的文本,並在 DCLM benchmark 的 1B、3B、7B 規模上比較。它的科研價值在於把 synthetic data 從“憑空生成更多數據”變成“對現有網頁做可控轉換”。這也能避免 model collapse 文獻警告的一個極端:不要讓合成數據遞歸替代自然數據,而應把合成數據當成經過驗證的補充。

JQL 關注多語言質量過濾:用 LLM 標註能力蒸餾出輕量級 multilingual annotator,降低大規模過濾成本。DataPrep-Bench 則進一步把 LLM-driven data preparation 拆成 data construction 和 data quality evaluation,強調“質量”應指下游訓練效用,而不是表面文本屬性。這兩類工作說明,下一階段 Data-Centric AI 的關鍵詞會是 utility prediction:在真正訓練模型之前,能否預測一批數據是否值得訓練。

5. 數據審計工具:不要只信數據卡

WIMBD 問的是最樸素但最重要的問題:我的大數據裡到底有什麼?它用 count 和 search 支撐多種 corpus analysis,檢查重複、合成內容、低質量內容、PII、毒性語言和 benchmark contamination。讀 WIMBD 時要學習一種態度:數據卡裡的來源描述不等於數據現實;必須有可運行的審計工具和抽樣檢查。

Data-Juicer、NeMo Curator、datatrove、Dolma Toolkit 都值得作為復現實驗的基礎設施來讀。它們把過濾器、去重、質量分類、可視化、分佈式處理和日誌管理模塊化。研究生做數據論文時,工具選擇本身不是貢獻,但可復現 pipeline 是貢獻的前提。

方法與實驗對比表

分支 代表資料 核心問題 精讀時檢查
去重與隱私 Lee et al. 2022, Kandpal et al. 2022, SemDeDup 重複如何影響記憶、隱私和訓練效率 exact/fuzzy/semantic 標準、閾值、刪減比例、保留策略
數據選擇 DSIR, DoReMi, Pretrainer's Guide 如何匹配目標分佈和優化混合比例 目標分佈、proxy model、domain weights、下游任務
開放數據工程 DCLM, FineWeb, RedPajama, Dolma 如何讓數據處理可審計、可復現 pipeline、配置、代碼、snapshot、metadata、版本
多語言與低資源 FineWeb 2, JQL 英文過濾器能否遷移 語言識別、腳本、每語種閾值、低資源評測
合成與回收 Nemotron-CC, REWIRE, model collapse 合成數據何時有益,何時有害 原始來源、生成模型、驗證器、自然/合成比例
質量評估 WIMBD, DataPrep-Bench 如何預測訓練效用和風險 質量定義、PII、汙染、utility proxy、人工抽查
工具系統 Data-Juicer, NeMo Curator, datatrove, Dolma Toolkit 如何把 pipeline 跑起來 operator、日誌、分佈式、失敗恢復、輸出審計

復現建議

第一階段,復現一個最小數據清洗 pipeline。選取一小批 Common Crawl WET、新聞網頁或開放英文語料,記錄原始文檔數、token 數、語言分佈、平均長度、重複率和 PII 命中。依次運行語言過濾、長度過濾、重複過濾,保留每一步 removed samples。重點不是追求最優過濾器,而是學會解釋“刪掉了什麼”。

第二階段,做去重 ablation。構造 raw、exact dedup、MinHash dedup、semantic dedup 四個版本,用同一 tokenizer 和同一訓練腳本訓練一個小模型,或者在小模型上做 continued pretraining。報告 validation loss、少量下游任務、memorization probe、領域覆蓋和樣本多樣性。負結果也要寫:如果 semantic dedup 傷害了某個領域,檢查是否刪掉了高頻但必要的模板或術語。

第三階段,做質量過濾 ablation。用一個開源質量分類器、一個啟發式規則集、一個 LLM judge 小樣本標註器分別篩選數據,訓練相同 token budget 的模型。比較“高分數據少量重複訓練”和“中等質量數據更多 unique tokens”的差異。不要把 MMLU 單項當成唯一結論,至少加入 perplexity、QA、代碼或數學子集,以及人工抽樣。

第四階段,做合成數據復現實驗。選擇 1-2 萬篇中低質量文檔,用一個開源模型改寫為更清晰的說明文、問答或知識點列表。必須加入 faithfulness check:改寫是否引入新事實、是否丟失細節、是否模板化。然後把自然高質量數據、自然中等質量數據、合成改寫數據按不同比例混合,測試是否存在收益上限。

第五階段,寫 reproduction report。報告必須包含:數據來源和檢索日期、處理腳本 commit、過濾配置、隨機種子、每一步保留比例、樣本審計截圖或片段、訓練預算、評測協議、失敗案例和“待人工核驗”項。Data-Centric AI 復現報告最怕只給最終分數;真正有價值的是讓別人能看懂數據如何變化。

常見誤區

誤區一,把質量等同於可讀性。可讀文本不一定對目標任務有用;低可讀性的代碼、公式、論壇問答、日誌和表格可能對特定能力很重要。

誤區二,把去重當成固定預處理。去重粒度、閾值和時間範圍會改變語料分佈。過度去重可能刪掉合理的重複教學材料,過弱去重則會放大記憶和汙染。

誤區三,把合成數據當作免費數據。合成數據需要來源、生成策略、去重、事實核驗和比例控制。Nature 2024 的 model collapse 論文警告的是遞歸訓練和無差別使用生成內容;它不否定經過驗證的合成數據,但要求我們記錄真實數據和合成數據的邊界。

誤區四,只看最終 benchmark。數據處理常常對不同任務方向相反:更教育化可能提升知識推理,但傷害自然對話或長尾風格;毒性過濾可能影響毒性識別任務;代碼過濾可能影響自然語言能力。必須看 slices。

誤區五,忽視版本漂移。DCLM leaderboard、Hugging Face dataset cards、Nemotron recipe、Common Crawl snapshots、質量分類器和合成模型都可能更新。論文寫作時要寫明檢索日期,易變化數字要重新核對。

適合研究生繼續做的選題

  1. 小模型上的 dedup scaling law:在 100M、300M、1B 三個規模上比較 exact / fuzzy / semantic dedup 的收益曲線,研究模型規模是否改變最佳去重強度。
  2. 多語言質量評分遷移:把英文質量分類器遷移到低資源語言,比較直接遷移、LLM 標註蒸餾和少量人工標註校準。
  3. 合成改寫的事實保真評測:設計一個文檔級 faithfulness benchmark,衡量 rewrite 是否保留實體、數值、引用和因果關係。
  4. 數據過濾與學習率 schedule:驗證高質量數據在訓練早期、中期、annealing 階段出現時的差異,復現 curriculum 與 LR decay 的耦合問題。
  5. 數據審計報告模板:為一個開放語料寫 WIMBD-style audit,包括重複、PII、汙染、領域分佈、合成痕跡和抽樣錯誤類型。
  6. Utility predictor:訓練一個輕量模型預測“某批數據用於 continued pretraining 後是否提升某類任務”,並與啟發式質量分數比較。

總結

Data-Centric AI 的研究訓練,最重要的是把“數據感覺更好”變成可復現證據。你需要讀懂 pipeline、版本、過濾器、去重算法、質量定義、合成策略和評測反饋;更要學會追問被刪除的數據、被保留的數據、被重複訓練的數據和被生成出來的數據分別帶來了什麼。

如果說前幾年 LLM 研究的主線是規模、架構和指令對齊,那麼 2025-2026 年越來越清楚的一點是:數據本身已經成為模型能力的實驗對象。研究生進入這個方向,不必一開始就擁有巨大算力。只要能做出清晰的數據 ablation、誠實的審計報告和可復現的訓練日誌,就能提出有價值的問題。

參考資料

檢索日期:2026-08-15。以下鏈接優先使用論文頁、官方項目頁、官方文檔、GitHub、Hugging Face 數據卡、ACL Anthology、PMLR、OpenReview、Nature 等一手資料。模型、數據集、benchmark 和倉庫狀態可能更新,投稿或發佈前請重新核對。

  1. DataComp-LM official site: https://www.datacomp.ai/dclm/
  2. DataComp-LM paper page, arXiv 2406.11794: https://huggingface.co/papers/2406.11794
  3. DCLM GitHub repository: https://github.com/mlfoundations/dclm
  4. DCLM-Baseline Hugging Face dataset card: https://huggingface.co/datasets/mlfoundations/dclm-baseline-1.0
  5. FineWeb dataset card: https://huggingface.co/datasets/HuggingFaceFW/fineweb
  6. FineWeb paper page, arXiv 2406.17557: https://huggingface.co/papers/2406.17557
  7. FineWeb blog / technical report: https://huggingfacefw-blogpost-fineweb-v1.static.hf.space/index.html
  8. FineWeb 2 GitHub README: https://github.com/huggingface/fineweb-2/blob/main/README.md
  9. RedPajama-V2 announcement / documentation: https://secretive-tarsal-fe8.notion.site/RedPajama-Data-v2-An-open-dataset-with-30-trillion-tokens-for-training-large-language-models-27689a07b1d24f49b3d16743d63f2db0
  10. Together AI RedPajama-V2 FAQ: https://www.together.ai/blog/redpajama-v2-faq
  11. Dolma official documentation: https://allenai.github.io/dolma/
  12. OLMo 2 official page: https://allenai.org/olmo2
  13. OLMo 2 blog: https://allenai.org/blog/olmo2
  14. OLMo release notes: https://docs.allenai.org/release_notes/olmo-release-notes
  15. Deduplicating Training Data Makes Language Models Better, ACL Anthology: https://aclanthology.org/2022.acl-long.577/
  16. Deduplicating Training Data Mitigates Privacy Risks in Language Models, PMLR: https://proceedings.mlr.press/v162/kandpal22a
  17. SemDeDup GitHub repository: https://github.com/facebookresearch/SemDeDup/
  18. Data Selection for Language Models via Importance Resampling, arXiv 2302.03169: https://huggingface.co/papers/2302.03169
  19. DSIR GitHub repository: https://github.com/p-lambda/dsir
  20. DoReMi blog and implementation: https://crfm.stanford.edu/2023/09/14/doremi.html
  21. DoReMi GitHub repository: https://github.com/sangmichaelxie/doremi
  22. A Pretrainer's Guide to Training Data, arXiv 2305.13169: https://arxiv.org/abs/2305.13169
  23. WIMBD / What's In My Big Data?, OpenReview: https://openreview.net/forum?id=aydSC2ewu0
  24. Data-Juicer GitHub repository: https://github.com/datajuicer/data-juicer
  25. Data-Juicer paper page: https://www.alphaxiv.org/abs/2309.02033
  26. Nemotron-CC data curation docs: https://docs.nvidia.com/nemotron/nightly/nemotron/data/curation/nemotron-cc.html
  27. NVIDIA Nemotron-CC announcement: https://developer.nvidia.com/blog/?p=94818
  28. NVIDIA Nemotron-CC pipeline blog: https://developer.nvidia.com/blog/?p=99540
  29. NVIDIA Nemotron GitHub / dataset hub: https://github.com/NVIDIA-NeMo/Nemotron
  30. NeMo Curator GitHub repository: https://github.com/NVIDIA-NeMo/Curator
  31. Recycling the Web / REWIRE paper page, arXiv 2506.04689: https://huggingface.co/papers/2506.04689
  32. AI models collapse when trained on recursively generated data, Nature: https://www.nature.com/articles/s41586-024-07566-y
  33. Collapse or Thrive, ICML 2025 PMLR: https://proceedings.mlr.press/v267/kazdan25a.html
  34. Judging Quality Across Languages, arXiv 2505.22232: https://www.alphaxiv.org/abs/2505.22232
  35. DataPrep-Bench paper page, arXiv 2607.20465: https://huggingface.co/papers/2607.20465
  36. Data-Centric Lessons To Improve Speech-Language Pretraining, OpenReview ICLR 2026: https://openreview.net/forum?id=4amNkYCDqX
  37. SmolLM2 paper page, arXiv 2502.02737: https://arxiv.org/abs/2502.02737
  38. How Learning Rate Decay Wastes Your Best Data in Curriculum-Based LLM Pretraining, ML Anthology / ICLR 2026: https://mlanthology.org/iclr/2026/luo2026iclr-learning/