# 064 最小去重与污染审计

默认路径只需要 Python 3.9+ 标准库，无模型、联网或 GPU。固定 seed=64，英文构造语料共 9 条（6 train、3 benchmark）。从本文目录运行：

```bash
PYTHONPYCACHEPREFIX=/private/tmp/codex-ai-064-pycache python3 -m py_compile code/minimal_dedup.py
python3 code/minimal_dedup.py
```

`results.json` 保存全部输入、15 对训练文本分数、18 对跨集合分数、阈值扫描、精确隔离清单、环境与 SHA256；`smoke_test.txt` 是本次真实标准输出。脚本不改写原始数据，仅产生保留/隔离建议。gold 指“全文等义”，长文包含短句不算全文重复；这与跨集合包含检测是不同任务。

默认向量是手写五组同义词映射后的词袋，并非模型 embedding，也没有训练。它用于展示相似度、阈值和否定句误报。15 对里有 3 个正例：t0-t1、t0-t2、t1-t2；该构造集既未独立标注也未划分验证/测试，数字不能作为算法泛化指标。断言覆盖空 n-gram、短文、排除自匹配、定向包含、否定句保留与相似关系不传递。

## 可选真实 embedding 分支：待人工核验

需要在独立环境安装 `torch` 和 `sentence-transformers`，并准备本地 `sentence-transformers/all-MiniLM-L6-v2` 完整模型快照。模型为英文、384 维，模型卡默认最大长度为 256 word pieces；不能当中文长文基线。代码强制 CPU、固定种子和归一化；不自动下载，不调用在线 API：

```bash
python3 code/minimal_dedup.py --model-dir /absolute/path/to/local/model-snapshot --out code/results_minilm.json
python3 -m pip freeze > code/environment_minilm.txt
```

本次系统 Python 3.9.6 缺少 torch、numpy、sentence_transformers，故可选分支仅通过语法检查，未执行模型推理。安装版本及其 Python 要求待人工核验，不提供假锁文件。运行时记录包锁文件和模型快照 revision；脚本对所有本地模型文件计算 SHA256。0.9 仅为演示阈值，不能直接迁移至预训练模型。默认结果保存在独立文件，勿以实际模型输出覆盖。

## 本次检查

2026-09-05：默认 CPU smoke test 通过。首次 py_compile 因系统缓存目录不允许写入而失败；将缓存显式设为 `/private/tmp/codex-ai-064-pycache` 后语法检查通过。未运行原论文训练、MinHash/LSH 索引、后缀数组程序、真实模型及大规模 benchmark。