# 最小蒸馏实验

主脚本仅用 Python 3.9+ 标准库，无需安装依赖、下载模型或联网。从文章目录执行：

```bash
PYTHONPYCACHEPREFIX=/private/tmp/codex-ai-066-pycache python3 -m py_compile code/minimal_distillation.py code/torch_loss_check.py
python3 code/minimal_distillation.py > code/smoke_test.txt
```

`results.json` 保存全量固定数据、教师/学生权重、训练起止检查点、三个种子及均值/样本标准差。训练历史记录的是更新前的第 0/最后一步目标；评测使用最后一次更新后的权重。三个种子只变初始化，数据固定，不代表数据抽样不确定性。每个种子所有学生共享初始化、90 条输入和250步预算；软目标分支额外混合真实标签，硬教师分支只用伪标签，因此不是完全隔离软硬形式的因果对照。

教师是六维多项式特征上的三分类 softmax（18参数），学生是三维线性特征上的 softmax（9参数）。教师实际拟合360条独立生成训练样本；此结构不是预训练神经语言模型。test 共240条，不用于调参；没有开发集，固定使用最终步及预定温度1/3和alpha=0.7。

`torch_loss_check.py` 是可选的真实张量/梯度检查，演示已经完成因果移位后的 [B,L,V] logits、响应掩码、KL方向和教师detach。依赖 PyTorch；本机系统和内置 Python 都无 torch，本次仅通过语法检查，运行兼容性待人工核验。安装适配环境的 PyTorch 后执行 `python3 code/torch_loss_check.py`。它不生成response、不加载模型、不训练LLM；`labels` 是手工词元fixture。正式response蒸馏需自行准备教师生成的prompt-response语料和独立评测集。