封面

  • 日期:2026-11-03
  • 读者:研究生、科研新人和工程型研究者
  • 资料截止:2026-11-03;检索近12个月工作,并保留必要的早期研究

摘要

看见人把杯子提起来,与让机械手提起杯子,中间隔着什么?视频可以展示目标、顺序和物体变化,却不直接给出另一种身体应执行的控制指令。本文对照VPT、LAPA和HuRo,检查动作信息在训练流程的哪个环节进入。三篇研究支持视频作为有用的学习资源,但没有共同证明“只靠观看即可获得通用控制能力”。更值得研究的问题是:视频收益有多少来自视觉表征,有多少来自可迁移的动作结构,又有多少依赖后续适配与反馈?

看见结果,不等于拿到控制指令

设想一段拿杯视频。我们能看到手靠近、杯子离桌,却可能看不到手指接触处,也不知道杯子的重量。这个例子仅用于解释问题:同样的可见运动,可以对应不同的握力、关节运动和接触状态。换成两指夹爪,连可行的抓握方式都可能改变。因此,不能把像素中的位移直接当作执行器命令。

这里需要区分三个术语。观察学习在本文指利用没有目标机器人动作标签的视频学习;它不保证训练全程没有其他监督。逆动力学模型根据变化前后的观察反推动作;潜动作则是压缩视觉变化的内部编码,未必具有“某关节转多少度”的含义。视觉—语言—动作模型(VLA)把图像、指令与动作预测连接起来,但名字本身不说明动作能力从何而来。VPT方法§3、LAPA§3

于是至少有三种可区分的解释:视频主要教会模型识别场景;视频提供了跨身体共享的动作结构;视频让后续动作监督更容易利用。它们可以同时成立。最终成功率上升只能说明整套流程有效,不能自动分配三者的贡献。要分配贡献,必须检查信息来源、替换实验和测试时的行为变化。

三种方法,动作信息从哪里进入?

VPT:先用真实动作教会标注器

VPT发表于NeurIPS 2022。它先用记录键鼠操作的承包者数据训练逆动力学模型,再给网络Minecraft视频补上伪动作标签,最后进行行为克隆,也就是学习复现示范中的动作选择。标注器可以看未来帧,实际执行的策略只能看当前和过去:事后解释一次操作,与事前决定下一步,是不同任务。VPT§2–3

原文报告了预训练策略的零样本行为,但钻石镐结果来自进一步的早期游戏行为克隆和强化学习微调,不能把这一终点全部归功于观看视频。强化学习使用环境奖励,额外引入了行为后果的信息。这里“无标签”描述的是网络视频,不是整个系统。VPT§4.2–4.4、图7

本篇据此作出的判断是:VPT展示了动作监督可被放大的路径,尚未回答人手到机械手的映射。游戏中的示范者与策略共享键鼠接口,这与跨机器人身体迁移不是同一道题。

LAPA:先学习变化编码,再适配机器人

ICLR 2025的LAPA用前后帧训练离散潜动作,再让已有视觉语言模型根据当前图像和任务描述预测编码。到机器人微调阶段,它丢弃潜动作输出头,换上实际动作输出头,并使用带动作标签的机器人轨迹。因而,流程中的“映射”不是把一个天然可执行的通用动作字典直接装到机器人上。LAPA§3.1–3.3

论文的人类视频实验报告了相对不做该阶段预训练的收益;这里的Scratch仍从已有视觉语言模型出发,并非所有参数随机初始化。同时,作者明确列出精细抓取的不足,潜编码还可能包含相机运动。LAPA§4.2、§4.5、§5.2、§6

这支持潜动作预训练具有迁移价值,却不足以证明编码只表示可控动作。本篇认为,判断其内容需要进一步把视角变化与物体操作分离;跨身体的定性重建图可以提出假设,不能替代真实控制中的干预测试。

HuRo:把人类视频加工成机器人监督

2026年的HuRo把手部运动重定向为机器人轨迹,并在视频中移除人体、叠加机器人。其训练信号包含重建、运动学和视觉转换的先验,并非原始视频自行提供了所有答案。本次核验采用9月25日的arXiv v5,未确认正式录用。HuRo§3、版本记录

更有信息量的是消融的含义。去掉机器人视觉叠加时,重定向动作监督仍保留;而名为Visual Only的设置,是保留预训练视觉路径、在下游微调前重置动作头。它不是一次完全没有动作监督的视觉预训练。因此,该实验能检验保留动作模块的价值,不能独自隔离“预训练期间是否使用动作标签”的因果效应。HuRo§4.3–4.4

论文还指出,转换流程缺少力和触觉信号,运动学重定向不建模自碰撞或物理接触。因此,生成的监督轨迹不能直接等同于可执行示范。这是“动作数据看起来完整”之后仍存在的边界。HuRo§6

别把不同终点放进同一个排行榜

研究 条件与信息入口 观察支持什么 不能证明什么
VPT 同一游戏接口;真实动作训练标注器 伪标注视频可支持策略学习 无动作监督的跨身体控制
LAPA 潜编码预训练;目标机器人动作微调 视频表征可改善下游学习 潜编码天然可执行
HuRo 重定向与视觉转换;机器人示范微调 加工后监督具有迁移价值 重建轨迹满足全部物理约束

表格归纳的是上述原文的证据范围,不是三个系统的优劣排名。VPT的任务是游戏资源获取,LAPA包含仿真与真实桌面操作,HuRo主要实验使用双臂灵巧机器人。起点模型、动作接口、数据划分、交互预算和评价对象均不同;即使百分数相同,分母也不是同一种任务。

一个容易漏掉的细节是得分定义。HuRo主要任务中,有的按最终成功计分,有的按完成子目标计分;总体分又汇总分布内、分布外结果。其分布外测试主要改变空间位置和视觉条件,不等于任意新技能或新身体。LAPA真实桌面实验也采用任务相关的部分成功标准。不能把这些分数写成“所有任务完整成功的概率”。HuRo附录A、LAPA§4.1

预算同样需要拆开。HuRo非零数据子集之间保持预训练步数与批量一致,但零预训练组省去了整个阶段;它与完整组并不是总训练计算匹配。对研究者而言,数据规模效应、额外训练效应和处理流水线成本应分别报告。HuRo§4.1–4.2

怎样设计真正能区分解释的实验?

观察到控制的证据框架

图:本篇提出的检查框架,非论文结果复刻。实线表示信息进入策略和执行的流程;动作信号与身体适配可发生在不同训练阶段,不要求同时输入。反馈虚线表示可选且待检验的交互路径;独立测试不回流训练。图中操作与器材均为概念示意,不表示已测得成功。

下面是尚未执行的研究设计。先固定基础模型、机器人动作数据、优化预算和测试任务,只改变视频训练目标:静态图像表征、时间顺序打乱的视频、正确时序的潜动作,以及有对应动作标签的预训练。对照组须使用相同视频来源,避免把场景多样性误当成动作结构。

如果正确时序只改善物体识别,却不改善动作延迟或扰动后的恢复,视觉表征解释就更有竞争力。如果它在保持外观相近的情况下,对动作顺序变化特别敏感,并能帮助未见组合操作,则更支持时序结构参与了控制。但这一结果仍不能说明具体内部算法,时序任务也可能带来其他正则化效果。

再把身体适配单独作为变量:固定目标机器人示范数量,比较冻结主干、只训练动作头,与更新整个模型。逐渐减少适配数据,画出真实测得的数据效率曲线。若优势只在大量适配之后出现,“视频已提供可直接迁移的动作接口”就应收窄;若少量适配下依然稳定,也还要排除起点模型已见相似机器人数据。

最后引入可控扰动:杯子位置改变、轻微滑动、短暂遮挡。预先规定成功、碰撞、恢复时间和最大重试次数,分别记录开放循环与持续观察执行的结果。比较增加视频、增加带动作示范和增加交互反馈,究竟哪项资源最能解决当前失败。不能只挑选成功录像,也不能用模型自己评价“动作看着合理”替代环境判定。

数据划分应按原始视频和任务实例隔离,不能把相邻帧拆到训练与测试两侧。评估者对方法身份盲测,涉及人工判定时保存明确规则与实际标注;本文没有把这些尚未进行的工作写成已完成实验。停止规则也应提前确定:若几组差异落在试次波动范围内,就报告证据不足,而不是增加选择性展示来维持结论。

还应报告资源的替代关系,而非只给最高分。假如视频方案需要额外训练一个昂贵的标注器,就应分别统计原始数据、标注器训练、策略训练和机器人试次;固定其中一种成本,不能宣称所有成本都相等。反过来,存在处理成本也不否定视频的价值,它可能把稀缺的实体采集换成较易扩展的离线计算。研究结论应明确自己检验的是哪一种交换。

更强的反证也值得预先写下:如果打乱时序后收益基本保留,原本关于动作结构的解释就需要退让;如果只有更换相机后失败,问题可能在观察映射,而非任务顺序。把这些相反结果纳入计划,才能使实验具有区分解释的能力。

当前结论与总结

现有证据足以支持一种有限而有用的结论:视频可以降低学习控制的部分成本,但“没有原始动作标签”与“没有动作信息”不是同义词。真实标签训练的标注器、潜动作后的机器人微调、重定向中的运动学先验,都可能是关键桥梁。三篇论文并没有在完全相同条件下争论观看是否足够;它们分别展示了不同的桥怎么搭。

对准备选题的研究者,下一步应把“看懂了”变成明确的可测变化:少用多少目标示范、在哪类扰动下恢复、换身体后保留什么、增加反馈后修复了哪类失败。只有这些问题得到回答,我们才能判断观察学习究竟补上了什么,以及哪些控制能力仍由身体约束和实际交互提供。

参考资料

  1. Bowen Baker等,Video PreTraining (VPT): Learning to Act by Watching Unlabeled Online Videos,NeurIPS 2022。正式全文。
  2. Seonghyeon Ye等,Latent Action Pretraining from Videos,ICLR 2025。正式全文。
  3. Jinho Jeong等,HuRo: Robotizing Human Videos for Scalable VLA Pretraining,2026,arXiv v5,预印本。版本记录、所读全文。

作者作品推广

以下是作者自有产品推广。除了写技术博客,我也独立开发一些帮助整理日常的小工具,欢迎按自己的需要了解:

  • 日常收支小记:记录日常收支,安排预算与储蓄目标,让账目和计划更有条理。在App Store了解。
  • 一事微光:根据当下的时间和精力选择小行动,记录完成后的感受,给日常复盘留下线索。在App Store了解。

更多技术文章和个人作品,欢迎访问我的个人网站。