第一人称视频如何成就全身操作的规模化
把第一人称视频变成可直接训练的数据,让模型学会完整的人类技能。
2026年9月8日
什么是全身操作数据
要让机器人学会真实世界中的实用技能,只观察手或物体远远不够。家务、装配、长时程移动操作,都依赖身体、双手、被操作物体与周围环境之间的协调运动。然而,第一人称视频——最自然、最具规模化潜力的人类演示来源——很少能拍到完整的身体;传统动捕又依赖昂贵设备、受控场地与专业操作人员,难以覆盖真实世界行为的长尾。
我们构建了一套数据生产系统,把第一人称观测转化为全身操作数据(Whole-Body Manipulation Data)。先由一套便携、纯视觉、多视角的真值系统提供高质量监督;随后 DFM 从 Ego 观测中重建结构合理、时序连贯的全身运动,将身体、双手、物体、接触、视觉与任务语义统一到同一种数据表征中。产出的数据可直接进入机器人策略的训练与评估。
在当前的内部评估方案下,系统达到约 3 厘米的全身平均误差,其中上肢约 2 厘米、下肢约 3.5 厘米。更重要的是,自动化管线把数据采集从固定实验室带进了家庭、商业空间与工业环境,为持续生产十万小时级规模的全身数据打下基础。
为什么只有 Ego 数据还不够
Ego 设备贴近人的视角:轻便、可携带、不打断自然行为,也几乎不限制任务发生的地点。人们可以戴着它打扫房间、整理物品、搬动工具,或执行一长串连续动作——这让第一人称采集成为收集真实人类技能最有前景的入口之一。
但第一视角带来一个根本性挑战:相机永远只能看到身体和环境的一部分。手臂互相遮挡;弯腰、下蹲会改变头部与躯干之间的几何关系;下肢常常完全离开画面;快速运动与长距离移动不断改变相机朝向和全局位置。单帧中可见的信息,不足以恢复完整、稳定、符合物理的全身行为。
对机器人学习来说,这些缺失的信号不能被简单丢弃。策略需要知道的不只是手碰了什么——它还要理解人站在哪里、重心如何转移、接触何时开始与结束、身体运动如何随任务阶段演变。换句话说,残缺的 Ego 观测必须被转化为完整的全身操作数据。
这引出更重要的问题:什么样的数据才真正能被模型学习?我们认为,可用于训练的全身数据至少需满足四个条件——完整的运动结构、对齐的多模态信号、稳定的长时程坐标,以及可度量、可追溯的质量。只有这样,一段人类演示才不再只是供观看的视频,而是能直接进入机器人训练与评估的数据资产。
关键结果一览
基于内部评估,系统已在全身数据技术栈的三个关键环节上交出结果:
- 全身重建 — 当前模型达到约 3 厘米的全身平均误差,其中上肢约 2 厘米、下肢约 3.5 厘米。
- 真值采集 — 自研的便携式多相机采集系统可在 30 秒内完成现场标定,标定重投影误差低于 0.4 像素。
- 规模化生产 — 自动化管线打通数据接入、重建、质量校验、有效帧筛选与训练格式导出,奠定十万小时级全身数据的生产基础。
这三项结果共同覆盖了可训练全身数据的三个现实要求:重建要准、真值采集要能在真实环境中可靠进行、生产管线要能随数据规模扩张。
从真值到规模化生产
我们的方法不依赖任何单一模型或单一采集设备,而是一套端到端系统,横跨真值生产、模型训练与规模化数据生成。
1. 产出可靠的全身真值
可靠的监督是高质量全身数据的起点。我们搭建了一套低成本、无标记点、纯视觉的真值采集系统:一台 Ego 头显与多台便携的第三人称相机同步观察同一行为。采集不需要反光标记点、动捕服或专用摄影棚,因此系统可以在家庭、办公室、户外等真实环境中工作。
视觉标定板在 Ego 与第三人称相机之间建立共享坐标系,一次标定在 30 秒内完成,多相机重投影误差低于 0.4 像素。跨视角姿态估计、时序稳定与平滑随后直接产出人体网格真值,为全身模型提供一致的监督目标。
2. DFM 从不完整观测重建完整运动
在生产规模下,DFM 把 Ego 视频转化为连续的全身运动:它综合当前可见的身体证据、邻近帧的运动线索,以及关于人体结构的先验。即使身体某部分暂时离开相机视野,DFM 仍会持续推断头、躯干、双手与下肢之间的关系。
目标不是逐帧拼出一个看起来像人的网格,而是在整段序列中保持身体结构、全局位置与动作语义的一致。稳定的全局坐标系尤为关键:它让人、场景与物体之间的关系在长时程任务中始终明确,使数据能够表达连续的移动、接触与操作。
3. 不止于身体网格
机器人策略需要的是可学习的操作过程,而不是孤立的人体几何。因此,全身数据在身体网格重建之外,还把以下信号对齐到同一序列中:
- 全身网格与全局运动
- 双手追踪与网格
- 物体及其与身体的空间关系
- 接触的开始、持续与释放
- 第一人称视觉观测
- 任务与动作语义
在同一时空坐标系与统一数据格式下表征这些信号,可以减少下游的转换与二次拟合,让产出更直接地支撑机器人策略训练、评估与失败分析。
为真实世界行为而生
精度只有在真实行为中保持稳定才有意义。因此我们的内部评估远超静态姿态,考察的是系统在完整动作序列中恢复人体运动的能力。
我们重点关注基于 Ego 的全身重建中频繁出现的几类挑战:
- 弯腰与下蹲 — 头显朝向与身体构型同时变化,系统必须保持头、躯干与下肢之间的完整关系。
- 快速运动 — 运动模糊与视角突变让单帧变得不可靠,需要时序上下文来维持预测稳定。
- 长距离、长时程移动 — 全局坐标系必须在整个任务中保持一致,防止人、环境与物体之间的关系随时间漂移。
- 部分遮挡与出画的身体部位 — 当手臂交叉、人转身或部分身体离开画面时,系统结合可见证据、运动上下文与人体约束,保持预测合理。
我们自研的真值生产系统会执行自动化质量检查,覆盖骨长一致性、关键点跳变、严重遮挡、主体出画与网格穿插,并在导出前自动过滤无效帧——用覆盖全数据集的算法化质检取代大规模人工复核。
可持续扩展的自动化管线
采到一段高质量演示,只解决了数据问题的一小部分。更难的是让成千上万段真实行为在统一的质量标准下持续流入训练系统。
我们的生产管线打通了数据接入、多流合并、跨视角标定、人体网格生成、训练格式导出、算法化质控、有效帧筛选与数据集分析。过去需要人工复核、转换与整理的工作现在可以端到端自动运行,从完成采集到可训练产出的周期,从以天计缩短到以小时计。
便携硬件支持在大量真实环境中并行采集,自动化软件则让处理能力随设备数量与数据量增长,而无需质控人力线性扩张。系统还维护数据集版本并支持批量重处理:当模型或质量标准升级时,历史原始数据可以重新生成,享受新能力带来的收益。
这条管线共同奠定了十万小时级全身数据的可持续生产基础。
超越标准动作:真实世界技能
固定的动捕棚能提供精确数据,却难以表达真实世界的复杂性。人类技能发生在不断变化的空间、光照、背景、衣着、物体与遮挡之中——只有足够多样的数据,机器人策略才有机会学到可迁移的行为,而不是背下某一个实验室的布置。
轻便可携的 Ego 设备把采集从固定场地带入家庭、商业场所与工业环境。从整理、清洁、抓取放置,到更长时程的移动与双手操作,同一套数据系统可以持续吸收新任务与新场景。真实演示保留了自然运动与物理合理性,而基于共同人体表征的仿真还能进一步扩展光照、背景、遮挡、衣着与外观上的多样性。
接下来
全身数据仍处于早期阶段。快速运动、严重遮挡、复杂的人-物接触与更长时程的任务,仍是需要持续改进的重要方向。我们会继续扩展真实世界的任务覆盖,增强困难场景下的鲁棒性,并推进把人类行为连接到机器人策略学习的数据表征与迁移方法。
我们的目标很直接:一段自然的人类演示不应再只是一段视频,它应该成为机器人能理解、能训练、能复用的完整技能数据。
看清整个身体,学会完整技能。