Robot AI

HumanEgo:为具身智能训练而生的开源第一人称人类数据集

1,800+ 小时真实人类技能数据开源发布,配套同步的 3D 手部运动、大视场深度与层级化语义标注。

2026年9月23日

为什么做 HumanEgo

对具身智能而言,第一人称视频是一种天然的监督信号:它以操作者自己的视角记录世界——人在做什么、触碰哪些物体、双手如何运动,以及任务如何一步步推进。

但光有体量并不等于数据可以直接用于训练。在我们看来,可训练的数据必须把多样的真实世界行为与足够的结构结合起来,回答三个问题:动作如何执行、发生在 3D 空间的什么位置、任务的含义是什么。

HumanEgo 正是围绕这些要求设计的。数据集包含 1,800+ 小时的第一人称演示,横跨 10,000+ 个不同任务,全部由统一的六相机方案录制。我们的数据基础模型(Data Foundation Model,DFM)再把多视角 Ego 素材转化为结构化、同步的训练信号:面向人体运动的 3D 手部重建、面向空间理解的大视场深度,以及面向任务理解的层级化语义标注。

所有信号都对齐到同一时空坐标系,共同构成对物理世界的完整表征——这也让 HumanEgo 成为一个开源的、可直接用于机器人学习训练的第一人称数据集。

统一骨干:从原始 Ego 视频到结构化训练信号

在输入侧,DAS-Ego 通过 6 路视觉流记录多视角 RGB 序列,比任何单一视角都更完整地捕捉空间关系;时序上下文把跨帧观测串联起来,从而提升运动一致性、轨迹连续性和预测稳定性。

为了把原始素材转化为可学习的表征,我们构建了由 DFM 驱动的技术栈:一个统一的感知骨干,上层挂载任务专用模块。相关任务因此可以共享同一套视觉与空间特征,系统也能随着新监督与新数据的到来持续扩展。

把多视角融合为一致表征

单一 Ego 视角在遮挡、快速运动或视野受限时会迅速退化,因此 DAS-Ego 会同步记录六路视觉流。

DFM 对多视角 RGB 序列做联合建模,让各个视角互为补充:当手消失在物体背后、或移向某台相机视野边缘时,互补角度仍能保留证据;连续序列还提供上下文——手从何处来、如何运动、之后发生什么——让重建管线拥有更稳固的起点。

时序上下文进一步约束跨帧的运动一致性,稳定轨迹并抑制帧级噪声。这些线索叠加在一起,得到对交互更强的表征。

整条管线背后的共享感知骨干就是我们的数据基础模型(DFM):它融合同步视角与时序上下文,再由任务专用的输出头从特征中提取结构化信号。

跨视角融合由相机内参与外参引导:这些几何约束把不同相机中同一物理区域的观测关联起来,使特征交换聚焦在空间相关的信息上。某个视角被遮挡或因运动退化时,其他视角自动补上;时序建模则利用帧间连续性降低抖动、保持轨迹稳定。

在姿态估计环节,稀疏的目标感知查询只收集与目标相关的特征,而不是在所有位置做同样的稠密计算。几何、时间与有针对性的选择共同让模型还原出更连贯的交互过程。

共享骨干还意味着相关感知任务可以复用同一套视觉与空间特征。随着数据和监督不断积累,同一套技术栈会持续变强,并为未来的数据集版本产出更丰富的标注。在 HumanEgo 中,它支撑三种核心监督形式:手部运动、场景几何与任务语义。

面向人体运动的 DFM:多视角 3D 手部追踪与全手重建

RGB 视频能呈现交互过程,却无法直接给出描述动作执行方式所需的手部轨迹、手指关节运动与抓握几何——而这些恰恰是学习人如何操作物体时最关键的细节。

因此,HumanEgo 借助 DFM 驱动的 HandTrack,输出人手运动的结构化 3D 表征:

  • 每只手 21 个 3D 关键点
  • MANO 参数
  • 完整 3D 手部网格

从多视角特征重建完整 3D 手

自然的第一人称交互对手部追踪非常苛刻:手经常被物体遮挡、在快速运动中模糊、部分移出画面,或与其他可见的手混在一起。

HandTrack 消费 DFM 产出的共享多视角特征,先融合跨视角的互补观测,再送入专用的手部重建头。稀疏手部查询挑出与每只手最相关的特征,模型直接预测 MANO 表征:

多视角特征 → 跨视角融合 → 稀疏手部查询 → MANO + 3D 关键点

MANO 把手描述为结构化的参数模型——姿态、形状、全局朝向与平移。由这些参数,HandTrack 同时恢复 21 点 3D 手骨架与完整 3D 手部网格。

与只有关键点相比,网格保留了多得多的物理交互信息:手指关节运动、手掌朝向、抓握形态与手-物几何关系。

手部追踪真值与持续改进闭环

可靠的 3D 真值是高质量手部重建的基础。精度评估方面,我们使用一套专用动捕设备:多台相机追踪佩戴在手部的标记点,提供高精度 3D 参考位置。

动捕数据精确但难以规模化,所以 HandTrack 把高精度动捕数据用于标定与评估,把大规模真实世界 Ego 数据用于训练与迭代。生产管线还能直接从 Ego 录制中生成结构化手部标签,形成持续改进的闭环:

真实世界 Ego 数据 → 手部重建 → 结构化训练数据 → DFM 训练 → 更强的 HandTrack

评估同时覆盖几何精度与真实世界中的困难条件。在当前设置下,HandTrack 达到亚厘米级追踪误差,同时输出 21 个 3D 关键点和基于 MANO 的全手重建。

除了干净序列,我们还在 Ego 数据中天然存在的苛刻场景上测试:运动模糊、手-物遮挡、部分出画、多人/多手同场。这些场景很关键,因为追踪质量取决于交互变复杂后,是否还留有足够可靠的视觉证据。

面向空间理解的 DFM:大视场 Ego 深度

手部重建回答佩戴者如何操作物体,深度则刻画交互周围的 3D 工作空间。

对具身学习来说,这个区别不可或缺:模型不仅要知道物体在佩戴者面前,还要知道它在空间中的位置、距离多远、周围表面如何排布。

Ego-Depth 正是 DFM 驱动数据栈中的空间组件。

突破双目重叠区的深度

主流实用深度系统依赖双目视觉,因此需要相机对之间有足够的重叠区域。大视场鱼眼图像让这件事更难:越靠图像边缘重叠越少,镜面、反光材质与透明玻璃还会进一步削弱深度可靠性。

Ego-Depth 改为输出单幅大视场鱼眼深度图。其核心模块 Multi-View Cross-View Attention 对跨相机视角的关系建模,在共享特征空间中合并互补信息,即使局部视角几何较弱或重叠有限,也能恢复深度。

毫米级真值与评估结果

我们搭建了专用的室内深度真值系统,由多台高精度红外双目设备组成,触发同步误差控制在 5 毫秒以内,提供毫米级深度真值。针对镜面、高反射表面与透明玻璃,管线还引入二维码辅助监督,保证参考数据可靠。

Ego-Depth 从深度精度、时序稳定性与全视场有效覆盖率三个维度接受评估。在全视场评估中,它覆盖 157° × 132° ± 5°,1 米处深度精度 ≤ ±4%,填充率 ≥ 99.5%。

系统还在一系列挑战场景中完成验证,包括空旷大空间、动态交互、镜面与透明玻璃。

面向语义的 DFM:先自然记录,再事后标注

手部追踪与深度描述交互的物理过程,语义标注则描述人在做什么、任务如何随时间推进。

HumanEgo 不给采集者派发僵化的原子动作脚本,而是先记录自然行为,再通过 DFM 驱动的标注管线事后施加结构化标注,从而保留任务顺序、动作、物体摆放、重试与纠错上的自然差异。

三级语义标注体系

标注管线把每段数据组织成三个层级:

  • 视频级描述 — 概括整段活动
  • 任务级标注 — 标记连续时间段内的主要目标
  • 细粒度子任务标注 — 描述任务内部的动作与物体交互

每个任务与子任务都对齐到明确的时间和帧范围,使语义描述与源视频保持同步;细粒度标注还可记录被操作物体、可见属性、起点与终点、空间关系,以及动作是否成功完成。

以 HumanEgo 中的一段数据为例:

视频描述:收拾沙发——把抱枕和毛绒玩具摆上沙发靠背,再把沙发罩抚平。

任务:整理沙发(场景:客厅;时长:0–168.5 秒)

子任务:

  • 0–4.5 秒 — 把红黑相间的抱枕摆上沙发靠背
  • 5–9.5 秒 — 把浅紫色抱枕摆上沙发靠背
  • 10.5–18 秒 — 把棕色泰迪熊放到红黑抱枕上
  • 28–42 秒 — 把沙发右侧座位的沙发罩抚平
  • 140.5–149.5 秒 — 沿沙发右边缘整理好沙发罩

每个子任务还带有 is_success 字段,成功、失败与重试的尝试都会保留在结构化序列中。完整发布的示例在同一任务下共包含十二个时间对齐的子任务。

标注以画面证据为准

细粒度标注只描述视频中真实可见的内容。当某个物体无法可靠辨认时,标注会退回使用颜色、形状、大小等可见属性,而不是硬猜一个类别。

例如:

把桌上那个银色的小长方体放进收纳箱。

这样既让标注牢牢建立在视觉证据上,又保留了动作、物体与空间关系中的有用信息。

最终的语义输出把整体任务上下文、时间分段、细粒度动作、物体属性、空间关系与成功状态编织在一起,同时不限制原始演示的执行方式。

这些信号在视频、动作、语言与深度四个维度上精确对齐,再编码为统一的 token——构成面向机器人学习的、共享的可训练人类交互表征。

接下来的方向

今天,HumanEgo 通过第一人称视觉、手部运动、场景几何与任务语义来刻画交互。下一步,是把这套表征从双手扩展到交互背后完整的人体运动。

许多真实技能远不止末端执行器的运动:伸展、弯腰、下蹲、行走、挪动身体位置、双手协同,都塑造着任务的实际执行方式——而 Ego 相机只能看到其中一部分。

因此我们正在开发全身操作数据(Whole-Body Manipulation Data):DFM 借助可见的身体证据、时序上下文与人体结构先验,从第一人称观测中重建连续的全身运动。

HumanEgo 现已开源。欢迎下载数据集,也欢迎随时联系我们提出疑问、合作或反馈。

点我聊聊