HPT

MIT CSAIL; Meta FAIR · 2024-09

VAVA主干Small 3.1M，Base 12.6M，Large 50.5M，XLarge 226.8M，Huge 1.1B；Base回归

用共享trunk预训练异构机器人·仿真·人类视频·配送机器人数据，在embodiment之间共享表征。

论文

分类: VA
类型: VA
发布: 2024-09
机构: MIT CSAIL; Meta FAIR
权重公开: 部分
参数: 主干Small 3.1M，Base 12.6M，Large 50.5M，XLarge 226.8M，Huge 1.1B；Base(含语言) 50.6M(README)

主干LLM: 无
视觉编码器: ResNet18 stem (冻结)
动作头: MLP回归头 (回归)
动作块: 8步
控制频率: 未公开
架构原文摘要: 逐embodiment stem(冻结的预训练ResNet18特征 + 本体感觉 → 固定数量token，例：16) + 共享trunk Transformer + 头(默认MLP回归；也使用Transformer解码器·扩散头)；动作视野8，观测视野4

预训练加速器: V100 8–128张(整个实验范围，未按模型规模细分)
预训练时长: 半天–1个月（全部实验范围）
预训练步数·批量: 基础：80k 次迭代·批量 256（约 0.65B token）；扩展：批量 2048（迭代次数未查到）
GPU·TPU-小时: 未公开
微调: 真实每任务RTX 2080Ti 1块，20,000次迭代·batch 256，约4小时(HPT-Small trunk，重新初始化stem·head)；仿真20,000次迭代·batch 512·lr 1e-5(GPU未注明)
数据类型: 真实机器人遥操作；仿真·合成；人类视频；其他(配送机器人FrodoBot-2k)
数据规模: 基础：27个数据集，16k条轨迹，5M样本；扩展：52个数据集，270k（Table 2）/200k（正文·项目页面）条轨迹，155M样本；微调每个任务约 100条演示
主要数据集: Open-X 42个(含DROID);仿真7种(Drake, MuJoCo, Isaac Sim, PyBullet等);EPIC-Kitchens, PoCo;FrodoBot-2k
任务·评估: 仿真：Meta-World，RoboMimic，Fleet-Tools，Simpler；真实：Sweep Leftover，Fill Water，Scoop Food，Switch Insertion(宠物照护·装配两种embodiment)
机器人: 预训练多种embodiment(Open-X等)；实际微调为2种单臂

核心特点: 用共享trunk预训练异构机器人·仿真·人类视频·配送机器人数据，在embodiment之间共享表征。是所分析的VA策略中唯一设有独立预训练阶段的模型。
备注: 参数(B)为Huge主干1.1B(不含stem·head，Huge权重未公开)。人类视频轨迹App. A.1为2,000 vs §4.3为300(不同章节)。语言为可选(T5 token)，基础模型默认关闭。真实实验头部MLP·扩散均有尝试。NeurIPS 2024 Spotlight。
核验: 已确认