VLA 图库 / 模型列表 / Flow·Diffusion VLA
RDT-1B
Tsinghua University (thu-ml) · 2024-10
VLAFlow·Diffusion VLA1.2Bdiffusion
以统一动作空间联合训练46个异构机器人数据集的扩散策略。
论文
RDT-1B: a Diffusion Foundation Model for Bimanual ManipulationarXiv 2410.07864
概述
- 分类
- Flow·Diffusion VLA
- 类型
- VLA
- 发布
- 2024-10
- 机构
- Tsinghua University (thu-ml)
- 权重公开
- 是
- 参数
- 1.2B(论文)/1B(README·模型卡)；小型RDT-170M
架构
- 主干LLM
- 无 (T5-XXL文本编码器)
- 视觉编码器
- SigLIP so400m (固定)
- 动作头
- Diffusion Transformer 1.2B (DPM-Solver++ 5步) (diffusion)
- 动作块
- 64步
- 控制频率
- 25 Hz (README示例)
- 架构原文摘要
- 无LLM: frozen SigLIP(so400m) + frozen T5-XXL + Diffusion Transformer;扩散连续动作块64步,推理DPM-Solver++ 5步(由100缩减),README示例25 Hz
训练
- 预训练加速器
- H100 80GB×48
- 预训练时长
- 约1个月
- 预训练步数·批量
- 1M步 / 批量 论文未核实†(pretrain.sh默认值32，lr 1e-4，bf16)
- GPU·TPU-小时
- 34,560 (换算(约) · H100-小时 (48张 × 约1个月=30天))
- 微调
- H100 80GB×48,3天,130K步(ALOHA 6K+回合);finetune.sh默认批量32·200K步,README建议150K步以上
- 数据类型
- 真实机器人遥操作
- 数据规模
- 预训练46个数据集1M+条轨迹·21TB；微调6K+ episode·300+任务·15+个房间
- 主要数据集
- RT-1(130K), DROID(76K), RH20T(110K)等46个;自有Mobile ALOHA数据
- 任务·评估
- ALOHA双臂真机7个任务(Wash Cup、Pour Water、Pour Water-L-1/3、Pour Water-R-2/3、Handover、Fold Shorts、Robot Dog)；ManiSkill(5,000条轨迹，300k iter微调)；RoboTwin 50个任务
- 机器人
- 以ALOHA(Mobile ALOHA)双臂为主，单臂·双臂跨本体
推理
- 推理设备·速度
- 机载RTX 4090 24GB: 动作块6 Hz,平均动作381 Hz
- 推理显存
- 未公开
- 权重 bf16（计算）
- 2.4 GB
- 运行位置
- 机载 (RTX 4090)
强化学习与底盘
- 强化学习
- 未使用 · 仅使用模仿学习（行为克隆）
- 底盘控制
- 固定 · 统一128维动作空间中有底盘速度槽位，但评估(Mobile ALOHA双臂任务)中未提及底盘移动
备注
- 核心特点
- 以统一动作空间联合训练46个异构机器人数据集的扩散策略。用双臂ALOHA 6K+回合进行微调。
- 备注
- 参数1.2B(论文)/1B(README)出处间不一致，参数(B)取论文值。论文中的批量·学习率在核查中无法确认。ICLR 2025海报。
- 核验
- 已确认