VLA 图库 / 模型列表 / Flow·Diffusion VLA
RDT2
RDT2 (RDT2-FM / RDT2-VQ)
Tsinghua University (thu-ml) · 2025-09
VLAFlow·Diffusion VLA总计未公开；Qwen主干约7Bflow matching
不用机器人遥操作，而以改进的UMI手持设备在100余户家庭收集的约1万小时人类演示进行训练。
论文
RDT2: Exploring the Scaling Limit of UMI Data Towards Zero-Shot Cross-Embodiment GeneralizationarXiv 2602.03310
概述
- 分类
- Flow·Diffusion VLA
- 类型
- VLA
- 发布
- 2025-09
- 机构
- Tsinghua University (thu-ml)
- 权重公开
- 是
- 参数
- 总计未公开；Qwen主干约7B(hidden 3584) + 动作专家约400M(hidden 1024)
架构
- 主干LLM
- Qwen2.5-7B · Qwen2.5-VL-7B配置
- 视觉编码器
- Qwen2.5-VL ViT
- 动作头
- flow专家约400M (FM) / RVQ token (VQ) (flow matching)
- 动作块
- 24 (README) / 32 (论文)
- 控制频率
- 30 Hz
- 架构原文摘要
- Qwen2.5-VL-7B-Instruct + 约400M RDT系列flow matching动作专家(RDT2-FM);RDT2-VQ为Residual VQ token自回归;动作块24步(README, 30 fps 0.8秒)/32步(论文部署),数据30 Hz
训练
- 预训练加速器
- GPU型号未公开(App. D.5：7节点×GPU 8)
- 预训练时长
- 未公开
- 预训练步数·批量
- RDT2-VQ 128K iter, RDT2-FM 66K iter,每GPU批量96, lr 1e-4(App. D.5: global 5,376 / 2,304)
- GPU·TPU-小时
- 未公开
- 微调
- 单节点GPU×8(型号未公开)，50K步，global批量96；UltraFast蒸馏20K步，相同硬件；README：RDT2-FM专家微调~16 GB(RTX 4090)，RDT2-VQ LoRA >32 GB(A100 40GB)，Full >80 GB(A100 80GB/H100/B200)
- 数据类型
- 人类视频(UMI手持演示) + 网络视觉-语言
- 数据规模
- UMI演示10,000 h以上(摘要·正文)/约10,000 h(附录B.1)，100+个家庭；VL QA 12M+对
- 主要数据集
- 自有UMI数据；Ego4D，HD-EPIC，RoboVQA，RoboBrain(QA)
- 任务·评估
- 零样本4U：Pick，Pick & Place，Wiping，Shaking，Button Pressing；微调：叠衣服，Table Bussing，Unzipping，动态按按钮，乒乓球(256 trials)
- 机器人
- UMI夹爪接口(与具身形态无关)；在双臂UR5e、双臂Franka FR3上验证
推理
- 推理设备·速度
- README推理~16 GB VRAM(RTX 4090);ms·Hz数值未公开
- 推理显存
- 约16 GB (RTX 4090，README)
- 权重 bf16（计算）
- 未公开
- 运行位置
- 未公开
强化学习与底盘
- 强化学习
- 未使用 · 人类UMI演示模仿学习
- 底盘控制
- 固定 · 无底盘控制（UMI夹爪接口，UR5e·Franka固定双臂）
备注
- 核心特点
- 不用机器人遥操作，而以改进的UMI手持设备在100余户家庭收集的约1万小时人类演示进行训练。展示了对未见机器人·场景·物体·指令（4U）的零样本执行及1步蒸馏版UltraFast。
- 备注
- 模型于2025-09公开（README），论文arXiv 2026-02-03。App. D.5的语句位于ablation小节，是否指正式训练不明确。flow范围为RDT2-FM，RDT2-VQ为自回归。动作块24（README）/32（论文）均为原文值。
- 核验
- 已确认