RDT2

RDT2 (RDT2-FM / RDT2-VQ)

Tsinghua University (thu-ml) · 2025-09

VLAFlow·Diffusion VLA総計は非公開flow matching

ロボットのテレオペレーションの代わりに改良UMIハンドヘルド装置で100余りの家庭から集めた人のデモ約1万時間で学習した。

論文

バックボーンLLM: Qwen2.5-7B · Qwen2.5-VL-7B構成
ビジョンエンコーダ: Qwen2.5-VL ViT
アクションヘッド: flowエキスパート約400M (FM) / RVQトークン (VQ) (flow matching)
チャンク: 24 (README) / 32 (論文)
制御周期: 30 Hz
構造の原文要約: Qwen2.5-VL-7B-Instruct + 約400M RDT系flow matchingアクションエキスパート(RDT2-FM); RDT2-VQはResidual VQトークンの自己回帰; チャンク24ステップ(README、30 fps 0.8秒)/32ステップ(論文の配備)、データ30 Hz

事前学習アクセラレータ: GPU機種非公開(App. D.5: 7ノード×GPU 8)
事前学習期間: 非公開
事前学習ステップ・バッチ: RDT2-VQ 128K iter、RDT2-FM 66K iter、GPUあたりバッチ96、lr 1e-4(App. D.5: global 5,376 / 2,304)
GPU・TPU時間: 非公開
ファインチューニング: 1ノード GPU×8(機種非公開)、50Kステップ、globalバッチ96; UltraFast蒸留 20Kステップ同一ハードウェア; README: RDT2-FMエキスパートのファインチューニング ~16 GB(RTX 4090)、RDT2-VQ LoRA >32 GB(A100 40GB)、Full >80 GB(A100 80GB/H100/B200)
データ種類: 人の動画(UMIハンドヘルドのデモ) + Web視覚言語
データ規模: UMIデモ10,000 h以上(要旨・本文)/約10,000 h(付録B.1)、100+家庭; VL QA 12M+ペア
主要データセット: 独自のUMIデータ; Ego4D、HD-EPIC、RoboVQA、RoboBrain(QA)
タスク・評価: ゼロショット4U: Pick、Pick & Place、Wiping、Shaking、Button Pressing; ファインチューニング: 服たたみ、Table Bussing、Unzipping、動的ボタン押し、卓球(256 trials)
ロボット: UMIグリッパーインターフェース(エンボディメント非依存); 双腕UR5e、双腕Franka FR3で検証

主な特徴: ロボットのテレオペレーションの代わりに改良UMIハンドヘルド装置で100余りの家庭から集めた人のデモ約1万時間で学習した。未知のロボット・シーン・物体・指示(4U)でのゼロショット実行と1ステップ蒸留版UltraFastを提示した。
備考: モデル公開 2025-09(README)、論文 arXiv 2026-02-03。App. D.5の記述はablation節にあり本学習を指すかは曖昧。flowの範囲はRDT2-FMで、RDT2-VQは自己回帰。チャンク 24(README)/32(論文)はいずれも原文の値。
検証: 確認