VLA ギャラリー / モデル一覧 / Flow·Diffusion VLA
RDT-1B
Tsinghua University (thu-ml) · 2024-10
VLAFlow·Diffusion VLA1.2Bdiffusion
統合アクション空間で46個の異質なロボットデータセットを共に学習した拡散方策である。
論文
RDT-1B: a Diffusion Foundation Model for Bimanual ManipulationarXiv 2410.07864
概要
- 分類
- Flow·Diffusion VLA
- タイプ
- VLA
- 発表
- 2024-10
- 機関
- Tsinghua University (thu-ml)
- 重み公開
- あり
- パラメータ
- 1.2B(論文)/1B(README・モデルカード); 小型 RDT-170M
構造
- バックボーンLLM
- なし (T5-XXLテキストエンコーダ)
- ビジョンエンコーダ
- SigLIP so400m (固定)
- アクションヘッド
- Diffusion Transformer 1.2B (DPM-Solver++ 5ステップ) (diffusion)
- チャンク
- 64ステップ
- 制御周期
- 25 Hz (READMEの例)
- 構造の原文要約
- LLMなし: frozen SigLIP(so400m) + frozen T5-XXL + Diffusion Transformer; 拡散による連続アクションチャンク64ステップ、推論DPM-Solver++ 5ステップ(100から削減)、READMEの例は25 Hz
学習
- 事前学習アクセラレータ
- H100 80GB×48
- 事前学習期間
- 約1か月
- 事前学習ステップ・バッチ
- 1Mステップ / バッチは論文で未確認†(pretrain.shデフォルト値32、lr 1e-4、bf16)
- GPU・TPU時間
- 34,560 (換算(約) · H100-時間 (48枚 × 約1か月=30日))
- ファインチューニング
- H100 80GB×48、3日、130Kステップ(ALOHA 6K+エピソード); finetune.shのデフォルトはバッチ32・200Kステップ、READMEの推奨は150Kステップ以上
- データ種類
- 実ロボットのテレオペレーション
- データ規模
- 事前学習 46データセット1M+軌跡・21TB; ファインチューニング 6K+エピソード・300+タスク・15+部屋
- 主要データセット
- RT-1(130K)、DROID(76K)、RH20T(110K)など46個; 独自Mobile ALOHAデータ
- タスク・評価
- ALOHA双腕の実機7課題(Wash Cup、Pour Water、Pour Water-L-1/3、Pour Water-R-2/3、Handover、Fold Shorts、Robot Dog); ManiSkill(5,000軌跡、300k iterファインチューニング); RoboTwin 50課題
- ロボット
- ALOHA(Mobile ALOHA)双腕中心、単腕・双腕のクロスエンボディメント
推論
- 推論デバイス・速度
- RTX 4090 24GB搭載: チャンク6 Hz、平均アクション381 Hz
- 推論メモリ
- 非公開
- 重み bf16(計算)
- 2.4 GB
- 実行場所
- オンボード (RTX 4090)
強化学習・ベース
- 強化学習
- 不使用 · 模倣学習(行動クローニング)のみ使用
- ベース制御
- 固定 · 統合128次元行動空間にベース速度スロットがあるが、評価(Mobile ALOHA双腕タスク)にベース移動の言及なし
備考
- 主な特徴
- 統合アクション空間で46個の異質なロボットデータセットを共に学習した拡散方策である。双腕ALOHA 6K+エピソードでファインチューニングした。
- 備考
- パラメータ1.2B(論文)/1B(README)で出典間不一致、パラメータ(B)は論文の値。論文上のバッチ・学習率は検証で確認不可。ICLR 2025ポスター。
- 検証
- 確認