Dita

Shanghai AI Lab, Zhejiang University, CUHK MMLab, Peking University, SenseTime Research, Tsinghua University, HKISI/CAS · 2024-10†

VLAFlow·Diffusion VLA334Mdiffusion

言語・画像・timestep・ノイズ付きアクショントークンを一つのcausal transformerシーケンスに入れるin-context条件付けで拡散デノイジングを行う。

論文

分類: Flow·Diffusion VLA
タイプ: VLA
発表: 2024-10†
機関: Shanghai AI Lab, Zhejiang University, CUHK MMLab, Peking University, SenseTime Research, Tsinghua University, HKISI/CAS
重み公開: あり
パラメータ: 334M(学習可能221M); LoRA時は約11Mを学習

バックボーンLLM: なし (CLIPテキストエンコーダ)
ビジョンエンコーダ: DINOv2 + Q-Former
アクションヘッド: in-context拡散デノイジング (DDIM 10) (diffusion)
チャンク: 16ステップ
制御周期: 3 Hz (実機)
構造の原文要約: LLMなし: frozen CLIPテキスト + DINOv2 + Q-Former(depth 4) + causal transformer(12ブロック、hidden 768); in-context拡散デノイジング(DDPM 1000で学習、DDIM 20→10ステップ)、2フレーム観測→16ステップのチャンク、実機3 Hz

事前学習アクセラレータ: A100×32(4ノード×8)
事前学習期間: 非公開
事前学習ステップ・バッチ: 100,000ステップ、バッチ8192(GPUあたり256)、AdamW、lr 1e-4(transformer・Q-Former)/1e-5(DINOv2)
GPU・TPU時間: 非公開
ファインチューニング: LIBERO A100×8・バッチ512・100Kステップ; CALVIN A100×4・バッチ128・15エポック; ManiSkill2 A100×16・バッチ1024・50Kステップ; Franka 10-shot LoRA 20Kステップ・バッチ512(GPU非公開); 時間はすべて非公開
データ種類: 実ロボットのテレオペレーション + シミュレーション(ManiSkill2で独自生成した40K+軌跡、ファインチューニング・評価用)
データ規模: OXE(oxe_magic_soup_plus、軌跡数非公開); 実機タスクあたり10サンプル
主要データセット: Open X-Embodiment、DROID(別途事前学習版)
タスク・評価: SimplerEnv coke can 0.837/0.855、move near 0.760/0.730、drawer 0.463/0.375; LIBERO 84.2/96.3/85.4/63.8、平均82.4%; CALVIN ABC→D 3.61; ManiSkill2; Franka 10-shot実機(2段階タスク63.8%)
ロボット: Franka(単腕); シミュレーション

主な特徴: 言語・画像・timestep・ノイズ付きアクショントークンを一つのcausal transformerシーケンスに入れるin-context条件付けで拡散デノイジングを行う。334MでOXE事前学習後、Frankaでタスクあたり10サンプルで適応した。
備考: 発表月は旧版 arXiv 2410.15959 基準(提出日の日付行は確認不可†); 本版 2503.19757 v1は2025-03-25。所属はノートのRoboDitaチームから論文1ページ目基準に修正。ManiSkill2のタスク別数値は抽出不一致のため除外。
検証: 修正反映