CogACT

Tsinghua University, Microsoft Research Asia, USTC, Institute of Microelectronics CAS · 2024-11

VLAFlow·Diffusion VLA7.6Bdiffusion

VLMが出したcognition tokenを条件に別個のDiTがアクション系列を生成し、Adaptive Action Ensembleでチャンクを統合する。

論文

分類: Flow·Diffusion VLA
タイプ: VLA
発表: 2024-11
機関: Tsinghua University, Microsoft Research Asia, USTC, Institute of Microelectronics CAS
重み公開: あり
パラメータ: 7.6B(本文、RT-2-X 55Bと比較した値); アクションDiT Small 13M/Base 89M(既定)/Large 308M(補足資料の表)・最大300M(本文)

バックボーンLLM: Llama 2 7B · Prismatic-7B
ビジョンエンコーダ: SigLIP + DINOv2
アクションヘッド: DiT拡散アクションモジュール (Base 89M、DDIM 10) (diffusion)
チャンク: 16ステップ
制御周期: 非公開
構造の原文要約: Prismatic VLM(DINOv2+SigLIP、LLaMA-2) cognition token + DiT拡散アクションモジュール(Small 13M/Base 89M/Large 308M); 16ステップ×7-DoFチャンク(未来N=15)、学習時はサンプルあたり拡散8ステップ、推論はDDIM 10ステップ・cfg 1.5

事前学習アクセラレータ: A100×16(FSDP)
事前学習期間: 約5日
事前学習ステップ・バッチ: 135K iter以上、バッチ256、lr 2e-5 一定
GPU・TPU時間: 1,920 (換算(約) · A100-時間 (16枚 × 約5日))
ファインチューニング: 実機(Realman): A100×16 FSDP全体ファインチューニング、10Kステップのチェックポイント、7.5 h; README: A100×8 1ノード、globalバッチ256(デバイスあたり32)、約30エポックを推奨
データ種類: 実ロボットのテレオペレーション
データ規模: OXEサブセット25データセット、0.4M軌跡・22.5Mフレーム; 実機ファインチューニングはRealman 391デモ、Frankaタスクあたり100(計400)
主要データセット: Open X-Embodimentサブセット(25個)
タスク・評価: SIMPLER Google Robot VM 74.8%・VA 61.3%、WidowX VM 51.3%; Realman実機平均71.2%(Pick 70.8、Stack 82.3、Place 60.4); Franka実機4タスク平均61.4%
ロボット: Google Robot, WidowX, Realman, Franka(単腕)

推論デバイス・速度: A6000 bf16: 1回約181 ms(16アクション)、Adaptive Action Ensembleで約5.5 Hz(同じ機材でOpenVLA 307 ms・1アクション); fp32 約30 GB
推論メモリ: fp32約30 GB (A6000)
重み bf16(計算): 15.2 GB
実行場所: ローカルPC

主な特徴: VLMが出したcognition tokenを条件に別個のDiTがアクション系列を生成し、Adaptive Action Ensembleでチャンクを統合する。7.6BでSIMPLER Google Robot VM 74.8%、Realman実機平均71.2%を達成した。
備考: 7.6BがどのDiTサイズ基準かは原文で明示されていない(既定のアクションモジュールはDiT-Base)。ノートの「Franka 30Kチェックポイント」はベースライン(Octo・OpenVLA)の値のため削除; CogACTは10Kステップのチェックポイント1つのみ試験。最大DiTは表308M/本文300M。チェックポイント30 GB。
検証: 修正反映