VLA ギャラリー / モデル一覧 / モバイルマニピュレーション

AC-DiT

Peking University·Nanjing University·CUHK·Beijing Academy of Artificial Intelligence(BAAI) · 2025-07

VLAモバイルマニピュレーション非公開diffusion

ベース行動のみで先に学習した軽量モビリティヘッドの潜在表現を全身行動生成の条件として入れ(mobility-to-body)、段階ごとの必要に応じて2D画像と3D点群の重みを調整する。

論文

AC-DiT: Adaptive Coordination Diffusion Transformer for Mobile ManipulationarXiv 2507.01961

概要

分類

モバイルマニピュレーション

タイプ

VLA

発表

2025-07

機関

Peking University·Nanjing University·CUHK·Beijing Academy of Artificial Intelligence(BAAI)

重み公開

なし

パラメータ

非公開 (モビリティヘッド 170M; 本体DiTは公式コード上RDT-1B構成)

構造

バックボーンLLM

なし

ビジョンエンコーダ

SigLIP so400m (手首・胸部RGB 3視点) + Lift3D式点群トークナイザ(LoRA)

アクションヘッド

全身行動diffusion DiTヘッド (DDPM、推論5ステップ・コード) (diffusion)

チャンク

2ステップ (シミュレーション)

制御周期

非公開 (実デモ 30 fps)

構造の原文要約

SigLIP(so400m)画像・テキストエンコーダ + Lift3D式点群トークナイザ(LoRA) → 言語・視覚のコサイン類似度で2D・3Dトークンを重み付け → DiTアクションヘッド(公式コード: RDT-1B構成 hidden 2048・28層、RDT-1B初期化); 事前学習済みモビリティヘッド(DiT 170M)の潜在ベース表現を条件に全身行動を生成; ベース速度(絶対) + 腕関節(シミュレーションでは相対変化)、チャンク2(シミュレーション)、DDPM推論5ステップ(コード)

学習

事前学習アクセラレータ

該当なし (公式コードは外部のRDT-1B重みで初期化)

事前学習期間

該当なし

事前学習ステップ・バッチ

該当なし

GPU・TPU時間

非公開

ファインチューニング

論文に記載なし(モビリティヘッドは「数エポック」事前学習)。公式コード(ManiSkill-HAB): モビリティヘッド 30,000 ステップ・GPUあたりバッチ 24・lr 1e-4 → AC-DiT 20,000 ステップ・GPUあたりバッチ 16・lr 1e-5・bf16、両スクリプトともGPU 8基の設定(機種・時間は記載なし)

データ種類

シミュレーション・合成 / 実ロボットのテレオペレーション

データ規模

ManiSkill-HABタスクあたり成功デモ1,000本(RLエージェントで生成); RoboTwinタスクあたり1,000本(モーションプランニング); 実ロボットタスクあたり100本(30 fps)

主要データセット

ManiSkill-HAB生成デモ; RoboTwin; 独自Cobot Magicデモ

タスク・評価

ManiSkill-HAB 7サブタスク平均55.6%(表1; 本文48.7%) vs RDT 42.9%・DP 28.8%・3DP 21.6%; RoboTwin双腕6タスク平均90.1(表2); 実機4つの長期タスク(Cucumber in Basket・Store Breads・Hang Towel・Clean Table)を17回評価、ACT・π0比で最高

ロボット

実機 Agilex Cobot Magic(Piperアーム4本 + Tracer車輪型ベース; 手首・胸のOrbbec Dabai 3台 + 頭部RealSense L515); シミュレーション ManiSkill-HAB(Fetch、MS-HAB基準)・RoboTwin固定双腕

推論

推論デバイス・速度

非公開

推論メモリ

非公開

重み bf16(計算)

非公開

実行場所

非公開

強化学習・ベース

強化学習

一部 (RLデータの活用) · ManiSkill-HABの学習デモをRLエージェント(開く・閉じるはPPO、掴む・置くはSAC)で生成; AC-DiT自体は模倣学習

強化学習の根拠

https://arxiv.org/abs/2507.01961

ベース制御

車輪型 (ベース速度・姿勢を直接出力) · 方策がベース速度(絶対値)をアーム関節行動と共に直接出力

備考

主な特徴

ベース行動のみで先に学習した軽量モビリティヘッドの潜在表現を全身行動生成の条件として入れ(mobility-to-body)、段階ごとの必要に応じて2D画像と3D点群の重みを調整する。ManiSkill-HABでRDT・DP・3DPより高く、実機Cobot Magicの4つの長期タスクでACT・π0を上回った。

備考

論文に学習・推論ハードウェアと総パラメータの記載なし; RDT-1B初期化・ステップ・バッチは公式GitHubスクリプト基準。ManiSkill-HABの平均が表(55.6)と本文(48.7%)で不一致。コードは2026-02公開、学習済みAC-DiTの重みは未提供。NeurIPS 2025。ベース: RDT-1B: a Diffusion Foundation Model for Bimanual Manipulation (arXiv 2410.07864) — RDTフレームワーク(クロスアテンションによる条件注入)に従い、公式コードがRDT-1Bの重みで初期化

検証

確認