ScaleDP

East China Normal University; Midea Group AI Research Center; Shanghai University; Beijing Innovation Center of Humanoid Robotics · 2024-09†

VAVATi 10M, S 33M, B 130M, L 457M, H 1Bdiffusion

拡散方策Transformerを10Mから1Bまで拡大し、性能向上を報告した。

論文

分類: VA
タイプ: VA
発表: 2024-09†
機関: East China Normal University; Midea Group AI Research Center; Shanghai University; Beijing Innovation Center of Humanoid Robotics
重み公開: 未確認
パラメータ: Ti 10M, S 33M, B 130M, L 457M, H 1B

バックボーンLLM: なし
ビジョンエンコーダ: 記載なし
アクションヘッド: DiT型の拡散Transformer (最大1B) (diffusion)
チャンク: 記載なし
制御周期: 非公開
構造の原文要約: DiT型拡散Transformer(AdaLNで観測・タイムステップ条件付け、マスクなしself-attention); 6D行動(位置 x・y・z、回転 roll・pitch・yaw)のCステップチャンク(Cは記載なし); 観測エンコーダは記載なし

事前学習アクセラレータ: 該当なし
事前学習期間: 該当なし
事前学習ステップ・バッチ: 該当なし
GPU・TPU時間: 非公開
ファインチューニング: 非公開(GPU・時間・エポック・ステップ・バッチすべて論文・プロジェクトページになし)
データ種類: シミュレーション・合成; 実ロボットのテレオペレーション
データ規模: MetaWorldタスクあたり20デモ; 実機タスクあたり100軌跡(ノートPCを閉じる40)
主要データセット: MetaWorld; 独自Franka・UR5データ
タスク・評価: MetaWorld 50タスク(3シード); 実機Franka 4タスク(Close Laptop, Flip Mug, Stack Cube, Place Tennis)、双腕UR5 3タスク(テニスボールをバッグに入れる、ゴミを掃く、双腕キューブ積み); DP-T比でMetaWorld +21.6%(プロジェクトページ)、実機単腕 +36.25%・双腕 +75%(arXiv)/実機4タスク +22.5%(プロジェクトページ)
ロボット: Franka(ZEDカメラ2台); UR5双腕(RealSense 3台)

主な特徴: 拡散方策Transformerを10Mから1Bまで拡大し、性能向上を報告した。1Bモデルにもかかわらず学習演算を一切公開していない。
備考: 発表月2024-09はarXiv IDの接頭辞と一致するがv1日付は確認不可(†)。実際の向上幅はarXiv要旨とプロジェクトページで異なるため両方を表記(修正反映)。プロジェクトページはICRA 2025採択と表記、コードはDexVLA GitHubリンク、重みは見つからず。
検証: 修正反映