VLA ギャラリー / モデル一覧 / 自己回帰・潜在アクションVLA

SpatialVLA

Shanghai AI Lab·Fudan University·SJTU·Zhejiang University·ShanghaiTech·Northwestern Polytechnical University · 2025-01

VLA自己回帰・潜在アクションVLA3.5B離散トークン

3D位置エンコーディングと適応型グリッドトークンで、7次元アクションを3トークンに削減した。

論文

分類: 自己回帰・潜在アクションVLA
タイプ: VLA
発表: 2025-01
機関: Shanghai AI Lab·Fudan University·SJTU·Zhejiang University·ShanghaiTech·Northwestern Polytechnical University
重み公開: あり
パラメータ: 3.5B(論文)/4B(チェックポイント名)

バックボーンLLM: Gemma 2 2B · PaliGemma2 3B 構成
ビジョンエンコーダ: SigLIP + Ego3D深度エンコーディング
アクションヘッド: 適応型グリッド空間トークン (アクションあたり3個) (離散トークン)
チャンク: 4ステップ
制御周期: 非公開
構造の原文要約: PaliGemma2(paligemma2-3b-pt-224) + Ego3D位置エンコーディング(ZoeDepth); 適応型アクショングリッドでアクションあたり空間トークン3個(語彙8194)、チャンク T=4(トークン12個)

事前学習アクセラレータ: A100 64枚
事前学習期間: 10日(論文)/約10日(README)
事前学習ステップ・バッチ: stage 1 160k + stage 2 40k steps(DROID除外後)、batch 2048、lr 2e-5
GPU・TPU時間: 15,360 (換算 · A100-時間 (64 × 240 h))
ファインチューニング: LoRA、A100 4枚または8枚(README); LIBEROはLoRA r=32・200 epochs; 時間は非公開
データ種類: 実ロボットのテレオペレーション
データ規模: 1.1Mエピソード(28データセット); Franka ファインチューニングは課題あたり50–200デモ
主要データセット: OXE(Bridge 15.34%、Fractal 14.71%、DROID 11.66%、BC-Z 8.64%など)、RH20T 5.67%
タスク・評価: SimplerEnv Google Robotゼロショットビジュアルマッチング71.9%(RT-2-X 60.7%); WidowXゼロショット34.4%・ファインチューニング42.7%; LIBERO平均78.1%; 実機Franka単一タスク82%・マルチタスク57%
ロボット: WidowX、Googleロボット(SimplerEnv)、Franka

主な特徴: 3D位置エンコーディングと適応型グリッドトークンで、7次元アクションを3トークンに削減した。RTX 4090で約20 Hzで動作する。
備考: 検証で所属を修正した(TeleAIなし、Northwestern Polytechnical University追加)。パラメータ(B)は論文値3.5Bである。
検証: 修正反映