VLA ギャラリー / モデル一覧 / モバイルマニピュレーション

QUART-Online

Westlake University(MiLAB)·Zhejiang University·Beijing University of Posts and Telecommunications · 2024-12

VLAモバイルマニピュレーション8B離散トークン

連続行動チャンクを残差VQコードに圧縮するACDにより、MLLMが1回の推論で複数ステップの指令を出すようファインチューニングし、パラメータ削減なしで遅延を解消した四足VLAである。

論文

分類: モバイルマニピュレーション
タイプ: VLA
発表: 2024-12
機関: Westlake University(MiLAB)·Zhejiang University·Beijing University of Posts and Telecommunications
重み公開: あり
パラメータ: 8B(論文Table I)/9B(HFメタデータ)

バックボーンLLM: Persimmonデコーダ · Fuyu-8B構成 (README)
ビジョンエンコーダ: Fuyu-8Bパッチトークナイズ(別のビジョンエンコーダなし、README)
アクションヘッド: ACD残差VQ行動トークン → 10ステップ指令チャンクのデコード (離散トークン)
チャンク: 10ステップ (-1・-5変形も実験)
制御周期: 実効50 Hz
構造の原文要約: Fuyu-8B MLLM(画像+言語) → ACD圧縮行動トークン(残差VQ、コードブック512・量子化器2、1D convエンコーダ) → 10ステップの連続指令チャンクをデコード(終了・vx・vy・ヨー・体高・周波数・歩容3・足高・ピッチ・足間隔)、実効50 Hz → Walk These Ways下位制御器

事前学習アクセラレータ: GPU 4枚(README学習スクリプト; 機種は記載なし)
事前学習期間: 非公開
事前学習ステップ・バッチ: 100Kステップ · バッチ256 · 10エポック(論文)/バッチ128 = 32×GPU 4枚(README)
GPU・TPU時間: 非公開
ファインチューニング: 該当なし; ACD RVQトークナイザを別途学習(lr 3e-4; README: バッチ1024・50エポック)、リソース・時間は非公開
データ種類: シミュレーション・合成
データ規模: QUARDを使用(論文に規模の記載なし); 50 Hzデータを5 Hzにダウンサンプル(README)
主要データセット: QUARD
タスク・評価: QUARDシミュレーション(タスクあたり50回) 平均成功率未知視覚0.68・未知言語0.79 vs QUART 0.37・0.52; 要旨では成功率65%向上; 実ロボット実験は図のみ、数値は未報告
ロボット: IsaacGym四足シミュレーション(QUARD); 実機の機種は記載なし

推論デバイス・速度: 制御周波数 = チャンク長 × MLLM推論周波数(Eq. 10)、QUART-Online-10 50 Hz(Table II); README: A100 fp16で行動あたり約20 ms、VRAM fp16 >19GB・fp32 >37GB
推論メモリ: >19GB (fp16) / >37GB (fp32), README
重み bf16(計算): 16 GB
実行場所: GPUサーバ (README基準でA100)

強化学習: 一部 (RL下位制御器との結合) · MLLM・ACDは教師あり学習のみ; 下位のWalk These Ways制御器(元論文はPPO、本論文にRLの明記なし)が指令を実行
強化学習の根拠: https://arxiv.org/abs/2212.03238
ベース制御: 四足歩行 (指令・潜在 → RL歩行制御器) · VLAが10ステップの高レベル指令チャンク(RVQトークン)を出力 → Walk These Ways制御器が下位制御周期(50 Hz)で関節を制御

主な特徴: 連続行動チャンクを残差VQコードに圧縮するACDにより、MLLMが1回の推論で複数ステップの指令を出すようファインチューニングし、パラメータ削減なしで遅延を解消した四足VLAである。2 HzだったQUARTを下位の制御周期50 Hzに合わせつつ、タスク成功率を65%高めた。
備考: パラメータ縮小(5.3B・2.7B)時に成功率が急落(0.74→0.22・0.11)することを示し、代替としてACDを提案; 実ロボットの詳細なし; バッチ(256 vs 128)・パラメータ(8B vs 9B)は出典により異なる; コード(MIT)・重み・QUARDデータをHFで公開; ICRA 2025(プロジェクトページ)。ベース: QUAR-VLA: Vision-Language-Action Model for Quadruped Robots (arXiv 2312.14457) — 2 HzのQUARTを低遅延化した後続モデル(論文に明記)、QUARDデータを使用
検証: 確認