VLA ギャラリー / モデル一覧 / モバイルマニピュレーション

QUAR-VLA (QUART)

Westlake University·Zhejiang University · 2023-12

VLAモバイルマニピュレーション8B離散トークン

単一RGBと言語指示から四足の高レベル指令(速度・歩容・姿勢)を離散トークンで出力する四足VLAタスクの定義とQUARTモデル、シミュレーション・実ロボットのQUARDデータセットを提案した。

論文

バックボーンLLM: Fuyu-8B (デコーダ専用VLM; LLMの別途明示なし)
ビジョンエンコーダ: Fuyu-8B画像パッチを直接入力(別のビジョンエンコーダなし)
アクションヘッド: 256区間の離散トークン (11次元指令+終了) (離散トークン)
チャンク: なし (1ステップ)
制御周期: 2 Hz
構造の原文要約: Fuyu-8B VLM(単一RGB+言語) → 256区間離散トークン: 11次元の高レベル指令(vx・vy・ωz、歩容位相3、周波数、体高、ピッチ、足間隔、足高)+終了、チャンクなし、2 Hz → Walk These Ways指令追従制御器が関節を生成

事前学習アクセラレータ: 非公開
事前学習期間: 非公開
事前学習ステップ・バッチ: 100Kステップ · バッチ256 (lr 2e-5)
GPU・TPU時間: 非公開
ファインチューニング: 該当なし (QUARDシミュレーション・実データ共同学習の単一段階)
データ種類: シミュレーション・合成 / 実ロボットのテレオペレーション
データ規模: QUARD合計259Kエピソード(表の合計・Fig. 2の表記; 表の行を合算するとシミュレーション246K+実機3K=249K)、実ロボット3K(Go to Object、遠隔操縦); v1はシミュレーション348K
主要データセット: QUARD
タスク・評価: QUARDシミュレーション成功率: Distinguish 0.66, Go to 0.60, Go avoid 0.53, Go through 0.41, Crawl 0.32, Unload 0.12、未知物体0.35・未知言語0.33; 実ロボットGo to 13/20(シミュレーション256K+実機3K) vs 3/20(実機3Kのみ); 計4,000回評価
ロボット: WR-2四足(12関節、論文表記) + 前面RealSense D435; シミュレーションはIsaacGym

強化学習: 一部 (RL下位制御器との結合) · QUARTは教師ありファインチューニング(100Kステップ)のみ; 下位の指令追従はWalk These Ways方策(元論文はPPO、本論文にRLの明記なし)
強化学習の根拠: https://arxiv.org/abs/2212.03238
ベース制御: 四足歩行 (指令・潜在 → RL歩行制御器) · VLAが11次元の高レベル指令トークンを出力 → Walk These Ways指令追従制御器が関節を制御

主な特徴: 単一RGBと言語指示から四足の高レベル指令(速度・歩容・姿勢)を離散トークンで出力する四足VLAタスクの定義とQUARTモデル、シミュレーション・実ロボットのQUARDデータセットを提案した。4,000回の評価で、大規模シミュレーションデータと少量の実データの共同学習が実ロボットのGo to成功を3/20から13/20に高めることを示した。
備考: シミュレーションデータはA*/D*経路+PD速度変換スクリプトで生成、実データは遠隔操縦; 下位制御器[23]=Walk These Ways(本論文にRLの明記なし、元論文はPPO); 学習GPU・時間は記載なし; LLaVA-7B変種も比較(性能は同程度); v1→v6でモデル構成・データ数値が変更; 重み非公開(QUARDはQUART-OnlineページからHFで公開)。
検証: 確認