MoRE — 構造・バックボーンLLM・学習・推論メモリ

VLA ギャラリー / モデル一覧 / モバイルマニピュレーション

Zhejiang University·Westlake University(MiLAB)·Monash University·HKUST(GZ) · 2025-03

VLAモバイルマニピュレーション9.82B離散トークン

Fuyu-8Bに多数のLoRAエキスパートを疎なMoEとして組み込み、VLAをQ関数とみなして成功・失敗が混在する自動収集データでオフラインRL学習した四足VLAである。

論文

分類: モバイルマニピュレーション
タイプ: VLA
発表: 2025-03
機関: Zhejiang University·Westlake University(MiLAB)·Monash University·HKUST(GZ)
重み公開: なし
パラメータ: 9.82B (Fuyu-8B + MoE-LoRA)

バックボーンLLM: Fuyu-8B + MoE-LoRAエキスパート
ビジョンエンコーダ: Fuyu-8Bパッチ入力(別のビジョンエンコーダなし)
アクションヘッド: 自己回帰離散トークン(離散Q関数) → 12次元指令 (離散トークン)
チャンク: 非公開
制御周期: 非公開
構造の原文要約: Fuyu-8B(32層)の各層FFNを共有FFN+LoRAエキスパートのMoE(Top-Kルータ)に、アテンションにLoRA → 自己回帰の離散行動トークン(離散Q関数) → 12次元離散指令 → Walk These Ways RL制御器

事前学習アクセラレータ: A100 8枚
事前学習期間: 約100時間(専門家データ) / 約125時間(品質混在データ)
事前学習ステップ・バッチ: 3エポック · GPUあたりバッチ16
GPU・TPU時間: 800 (換算 · A100 8枚 × 100時間 (専門家データ学習; 125時間の混合品質ランはGPU数の再記述なし))
ファインチューニング: 実ロボットの少量データで追加ファインチューニング(データ規模・資源・時間は非公開)
データ種類: シミュレーション・合成
データ規模: QUARDエキスパート1,822,405 VLAセット(6タスク) + QUARD-Auto 440,732セット(失敗データ、4タスク) + 実ロボット少量(規模記載なし)
主要データセット: QUARD; QUARD-Auto
タスク・評価: QUARD 6スキルのシミュレーション平均0.60(QUART 0.44): Distinguish 0.82, Go to 0.80, Go avoid 0.59, Go through 0.57, Crawl 0.49, Unload 0.33; 実ロボットは定性結果(go to the computerなど)のみ
ロボット: Unitree Go2四足(12関節) + 前面RealSense D435; シミュレーションはIsaacGym

強化学習: 使用 (VLAのRL事後学習) · Fuyu-8BベースのVLA(LoRAエキスパート)を離散Q関数としてオフラインRL学習(ベルマン更新・保守的項・成功時1の疎報酬); 下位はWalk These Ways RL方策
強化学習の根拠: https://arxiv.org/abs/2503.08007
ベース制御: 四足歩行 (指令・潜在 → RL歩行制御器) · VLAが12次元の離散指令トークンを出力 → Walk These Ways RL方策が関節を制御

主な特徴: Fuyu-8Bに多数のLoRAエキスパートを疎なMoEとして組み込み、VLAをQ関数とみなして成功・失敗が混在する自動収集データでオフラインRL学習した四足VLAである。6スキルのシミュレーション平均成功率0.60でQUART(0.44)などのベースラインを上回り、失敗データの追加がRLを通じて性能を高めた。
備考: 専門家数・LoRA rank・Top-K値は記載なし; 「バックボーン凍結・LoRAのみ学習」の記述とFFN→MoE転換の記述が混在; 疎な報酬(成功時1)+保守的正則化(α=0.5); 推論速度は記載なし; コード・重みの公開リンクなし。ベース: GeRM: A Generalist Robotic Model with Mixture-of-experts for Quadruped Robot (arXiv 2403.13358) — GeRMのQ関数学習損失とQUARD-Autoデータをそのまま活用(同グループの四足MoEモデル)
検証: 確認