VLA ギャラリー / モデル一覧 / モバイルマニピュレーション

SG-VLA

Lambda, Inc.·UC San Diego · 2026-03

VLAモバイルマニピュレーション1.3B離散トークン

ロボットの大域姿勢・関節構成・把持成功・目標物体姿勢・セグメンテーションマスクを復元する補助デコーダをVLAと段階的に共同学習し、空間groundingを強化する。

論文

バックボーンLLM: Qwen2.5-0.5B · Prismatic VLM構成
ビジョンエンコーダ: DINOv2 + SigLIP (Prismatic; RGB・深度マルチビュー)
アクションヘッド: 離散行動トークン + 補助デコーダ5種; 選択式flow matchingエキスパート100M (10ステップ) (離散トークン)
チャンク: 非公開(トークン経路) / flowヘッド 8ステップ中2を実行
制御周期: 非公開
構造の原文要約: Prismatic VLM(DINOv2 + SigLIP融合エンコーダ、Qwen2.5-0.5B LLM); ヘッド・ハンドのマルチビューRGB・深度・過去4ステップの履歴を入力; 13次元行動(ベース姿勢ΔX 3・トルソ高さ1・腕関節Δq 7・グリッパー2)を離散行動トークンで予測; 選択式flow matchingエキスパート100M(チャンク8のうち2を実行、デノイジング10ステップ); 補助デコーダ5種を共同学習

事前学習アクセラレータ: 該当なし (事前学習Prismatic VLMからタスクデータで直接学習)
事前学習期間: 該当なし
事前学習ステップ・バッチ: 該当なし
GPU・TPU時間: 非公開
ファインチューニング: A100 8枚、3段階(デコーダ適応→共同精錬→VLM凍結後にアクションヘッド単独)、6サブ課題 10エポック(分割デコーダモデルはpick・place 5エポック)・グローバルバッチ512・Adam lr 2e-5固定、時間は非公開
データ種類: シミュレーション・合成
データ規模: 44Kエピソード・1.4M transition
主要データセット: ManiSkill-HABデータ生成パイプライン(TidyHouse・PrepareGroceries・SetTable)
タスク・評価: ManiSkill-HAB(TidyHouse・PrepareGroceries・SetTable → Pick・Place・Open・Close) タスクあたり30回: 平均0.73(補助タスクなし0.60、単純な共同学習0.51、flowヘッド0.69; OpenVLA 0.04、マルチビュー+深度OpenVLA 0.32); 実ロボット実験なし
ロボット: ManiSkill-HABシミュレーションのモバイルマニピュレータ(MS-HABではFetch; SG-VLA論文はロボット名記載なし)、ベース・トルソ・7関節アーム・グリッパーの13次元制御

強化学習: 一部 (RLデータの活用) · 学習データをManiSkill-HAB生成パイプライン(RL方策デモ + ルールベースフィルタリング)で生成; 方策自体は模倣学習
強化学習の根拠: https://arxiv.org/abs/2412.13211
ベース制御: 車輪型 (ベース速度・姿勢を直接出力) · 方策がベース姿勢変化(ΔX 3次元)を胴体・アーム・グリッパと共に13次元行動として直接出力(シミュレーション)

主な特徴: ロボットの大域姿勢・関節構成・把持成功・目標物体姿勢・セグメンテーションマスクを復元する補助デコーダをVLAと段階的に共同学習し、空間groundingを強化する。ManiSkill-HAB家庭タスクの平均成功率0.73で、補助タスクのないマルチビュー・深度モデル(0.60)より22%高く、OpenVLA(0.04)を大きく上回った。
備考: シミュレーションのみ(結論で実世界への適用を今後の課題として言及)。論文にコード・重み公開の言及がなく、検索でもリポジトリは見つからず。履歴長の表記が'4 timesteps'と'4 actions'で混在。学習時間・推論速度は非公開。計算資源はLambdaの支援。ベース: Prismatic VLMs: Investigating the Design Space of Visually-Conditioned Language Models (arXiv 2402.07865) — 事前学習済みPrismatic VLMをバックボーンとして使用
検証: 確認