VLA ギャラリー / モデル一覧 / モバイルマニピュレーション

MoManipVLA

Beijing University of Posts and Telecommunications·Nanyang Technological University·Tsinghua University · 2025-03

VLAモバイルマニピュレーション7B離散トークン

固定ベース用の事前学習VLAが出した末端waypointを実現可能にするベースwaypointを二重最適化で見つけ、VLAをモバイルマニピュレーションへ転移する。

論文

分類: モバイルマニピュレーション
タイプ: VLA
発表: 2025-03
機関: Beijing University of Posts and Telecommunications·Nanyang Technological University·Tsinghua University
重み公開: なし
パラメータ: 7B (OpenVLA-7B)

バックボーンLLM: Llama 2 7B · OpenVLA-7B構成
ビジョンエンコーダ: DINOv2 + SigLIP (OpenVLA内蔵)
アクションヘッド: OpenVLA行動トークン → 手先waypoint; ベースwaypoint・手先軌跡は二重最適化 (離散トークン)
チャンク: 非公開
制御周期: 非公開 (実環境でステップあたり約0.58–0.59秒)
構造の原文要約: OpenVLA-7B(LoRAファインチューニング)がRGB・腕の固有感覚・言語指示から手先waypointを予測 → 二重(bi-level)最適化: 上位はベースwaypoint、下位は手先軌跡を選択(到達性・平滑性・衝突コスト λ 10.0・1.0・0.6、Dual Annealing + SLSQP) → 腕関節はPinocchio IK; チャンク・周波数は非公開

事前学習アクセラレータ: 該当なし (公開OpenVLA-7Bを使用)
事前学習期間: 該当なし
事前学習ステップ・バッチ: 該当なし
GPU・TPU時間: 非公開
ファインチューニング: RTX 3090 4枚、LoRA 10Kエポック(シミュレーションデモ200エピソード)、時間・バッチは非公開; 実環境はエキスパートエピソード50個でファインチューニング
データ種類: シミュレーション・合成 / 実ロボットのテレオペレーション†
データ規模: シミュレーションpick-and-placeデモ200エピソード(OVMMヒューリスティックベースラインで収集); 実環境の専門家エピソード50件
主要データセット: OVMMシミュレーションのエキスパート軌跡(独自収集)
タスク・評価: OVMM(シミュレーションシーン60個) 成功率15.8%・部分成功49.4% (KUZHUM 11.6%・38.2%、UniTeam 9.2%、OVMM RL 1.2%); 実環境3タスク各10回: Stack Block 30%、Open Drawer 10%、Put in Bowl 40%
ロボット: シミュレーション Hello Robot Stretch(OVMM); 実機 hexman echo plus車輪型ベース + RM65アーム、RealSense T265でベース姿勢を追跡

強化学習: 不使用 · 模倣学習(OpenVLA LoRAファインチューニング) + 非学習の最適化
ベース制御: 車輪型 (計画・最適化で移動を決定) · ベースwaypointを二重最適化で計算して並進・回転駆動、固定ベース用VLAが手先waypointを出力し腕はIKで追従

主な特徴: 固定ベース用の事前学習VLAが出した末端waypointを実現可能にするベースwaypointを二重最適化で見つけ、VLAをモバイルマニピュレーションへ転移する。OVMMで成功率15.8%と従来最高(11.6%)より4.2%p高く、実環境への配備にはエキスパートエピソード50個のみを使った。
備考: ベースは学習方策ではなく最適化で駆動(学習部分はOpenVLA LoRA適応)。要旨の'50 training cost'は本文上エキスパートエピソード50件で、プロジェクトページは'50% training cost'と表記。実データの収集方式は記載なし。表2の遅延693.1は単位の記載なし。コードは'Coming Soon'(2026-10確認)、重みは非公開。CVPR 2025。ベース: OpenVLA: An Open-Source Vision-Language-Action Model (arXiv 2406.09246) — 事前学習済みOpenVLA-7Bを手先waypoint生成器として使用
検証: 確認