VLA ギャラリー / モデル一覧 / モバイルマニピュレーション

PanoVLA

Beihang University·Beijing Institute for General Artificial Intelligence(BIGAI)·Shandong University·Johns Hopkins University·Delta Intelligence · 2026-08

VLAモバイルマニピュレーション非公開flow matching

π0.5にパノラマエキスパートを挟んだMixture-of-Transformersで360°パノラマの大域的空間コンテキストをローカルカメラビューと融合し、単一のVR全身テレオペレーションで車輪型双腕ロボットのデータを集める。

論文

Learning Panorama-Aware VLA for Mobile Manipulation with Whole-Body TeleoperationarXiv 2608.02257

概要

分類

モバイルマニピュレーション

タイプ

VLA

発表

2026-08

機関

Beihang University·Beijing Institute for General Artificial Intelligence(BIGAI)·Shandong University·Johns Hopkins University·Delta Intelligence

重み公開

未確認

パラメータ

非公開 (パノラマエキスパート 100M; π0.5バックボーン Gemma-2B)

構造

バックボーンLLM

Gemma-2B · π0.5 VLM構成

ビジョンエンコーダ

SigLIP (ローカルビュー) + MTPano (パノラマ、凍結)

アクションヘッド

flow matchingアクションエキスパート (π0.5を継承) (flow matching)

チャンク

32ステップ

制御周期

非公開 (データ 25 Hz)

構造の原文要約

π0.5ベースの3エキスパートMixture-of-Transformers: VLMエキスパート(SigLIPローカルビュー + Gemma-2B) + パノラマエキスパート100M(二重魚眼 → 正距円筒パノラマ、凍結MTPano特徴) + flow matchingアクションエキスパート; 17次元相対行動(双腕関節・グリッパー14 + ベース平面速度・yaw速度3)の32ステップチャンク; データ25 Hz

学習

事前学習アクセラレータ

該当なし (π0.5から微調整)

事前学習期間

該当なし

事前学習ステップ・バッチ

該当なし

GPU・TPU時間

非公開

ファインチューニング

A100 4枚、30Kステップ・GPUあたりバッチ64(bf16、lr 5Kステップのウォームアップ後5e-5固定)、LM・MTPano凍結、学習時間は非公開

データ種類

実ロボットのテレオペレーション

データ規模

4課題 × 200 = 800軌跡、約5.5時間・約500kフレーム(25 Hz、軌跡あたり20–30秒)

主要データセット

独自のVR全身テレオペレーションデータセット(Move Pen・Move Block・Open Curtain・Wipe Table)

タスク・評価

実機4タスク各15回: Move Pen SR 86.7%、Move Block 93.3%、Open Curtain 66.7%、Wipe Table 46.7%; 平均SCR 91.3%・SR 73.4% (π0.5 58.6%・30.0%、π0.5 w/ Pano 80.8%・56.7%)

ロボット

車輪型双腕: RANGER MINI 3ベース + Agilex PIPER 6-DoFアーム2本・平行グリッパー; 上部360°パノラマカメラ・前方RGB・手首カメラ2台

推論

推論デバイス・速度

実ロボット評価時はRTX 4090 1枚で閉ループ実行; 遅延・制御周波数は非公開

推論メモリ

非公開

重み bf16(計算)

非公開

実行場所

RTX 4090 1枚

強化学習・ベース

強化学習

不使用 · 模倣学習(flow matching)のみ

ベース制御

車輪型 (ベース速度・姿勢を直接出力) · 方策がベース平面速度・yaw速度(3-DoF)を双腕関節と共に32ステップチャンクで直接出力

備考

主な特徴

π0.5にパノラマエキスパートを挟んだMixture-of-Transformersで360°パノラマの大域的空間コンテキストをローカルカメラビューと融合し、単一のVR全身テレオペレーションで車輪型双腕ロボットのデータを集める。実4タスクで平均段階完了率91.3%・最終成功率73.4%となり、π0.5(58.6%・30.0%)を大きく上回った。

備考

テレオペレーション: VRヘッドセット・両手コントローラー・腰/足首トラッカー3個 → SMPL復元 → GMRリターゲット(ベースは3-DoF平面の仮想floating base)。π0.5チェックポイント名・総パラメータ・デノイジングステップ・学習時間は非公開。論文にコード・データ・重みの公開への言及なし。ベース: π0.5: a Vision-Language-Action Model with Open-World Generalization (arXiv 2504.16054) — π0.5のデュアル専門家バックボーンにパノラマ専門家を挿入して構成

検証

確認