Mobility VLA

Google DeepMind · 2024-07

VLAナビゲーション非公開その他

環境デモのツアー動画全体を長コンテキストVLM(Gemini 1.5 Pro)に入れてテキスト・画像指示に合う目標フレームを探し、同じツアーで作ったトポロジカルグラフで低レベルのウェイポイントを計画する、学習不要の階層型ナビゲーション方策である。

論文

バックボーンLLM: Gemini 1.5 Pro (クラウドAPI)
ビジョンエンコーダ: Gemini 1.5 Pro内蔵 (詳細非公開)
アクションヘッド: 目標フレームインデックス → トポロジカルグラフのウェイポイント (Δx · Δy · Δθ) (その他)
チャンク: なし (1ステップウェイポイント)
制御周期: 上位クエリあたり10–30秒 · 下位 0.19秒/ステップ(シミュレーション)
構造の原文要約: 上位: Gemini 1.5 Pro長文脈VLMがツアー動画948フレーム(1 Hz)全体 + マルチモーダル指示を受け取り目標フレームのインデックスを出力(クエリあたり10–30秒、クラウド) / 下位: COLMAPベースのトポロジカルグラフ最短経路 → ロボット中心のウェイポイント行動(Δx, Δy, Δθ) → MPC追従; 下位方策 0.19秒/ステップ(シミュレーション)

事前学習アクセラレータ: 該当なし (学習なし、Gemini 1.5 Pro APIを使用)
事前学習期間: 該当なし
事前学習ステップ・バッチ: 該当なし
GPU・TPU時間: 非公開
ファインチューニング: 該当なし
データ種類: 実ロボットのテレオペレーション
データ規模: 学習データなし; 環境コンテキストとしてゲームパッド遠隔操作のツアー動画948フレーム(約16分、1 Hz)を使用
主要データセット: 学習データセットなし; 独自のMINT指示(クラウドソーシング57個など)で評価
タスク・評価: 実オフィスでの目標探索SR: 推論不要 95%・推論必要 86%・小物体 42%・マルチモーダル 90%(Table 3); エンドツーエンドSR 80%・80%・40%・85%、SPL 0.59・0.69・0.38・0.64(Table 2、カテゴリ別指示5個×開始点4個); シミュレーションのエンドツーエンドSR 90%・SPL 0.84; 家庭型環境(スマートフォンによるツアー)で試験
ロボット: 車輪型モバイルマニピュレーター(機種は記載なし)、RGBカメラのみ使用

推論デバイス・速度: VLMはクラウド実行(呼び出しごとにツアー画像948枚をアップロード)、目標インデックス探索クエリあたり10–30秒; 下位方策0.19±0.047秒/ステップ(シミュレーション); オンボード演算要求は小さい
推論メモリ: 非公開
重み bf16(計算): 非公開
実行場所: クラウド (Gemini 1.5 Pro) + ロボットMPC

強化学習: 不使用 · 学習なし (Gemini 1.5 Proゼロショット + トポロジカルグラフ計画)
ベース制御: 車輪型 (ウェイポイント → 追従制御器) · VLMが目標フレームを選択 → トポロジカルグラフ経路のウェイポイント(Δx・Δy・Δθ)をMPCで追従

主な特徴: 環境デモのツアー動画全体を長コンテキストVLM(Gemini 1.5 Pro)に入れてテキスト・画像指示に合う目標フレームを探し、同じツアーで作ったトポロジカルグラフで低レベルのウェイポイントを計画する、学習不要の階層型ナビゲーション方策である。836 m²の実オフィスで推論が必要な指示・マルチモーダル指示の目標探索成功率86%・90%を報告し、既存手法よりそれぞれ26%・60%高めた。
備考: 86%・90%は目標探索率(Table 3)で、エンドツーエンド成功率(Table 2)は推論必要80%・マルチモーダル85%と記述に差がある; アーキテクチャはGemini 1.5レポートのMoE Transformerの記述に基づく; Geminiのパラメータ・推論ハードウェアは非公開; コード・重みは非公開。
検証: 確認