GNM

UC Berkeley·Toyota Motor North America · 2022-10

VAナビゲーション8.7M回帰

6種のロボットから集めた異質な走行データを正規化行動空間と時間コンテキストで統合し、単一の画像目標条件付きナビゲーション方策を学習する。

論文

バックボーンLLM: なし
ビジョンエンコーダ: MobileNetV2 ×2 (観測コンテキスト / 観測+目標)
アクションヘッド: ウェイポイント5個(x, y, yaw)の回帰 + 時間的距離ヘッド (回帰)
チャンク: ウェイポイント5個
制御周期: 4 Hz (デプロイ設定; 論文は記載なし)
構造の原文要約: MobileNetV2エンコーダ2個(過去5フレームをスタックした観測 / 観測+目標画像) → 埋め込み連結・FC 3層 → ヘッド2個: 正規化相対ウェイポイント5個(x, y, yaw変化)の回帰 + 目標までの時間的距離; 85×64 RGB; ロボットごとの低レベル制御器が追従

事前学習アクセラレータ: マルチGPU (種類・数は非公開)
事前学習期間: 非公開
事前学習ステップ・バッチ: バッチ 400–1200 (論文); 公開gnm_large設定は30 エポック · バッチ 400
GPU・TPU時間: 非公開
ファインチューニング: 該当なし (ロボット別微調整なしでデプロイ)
データ種類: 実ロボットのテレオペレーション / 実ロボットの自律走行ログ
データ規模: 60時間以上(アブストラクト・本文)/70時間(表I); 6ロボットプラットフォーム; データセット8個(本文)/9個(表I)
主要データセット: GoStanford; RECON; CoryHall; Berkeley; SCAND; Seattle; TartanDrive; NeBula
タスク・評価: 実ロボットの画像目標ナビゲーション成功率(GNM-Mid): LoCoBot 0.96・Tello 0.99・Vizbot 0.93・Jackal 0.94 (単一データセット GS 0.26・0.21・0.51・0.31、RECON 0.62・0.79・0.26・0.68); トポロジカルグラフベースの長距離ナビゲーション
ロボット: 評価: LoCoBot・Vizbot・Clearpath Jackalの車輪型、DJI Telloクアッドローター(地上1mの水平面に制限、飛行データの学習なし); 学習データ: 6種のロボットプラットフォーム

強化学習: 不使用 · 教師あり模倣学習のみ (行動・距離の2ヘッドを共同で教師あり学習)
ベース制御: 車輪型·飛行 (ウェイポイント → 追従制御器) · 方策が正規化相対ウェイポイント5個を出力 → ロボット別の低レベル制御器(PID・MPPIなど)が追従; Telloドローンは地上1mの水平面に制限

主な特徴: 6種のロボットから集めた異質な走行データを正規化行動空間と時間コンテキストで統合し、単一の画像目標条件付きナビゲーション方策を学習する。学習になかったTelloクアッドロータを含む4ロボットをロボット別の微調整なしで駆動し、単一データセット方策より一部のケースで最大5倍高い性能を示した。
備考: データ時間が本文60h・表I 70hで不一致、データセット数も8/9個で相違。パラメータ数はGNM論文になく、同じ研究チームのViNT論文付録に8.7Mと記載。Small/Mid/Largeは使用データセット2/4/6個の違いであり、モデルサイズの違いではない。チェックポイントはGoogle Driveで公開、コードはvisualnav-transformerに統合(READMEはLoCoBot+Jetson Orin Nanoの配備例)。ICRA 2023。
検証: 確認