ViNT

UC Berkeley · 2023-06

VAナビゲーション31M回帰

GNMデータ混合を拡張したマルチロボット走行データで31M Transformer方策を学習し、目標トークンをGPS座標・経路指令など他の目標モダリティ用のsoft promptに置き換えて適応する。

論文

バックボーンLLM: なし
ビジョンエンコーダ: EfficientNet-B0 (観測 / 観測+目標 early fusion)
アクションヘッド: ウェイポイント5個 + 時間的距離のMLP回帰 (回帰)
チャンク: ウェイポイント5個
制御周期: 4 Hz
構造の原文要約: EfficientNet-B0観測エンコーダ + 観測・目標チャネル結合(early fusion)の目標エンコーダ → デコーダ型Transformer 4層・4ヘッド(512次元、過去5+現在の観測トークン + 目標トークン) → MLP: 相対ウェイポイント5個 + 時間的距離; 85×64 RGB; 4 Hzで実行・PD追従; 探索時は318M画像拡散モデルがsubgoalを提案 + トポロジカルグラフ

事前学習アクセラレータ: V100 8枚 (表6、代表構成); 拡散モデルはTPU v4-8ボード
事前学習期間: 30時間 (方策); 拡散モデル 30時間
事前学習ステップ・バッチ: 30エポック · バッチ300 (方策); 拡散 250kステップ · バッチ128
GPU・TPU時間: 240 (換算 · V100 8枚 × 30時間 (表6「代表構成」の脚注; 拡散モデルTPU v4-8 × 30時間は別))
ファインチューニング: 新環境・エンボディメント・目標モダリティ(GPS・経路命令)への適応: lr 1e-4・5エポック、1時間前後のデータ; GPU・時間は非公開
データ種類: 実ロボットのテレオペレーション / 実ロボットの自律走行ログ
データ規模: 表7: データセット11個の保有160hのうち学習に80h使用; ロボットプラットフォーム8種(本文)
主要データセット: RECON; GoStanford; SCAND; TartanDrive; NeBula; SACSoN; BDD; CoryHall; Berkeley; Seattle
タスク・評価: 無方向の目標到達成功率屋内 0.94・屋外 1.00 (End-to-End BC 0.72・0.44); 衛星誘導探索成功 1.00・SPL 0.94 (ViKiNG 0.77・0.68); 適応成功率画像 0.82・位置 0.89・経路指令 0.72
ロボット: Vizbot・LoCoBot・Clearpath Jackal車輪型、Unitree Go1四足 (本文はドローンを含む5種に言及); Go1・LoCoBotは学習データに含まれない

推論デバイス・速度: 4 Hzで実行、PD制御器がウェイポイントを追従 (論文); READMEのデプロイ例はLoCoBot + Jetson Orin Nano; 遅延は非公開
推論メモリ: 非公開
重み bf16(計算): 0.1 GB
実行場所: オンボード Jetson Orin Nano (LoCoBot、README)

強化学習: 不使用 · 最尤模倣学習のみ (RLはベースラインにのみ登場)
ベース制御: 車輪型·四足歩行 (ウェイポイント → 追従制御器) · 方策がウェイポイント5個を出力 → PD制御器が4 Hzで追従し速度指令を生成; ロボットには低レベル速度追従制御器のみ必要

主な特徴: GNMデータ混合を拡張したマルチロボット走行データで31M Transformer方策を学習し、目標トークンをGPS座標・経路指令など他の目標モダリティ用のsoft promptに置き換えて適応する。拡散subgoal提案とグラフ探索を組み合わせてキロメートル規模の探索を行い、学習データになかったGo1四足・LoCoBotでもゼロショットで動作した。
備考: 表6の学習リソースは「代表構成」で、複数のGPU構成を使ったと脚注に明記。データ規模の表記が異なる(要旨'hundreds of hours'、本文100時間以上、表7キャプション150時間以上、合計160h/使用80h)。公開vint.yamlは100エポック・バッチ256で論文と異なる。重みをGoogle Driveで公開。CoRL 2023。
検証: 確認