LeLaN

UC Berkeley·Toyota Motor North America · 2024-10

VLAナビゲーション非公開回帰

YouTubeのツアー・人間の歩行動画とロボット走行データにSAM・VLM(CogVLM)・GPT-3.5で物体指示文を付け、深度推定で物体位置をラベリングして言語条件付き物体ナビゲーション方策を学習する。

論文

バックボーンLLM: なし
ビジョンエンコーダ: ResNet-FiLM (プロンプト条件付け; 履歴版はEfficientNet-B0)
アクションヘッド: 線速度・角速度 24ステップ回帰 (回帰)
チャンク: 24ステップ (最初のステップを実行)
制御周期: 非公開 (行動あたり0.054秒)
構造の原文要約: 固定CLIPテキストエンコーダ(ViT-B/32) + プロンプトFiLM条件付きResNet視覚エンコーダ(履歴使用版はEfficientNet-B0) → Transformer + MLP → 線速度・角速度24ステップ系列を回帰、最初のステップのみ実行(receding horizon)

事前学習アクセラレータ: RTX 4090 1枚 (i9・96GB RAMワークステーション)
事前学習期間: 非公開
事前学習ステップ・バッチ: バッチ 256 (エポック・ステップは非公開; 公開lelan.yamlは100 エポック)
GPU・TPU時間: 非公開
ファインチューニング: 衝突回避バリアント: 衝突損失なしで事前学習後、NoMaD監督の衝突損失で微調整 (README); GPU・時間は非公開
データ種類: 実ロボットのテレオペレーション / 実ロボットの自律走行ログ / Web動画 / 人の動画
データ規模: 表1: 屋内ロボット31.0h(画像111,570) · YouTubeツアー82.5h(593,727) · 人間歩行15.7h(113,277); プロンプト3.4M・14.6M・2.3M
主要データセット: GO Stanford 2・4; SACSoN(HuRoN); YouTube Tour(32か国); Human-walking(自社収集、3か国11都市)
タスク・評価: 実環境の言語指定物体への到達成功率0.89 (OWL-v2+ZoeDepth 0.67、CoW 0.58、OWL-ViT+ViNT 0.47、OpenFMNav 0.43); ノイズ入りプロンプト0.88; 動的物体0.83; 障害物環境で衝突損失適用時0.60 (OWL-v2+ZoeDepth 0.40)
ロボット: 車輪型ロボット(README: RoombaベースのVizbot; RICOH Theta S 前方魚眼)、Unitree Go1四足; D435iなどカメラのクロステスト

強化学習: 不使用 · 教師あり学習のみ (NoMaDの衝突回避軌跡を損失として蒸留)
ベース制御: 車輪型·四足歩行 (ベース速度・姿勢を直接出力) · 方策が並進速度・角速度の24ステップ系列を出力し、最初のステップのみ/cmd_velで実行 (receding horizon)

主な特徴: YouTubeのツアー・人間の歩行動画とロボット走行データにSAM・VLM(CogVLM)・GPT-3.5で物体指示文を付け、深度推定で物体位置をラベリングして言語条件付き物体ナビゲーション方策を学習する。実環境ゼロショット成功率0.89でOWL-v2+ZoeDepth(0.67)・CoW(0.58)などモジュール型ベースラインより高く、Jetson Orinで行動あたり0.054秒で動作する。
備考: データ総量は要旨で130時間以上(貢献リストでは120時間以上; 表1の3項目合計 129.2h)。パラメータ・学習時間は非公開。READMEのarXivバッジは別の論文(2407.08693)を指しており、実際の論文は2410.03603。長距離目標はOWL-ViT2ノード検索 + ViNTトポロジカルグラフと結合(README)。データ・重みを公開。CoRL 2024。
検証: 修正反映