TrackVLA

Peking University·Galbot·Beihang University·Beijing Normal University·BAAI · 2025-05

VLAナビゲーション7Bdiffusion

共有LLMの上に目標認識用の言語ヘッドと軌跡計画用のanchorベースdiffusionヘッドを並列に置き、認識と追跡軌跡計画を併せて学習する身体性視覚追跡VLAである。

論文

分類: ナビゲーション
タイプ: VLA
発表: 2025-05
機関: Peking University·Galbot·Beihang University·Beijing Normal University·BAAI
重み公開: なし
パラメータ: 7B (Vicuna-7Bベース; 全体の数値は記載なし)

バックボーンLLM: Vicuna-7B
ビジョンエンコーダ: EVA-CLIP (凍結)
アクションヘッド: anchorベースdiffusionヘッド (DiT、DDIM 2ステップ)ウェイポイント + 言語ヘッド(認識) (diffusion)
チャンク: ウェイポイント10個
制御周期: 10 FPS
構造の原文要約: EVA-CLIP(凍結) + 2層MLPプロジェクタ + Vicuna-7B; 現在フレーム64トークン・過去フレーム4トークン(32フレームウィンドウ); 追跡時はanchorベースのdiffusionヘッド(DiT 12層・hidden 768・12ヘッド、anchor 40個、DDIM 2ステップ)がウェイポイント10個(x, y, θ)を生成、認識時は言語モデリングヘッド; 実環境10 FPS

事前学習アクセラレータ: H100 24枚
事前学習期間: 約15時間
事前学習ステップ・バッチ: 1エポック · 総バッチ196 (lr 2e-5 コサイン)
GPU・TPU時間: 360 (明示 · H100時間 ("totaling 360 GPU hours"))
ファインチューニング: 該当なし
データ種類: シミュレーション・合成 / Web視覚言語
データ規模: 計1.7M: 身体性視覚追跡855K(4.1節では885K) + 動画QA 855K(人物認識362K + オープンエンドVQA 493K)
主要データセット: EVT-Bench(Habitat 3.0、HM3D・MP3D 804シーン、人間アバター100体); SYNTH-PEDES; 公開VQA
タスク・評価: EVT-Bench SR 単一目標85.1%・妨害目標57.6%・曖昧目標50.2%; Gym-UnrealCV ゼロショットSR 1.00(単一)・0.91(妨害物)・1.00(未知物体); 実世界の難易度別10回 SR 100%・90%・70%(市販追跡ドローンDJI Flip 100%・70%・50%)
ロボット: Unitree Go2四足 + RealSense D455(640×480、HFOV 90°); pure pursuit閉ループ追従、LiDAR elastic band障害物回避

強化学習: 不使用 · 模倣学習(SFT)のみ
ベース制御: 四足歩行 (ウェイポイント → 追従制御器) · VLAがウェイポイント軌跡を出力 → pure pursuit閉ループ追従(LiDARベースの障害物回避を併用)

主な特徴: 共有LLMの上に目標認識用の言語ヘッドと軌跡計画用のanchorベースdiffusionヘッドを並列に置き、認識と追跡軌跡計画を併せて学習する身体性視覚追跡VLAである。自前のEVT-Benchシミュレーション追跡データと認識データ1.7Mで学習し、ゼロショットのGym-UnrealCVと実環境で10 FPSの頑健な追跡を示した。
備考: 追跡サンプル数855K vs 885Kで本文不一致; TrackVLA重みは非公開(EVT-BenchとUni-NaVidの評価コード・重みのみ公開); EVA-CLIP・Vicuna-7Bは事前学習重みで初期化; CoRL 2025。
検証: 確認