TIC-VLA

University of California, Los Angeles (UCLA) · 2026-02

VLAナビゲーション非公開回帰

遅いVLM推論の遅延した状態と明示的な遅延情報(推論・経過時間、自己運動)を条件として、速いアクション方策が非同期で制御するthink-in-control VLAである。

論文

バックボーンLLM: Qwen2.5-0.5B · InternVL3-1B構成
ビジョンエンコーダ: InternViT-300M (InternVL3-1B内蔵、共有ビジョンエンコーダ)
アクションヘッド: 連続3次元行動チャンクのMLP回帰 (積分軌跡のsmooth L1) (回帰)
チャンク: 3秒の予測ホライズン (T=30ステップ)
制御周期: 10 Hz (VLM 0.5 Hz)
構造の原文要約: 共有ビジョンエンコーダ + InternVL3-1B VLM(低速推論0.5 Hz、遅延した最終層KVキャッシュをMLP射影) + Transformerアクションエキスパート(学習型アクションクエリが現在の視覚トークン・遅延VLMキャッシュ・ロボット状態・遅延Δt・自己運動Δpにcross-attention) → MLPで連続3次元行動チャンクを出力、積分した3秒軌跡の目標点を実行、10 Hz

事前学習アクセラレータ: L40S 8枚 (VLM SFT、DDP)
事前学習期間: 非公開
事前学習ステップ・バッチ: VLM SFTはGPUあたりバッチ2(×8枚)・lr 2e-5、アクションエキスパートはGPUあたりバッチ16・lr 2e-4; 10エポック・ウォームアップ1,000ステップ(Table 8、段階区別なし); 総ステップは非公開
GPU・TPU時間: 非公開
ファインチューニング: PPOオンラインRL: L40S 1枚、400 iteration(3タスク×3環境); 時間は非公開
データ種類: 実ロボットのテレオペレーション / シミュレーション・合成
データ規模: SCAND 8.7時間 + GND 11時間以上 + DynaNav 5.1時間(合計24.8時間以上); CoT・指示はGPT-5による自動アノテーション; サンプル・エピソード数は非公開
主要データセット: SCAND; GND; DynaNav(自前のIsaac Sim)
タスク・評価: DynaNav(85テスト、倉庫・病院・オフィス・歩道) SR 55.29%・SPL 50.29・衝突率28.24%(RLなしでSR 47.06%; NaVILA 28.24%、Uni-NaVid 22.35%、点目標NavDP 54.12%); 実機4課題×5回 SR 0.85(RTX 4060)・0.75(Orin NX)・0.80(A6000)、DualVLN 0.50・NaVILA 0.35
ロボット: 実ロボット Unitree Go2四足(前方RGB); シミュレーション DynaNav Nova Carter車輪型・Boston Dynamics Spot四足

推論デバイス・速度: アクション方策/VLMの推論遅延: RTX 4060ノートPC(50W) 85.73/3430.73 ms、Jetson Orin NX(25W) 120.27/4831.73 ms、RTX A6000 32.70/1681.66 ms; シミュレーション(L40S) アクション10 Hz・VLM 0.5 Hz; メモリは非公開
推論メモリ: 非公開
重み bf16(計算): 非公開
実行場所: エッジGPU (Jetson Orin NX・RTX 4060ノートPC)

強化学習: 使用 (VLAのRL事後学習) · 模倣学習の後、アクション方策のみPPOオンラインRL(Isaac Labの動的歩行者環境、ビジョンエンコーダ・LMは凍結)
強化学習の根拠: https://arxiv.org/html/2602.02459v2
ベース制御: 車輪型·四足歩行 (ウェイポイント → 追従制御器) · アクション方策が連続行動チャンクを出力 → 積分した短期軌跡の目標点にロボットが追従(シミュレーションでは制御器が平滑な速度指令(v, ω)を生成、実ロボットの低レベル指令方式は記載なし); 実ロボットGo2、シミュレーションNova Carter・Spot

主な特徴: 遅いVLM推論の遅延した状態と明示的な遅延情報(推論・経過時間、自己運動)を条件として、速いアクション方策が非同期で制御するthink-in-control VLAである。学習時に0–10秒の推論遅延を注入しPPOでファインチューニングして数秒の遅延でも10 Hz制御を維持し、DynaNav SR 55.29%で既存VLA(NaVILA 28.24%)を上回った。
備考: ICML 2026。チェックポイント・推論データセット・DynaNav・RLスクリプトを公開(HF handsomeYun/TIC-VLAデータセットリポジトリ)。総パラメータ・学習時間は非公開。データ時間は3データセットの明示値の合計(GNDは'over 11 hours'のため下限)。SCANDは人のテレオペレーションによるデモ(SCAND論文要旨)、GNDの収集方式は未確認。実機の低レベル指令方式は記載なし。
検証: 修正反映