TIC-VLA

University of California, Los Angeles (UCLA) · 2026-02

VLA导航未公开回归

以慢速VLM推理的延迟状态和显式延迟信息（推理·经过时间、自身运动）为条件，由快速动作策略异步控制的think-in-control VLA。

论文

主干LLM: Qwen2.5-0.5B · InternVL3-1B配置
视觉编码器: InternViT-300M (InternVL3-1B内置,共享视觉编码器)
动作头: 连续3维动作块MLP回归 (积分轨迹smooth L1) (回归)
动作块: 3秒预测时域 (T=30步)
控制频率: 10 Hz (VLM 0.5 Hz)
架构原文摘要: 共享视觉编码器 + InternVL3-1B VLM(慢速推理0.5 Hz，将延迟的最后一层KV缓存经MLP投影) + Transformer动作专家(可学习动作查询对当前视觉token·延迟VLM缓存·机器人状态·延迟Δt·自运动Δp做cross-attention) → 经MLP输出连续3维动作块，执行积分所得3秒轨迹的目标点，10 Hz

预训练加速器: L40S 8张 (VLM SFT, DDP)
预训练时长: 未公开
预训练步数·批量: VLM SFT每GPU批量2(×8张)·lr 2e-5，动作专家每GPU批量16·lr 2e-4；10个epoch·预热1,000步(Table 8，未区分阶段)；总步数未公开
GPU·TPU-小时: 未公开
微调: PPO在线RL: L40S单张,400 iteration(3项任务×3环境);时间未公开
数据类型: 真实机器人遥操作 / 仿真·合成
数据规模: SCAND 8.7小时 + GND 11小时以上 + DynaNav 5.1小时(合计24.8小时以上)；CoT·指令由GPT-5自动标注；样本·回合数未公开
主要数据集: SCAND; GND; DynaNav(自建Isaac Sim)
任务·评估: DynaNav(85个测试，仓库·医院·办公室·人行道) SR 55.29%·SPL 50.29·碰撞率28.24%(无RL时SR 47.06%；NaVILA 28.24%，Uni-NaVid 22.35%，点目标NavDP 54.12%)；真机4个任务×5次 SR 0.85(RTX 4060)·0.75(Orin NX)·0.80(A6000)，DualVLN 0.50·NaVILA 0.35
机器人: 真实机器人Unitree Go2四足(前视RGB)；仿真DynaNav Nova Carter轮式·Boston Dynamics Spot四足

推理设备·速度: 动作策略/VLM推理延迟：RTX 4060笔记本(50W) 85.73/3430.73 ms，Jetson Orin NX(25W) 120.27/4831.73 ms，RTX A6000 32.70/1681.66 ms；仿真(L40S)动作10 Hz·VLM 0.5 Hz；内存未公开
推理显存: 未公开
权重 bf16（计算）: 未公开
运行位置: 边缘GPU (Jetson Orin NX·RTX 4060笔记本)

强化学习: 使用 (VLA RL后训练) · 模仿学习后仅对动作策略进行PPO在线RL（Isaac Lab动态行人环境，视觉编码器·LM冻结）
强化学习依据: https://arxiv.org/html/2602.02459v2
底盘控制: 轮式·四足 (航点 → 跟踪控制器) · 动作策略输出连续动作块 → 机器人跟踪积分得到的短期轨迹目标点(仿真中控制器生成平滑速度指令(v, ω)，真实机器人底层指令方式未注明)；真实机器人Go2，仿真Nova Carter·Spot

核心特点: 以慢速VLM推理的延迟状态和显式延迟信息（推理·经过时间、自身运动）为条件，由快速动作策略异步控制的think-in-control VLA。训练时注入0–10秒推理延迟并用PPO微调，在数秒延迟下仍保持10 Hz控制，DynaNav SR 55.29%，超过现有VLA（NaVILA 28.24%）。
备注: ICML 2026。公开检查点·推理数据集·DynaNav·RL脚本(HF handsomeYun/TIC-VLA数据集仓库)。总参数·训练时间未公开。数据时长为三个数据集明示值之和(GND为'over 11 hours',故为下限)。SCAND为人类遥操作演示(SCAND论文摘要),GND采集方式未核实。真机底层指令方式未注明。
核验: 已反映修正