VLA 图库 / 模型列表 / 导航

TrackVLA

Peking University·Galbot·Beihang University·Beijing Normal University·BAAI · 2025-05

VLA导航7Bdiffusion

具身视觉追踪VLA：在共享LLM之上并行设置用于目标识别的语言头和用于轨迹规划的基于anchor的diffusion头，联合学习识别与追踪轨迹规划。

论文

TrackVLA: Embodied Visual Tracking in the WildarXiv 2505.23189

概述

分类

导航

类型

VLA

发布

2025-05

机构

Peking University·Galbot·Beihang University·Beijing Normal University·BAAI

权重公开

否

参数

7B (基于Vicuna-7B；总体数值未注明)

架构

主干LLM

Vicuna-7B

视觉编码器

EVA-CLIP (冻结)

动作头

基于anchor的diffusion头 (DiT，DDIM 2步)航点 + 语言头(感知) (diffusion)

动作块

航点10个

控制频率

10 FPS

架构原文摘要

EVA-CLIP(冻结) + 2层MLP投影器 + Vicuna-7B；当前帧64 token·历史帧4 token(32帧窗口)；跟踪时由基于anchor的diffusion头(DiT 12层·hidden 768·12头，anchor 40个，DDIM 2步)生成10个航点(x, y, θ)，识别时用语言建模头；真实环境10 FPS

训练

预训练加速器

H100 24张

预训练时长

约15小时

预训练步数·批量

1个epoch · 总批量196 (lr 2e-5余弦)

GPU·TPU-小时

360 (明示 · H100-小时（"totaling 360 GPU hours"）)

微调

不适用

数据类型

仿真·合成 / 网络视觉-语言

数据规模

共1.7M：具身视觉跟踪855K(4.1节为885K) + 视频QA 855K(人物识别362K + 开放式VQA 493K)

主要数据集

EVT-Bench(Habitat 3.0，HM3D·MP3D 804个场景，人物化身100个)；SYNTH-PEDES；公开VQA

任务·评估

EVT-Bench SR 单目标85.1%·干扰目标57.6%·模糊目标50.2%；Gym-UnrealCV零样本SR 1.00(单个)·0.91(干扰物)·1.00(未知物体)；真实世界按难度各10次SR 100%·90%·70%(商用跟踪无人机DJI Flip 100%·70%·50%)

机器人

Unitree Go2四足 + RealSense D455(640×480，HFOV 90°)；pure pursuit闭环跟踪，LiDAR elastic band避障

推理

推理设备·速度

远程服务器RTX 4090，10 FPS；动作模型(Ours-Base) 13 ms；内存未公开

推理显存

未公开

权重 bf16（计算）

14 GB

运行位置

远程服务器 (RTX 4090)

强化学习与底盘

强化学习

未使用 · 仅模仿学习（SFT）

底盘控制

四足 (航点 → 跟踪控制器) · VLA输出航点轨迹 → pure pursuit闭环跟踪(同时进行基于LiDAR的避障)

备注

核心特点

具身视觉追踪VLA：在共享LLM之上并行设置用于目标识别的语言头和用于轨迹规划的基于anchor的diffusion头，联合学习识别与追踪轨迹规划。用自建EVT-Bench仿真追踪数据和1.7M识别数据训练，在零样本Gym-UnrealCV和真实环境中以10 FPS实现稳健追踪。

备注

跟踪样本数855K vs 885K正文不一致；TrackVLA权重未公开(仅公开EVT-Bench和Uni-NaVid评估代码·权重)；EVA-CLIP·Vicuna-7B用预训练权重初始化；CoRL 2025。

核验

已确认