VLA 图库 / 模型列表 / 导航

ViNT

UC Berkeley · 2023-06

VA导航31M回归

用扩展GNM数据混合的多机器人行驶数据训练31M Transformer策略，并将目标token替换为面向GPS坐标·路线指令等其他目标模态的soft prompt来适配。

论文

ViNT: A Foundation Model for Visual NavigationarXiv 2306.14846

概述

分类

导航

类型

VA

发布

2023-06

机构

UC Berkeley

权重公开

是

参数

31M (策略；扩散subgoal模型318M另计)

架构

主干LLM

无

视觉编码器

EfficientNet-B0 (观测 / 观测+目标early fusion)

动作头

航点5个 + 时间距离MLP回归 (回归)

动作块

航点5个

控制频率

4 Hz

架构原文摘要

EfficientNet-B0观测编码器 + 观测·目标通道拼接(early fusion)目标编码器 → 解码器式Transformer 4层·4头(512维，过去5+当前观测token + 目标token) → MLP：5个相对航点 + 时间距离；85×64 RGB；以4 Hz执行·PD跟踪；探索时318M图像扩散模型提出subgoal + 拓扑图

训练

预训练加速器

V100 8张 (表6，代表配置)；扩散模型TPU v4-8板

预训练时长

30小时 (策略)；扩散模型30小时

预训练步数·批量

30个epoch · 批量300 (策略)；扩散250k步 · 批量128

GPU·TPU-小时

240 (换算 · V100 8张 × 30小时 (表6'代表性配置'脚注；扩散模型TPU v4-8 × 30小时另计))

微调

适应新环境·embodiment·目标模态(GPS·路径指令)：lr 1e-4·5 epoch，约1小时数据；GPU·时长未公开

数据类型

真实机器人遥操作 / 真实机器人自主行驶日志

数据规模

表7：数据集11个共160h中训练使用80h；机器人平台8种(正文)

主要数据集

RECON; GoStanford; SCAND; TartanDrive; NeBula; SACSoN; BDD; CoryHall; Berkeley; Seattle

任务·评估

无方向目标到达成功率 室内 0.94·室外 1.00（End-to-End BC 0.72·0.44）；卫星引导搜索成功 1.00·SPL 0.94（ViKiNG 0.77·0.68）；适应成功率 图像 0.82·位置 0.89·路径指令 0.72

机器人

Vizbot·LoCoBot·Clearpath Jackal轮式，Unitree Go1四足 (正文提及含无人机共5种)；Go1·LoCoBot不在训练数据中

推理

推理设备·速度

以4 Hz运行，PD控制器跟踪航点 (论文)；README部署示例LoCoBot + Jetson Orin Nano；延迟未公开

推理显存

未公开

权重 bf16（计算）

0.1 GB

运行位置

机载Jetson Orin Nano (LoCoBot，README)

强化学习与底盘

强化学习

未使用 · 仅最大似然模仿学习 (RL仅出现在基线中)

底盘控制

轮式·四足 (航点 → 跟踪控制器) · 策略输出5个航点 → PD控制器以4 Hz跟踪生成速度指令；机器人只需底层速度跟踪控制器

备注

核心特点

用扩展GNM数据混合的多机器人行驶数据训练31M Transformer策略，并将目标token替换为面向GPS坐标·路线指令等其他目标模态的soft prompt来适配。结合扩散subgoal提议与图搜索完成公里级探索，在训练数据中未出现的Go1四足·LoCoBot上也能零样本运行。

备注

脚注说明表6训练资源为'代表性配置'，实际使用了多种GPU配置。数据规模表述不一(摘要'hundreds of hours'，正文100小时以上，表7说明150小时以上，合计160h/使用80h)。公开的vint.yaml为100 epoch·批量256，与论文不同。权重在Google Drive公开。CoRL 2023。

核验

已确认