VLA 图库模型列表图库

VLA 图库 / 模型列表 / 自回归与潜在动作VLA

TraceVLA

University of Maryland·Microsoft Research · 2024-12

VLA自回归与潜在动作VLA7B离散token

通过将点跟踪轨迹作为图像提示输入的visual trace prompting提升时空感知。

在图库中查看架构图论文 ↗

论文

TraceVLA: Visual Trace Prompting Enhances Spatial-Temporal Awareness for Generalist Robotic PoliciesarXiv 2412.10345

概述

分类
自回归与潜在动作VLA
类型
VLA
发布
2024-12
机构
University of Maryland·Microsoft Research
权重公开
是
参数
7B(基于OpenVLA)；4B Phi-3V变体

架构

主干LLM
Llama 2 7B (OpenVLA) / Phi-3-Vision 4B
视觉编码器
SigLIP + DINOv2 + CoTracker轨迹图像
动作头
256-bin token (离散token)
动作块
未公开
控制频率
未公开
架构原文摘要
OpenVLA(Prismatic-7B)或Phi-3-Vision 4B;叠加CoTracker视觉轨迹的额外图像输入,OpenVLA式离散动作token

训练

预训练加速器
不适用(7B从OpenVLA检查点、4B从Phi-3-Vision权重开始)
预训练时长
不适用
预训练步数·批量
不适用
GPU·TPU-小时
未公开
微调
7B：GPU 64张(README脚本，8节点×8)，在OpenVLA基础上追加5 epochs；Phi3-4B：H100 32张，30 epochs，batch 4096；时间未公开
数据类型
真实机器人遥操作(含视觉轨迹标注)
数据规模
约150K条轨迹 + WidowX-250演示120条
主要数据集
BridgeData V2, Fractal
任务·评估
SimplerEnv 137种设置47.7%(OpenVLA 40.2%)；真实WidowX-250 seen·unseen各4项任务
机器人
WidowX-250，SimplerEnv仿真

推理

推理设备·速度
OpenVLA速度 + 额外token约0.002 s,CoTracker(M=5)每步0.03 s
推理显存
未公开
权重 bf16（计算）
14 GB
运行位置
未公开

强化学习与底盘

强化学习
未使用 · 仅使用模仿学习（行为克隆）
底盘控制
固定 · 无底盘控制（WidowX机械臂）

备注

核心特点
通过将点跟踪轨迹作为图像提示输入的visual trace prompting提升时空感知。在SimplerEnv 137种设置中达到47.7%，超过OpenVLA(40.2%)。
备注
用轨迹标注数据继续训练OpenVLA，因此没有单独的机器人预训练。参数(B)以7B变体为准。有一次提取结果显示v3 PDF所属机构中也有Capital One†。
核验
已确认

同类其他模型