GR-3

ByteDance Seed · 2025-07

VLA产业界模型4Bflow matching

联合学习机器人轨迹、网络视觉-语言数据和VR人类轨迹，泛化到新物体·指令。

论文

主干LLM: Qwen2.5-3B · Qwen2.5-VL-3B配置
视觉编码器: Qwen2.5-VL ViT
动作头: flow matching action DiT (MoT) (flow matching)
动作块: k步 (未公开)
控制频率: 未公开
架构原文摘要: Qwen2.5-VL-3B-Instruct + action DiT(层数为VLM一半), mixture-of-transformers;flow matching,将k长度action chunk表示为k个token(k未公开),action DiT中用causal attention

预训练加速器: 未公开
预训练时长: 未公开
预训练步数·批量: 未公开
GPU·TPU-小时: 未公开
微调: 未公开
数据类型: 真实机器人遥操作 + 网络视觉-语言 + 动作捕捉(VR人类轨迹)
数据规模: pick-and-place 35k traj·101个物体·69 h；桌面整理约101 h；布料操作116 h；VR人类轨迹每小时约450条(遥操作约250条)，unseen 45个物体每个最多10条
主要数据集: 自有ByteMini遥操作数据，网络VL(captioning·VQA·grounding·interleaved grounded captioning)，PICO 4 Ultra Enterprise VR人类轨迹
任务·评估: pick-and-place unseen指令77.1%，unseen物体57.8%(人类轨迹10-shot时86.7%)；桌面整理指令遵循97.5% vs π0 53.8%；布料操作平均task progress 86.7/83.9/75.8%
机器人: ByteMini 22-DoF双臂移动机器人(7-DoF臂，球形腕，头部·双腕RGBD)

强化学习: 未使用 · 模仿学习 + 网络VL·VR人类轨迹联合训练。应用RL的版本为GR-RL
底盘控制: 轮式 (直接输出底盘速度/位姿) · 策略动作块端到端控制含移动底盘在内的机器人(除升降·头部外19 DoF)；在整理桌面·挂衣服中进行底盘移动·旋转

核心特点: 联合学习机器人轨迹、网络视觉-语言数据和VR人类轨迹，泛化到新物体·指令。为稳定训练，在注意力·FFN线性层后加入了RMSNorm。
备注: 数据时长仅按任务注明（69 h，约 101 h，116 h），没有合计语句，因此数值栏留空。arXiv第1页机构标注为'ByteDance'。未找到公开仓库（核查无法确认）。arXiv v1 2025-07-21。
核验: 已确认