τ0-VLA (tau-0)

Shanghai Innovation Institute·Agibot Finch·CUHK · 2026-08

VLA2026年新增约3.0Bflow matching

具有执行记忆的上层策略用world model预测候选子任务的结果视频，并用价值模型评估进行束搜索的test-time computation分层VLA。

论文

分类: 2026年新增
类型: VLA
发布: 2026-08
机构: Shanghai Innovation Institute·Agibot Finch·CUHK
权重公开: 是
参数: 约3.0B(下层策略，HF safetensors BF16 3,015,404,136；主干Qwen3.5-2B)；上层策略为基于Qwen3.5-9B的3个模型 + Step1X-Edit world model，系统总量未注明

主干LLM: Qwen3.5-2B (下层策略VLM；上层策略为Qwen3.5-9B)
视觉编码器: Qwen3.5-2B内置视觉(多视角RGB)
动作头: MoT动作专家条件flow matching(带掩码，Euler 10步) → 40维动作块 (flow matching)
动作块: 30步 × 40维 (LIBERO检查点10，执行8)
控制频率: 约30 Hz控制回路 (上层约每1秒更新子任务)
架构原文摘要: Qwen3.5-2B VLM + Mixture-of-Transformers动作专家(逐层联合注意力) → 条件flow matching(带掩码，Euler 10步) → 40维统一状态·动作(EEF Rot6D·夹爪·腰部·平面底盘速度·手臂关节)动作块H=30，约30 Hz控制；上层策略(Qwen3.5-9B提议·价值·反思模型 + Step1X-Edit world model)生成子任务语言指令

预训练加速器: 未公开
预训练时长: 未公开
预训练步数·批量: 未公开
GPU·TPU-小时: 未公开
微调: 3阶段任务专项微调(每任务少量演示)加速器·时间未公开；LIBERO检查点60,000步后训练(GPU未注明)；公开示例config为bf16·DeepSpeed ZeRO-1·lr 2e-5·1,000步
数据类型: 真机遥操作 / 自主策略rollout / UMI数据 / 多模态VL联合训练
数据规模: 40,115小时(内部约23.4K小时：AGIBOT G1 21.9K·G2 585·ARX AC One 578·Franka 347；公开数据约16.7K小时，其中开源UMI 9.25K) + 多模态VL数据(规模未注明)
主要数据集: 内部AGIBOT G1/G2·ARX·Franka演示；开源UMI数据；其他公开机器人数据集(名称未注明)
任务·评估: 真实环境长时程任务4项(每任务10次，AGIBOT G1)：平均SR 27.5%·进度80.1%，分层(Plan Once) 45.0%·87.85%；基线π0.5 22.5%，GR00T N1.7 2.5%，LingBot-VLA 0.0%；TTC使Make Milk Tea 5→7/10，Book Organization 6→9/10，Clean Room 5→7/10；Collect Laundry 10/10(π0.5 9/10)；LIBERO平均97.35%(README)
机器人: AGIBOT G1(轮式人形机器人，全向4轮转向底盘，7-DoF双臂·平行夹爪)；ARX AC One(6-DoF X5双臂)；Franka Research 3双臂(7-DoF 2台)；训练包含AGIBOT G2·UMI数据

推理设备·速度: 下层策略以约30 Hz控制回路执行动作块，上层策略由异步worker约每1秒更新子任务；推理GPU·延迟未注明(LIBERO示例服务器环境RTX 4090，10个动作预测中执行8个)
推理显存: 未公开
权重 bf16（计算）: 6 GB
运行位置: 推理GPU未注明 (LIBERO示例服务器RTX 4090)

强化学习: 未使用 · 论文·模型卡未提及使用强化学习；下层策略为flow matching模仿学习，上层模型为监督微调，训练数据包含自主策略rollout
底盘控制: 轮式 (直接输出底盘速度/位姿) · 40维统一动作中包含平面底盘速度2维(23–24) → 策略直接驱动AGIBOT G1全向轮式底盘(Clean Room·Collect Laundry等)；ARX·Franka任务无底盘

核心特点: 具有执行记忆的上层策略用world model预测候选子任务的结果视频，并用价值模型评估进行束搜索的test-time computation分层VLA。以40,115小时真实数据训练的下层策略在4项长时程任务上平均SR 27.5%(π0.5 22.5%)，分层系统(Plan Once)提升至45.0%。
备注: 下层策略3阶段训练(KI联合训练 → 端到端联合训练 → 任务专项适配)；上层数据标注使用Gemma4-31B-it；公开HF权重为下层预训练策略(非零样本控制器，用于后训练)，上层Proposal·World Model另行公开(2026-09)；HF公开2026-07-27，arXiv v1 2026-08-17；代码·权重Apache-2.0，示例数据CC BY-NC-SA 4.0
核验: 已确认