Xiaomi-Robotics-1

Xiaomi (Xiaomi Robotics Team) · 2026-07

VLA移动操作5.1Bflow matching

以超过10万小时的UMI轨迹配合VLM自动标注(场景状态转移描述)进行预训练，再用约1万小时跨本体数据对齐到机器人·指令的2阶段VLA。

论文

主干LLM: Qwen3-VL-4B-Instruct (5B公开版；2B·10B版VLM为2.1B·8.8B)
视觉编码器: Qwen3-VL内置视觉编码器
动作头: DiT flow matching(Euler 5步，adaLN时间条件) + VLM Choice Policies辅助回归 (flow matching)
动作块: 30步×60维(公开代码默认值；论文未注明H)
控制频率: 未公开
架构原文摘要: Qwen3-VL(5B公开版为Qwen3-VL-4B-Instruct) + 层数相同的小hidden DiT以Mixture-of-Transformers结合 → VLM KV cache·本体感知条件flow matching(Euler 5步) → 相对delta EE位姿·夹爪·腰部·底盘速度动作块(公开代码默认30步×60维)；VLM训练Choice Policies辅助回归(K个候选·评分)

预训练加速器: 未公开
预训练时长: 未公开(仅自动标注约2周)
预训练步数·批量: 未公开
GPU·TPU-小时: 未公开
微调: 后训练(约1万小时，VL:开源:UMI指令:内部 = 0.5:0.5:0.5:8.5)加速器·时间未公开；下游4项任务144小时(低数据36小时)应用Xiaomi-Robotics-0异步训练方案，GPU·步数未公开(公开演示config批量48)
数据类型: UMI手持演示 / 真机遥操作 / 开源机器人数据 / 网络视觉-语言
数据规模: 预训练UMI轨迹10万小时以上(规模实验为约2万小时子集)；后训练约1万小时(内部机器人7,200小时以上，带指令标注UMI 1,000小时以上，Bridge V2·RT-1·DROID)；下游144小时
主要数据集: 内部UMI数据(未公开)；内部移动·双臂机器人数据；Bridge V2；RT-1；DROID
任务·评估: RoboCasa 74.5%；RoboCasa365 57.4%(正文引言57.6%，A/B；此前最佳ABot-M0.6 46.6%)；VLABench平均SR 59.1·PS 70.3·IS 69.9；RoboDojo得分20.07·成功率13.93%；真机后训练即时评估4项任务(未见环境)2B 61%·5B 75%·10B 79%；下游4项任务低数据75%(π0.5 40%)·高数据85%(π0.5 53%)
机器人: 内部轮式双臂移动操作机器人(腰部升降)与固定双臂机器人(型号未注明)；相机ego·左右腕部3个；仿真RoboCasa·RoboCasa365·VLABench·RoboDojo

推理设备·速度: flow matching 5步Euler，支持异步执行(action prefix)；延迟·Hz·设备未注明(README'针对消费级GPU优化')
推理显存: 未公开
权重 bf16（计算）: 10.2 GB
运行位置: 推理服务器(GPU型号未注明) – 客户端架构，异步执行

核心特点: 以超过10万小时的UMI轨迹配合VLM自动标注(场景状态转移描述)进行预训练，再用约1万小时跨本体数据对齐到机器人·指令的2阶段VLA。预训练数据·模型规模越大，未见环境的即时性能越高，RoboCasa365 57.4%·RoboDojo得分20.07，超过此前最佳(46.6%·13.07)。
备注: 预训练目标为flow matching + Choice Policies回归 + 0.1×NTP(VL:UMI = 1:9)；阻止DiT看到VLM的动作token KV以切断复制捷径；状态转移描述由Qwen3.5-27B自动生成；客房级10分钟以上整理行李箱演示；代码·检查点2026-08-03公开(Apache-2.0，HF Xiaomi-Robotics-1-5B model_states.pt 10.2 GB，按基准的RoboCasa·RoboCasa365·VLABench检查点)，2B·10B未公开，预训练UMI数据未公开；arXiv v2 2026-07-22。前作：Xiaomi-Robotics-0 (arXiv 2602.12684) — 沿用异步训练方案与VL数据(论文明示)
核验: 已确认