Spark-0

Xspark AI·Tsinghua University·MMLab@HKU·HKUST(GZ)·Peking University · 2026-10

VLA2026年新增未公开flow matching

用触觉手套获得的接触图和冻结的Depth-Anything-3特征仅在训练时监督视觉token，并由独立的触觉通路以分区域力历史和3D taxel状态只对动作专家进行条件化的VTLA模型。

论文

主干LLM: Qwen3-VL-4B-Instruct
视觉编码器: Qwen3-VL内置视觉(头部384²，腕部256²) + 仅训练用DA3-LARGE几何教师(冻结)
动作头: flow matching动作专家(Euler 4步) → 58维双手EE位姿·手部关节 (flow matching)
动作块: 50步(以RTC每24步重新规划)
控制频率: 未公开
架构原文摘要: Qwen3-VL-4B-Instruct VLM(逐层KV，动作查询64个) → 36层宽1024逐层flow matching动作DiT(偶数层VLM交叉注意力，奇数层State·Tactile·Action联合自注意力，触觉token 24个) → 58维(双手EE位姿9+WUJI Hand 2关节20)动作块H=50，Euler 4步；仅训练用DA3几何·接触图对齐(VLM第25层)

预训练加速器: GPU 96张(12节点×8，型号未注明)
预训练时长: 未公开
预训练步数·批量: 400k步(warmup 20k)，全局批量576(每GPU 6，无梯度累积)
GPU·TPU-小时: 未公开
微调: 按基准进行下游微调80k步(warmup 8k)，优化器·每GPU批量与预训练相同；设备数·时间未公开
数据类型: 人类视频 / 真机遥操作 / 仿真·合成
数据规模: 预训练7个来源合计约1,944小时(论文'1.9k h')：HumanTouch 1,000h(100项以上任务·操作者32名，60 Hz)·EgoDex 662h·同款手套机器人play 20h·去除触觉的机器人play 24h·仿真25h·Fourier ActionNet 153h·AgiBot World 60h；触觉占样本的44%
主要数据集: HumanTouch; EgoDex; Fourier ActionNet; AgiBot World
任务·评估: SparkArena-Sim 7项任务(仅视觉)平均成功率36.86%(FastWAM 28.29%)；SparkArena-Real 5项任务(使用触觉)成功率52.0%·完成得分62.8(FTP-1 36.0%·47.8)；Ego Humanoid Manipulation Benchmark 8项汇总指标均列第1(仅视觉，例：Short Seen SR 80.95%)
机器人: Gen 1 Prototype：Marvin M6S CCS-696机械臂2只 + WUJI Hand 2灵巧手2只 + Moxian触觉手套(每手320 taxel)，头部Orbbec 336·腕部Orbbec 305相机

推理设备·速度: flow matching Euler 4步，动作块50 + 无需训练的RTC(剩余26个动作时异步请求下一动作块，每24步重新规划，名义推理延迟8步)；策略服务器为GPU 1张1进程(README)，GPU型号·延迟·控制Hz未注明
推理显存: 未公开
权重 bf16（计算）: 未公开
运行位置: GPU策略服务器1张(型号未注明) + websocket机器人客户端

核心特点: 用触觉手套获得的接触图和冻结的Depth-Anything-3特征仅在训练时监督视觉token，并由独立的触觉通路以分区域力历史和3D taxel状态只对动作专家进行条件化的VTLA模型。单个检查点同时支持仅视觉·触觉条件部署，借助1,000小时HumanTouch触觉预训练，将Ego Humanoid仅视觉成功率从52.5%提升到71.7%，SparkArena-Real成功率从44.0%提升到52.0%。
备注: 采样权重HumanTouch 0.35·EgoDex 0.39·同款手套机器人0.09；人类数据通过IK重定向到WUJI手；状态·动作58维(论文) vs 54维(README) A/B，RTC重新规划间隔24步(论文) vs 16步(README) A/B；代码(GitHub MIT)·预训练检查点pretrain_spark_0(HF，400k步.pt约10.9GB)·SparkArena已公开，微调检查点·HumanTouch数据是否公开未注明；也集成于XPolicyLab。基础：StarVLA (论文[3]) — 构建于StarVLA·XPolicyLab代码之上(论文明示)
核验: 已确认