AC-DiT

Peking University·Nanjing University·CUHK·Beijing Academy of Artificial Intelligence(BAAI) · 2025-07

VLA移动操作未公开diffusion

将先用底盘动作单独训练的轻量移动头的潜在表示作为全身动作生成的条件（mobility-to-body），并按各阶段需要调节2D图像与3D点云的权重。

论文

分类: 移动操作
类型: VLA
发布: 2025-07
机构: Peking University·Nanjing University·CUHK·Beijing Academy of Artificial Intelligence(BAAI)
权重公开: 否
参数: 未公开 (移动头 170M；主DiT按官方代码为RDT-1B配置)

主干LLM: 无
视觉编码器: SigLIP so400m (腕部·胸部RGB 3视角) + Lift3D式点云tokenizer(LoRA)
动作头: 全身动作diffusion DiT头 (DDPM，推理5步·代码) (diffusion)
动作块: 2步 (仿真)
控制频率: 未公开 (真实演示 30 fps)
架构原文摘要: SigLIP(so400m)图像·文本编码器 + Lift3D式点云tokenizer(LoRA) → 按语言-视觉余弦相似度对2D·3D token加权 → DiT动作头(官方代码：RDT-1B配置hidden 2048·28层，RDT-1B初始化)；以预训练移动头(DiT 170M)的潜在底盘表征为条件生成全身动作；底盘速度(绝对) + 臂关节(仿真中为相对变化)，动作块2(仿真)，DDPM推理5步(代码)

预训练加速器: 不适用 (官方代码用外部RDT-1B权重初始化)
预训练时长: 不适用
预训练步数·批量: 不适用
GPU·TPU-小时: 未公开
微调: 论文未注明（移动头'几个epoch'预训练）。官方代码（ManiSkill-HAB）：移动头 30,000 步·每GPU批量 24·lr 1e-4 → AC-DiT 20,000 步·每GPU批量 16·lr 1e-5·bf16，两个脚本均为8 GPU设置（型号·时间未注明）
数据类型: 仿真·合成 / 真实机器人遥操作
数据规模: ManiSkill-HAB每任务成功演示1,000条(RL智能体生成);RoboTwin每任务1,000条(运动规划);真机每任务100条(30 fps)
主要数据集: ManiSkill-HAB生成演示;RoboTwin;自有Cobot Magic演示
任务·评估: ManiSkill-HAB 7个子任务平均55.6%(表1;正文48.7%) vs RDT 42.9%·DP 28.8%·3DP 21.6%;RoboTwin双臂6项任务平均90.1(表2);真实4个长程任务(Cucumber in Basket·Store Breads·Hang Towel·Clean Table)评估17次,相对ACT·π0最佳
机器人: 真实Agilex Cobot Magic(Piper机械臂4个 + Tracer轮式底盘；手腕·胸部Orbbec Dabai 3台 + 头部RealSense L515)；仿真ManiSkill-HAB(Fetch，MS-HAB基准)·RoboTwin固定双臂

强化学习: 部分 (利用RL数据) · ManiSkill-HAB训练演示由RL智能体(开·关用PPO,抓取·放置用SAC)生成;AC-DiT本身为模仿学习
强化学习依据: https://arxiv.org/abs/2507.01961
底盘控制: 轮式 (直接输出底盘速度/位姿) · 策略将底盘速度(绝对值)与手臂关节动作一起直接输出

核心特点: 将先用底盘动作单独训练的轻量移动头的潜在表示作为全身动作生成的条件（mobility-to-body），并按各阶段需要调节2D图像与3D点云的权重。在ManiSkill-HAB上高于RDT·DP·3DP，在真实Cobot Magic的4项长时程任务上超过ACT·π0。
备注: 论文未注明训练·推理硬件和总参数；RDT-1B初始化·步数·批量以官方GitHub脚本为准。ManiSkill-HAB平均值在表（55.6）和正文（48.7%）中不一致。代码2026-02公开，未提供训练好的AC-DiT权重。NeurIPS 2025。基于：RDT-1B: a Diffusion Foundation Model for Bimanual Manipulation (arXiv 2410.07864) — 沿用RDT框架（交叉注意力条件注入），官方代码以RDT-1B权重初始化
核验: 已确认