CrossFormer

UC Berkeley·Carnegie Mellon University · 2024-08

VLA导航130M回归

用一个130M Transformer学习20种本体的900K条轨迹，不对齐观测·动作空间，即可控制单臂·双臂、轮式、四足、四旋翼。

论文

主干LLM: 无
视觉编码器: ResNet-26 (ImageNet初始化，FiLM语言条件)
动作头: 逐embodiment L1回归头 (导航航点4个·四足关节12维等) (回归)
动作块: 导航航点 4个（机械臂 4·双臂 100·四足 1）
控制频率: 导航 4 Hz · 四足 20 Hz · 双臂 20 Hz · 机械臂 5–15 Hz
架构原文摘要: ResNet-26图像tokenizer(语言FiLM条件) + 本体感知线性投影 → 因果Transformer 12层·8头(512维，按具身形态的readout token) → L1回归头：导航2D航点4个(4 Hz)，单臂EEF 4步(5–15 Hz)，双臂关节100步(20 Hz)，四足12维关节位置1步(20 Hz)

预训练加速器: TPU v5e-256 pod
预训练时长: 47小时(正文3.4节·README)/80小时(附录B)
预训练步数·批量: 300k步 · 批量512
GPU·TPU-小时: 12,032 (换算 · TPU v5e 256芯片 × 47小时 (按附录B的80小时计为20,480))
微调: 不适用 (评估直接使用预训练模型；README提供微调脚本)
数据类型: 真实机器人遥操作 / 真实机器人自主行驶日志
数据规模: 900K条轨迹·20种本体 (图1为30)；GNM导航60小时(采样占比17%)，ALOHA 7K条轨迹，Go1行走25分钟
主要数据集: Open X-Embodiment(Octo单臂混合);DROID;ALOHA-multi-task;GNM;Go1-walk;Franka-tabletop
任务·评估: 6台机器人平均成功率73% (单机器人策略67%，此前最佳51%)；LoCoBot避障0.95·转角0.95·急转角0.88 (此前最佳方法0.30·0.85·0.30)；Tello转角0.82 (基线0.68)
机器人: WidowX·Franka单臂，ALOHA双臂 (固定)；LoCoBot轮式；Unitree Go1四足；DJI Tello四旋翼 (未用飞行数据训练)

推理设备·速度: 导航·无人机：在独立服务器上推理后无线传输；操作：RTX 4090级本地GPU；导航 4 Hz·四足 20 Hz；延迟未公开（将推理速度列为局限）
推理显存: 未公开
权重 bf16（计算）: 0.3 GB
运行位置: 远程服务器 (导航·无人机，无线传输)

强化学习: 部分 (利用RL数据) · Go1行走数据仅通过仿真RL专家策略rollout采集;CrossFormer本身为L1模仿学习
强化学习依据: https://arxiv.org/pdf/2408.11812
底盘控制: 轮式·四足·飞行 (航点 → 跟踪控制器) · 导航头输出 2D相对航点 4个（LoCoBot跟随拓扑图subgoal，Tello固定高度）/ 四足头以20 Hz直接输出12维腿部关节位置 / 机械臂头为EEF·关节目标

核心特点: 用一个130M Transformer学习20种本体的900K条轨迹，不对齐观测·动作空间，即可控制单臂·双臂、轮式、四足、四旋翼。6台机器人平均成功率73%，高于单机器人专用策略(67%)和此前最佳跨本体方法(51%)。
备注: 训练时间正文·README为47h，与附录B的80h不一致。embodiment数正文20·图1为30，不一致。Go1数据为仿真RL专家策略rollout。语言编码器论文未明示(官方配置为Universal Sentence Encoder)。HF检查点519MB(300k步)，MIT许可。LoCoBot导航以拓扑图·目标图像为条件。总数据时间未注明。基于：Octo: An Open-Source Generalist Robot Policy (arXiv 2405.12213) — 基于Octo代码库 (README明确说明)
核验: 已确认