SLIM

Horizon Robotics · 2025-01

VLA移动操作不足19MRL策略

仅凭MuJoCo仿真RL(特权教师→视觉学生)训练一个四足+机械臂策略，用一台手腕RGB和语言指令完成搜索·接近·抓取·搬运·投放的长时程任务，并零样本部署到真实机器人。

论文

主干LLM: 无
视觉编码器: FiLM U-Net(分割·深度辅助) + ResNet 5块，160×90 RGB 5帧
动作头: MLP actor: 手臂关节增量·夹爪·前进/角速度 (RL策略)
动作块: 无 (单步)
控制频率: 高层10 Hz，底层50 Hz
架构原文摘要: 160×90 RGB 5帧 → FiLM U-Net(分割·深度辅助预测)+ResNet 5块+Transformer 5层(8头)，语言为字节token 2层Transformer → MLP actor(512×3)：臂关节增量·夹爪目标·前进/角速度指令10 Hz → PPO底层行走策略腿关节目标50 Hz

预训练加速器: 不适用
预训练时长: 不适用
预训练步数·批量: 不适用
GPU·TPU-小时: 未公开
微调: 仅仿真RL(MuJoCo)：教师(多任务SAC)GPU 4块约1周(120 env·4M iter)，学生(SAC+KL蒸馏)GPU 4块约2周(60 env·1.3M iter)，底层(PPO+ROA)GPU 1块约3天(5,000 env·4B env步)；V100级GPU
数据类型: 仿真·合成
数据规模: 仿真RL：教师约60M·学生约40M env步，底层4B env步；无真实数据
主要数据集: 无(MuJoCo仿真环境)
任务·评估: 真实环境Lobby标准布置全部任务成功78.3±5.8%(3个种子×20次) vs 专家遥操作75.0±5.0%；平均43.8秒(遥操作65.5秒)；室内外共评估400个episode
机器人: Unitree Go1四足 + WidowX-250S机械臂，腕部RealSense D435(仅用RGB)

推理设备·速度: 在笔记本 RTX 3070Ti（i9-12900H，RAM 16GB）上以高层 10 Hz·底层 50 Hz 异步推理；机器人端Raspberry Pi负责驱动
推理显存: 未公开
权重 bf16（计算）: 0 GB
运行位置: 笔记本 RTX 3070Ti

强化学习: 使用 (RL控制器训练) · 高层教师(多任务SAC)·视觉学生(SAC+KL蒸馏)·底层行走(PPO+ROA)均为MuJoCo仿真RL，无真实数据
强化学习依据: https://arxiv.org/abs/2501.09905
底盘控制: 四足 (RL策略直接驱动) · 高层策略输出前进·角速度指令 + 臂关节增量·夹爪 → PPO底层行走策略控制腿部关节

核心特点: 仅凭MuJoCo仿真RL(特权教师→视觉学生)训练一个四足+机械臂策略，用一台手腕RGB和语言指令完成搜索·接近·抓取·搬运·投放的长时程任务，并零样本部署到真实机器人。以不到19M参数在真实环境全部任务中取得78.3%成功率，与专家遥操作(75.0%)相当且快约1.5倍。
备注: 列表外新增（2025 四足移动操作VLA）；无需真实数据·微调的零训练部署；语言编码器为无预训练LM的字节token Transformer；训练GPU 'V100或类似'；代码仅称将公开。
核验: 已确认