RoboDuet

Tsinghua University·Shanghai Qi Zhi Institute·Shanghai AI Laboratory·UC San Diego·Jianghuai Advance Technology Center · 2024-03

기타移动操作未公开RL策略

是行走策略与机械臂策略两个RL策略协作（机械臂策略指示机身俯仰·横滚），同时实现四足+机械臂底盘移动和末端6D位姿跟踪的两阶段训练全身控制框架。

论文

分类: 移动操作
类型: 기타
发布: 2024-03
机构: Tsinghua University·Shanghai Qi Zhi Institute·Shanghai AI Laboratory·UC San Diego·Jianghuai Advance Technology Center
权重公开: 否
参数: 未公开

主干LLM: 无
视觉编码器: —
动作头: 腿部12·臂部6关节目标 + 机身俯仰·横滚指令 (RL策略)
动作块: 无 (单步)
控制频率: 50 Hz
架构原文摘要: 行走·机械臂 2个MLP（512·256·128，ELU）PPO策略；行走策略 → 腿部12关节目标，机械臂策略 → 机械臂6关节偏移 + 机身俯仰·横滚指令 2，50 Hz；输入为本体感知 + 速度指令 + 末端9维目标

预训练加速器: 不适用
预训练时长: 不适用
预训练步数·批量: 不适用
GPU·TPU-小时: 未公开
微调: 仿真RL(IsaacGym，PPO非对称actor-critic)：4,096个并行智能体，第1阶段10k + 第2阶段40k iter(3个种子)，RTX 4090；训练时长未公开
数据类型: 仿真·合成
数据规模: 仿真4,096个并行智能体RL rollout，共50k iter
主要数据集: 无(仿真RL)
任务·评估: 真实机器人物体搬运(高度0·20·60·100 cm)成功39/60(AFB+ID 32/60，FB+IK 10/60)，成功率提升23%(论文表述)；极端6D位姿自碰撞率5%(FB+IK 50%)；仿真Go1·Go2·A1+ARX5交叉移植
机器人: Unitree Go1 Edu + ARX5 6-DoF机械臂(平行夹爪，夹爪上方RealSense D435i)；无需训练移植到Go2+ARX5

强化学习: 使用 (RL控制器训练) · 行走·机械臂协作策略整体以IsaacGym PPO（非对称actor-critic，两阶段）训练；无上层策略（遥操作指令）
强化学习依据: https://arxiv.org/abs/2403.17367
底盘控制: 四足 (RL策略直接驱动) · 遥操作底盘速度·末端位姿指令 → 协同RL策略(行走·手臂)直接输出腿·臂关节目标

核心特点: 是行走策略与机械臂策略两个RL策略协作（机械臂策略指示机身俯仰·横滚），同时实现四足+机械臂底盘移动和末端6D位姿跟踪的两阶段训练全身控制框架。任务成功率比基线高23%，并展示了从Go1到Go2的零训练跨具身迁移。
备注: 无视觉输入的本体感觉RL控制器，实验中的底盘速度·末端位姿由VR遥操作(Meta Quest 3)下达(无上层学习策略)；23%与39/60 vs 32/60的计算依据不明；论文所属机构写作'University of San Diego'(项目页为UC San Diego)；代码(基于Walk These Ways)·部署代码已公开，权重未公开；RA-L 2025。基础：Walk These Ways: Tuning Robot Control for Generalization with Multiplicity of Behavior (arXiv 2212.03238) — README明确基础实现借用自walk-these-ways
核验: 已确认