VLA 图库 / 模型列表 / 移动操作

Learning Visual Quadrupedal Loco-Manipulation from Demonstrations

Shanghai Qi Zhi Institute·HKUST(GZ)·UC Berkeley·Tsinghua University(IIIS) · 2024-03

VA移动操作未公开diffusion

由一只前足跟踪参数化贝塞尔轨迹、其余三条腿行走的RL底层控制器，与输出轨迹参数的基于点云的DP3 diffusion规划器构成的分层腿部操作策略。

论文

Learning Visual Quadrupedal Loco-Manipulation from DemonstrationsarXiv 2403.20328

概述

分类

移动操作

类型

VA

发布

2024-03

机构

Shanghai Qi Zhi Institute·HKUST(GZ)·UC Berkeley·Tsinghua University(IIIS)

权重公开

否

参数

未公开

架构

主干LLM

无

视觉编码器

DP3点云编码器(768点，世界坐标)

动作头

DP3 diffusion → 贝塞尔轨迹参数 (diffusion)

动作块

未公开

控制频率

规划器10 Hz，底层50 Hz

架构原文摘要

高层：DP3(世界坐标点云768点+本体感知) diffusion → 6阶有理贝塞尔控制点·权重，起始/结束位姿(SLERP)，操作腿标志，10 Hz / 底层：PPO策略(15步本体感知历史) → 腿部12关节目标(低通+PD) 50 Hz

训练

预训练加速器

不适用

预训练时长

不适用

预训练步数·批量

不适用

GPU·TPU-小时

未公开

微调

按任务仿真训练(IsaacGym)：底层PPO 30亿时间步，高层DP3视觉数据2万时间步；GPU·时间未公开

数据类型

仿真·合成

数据规模

每项任务仿真专家轨迹100条(各200时间步，约3分钟采集)；底层RL 30亿时间步

主要数据集

自有仿真专家轨迹(IsaacGym)

任务·评估

仿真9项任务(3个种子平均)：按钮92.3%，推门85.3%，拉把手82.3%，提篮子59.3%，拧阀门52.3%，关洗碗机50.3%，踢足球26.0%，拉物体12.7%，开洗碗机5.7%；真实机器人仅有定性演示

机器人

Unitree Aliengo四足(无臂，用前脚操作)，RealSense D435深度相机 + 外部AprilTag定位相机

推理

推理设备·速度

底层50 Hz·规划器10 Hz，推理硬件未注明(提及扩散推理速度为瓶颈)

推理显存

未公开

权重 bf16（计算）

未公开

运行位置

未公开

强化学习与底盘

强化学习

部分 (结合RL底层控制器) · 高层DP3规划器为BC；底层足端轨迹跟踪·三足行走控制器为IsaacGym PPO(演示也由该控制器在仿真中生成)

强化学习依据

https://arxiv.org/abs/2403.20328

底盘控制

四足 (指令/潜变量 → RL行走控制器) · DP3规划器输出世界坐标下的足端轨迹参数 → RL控制器以三足行走跟踪(无单独底盘速度指令)

备注

核心特点

由一只前足跟踪参数化贝塞尔轨迹、其余三条腿行走的RL底层控制器，与输出轨迹参数的基于点云的DP3 diffusion规划器构成的分层腿部操作策略。无需机械臂、仅靠腿部即在仿真与真实机器人(Aliengo)上完成按按钮·推门·移动中提篮子等。

备注

演示并非人类遥操作，而是由RL控制器在仿真中跟踪设计好的专家轨迹参数生成；规划器不直接输出底盘速度，而以世界坐标目标(在4 m×4 m范围内训练)引导移动；无真实机器人定量结果；代码·权重未公开。基础：3D Diffusion Policy: Generalizable Visuomotor Policy Learning via Simple 3D Representations (arXiv 2403.03954) — 以DP3作为高层规划器主干(论文明示)

核验

已确认