VLA 图库 / 模型列表 / 移动操作

VBC

VBC (Visual Whole-Body Control)

UC San Diego · 2024-03

VA移动操作未公开RL策略

视觉高层策略输出底盘速度与末端位姿目标、由使用腿部关节的RL底层策略跟踪的分层四足+机械臂全身控制框架。

论文

Visual Whole-Body Control for Legged Loco-ManipulationarXiv 2403.16967

概述

分类

移动操作

类型

VA

发布

2024-03

机构

UC San Diego

权重公开

部分

参数

未公开

架构

主干LLM

无

视觉编码器

分割深度CNN 2层（学生）· PointNet物体编码器（教师）

动作头

9维回归(末端增量6·前进/偏航速度·夹爪) → RL底层策略 (RL策略)

动作块

无 (单步)

控制频率

高层6–8 Hz，底层50 Hz

架构原文摘要

高层学生：分割深度CNN(2层)+2层MLP(教师为PointNet物体编码器，DAgger蒸馏) → 9维(末端位姿增量6·前进·偏航速度2·夹爪1)，6–8 Hz / 底层：3层MLP(128)+历史适配模块RL策略 → 腿部12关节目标50 Hz，手臂由末端指令IK

训练

预训练加速器

不适用

预训练时长

不适用

预训练步数·批量

不适用

GPU·TPU-小时

未公开

微调

按任务仿真训练(IsaacGym)：高层教师RL 10,240 env约36小时，学生DAgger 240 env约48小时(以GTX4090单GPU计；也使用GTX3090)；底层策略训练资源·时间未注明

数据类型

仿真·合成

数据规模

仅仿真RL rollout(教师10,240·学生240个并行env)，YCB 33种物体；无真实数据

主要数据集

YCB物体模型(仿真)

任务·评估

仿真YCB 33种(7类)抓取学生成功率0.42–0.74(教师0.76–0.93，非分层基线0.0)；真实机器人14个物体 × 3种高度(地面·箱子约0.3 m·桌子约0.5 m)各5次，所有设置均优于基线(数值见Fig. 7图表)

机器人

Unitree B1四足 + Unitree Z1机械臂，RealSense D435 2台(头部·夹爪附近)

推理

推理设备·速度

高层：在外部Jetson Orin 64GB上6–8 Hz(含掩码追踪)；底层·手臂IK：B1内置计算机，50 Hz

推理显存

未公开

权重 bf16（计算）

未公开

运行位置

机载Jetson Orin(高层) + B1内置计算机(底层)

强化学习与底盘

强化学习

使用 (RL控制器训练) · 底层腿部策略与高层基于状态的教师均为仿真RL(PPO)，深度学生由教师经DAgger蒸馏

强化学习依据

https://arxiv.org/abs/2403.16967

底盘控制

四足 (RL策略直接驱动) · 高层策略输出底盘前进·偏航速度 + 末端位姿增量 → RL底层策略控制腿部关节(手臂用IK)

备注

核心特点

视觉高层策略输出底盘速度与末端位姿目标、由使用腿部关节的RL底层策略跟踪的分层四足+机械臂全身控制框架。将特权状态RL教师经DAgger蒸馏为基于深度的学生，无需采集真实数据·微调即在真实机器人上抓取多种高度·形状的物体。

备注

真实机器人评估时由人用TrackingSAM指定目标物体掩码；真实机器人成功率仅以图表呈现；教师表中的'81.87'为原文写法；仅公开代码与底层权重(GitHub)，高层权重未公开；CoRL 2024 Oral。

核验

已确认