VLA 图库 / 模型列表 / 移动操作

Helpful DoggyBot

Stanford University·UC San Diego · 2024-09

기타移动操作未公开RL策略

在前下方装有1-DoF夹爪的Go2上，将仿真RL训练的第一人称深度敏捷控制器与预训练VLM感知·比例控制相结合的模块化室内取物系统。

论文

Helpful DoggyBot: Open-World Object Fetching using Legged Robots and Vision-Language ModelsarXiv 2410.00231

概述

分类

移动操作

类型

기타

发布

2024-09

机构

Stanford University·UC San Diego

权重公开

否

参数

未公开

架构

主干LLM

无

视觉编码器

深度CNN+GRU（控制器）· Florence-2·SAM2 · GroundingDINO·MobileSAM·Cutie（感知）

动作头

RL策略关节目标 → Unitree PD (RL策略)

动作块

无 (单步)

控制频率

50 Hz (深度10 Hz)

架构原文摘要

学习的控制器：深度CNN+GRU估计器(ROA蒸馏) + RL策略 → 关节目标(与PD增益一起发送) 50 Hz，深度编码器10 Hz；指令 = 线速度·角速度·俯仰；上层为Florence-2·SAM2(天花板相机)·GroundingDINO·MobileSAM·Cutie感知 + 比例控制

训练

预训练加速器

不适用

预训练时长

不适用

预训练步数·批量

不适用

GPU·TPU-小时

未公开

微调

仿真RL(IsaacGym Preview 4)：特权(oracle)策略6,144个机器人·400种地形20k iter 10小时(RTX 4090 1块)，深度蒸馏384个机器人5k iter 6小时；VLM直接使用预训练模型

数据类型

仿真·合成

数据规模

仿真RL rollout(6,144·384个并行机器人)；无真实数据

主要数据集

无(仿真地形400种)

任务·评估

真实环境2处未见场景首次尝试成功率(各10次)：床+玩具60%，沙发+瓶子60%，地板+球70%；仿真指标为200次平均

机器人

Unitree Go2四足(12-DoF) + 下部前方1-DoF夹爪(Dynamixel)，第一视角RealSense D435，天花板鱼眼相机

推理

推理设备·速度

控制器：机载Jetson(Orin) 50 Hz，深度编码器10 Hz；VLM：独立工作站(SAM2跟踪10 Hz)；抓取用感知(GroundingDINO·MobileSAM 0.2 Hz，Cutie 10 Hz)在机载(on-device)运行

推理显存

未公开

权重 bf16（计算）

未公开

运行位置

机载Jetson(控制器) + 工作站(VLM)

强化学习与底盘

强化学习

使用 (RL控制器训练) · 唯一的学习策略——底层深度控制器以PPO(特权教师)→ROA深度学生训练；上层感知·指令无学习

强化学习依据

https://arxiv.org/abs/2410.00231

底盘控制

四足 (指令/潜变量 → RL行走控制器) · 根据VLM检测位置，比例控制器生成线速度(0.8 m/s)·偏航·俯仰指令 → 基于深度的RL策略控制关节

备注

核心特点

在前下方装有1-DoF夹爪的Go2上，将仿真RL训练的第一人称深度敏捷控制器与预训练VLM感知·比例控制相结合的模块化室内取物系统。无需采集真实数据·训练，在2个未见过的住宅中实现了爬上床取玩具等任务，成功率60–70%。

备注

需要训练的只有底层RL控制器，检测·跟踪为预训练模型，移动·抓取指令为规则比例控制(线速度固定0.8 m/s)；明确将依赖天花板相机列为局限；自然语言物体指定通过Florence-2提示；代码公开(GitHub)，权重未公开。

核验

已反映修正