VLA 图库 / 模型列表 / 移动操作

HarmonicMM

UC San Diego·Allen Institute for AI(PRIOR)·University of Washington · 2023-12

VA移动操作未公开RL策略

不拆分导航和操作模块，仅用RGB同时驱动底盘和机械臂的单一策略，在ProcTHOR仿真中用DD-PPO端到端训练。

论文

Harmonic Mobile ManipulationarXiv 2312.06639

概述

分类

移动操作

类型

VA

发布

2023-12

机构

UC San Diego·Allen Institute for AI(PRIOR)·University of Washington

权重公开

否

参数

未公开 (DINOv2 ViT-S/14编码器 + GRU 512)

架构

主干LLM

无

视觉编码器

DINOv2 ViT-S/14 (Nav·Manip相机2台)

动作头

Actor-critic FC (5维连续动作 + 抓取) (RL策略)

动作块

无 (单步)

控制频率

未公开

架构原文摘要

预训练DINOv2(dinov2_vits14)特征(Nav·Manip RGB相机2台) → 每相机1×1 Conv 2层(16通道) + 本体感觉 → GRU 1层(512) → 策略·价值FC(512)；5维连续动作(底盘平移·旋转、手臂高度·伸展、手腕旋转；开门·冰箱任务额外加1维抓取)，无动作块

训练

预训练加速器

不适用

预训练时长

不适用

预训练步数·批量

不适用

GPU·TPU-小时

未公开

微调

按任务RL训练：DD-PPO(AllenAct) 10^7步，并行环境20个·每次迭代样本640，种子3个；GPU·训练时间未公开

数据类型

仿真·合成

数据规模

ProcTHOR住宅: 门700·桌子2,000·冰箱1,400个;每任务10^7环境步

主要数据集

ProcTHOR(AI2-THOR)程序生成住宅

任务·评估

仿真(未见过的房屋350个)成功率：Cleaning Table 36.7%，Opening Door Push 80.0%·Pull 51.2%，Opening Fridge 20.0% (平均47%；ReLMoGen 25.1%·51.7%·40.7%·0%)；真实环境：拉门9/15，推门7/10，清洁桌面8/12(表面66.6%)

机器人

Hello Robot Stretch(轮式底盘,手臂高度·伸展控制),RealSense D455 RGB

推理

推理设备·速度

未公开

推理显存

未公开

权重 bf16（计算）

未公开

运行位置

未公开

强化学习与底盘

强化学习

使用 (RL控制器训练) · 整个策略在ProcTHOR仿真中按任务用DD-PPO从零训练(10^7步)后zero-shot迁移到真实环境

强化学习依据

https://arxiv.org/abs/2312.06639

底盘控制

轮式 (RL策略直接驱动) · 策略将底盘平移·旋转与手臂高度·伸展·腕部旋转一起作为5维连续动作直接输出

备注

核心特点

不拆分导航和操作模块，仅用RGB同时驱动底盘和机械臂的单一策略，在ProcTHOR仿真中用DD-PPO端到端训练。仿真4项任务平均成功率47%，超过ReLMoGen等基线，并在未经微调的情况下在首次见到的真实公寓中完成开门·清理桌子。

备注

2024年以前的参考基线(anchor)。每个任务单独策略，无语言·目标输入。视觉编码器为ViT(DINOv2)，但策略主干为GRU，故归为非Transformer。真机门把手抓取有启发式辅助。代码公开(GitHub)，未提供检查点。IROS 2024 Best Paper on Mobile Manipulation。

核验

已确认