VLA 图库 / 模型列表 / 人形机器人VLA

LeVERB

LeVERB (Latent Vision-Language-Encoded Robot Behavior)

UC Berkeley·NTNU·Simon Fraser University·Carnegie Mellon University · 2025-06

VLA人形机器人VLASystem 2可训练参数102.56M；System 1未公开潜在动作

以潜在动作词汇(latent verb)连接视觉-语言层与全身控制层的分层VLA，仅在仿真中训练并zero-shot迁移到G1。

论文

LeVERB: Humanoid Whole-Body Control with Latent Vision-Language InstructionarXiv 2506.13751

概述

分类

人形机器人VLA

类型

VLA

发布

2025-06

机构

UC Berkeley·NTNU·Simon Fraser University·Carnegie Mellon University

权重公开

未核实

参数

System 2可训练参数102.56M；System 1未公开(2层·128维)

架构

主干LLM

无 (ViT-B视觉·文本编码器)

视觉编码器

ViT-B视觉·文本编码器 (冻结)

动作头

潜在动词 → Transformer学生策略 (潜在动作)

动作块

未公开

控制频率

50 Hz

架构原文摘要

System 2(LeVERB-VL)：冻结ViT-Base视觉·文本编码器(各768维) → 256维潜在'动词'，10 Hz / System 1(LeVERB-A)：2层·4头·hidden 128 Transformer学生，关节位置动作50 Hz

训练

预训练加速器

Ada 6000 × 2 (System 2)

预训练时长

未公开

预训练步数·批量

步数未公开 · 全局batch 512 (System 2)

GPU·TPU-小时

未公开

微调

不适用

数据类型

仿真·合成 / 动作捕捉

数据规模

154条轨迹各随机化100次的照片级真实rollout 17.1小时；纯语言2.7小时(500条轨迹)

主要数据集

LeVERB-Bench(重定向动作捕捉的IsaacSim光线追踪渲染)

任务·评估

LeVERB-Bench(10个类别,150+任务);简单视觉导航80%,整体58.5%;相对简单分层全身VLA为7.8倍

机器人

Unitree G1全身(视觉导航·移动操作)

推理

推理设备·速度

System 2 10 Hz，System 1 50 Hz；硬件未公开

推理显存

未公开

权重 bf16（计算）

未公开

运行位置

未公开

强化学习与底盘

强化学习

部分 (结合RL底层控制器) · System 2为监督学习，System 1通过DAgger蒸馏RL教师策略

底盘控制

人形双足 (指令/潜变量 → RL行走控制器) · LeVERB-VL潜在动词(10 Hz) → LeVERB-A直接输出全身关节位置,实现行走·转向·坐下 (视觉导航)

备注

核心特点

以潜在动作词汇(latent verb)连接视觉-语言层与全身控制层的分层VLA，仅在仿真中训练并zero-shot迁移到G1。System 1用DAgger蒸馏与视觉-语言无关的RL教师。

备注

数据时长仅为照片级真实rollout 17.1 h（纯语言 2.7 h另计）。参数(B)因总参数未公开而为null。System 1 教师RL的模拟器·env·GPU未公开（核查 NOT FOUND）；参见单独行LeVERB-A。arXiv v3 2025-09-25。

核验

已确认