VLA 图库 / 模型列表 / 人形机器人全身控制器

VIRAL

VIRAL (Visual Sim-to-Real at Scale for Humanoid Loco-Manipulation)

NVIDIA·CMU·UC Berkeley·CUHK · 2025-11

VA人形机器人全身控制器未公开RL策略

在大规模分块渲染仿真中将RL教师蒸馏为RGB学生,把基于视觉的移动操作迁移到真机。

论文

VIRAL: Visual Sim-to-Real at Scale for Humanoid Loco-ManipulationarXiv 2511.15200

概述

分类

人形机器人全身控制器

类型

VA

发布

2025-11

机构

NVIDIA·CMU·UC Berkeley·CUHK

权重公开

未核实

参数

未公开

架构

主干LLM

无

视觉编码器

DINOv3 (学生)

动作头

WBC指令增量11维 (RL策略)

动作块

未公开

控制频率

未公开

架构原文摘要

教师：MLP [512, 256, 128]，特权状态 → WBC指令增量 11维（Δv, Δω_yaw, Δq_arm, Δq_finger）/ 学生：将108×192 RGB经DINOv3（ViT）提取为128维特征并与状态结合，MLP·前馈历史·LSTM头

训练

预训练加速器

教师 L40S × 16（8-GPU节点2个），学生 L40S × 64（8-GPU节点8个）

预训练时长

未公开

预训练步数·批量

env：教师32768 (2048*8GPUs*2Nodes)，学生65535 (1024*8GPUs*8Nodes)；步数未公开

GPU·TPU-小时

未公开

微调

不适用

数据类型

仿真·合成

数据规模

仿真遥操作演示200条(参考状态初始化)；其余为仿真RL·蒸馏

主要数据集

自有仿真遥操作演示

任务·评估

真实连续59次中成功54次；周期20.2秒(专业遥操作100%·21.4秒)

机器人

Unitree G1(29-DoF) + 7-DoF三指手

推理

推理设备·速度

未公开

推理显存

未公开

权重 bf16（计算）

未公开

运行位置

未公开

强化学习与底盘

强化学习

使用 (RL控制器训练) · RL教师(特权状态) → RGB学生蒸馏。用200条仿真遥操作演示设定初始状态

底盘控制

人形双足 (指令/潜变量 → RL行走控制器) · 策略输出WBC指令增量(Δv·Δω_yaw·手臂·手指) → HOMIE WBC负责下身行走 (在桌间行走·转向)

备注

核心特点

在大规模分块渲染仿真中将RL教师蒸馏为RGB学生,把基于视觉的移动操作迁移到真机。学生训练使用L40S 64张。

备注

Isaac Lab分块渲染。环境数按原文括号标注。wall-clock未公开(核验NOT FOUND)。学生视觉编码器DINOv3虽为ViT,但策略头为MLP·LSTM,故作为对比归为非Transformer。

核验

已确认