VLA ギャラリー / モデル一覧 / ヒューマノイド全身制御器

VIRAL

VIRAL (Visual Sim-to-Real at Scale for Humanoid Loco-Manipulation)

NVIDIA·CMU·UC Berkeley·CUHK · 2025-11

VAヒューマノイド全身制御器非公開RL方策

RL教師を大規模タイルレンダリングのシミュレーションでRGB学生に蒸留し、視覚ベースのロコマニピュレーションを実機に移す。

論文

VIRAL: Visual Sim-to-Real at Scale for Humanoid Loco-ManipulationarXiv 2511.15200

概要

分類

ヒューマノイド全身制御器

タイプ

VA

発表

2025-11

機関

NVIDIA·CMU·UC Berkeley·CUHK

重み公開

未確認

パラメータ

非公開

構造

バックボーンLLM

なし

ビジョンエンコーダ

DINOv3 (生徒)

アクションヘッド

WBC指令デルタ11次元 (RL方策)

チャンク

非公開

制御周期

非公開

構造の原文要約

教師: MLP [512, 256, 128]、特権状態 → WBC指令デルタ 11次元(Δv, Δω_yaw, Δq_arm, Δq_finger) / 生徒: 108×192 RGBをDINOv3(ViT)で128次元特徴化して状態と結合、MLP・フィードフォワード履歴・LSTMヘッド

学習

事前学習アクセラレータ

教師 L40S × 16(8-GPUノード 2台)、生徒 L40S × 64(8-GPUノード 8台)

事前学習期間

非公開

事前学習ステップ・バッチ

env: 教師32768 (2048*8GPUs*2Nodes)、生徒65535 (1024*8GPUs*8Nodes); ステップは非公開

GPU・TPU時間

非公開

ファインチューニング

該当なし

データ種類

シミュレーション・合成

データ規模

シミュレーションのテレオペレーションデモ200件(参照状態初期化); 残りはシミュレーションRL・蒸留

主要データセット

独自のシミュレーションテレオペレーションデモ

タスク・評価

実機で連続59回中54回成功; サイクル20.2秒(熟練テレオペレーション 100%・21.4秒)

ロボット

Unitree G1(29-DoF) + 7-DoF 3指ハンド

推論

推論デバイス・速度

非公開

推論メモリ

非公開

重み bf16(計算)

非公開

実行場所

非公開

強化学習・ベース

強化学習

使用 (RL制御器の学習) · RL教師(特権状態) → RGB学生に蒸留。シミュレーションのテレオペレーションデモ200本で初期状態を設定

ベース制御

ヒューマノイド歩行 (指令・潜在 → RL歩行制御器) · 方策がWBC指令デルタ(Δv・Δω_yaw・アーム・指)を出力 → HOMIE WBCが下半身歩行 (テーブル間の歩行・旋回)

備考

主な特徴

RL教師を大規模タイルレンダリングのシミュレーションでRGB学生に蒸留し、視覚ベースのロコマニピュレーションを実機に移す。学生の学習にL40S 64枚を使う。

備考

Isaac Labタイルレンダリング。環境数は原文の括弧表記のまま。wall-clockは非公開(検証 NOT FOUND)。学生の視覚エンコーダDINOv3はViTだが、方策ヘッドがMLP・LSTMのため比較用に非Transformerに分類。

検証

確認