VLA ギャラリー / モデル一覧 / ヒューマノイドVLA

EgoVLA

UIUC·MIT·NVIDIA·UC San Diego · 2025-07

VLAヒューマノイドVLANVILA-2B + 行動ヘッド300M回帰

人の一人称動画で事前学習した後、ロボットデモでファインチューニングし、人の手の動作空間をヒューマノイドの両手操作へ移す。

論文

EgoVLA: Learning Vision-Language-Action Models from Egocentric Human VideosarXiv 2507.12440

概要

分類

ヒューマノイドVLA

タイプ

VLA

発表

2025-07

機関

UIUC·MIT·NVIDIA·UC San Diego

重み公開

未確認

パラメータ

NVILA-2B + 行動ヘッド300M (総計非公開)

構造

バックボーンLLM

NVILA-2B内のLLM (記載なし)

ビジョンエンコーダ

NVILAビジョンエンコーダ

アクションヘッド

Transformer行動ヘッド300M (手首 + MANO) (回帰)

チャンク

30ステップ (1秒)

制御周期

30 Hz

構造の原文要約

NVILA-2B VLM + 300M Transformer行動ヘッド(エンコーダ6層、hidden 1536); 行動 = 手首姿勢(3D位置 + rot6D) + MANO手関節の上位15 PCA成分、1秒ホライズン(30 Hz × 30ステップ)

学習

事前学習アクセラレータ

非公開

事前学習期間

非公開

事前学習ステップ・バッチ

非公開

GPU・TPU時間

非公開

ファインチューニング

非公開; タスクあたりロボットデモ100件

データ種類

人の動画 / シミュレーション・合成

データ規模

画像-行動ペア約500,000個; ロボットデモ タスクあたり100件

主要データセット

HOI4D映像4,000本、HOT3D 833分、HoloAssist 166時間(1/10サブサンプル)、TACOモーションシーケンス2,317本

タスク・評価

Ego Humanoid Manipulation Benchmark 12タスク(短期7・長期5); 学習背景で短期平均77.78%、長期45.93%

ロボット

シミュレーション Unitree H1 + Inspireハンド(NVIDIA Isaac Lab)

推論

推論デバイス・速度

30 Hz行動ホライズン; ハードウェア非公開

推論メモリ

非公開

重み bf16(計算)

非公開

実行場所

非公開

強化学習・ベース

強化学習

不使用 · 人の動画による事前学習 + 模倣学習

ベース制御

固定 · ベース制御なし (上半身のみ: 腕EE IK + 手関節、36次元; シミュレーションH1の脚は制御せず)

備考

主な特徴

人の一人称動画で事前学習した後、ロボットデモでファインチューニングし、人の手の動作空間をヒューマノイドの両手操作へ移す。

備考

学習設定は補足資料に回され本文にない(検証NOT FOUND、補足資料へのアクセス失敗)。パラメータ(B)は総パラメータが非公開のためnull。データ時間は全体の合計がないためnull。

検証

確認