VLA ギャラリー / モデル一覧 / ヒューマノイドVLA

GR00T N1

NVIDIA · 2025-03

VLAヒューマノイドVLA2.2Bflow matching

行動ラベルのない人間動画・ニューラル生成動画に潜在行動(LAPA)・逆動力学モデル(IDM)の疑似行動を付け、実ロボット・シミュレーションデータと共に事前学習する。

論文

GR00T N1: An Open Foundation Model for Generalist Humanoid RobotsarXiv 2503.14734

概要

分類

ヒューマノイドVLA

タイプ

VLA

発表

2025-03

機関

NVIDIA

重み公開

あり

パラメータ

2.2B (VLM 1.34B; DiTは非公開)

構造

バックボーンLLM

SmolLM2 · Eagle-2 VLM (12層の表現を使用)

ビジョンエンコーダ

SigLIP-2

アクションヘッド

flow matching DiT (4ステップ) (flow matching)

チャンク

16ステップ

制御周期

120 Hz

構造の原文要約

System 2: Eagle-2 VLM(1.34B、L40で10 Hz) / System 1: flow-matching DiT、行動チャンクH=16・デノイジングK=4、120 Hzの連続モーター行動

学習

事前学習アクセラレータ

GPU最大1,024枚 (GPU時間はH100基準)

事前学習期間

非公開

事前学習ステップ・バッチ

200,000ステップ · バッチ16,384

GPU・TPU時間

50,000 (明示 · H100時間 ("roughly 50,000"))

ファインチューニング

デフォルト 60k ステップ・バッチ 1,024(Table 6: 20,000~60,000 ステップ、バッチ 128 または 1,024)、GPU・時間は非公開; A6000 1枚ならバッチ最大 200(アダプタ+DiT)・16(ビジョンエンコーダ含む)

データ種類

実ロボットのテレオペレーション / 人の動画 / シミュレーション・合成

データ規模

Total 592.9Mフレーム・8,375.7時間 (ロボット262.3M・3,288.8 h、人間181.3M・2,517.0 h、シミュレーション125.5M・1,742.6 h、ニューラル23.8M・827.3 h)

主要データセット

GR-1 Teleop 88.4 h; AgiBot-Alpha 1,979.4 h(140,000軌跡); DROID 428.3 h; Ego4D 2,144.7 h; GR-1 Simulation 1,742.6 h; GR-1 Neural Videos 827.3 h

タスク・評価

シミュレーション(タスクあたり100デモ) RoboCasa 32.1%・DexMimicGen 66.5%・GR-1 Tabletop 50.0%(平均45.0%); 実機GR-1 全データ平均76.8%、10%データ42.6%

ロボット

Fourier GR-1ヒューマノイド(実機・シミュレーション)、Franka・双腕シミュレーションなどのクロスエンボディメント; 上半身・テーブル作業、移動なし

推論

推論デバイス・速度

L40 bf16で16ステップのチャンク63.9 ms; S2 10 Hz・S1 120 Hz

推論メモリ

非公開

重み bf16(計算)

4.4 GB

実行場所

非公開

強化学習・ベース

強化学習

不使用 · flow matching模倣学習(シミュレーション・ニューラル軌跡を含む)

ベース制御

固定 · 上半身のみ制御 (腕・手・腰・首)、移動なし; RoboCasaもEE・グリッパーのみ出力

備考

主な特徴

行動ラベルのない人間動画・ニューラル生成動画に潜在行動(LAPA)・逆動力学モデル(IDM)の疑似行動を付け、実ロボット・シミュレーションデータと共に事前学習する。事前学習GPU-時間とデータセット別の時間表を併せて公開した。

備考

事前学習ステップは検証でTable 6の値200,000に修正し、Total行も検証で追加(NEW)。データ生成のcomputeは別: ニューラル軌跡 L40 3,600枚・約105k L40 GPU時間(~1.5日)、DexMimicGen 780,000軌跡(人のデモ6,500時間相当)を11時間で生成。

検証

修正反映