Genie Envisioner

Genie Envisioner (GE-Base/GE-Act/GE-Sim)

AgiBot(Genie Team)·LV-NUS Lab·BUAA · 2025-08

VLA産業界モデルGE-Act 160M動画world model

動画world model(GE-Base)の表現を軽量行動デコーダ(GE-Act)が受け取って行動を生成し、GE-Simが行動条件付き動画シミュレータの役割を果たす。

論文

バックボーンLLM: なし (T5-XXLテキストエンコーダ)
ビジョンエンコーダ: —
アクションヘッド: GE-Act 自己回帰行動デコーダ 160M (動画world model)
チャンク: 54ステップ
制御周期: 30 Hz
構造の原文要約: GE-Base: 指示(T5-XXL固定エンコーダ)条件付きマルチビュー動画拡散DiT(LTX-Video 2B・COSMOS2 2Bベース、5Hz) + GE-Act: 160M自己回帰行動デコーダ(30Hz、54ステップ)

事前学習アクセラレータ: NVIDIA A100(GE-Base 32枚、GE-Act 16枚)
事前学習期間: GE-Base Stage I 約7日 + Stage II 約3日(各A100 32枚); GE-Act 約3日(A100 16枚)
事前学習ステップ・バッチ: 非公開
GPU・TPU時間: 8,832 (換算 · A100-時間(32×168 h + 32×72 h + 16×72 h))
ファインチューニング: A100 ×8、約12 h(動画への適応) + 約36 h(行動への特化)
データ種類: 実ロボットのテレオペレーション
データ規模: AgiBot-World-Beta 約100万episodes、2,967 h(序論の表現: 約3,000 hのvideo-languageペア); 新embodimentはテレオペレーション1 h
主要データセット: AgiBot-World-Beta
タスク・評価: AgiBot G1 5課題(サンドイッチ、お茶注ぎ、テーブル拭き、電子レンジ、洗剤の梱包; π0・UniVLA・GR00T N1と比較); sparse memory分析 E2E 89 / SR 76(memoryなしで81 / 64); RoboTwin 4課題中3課題でπ0・GO-1を上回る; Dual Frankaの布折りを1 hのデータで適応
ロボット: AgiBot G1(主); Agilex Cobot Magic、Dual Frankaに適応; RoboTwinシミュレータ

推論デバイス・速度: ロボット搭載RTX 4090で54ステップ(30Hz)の行動forward pass 200ms; 動画DiT 5Hz・行動 30Hz の非同期推論
推論メモリ: 非公開
重み bf16(計算): 非公開
実行場所: オンボード (RTX 4090)

主な特徴: 動画world model(GE-Base)の表現を軽量行動デコーダ(GE-Act)が受け取って行動を生成し、GE-Simが行動条件付き動画シミュレータの役割を果たす。産業界モデルの中で段階別のGPU数と日数を最も詳しく公開した。
備考: パラメータ(B)は総量が非公開のためnull。事前学習GPU・TPU-時間はGE-Base・GE-Act事前学習3段階の合計(約7日・3日・3日を168・72・72 hに換算)。言語指示条件付きモデル(GE-Base instruction-conditioned、T5-XXL)と確認されVLAに分類(ノートのVA/VLA境界を修正; 動画world modelベースのためその他と見ることもできる)。重み公開(ノートの未確認を修正): GE_base 2025-08-14、GE-Sim(Cosmos2) 2025-10-22、GE-Act(Calvin) 2025-12-18。技術レポート公開2025-08-08。GE-Actの'torque'表現は原文確認が食い違うため使わない。
検証: 修正反映