V-JEPA 2-AC
Meta FAIR·Mila · 2025-06
VA産業界モデルエンコーダ最大1Bその他
インターネット動画100万時間以上でworld modelを自己教師あり学習し、ラベルなしロボット動画62 h未満で行動条件付き予測器を付け加えた。
論文
V-JEPA 2: Self-Supervised Video Models Enable Understanding, Prediction and PlanningarXiv 2506.09985
概要
- 分類
- 産業界モデル
- タイプ
- VA
- 発表
- 2025-06
- 機関
- Meta FAIR·Mila
- 重み公開
- あり
- パラメータ
- エンコーダ最大1B(論文)/1.2B(ブログ); AC predictor約300M
構造
- バックボーンLLM
- なし
- ビジョンエンコーダ
- V-JEPA 2 ViT-g (最大1B)
- アクションヘッド
- 目標画像ベースのMPC計画 (その他)
- チャンク
- 非公開
- 制御周期
- 非公開
- 構造の原文要約
- 自己教師あり動画エンコーダViT(最大ViT-g) + action-conditioned predictor(約300M、24層、block-causal attention); 目標画像ベースのMPC計画(言語入力なし)
学習
- 事前学習アクセラレータ
- 非公開(A100基準のGPU-days比較表のみ)
- 事前学習期間
- 非公開
- 事前学習ステップ・バッチ
- 非公開
- GPU・TPU時間
- 非公開
- ファインチューニング
- 非公開
- データ種類
- 人の動画(インターネット動画) + 画像 + 実ロボットのラベルなし動画
- データ規模
- インターネット動画100万h以上 + 画像100万枚(VideoMix22M); AC事後学習 DROIDのラベルなしロボット動画62 h未満
- 主要データセット
- VideoMix22M, DROID
- タスク・評価
- 新環境・新物体でのzero-shot pick-and-place成功率65~80%(ブログ); 異なる2研究室のFrankaに配備
- ロボット
- Franka単腕
推論
- 推論デバイス・速度
- MPC計画をRTX 4090 1枚で実行; 計画時間の数値は非公開
- 推論メモリ
- 非公開
- 重み bf16(計算)
- 2.4 GB
- 実行場所
- ローカルPC
強化学習・ベース
- 強化学習
- 不使用 · 自己教師あり動画事前学習 + 行動条件付き予測器の学習。実行はMPC計画
- ベース制御
- 固定 · ベース制御なし (Franka腕、MPC計画)
備考
- 主な特徴
- インターネット動画100万時間以上でworld modelを自己教師あり学習し、ラベルなしロボット動画62 h未満で行動条件付き予測器を付け加えた。2研究室のFrankaで新規物体のpick-and-placeをzero-shotで65~80%達成した。
- 備考
- パラメータ表記の衝突: 論文のエンコーダ'up to 1 billion' vs ブログ'1.2 billion-parameter model'; パラメータ(B)は大きい方の値1.2。データ時間(h)はインターネット動画'over 1 million hours'の下限値。発表2025-06-11。
- 検証
- 確認
同じ分類のモデル
- Gemini Robotics2025-03
- Gemini Robotics-ER2025-03
- Gemini Robotics On-Device2025-06
- Gemini Robotics 1.52025-09
- Gemini Robotics-ER 1.52025-09
- RT-H2024-03
- AutoRT2024-01
- SARA-RT2023-12
- GR-22024-10
- GR-32025-07
- GR-RL2025-12
- GR-Dexter2025-12
- TRI LBM 1.02025-07
- GO-12025-03
- Genie Envisioner2025-08
- RFM-12024-03
- Skild Brain2025-07
- DYNA-12025-06
- GEN-02025-11
- Galaxea G02025-08
- GigaBrain-02025-10
- RynnVLA-0012025-08
- UnifoLM-WMA-02025-09