VLA ギャラリー / モデル一覧 / 産業界モデル

GR-2

ByteDance Research · 2024-10

VLA産業界モデル230MCVAE

Web動画38M clipsで未来フレーム生成を事前学習した後、ロボット軌跡で動画・行動を合わせてファインチューニングする。

論文

GR-2: A Generative Video-Language-Action Model with Web-Scale Knowledge for Robot ManipulationarXiv 2410.06158

概要

分類

産業界モデル

タイプ

VLA

発表

2024-10

機関

ByteDance Research

重み公開

未確認

パラメータ

230M(学習95M); スケーリング変形の学習パラメータ 30M(S)/95M(B)/312M(L)/719M(XL)

構造

バックボーンLLM

なし (VLMなし)

ビジョンエンコーダ

VQGAN画像トークン

アクションヘッド

cVAE行動生成 → WBC軌跡最適化 (CVAE)

チャンク

非公開

制御周期

200 Hz (実行)

構造の原文要約

GPT型Transformer(VLMなし): 固定テキストエンコーダ + VQGAN画像トークン; 行動はcVAEで生成(チャンク長は非公開) → WBC軌跡最適化で関節指令

学習

事前学習アクセラレータ

非公開

事前学習期間

非公開

事前学習ステップ・バッチ

非公開

GPU・TPU時間

非公開

ファインチューニング

非公開

データ種類

人の動画 + 公開ロボットデータ + 実ロボット

データ規模

事前学習 38M video clips、50B+ tokens; ロボット105タスク約40,000 traj(タスクあたり平均400); bin picking 55物体約94,000 traj

主要データセット

Howto100M, Ego4D, Something-Something V2, EPIC-KITCHENS, Kinetics-700, RT-1, Bridge

タスク・評価

105のテーブルトップ課題(8スキル)平均97.7%; 課題あたり50 trajのみで73.9%; bin picking 122物体で79.0%(GR-1 33.3%); CALVIN 1課題98.6%、5課題85.9%

ロボット

7-DoF Kinova Gen3 + Robotiq 2F-85

推論

推論デバイス・速度

WBC軌跡最適化後に実ロボットで200Hz実行; モデル推論遅延・ハードウェアは非公開

推論メモリ

非公開

重み bf16(計算)

0.5 GB

実行場所

非公開

強化学習・ベース

強化学習

不使用 · 動画生成の事前学習 + 模倣学習

ベース制御

固定 · ベース制御なし (Kinova腕)

備考

主な特徴

Web動画38M clipsで未来フレーム生成を事前学習した後、ロボット軌跡で動画・行動を合わせてファインチューニングする。学習パラメータを30Mから719Mまで増やしてスケーリングを実験した。

備考

パラメータ(B)は基本モデル総量230M基準(XLは学習パラメータ719Mのみ公開、総量は非公開)。トークン表記は'over 50 billion'と'approximately 50 billion'が混在。公開リポジトリが見つからない(重み公開の有無は検証で確認不可)。arXiv v1 2024-10-08。

検証

確認