VLA ギャラリー / モデル一覧 / 参照ベースライン(2024年以前)

GR-1

ByteDance Research · 2023-12

VLA参照ベースライン(2024年以前)195M回帰

大規模な人の動画の未来フレーム予測で事前学習した後、ロボットデータで行動と未来画像を共に学習する。

論文

Unleashing Large-Scale Video Generative Pre-training for Visual Robot ManipulationarXiv 2312.13139

概要

分類

参照ベースライン(2024年以前)

タイプ

VLA

発表

2023-12

機関

ByteDance Research

重み公開

一部

パラメータ

195M(学習可能46M)

構造

バックボーンLLM

なし (CLIPテキストエンコーダ)

ビジョンエンコーダ

MAE ViT + perceiver resampler

アクションヘッド

MLP行動ヘッド + 未来フレーム予測 (回帰)

チャンク

非公開

制御周期

非公開

構造の原文要約

MAE事前学習ViT + perceiver resampler、CLIPテキストエンコーダ; GPT型因果Transformer(12層・12ヘッド・hidden 384); 3層MLP行動ヘッド + 未来画像予測、入力長10、未来フレーム間隔3

学習

事前学習アクセラレータ

非公開

事前学習期間

非公開

事前学習ステップ・バッチ

50エポック、バッチ1024(warmup 5エポック、lr 3.6e-4、AdamW、cosine)

GPU・TPU時間

非公開

ファインチューニング

GPU・時間は非公開; CALVIN 20エポック、バッチ512、lr 1e-3、warmup 1エポック

データ種類

人の動画; シミュレーション・合成; 実ロボットのデモ(収集方式の記載なし)

データ規模

事前学習 Ego4D 800Kクリップ・8Mフレーム; CALVIN 20k+専門家軌跡(言語ラベル1%); 実ロボット 運搬1,775デモ、引き出し2,856軌跡

主要データセット

Ego4D; CALVIN; 自社Kinovaデータ

タスク・評価

CALVIN ABCD→D 成功率94.9%(従来88.9%)、平均長4.21(従来3.06); ABC→D 85.4%(従来53.3%); 10%データで最初の課題0.778; 実機運搬 seen 0.79・unseenインスタンス0.73・unseenカテゴリ0.30、引き出し0.75

ロボット

7-DoF Kinova Gen2単腕; CALVINシミュレーション

推論

推論デバイス・速度

非公開

推論メモリ

非公開

重み bf16(計算)

0.4 GB

実行場所

非公開

強化学習・ベース

強化学習

不使用 · 動画予測の事前学習 + 模倣学習

ベース制御

固定 · ベース制御なし (Kinova単腕・CALVINシミュレーション)

備考

主な特徴

大規模な人の動画の未来フレーム予測で事前学習した後、ロボットデータで行動と未来画像を共に学習する。LLM・VLMバックボーンのない言語条件付きGPT型方策でCALVINの性能を高めた。

備考

産業界ノートの分類はVLA(言語入力基準)で、同条件のRT-1をVAとしたノートとは基準が異なる。Ego4D全体は3,500時間以上で、GR-1はそのうち800Kクリップを使った。CALVIN ABCD-D・ABC-Dのファインチューニング済みチェックポイントを公開(Apache-2.0)。

検証

確認