VLA ギャラリー / モデル一覧 / 参照ベースライン(2024年以前)

RT-1

Robotics at Google; Everyday Robots; Google Research(Brain Team) · 2022-12

VA参照ベースライン(2024年以前)35M離散トークン

事前学習済みVLMなしで言語指示をFiLMで条件付けした35Mの実ロボット方策である。

論文

RT-1: Robotics Transformer for Real-World Control at ScalearXiv 2212.06817

概要

分類

参照ベースライン(2024年以前)

タイプ

VA

発表

2022-12

機関

Robotics at Google; Everyday Robots; Google Research(Brain Team)

重み公開

あり

パラメータ

35M(トークナイザ16M + Transformer 19M; TokenLearnerは別で記載なし)

構造

バックボーンLLM

なし

ビジョンエンコーダ

EfficientNet-B3 + TokenLearner (16M)

アクションヘッド

256区間の離散トークン (離散トークン)

チャンク

なし (1ステップ)

制御周期

3 Hz

構造の原文要約

FiLM EfficientNet-B3トークナイザ(16M) + TokenLearner + Transformer(self-attention 8層、19M); 行動次元ごとの256区間離散トークン(腕7・ベース3・モード)、チャンクなし、3 Hz

学習

事前学習アクセラレータ

非公開

事前学習期間

非公開

事前学習ステップ・バッチ

非公開

GPU・TPU時間

非公開

ファインチューニング

該当なし(単一段階学習)

データ種類

実ロボットのテレオペレーション

データ規模

約130kデモ(ロボット13台、17か月); データ混合実験にシミュレーションの成功軌跡518k、Kuka QT-Opt 209kエピソードを追加

主要データセット

RT-1独自収集データ; 混合実験: シミュレーション、Kuka QT-Opt

タスク・評価

実ロボット試行3,000回以上; 学習タスク200個以上、指示文744個; 未見の指示21個、保留タスク53個、長期指示15個

ロボット

モバイルマニピュレーター13台(オフィスキッチン; 腕7変数・ベース3変数)

推論

推論デバイス・速度

3 Hz制御、推論予算100 ms未満; 推論ハードウェア非公開

推論メモリ

非公開

重み bf16(計算)

0.1 GB

実行場所

非公開

強化学習・ベース

強化学習

不使用 · 模倣学習(行動クローニング)。データ混合実験でRL方策QT-OptがKukaロボットで集めた209k エピソードを混ぜて試した

ベース制御

車輪型 (ベース速度・姿勢を直接出力) · 方策がベースのx・y・yaw移動を256区間の離散トークンで直接出力 (モードトークンでアーム・ベース・終了を切替)

備考

主な特徴

事前学習済みVLMなしで言語指示をFiLMで条件付けした35Mの実ロボット方策である。離散行動トークンとロボット13台・17か月のテレオペレーションデータにより、以後のRT系列の基準となった。

備考

ノートの分類はVA(言語条件付きだが事前学習VLMなし)。学習計算量は一次出典のどこにもないため、二次出典の計算量の数値は根拠なしとして扱う。チェックポイント rt1main・rt1multirobot・rt1simreal を公開(Apache)。

検証

確認