VLA ギャラリー / モデル一覧 / 産業界モデル

AutoRT

Google DeepMind · 2024-01

기타産業界モデル該当なしその他

ロボットフリートをLLM・VLMで調整し実環境データを大規模に収集するシステムであり、モデルではない。

論文

AutoRT: Embodied Foundation Models for Large Scale Orchestration of Robotic AgentsarXiv 2401.12963

概要

分類

産業界モデル

タイプ

기타

発表

2024-01

機関

Google DeepMind

重み公開

なし

パラメータ

該当なし

構造

バックボーンLLM

PaLI・FlexCap VLM + LLM (名前は記載なし)

ビジョンエンコーダ

—

アクションヘッド

RT-1・RT-2・スクリプト・テレオペレーション方策で収集 (その他)

チャンク

非公開

制御周期

非公開

構造の原文要約

システム: VLM(PaLI, FlexCap)がシーンを記述 → LLMがタスクを提案・フィルタ → RT-1/RT-2/スクリプト/テレオペレーション方策で収集

学習

事前学習アクセラレータ

該当なし

事前学習期間

該当なし

事前学習ステップ・バッチ

該当なし

GPU・TPU時間

非公開

ファインチューニング

該当なし(収集データでRT-1 co-finetuning、演算は非公開)

データ種類

実ロボットでの自律収集(スクリプト方策・テレオペレーション・RT-2)

データ規模

77,000 trials、6,650 unique instructions、7か月; scripted 73,293 episodes(成功21%)、teleop 3,060(82%)、RT-2 936(4.7%)

主要データセット

AutoRT収集データ(自社)

タスク・評価

RT-1 co-finetuning時、高さ汎化の把持0%→12.5%、拭き取り10%→30%

ロボット

モバイルマニピュレーター20台以上を同時運用(ブログ: 計52台)、オフィスビル4か所

推論

推論デバイス・速度

該当なし

推論メモリ

非公開

重み bf16(計算)

非公開

実行場所

非公開

強化学習・ベース

強化学習

不使用 · データ収集システム(RT-1・RT-2方策・スクリプト・テレオペレーションで収集)

ベース制御

固定 · ベース移動は別のナビゲーションスタック (地図ベースの目標サンプリング); 収集方策(RT-2・スクリプト・テレオペレーション)は操作のみ

備考

主な特徴

ロボットフリートをLLM・VLMで調整し実環境データを大規模に収集するシステムであり、モデルではない。修正したAsimov原則ベースの'robot constitution'でタスクを安全性基準でふるい分ける。

備考

データ収集システム(モデルではない)のためタイプはその他。監督比率: モバイルは1人あたり3~5台、固定型は1人あたり最大8台。ブログは'instructions'ではなく'tasks'と表記。

検証

未検証