VLA ギャラリー / モデル一覧 / VA

Robot Utility Models (RUM)

New York University; Hello Robot Inc.; Meta · 2024-09

VAVA非公開離散トークン

25ドルのBoMのiPhone収集ツールで課題あたり約1,000デモを約40環境で集め、新環境にゼロショットで展開する。

論文

Robot Utility Models: General Policies for Zero-Shot Deployment in New EnvironmentsarXiv 2409.05865

概要

分類

VA

タイプ

VA

発表

2024-09

機関

New York University; Hello Robot Inc.; Meta

重み公開

あり

パラメータ

非公開

構造

バックボーンLLM

なし

ビジョンエンコーダ

ResNet34 (HPR初期化)

アクションヘッド

VQ行動コード (離散トークン)

チャンク

非公開

制御周期

非公開

構造の原文要約

HPRで初期化したResNet34ビジョンエンコーダ + VQ-BeT方策(DP比で性能・ロボットCPU遅延が優位なため選択); iPhoneカメラ入力

学習

事前学習アクセラレータ

該当なし

事前学習期間

該当なし

事前学習ステップ・バッチ

該当なし

GPU・TPU時間

非公開

ファインチューニング

タスク別モデル: A100 2枚、24–48時間('all of our models'という文言のためモデルごとかは曖昧)、500エポック

データ種類

人の動画(ハンドヘルドiPhone Stick-v2のデモ)

データ規模

タスクあたり約1,000デモ、約40環境(環境あたり平均約25); ドア開け1,200、引き出し525

主要データセット

Stick-v2で自前収集

タスク・評価

キャビネット扉開け、引き出し開け、ティッシュ取り、紙袋取り、倒れた物体を立てる; 未見環境へのゼロショット配置

ロボット

Hello Robot Stretch(xArm 7でも試験)

推論

推論デバイス・速度

Stretch内蔵CPU、iPhoneカメラ; 遅延は非公開

推論メモリ

非公開

重み bf16(計算)

非公開

実行場所

オンボード (Stretch内蔵CPU)

強化学習・ベース

強化学習

不使用 · 模倣学習。配備時はgpt-4o検証器が失敗を検知して再試行

ベース制御

固定 · ナビゲーションは別コンポーネントと仮定; 方策は作業位置でEE相対の6D行動のみ出力

備考

主な特徴

25ドルのBoMのiPhone収集ツールで課題あたり約1,000デモを約40環境で集め、新環境にゼロショットで展開する。外部のGPT-4o検証器が失敗を検知して再試行させる。

備考

検証器gpt-4o-2024-05-13は方策外部の構成要素であり、方策自体は言語入力なし。論文はコード・データ・モデル・ハードウェア設計の公開を明記。

検証

確認