VLA ギャラリー / モデル一覧 / モバイルマニピュレーション

Helpful DoggyBot

Stanford University·UC San Diego · 2024-09

기타モバイルマニピュレーション非公開RL方策

前面下部に1-DoFグリッパを付けたGo2に、シミュレーションRLで学習した一人称深度ベースの俊敏な制御器と事前学習VLMによる認識・比例制御を組み合わせたモジュール型の屋内物体取ってくるシステムである。

論文

バックボーンLLM: なし
ビジョンエンコーダ: 深度CNN+GRU(制御器) · Florence-2・SAM2 · GroundingDINO・MobileSAM・Cutie(認識)
アクションヘッド: RL方策の関節目標 → Unitree PD (RL方策)
チャンク: なし (1ステップ)
制御周期: 50 Hz (深度 10 Hz)
構造の原文要約: 学習制御器: 深度CNN+GRU推定器(ROA蒸留) + RL方策 → 関節目標(PDゲインと共に送信) 50 Hz、深度エンコーダ10 Hz; 指令 = 並進速度・角速度・ピッチ; 上位はFlorence-2・SAM2(天井カメラ)・GroundingDINO・MobileSAM・Cutieによる認識 + 比例制御

事前学習アクセラレータ: 該当なし
事前学習期間: 該当なし
事前学習ステップ・バッチ: 該当なし
GPU・TPU時間: 非公開
ファインチューニング: シミュレーションRL(IsaacGym Preview 4): 特権(oracle)方策 6,144ロボット・400地形 20k iter 10時間(RTX 4090 1枚)、深度蒸留 384ロボット 5k iter 6時間; VLMは事前学習モデルをそのまま使用
データ種類: シミュレーション・合成
データ規模: シミュレーションRLロールアウト(6,144・384並列ロボット); 実データなし
主要データセット: なし(シミュレーション地形400個)
タスク・評価: 実環境の未学習2か所での初回試行成功率(各10回): ベッド+おもちゃ 60%、ソファ+瓶 60%、床+ボール 70%; シミュレーション指標は200回平均
ロボット: Unitree Go2四足(12-DoF) + 下部前面1-DoFグリッパー(Dynamixel)、一人称RealSense D435、天井魚眼カメラ

推論デバイス・速度: 制御器: オンボードJetson(Orin) 50 Hz、深度エンコーダ10 Hz; VLM: 別のワークステーション(SAM2追跡10 Hz); 把持用認識(GroundingDINO・MobileSAM 0.2 Hz、Cutie 10 Hz)はオンボード(on-device)
推論メモリ: 非公開
重み bf16(計算): 非公開
実行場所: オンボードJetson(制御器) + ワークステーション(VLM)

強化学習: 使用 (RL制御器の学習) · 唯一の学習方策である低レベル深度制御器をPPO(特権教師)→ROA深度生徒で学習; 上位の認識・指令は学習なし
強化学習の根拠: https://arxiv.org/abs/2410.00231
ベース制御: 四足歩行 (指令・潜在 → RL歩行制御器) · VLMの検出位置から比例制御器が線速度(0.8 m/s)・ヨー・ピッチ指令を生成 → 深度ベースRL方策が関節を制御

主な特徴: 前面下部に1-DoFグリッパを付けたGo2に、シミュレーションRLで学習した一人称深度ベースの俊敏な制御器と事前学習VLMによる認識・比例制御を組み合わせたモジュール型の屋内物体取ってくるシステムである。実データの収集・学習なしで初見の家2軒において、ベッドの上に登っておもちゃを取ってくるなど60–70%の成功率を示した。
備考: 学習されるのは低レベルRL制御器のみで、検出・追跡は事前学習モデル、移動・把持指令はルールベースの比例制御(並進速度0.8 m/s固定); 天井カメラへの依存を限界として明記; 自然言語での物体指定はFlorence-2プロンプト; コード公開(GitHub)、重みは非公開。
検証: 修正反映