VLA ギャラリー / モデル一覧 / モバイルマニピュレーション

HarmonicMM

UC San Diego·Allen Institute for AI(PRIOR)·University of Washington · 2023-12

VAモバイルマニピュレーション非公開RL方策

ナビゲーションと操作のモジュールを分けず、RGBのみでベースと腕を同時に動かす単一方策をProcTHORシミュレーションでDD-PPOによりエンドツーエンド学習する。

論文

バックボーンLLM: なし
ビジョンエンコーダ: DINOv2 ViT-S/14 (Nav・Manipカメラ2台)
アクションヘッド: アクター・クリティックFC (5次元連続行動 + 把持) (RL方策)
チャンク: なし (1ステップ)
制御周期: 非公開
構造の原文要約: 事前学習済みDINOv2(dinov2_vits14)特徴(Nav・Manip RGBカメラ2台) → カメラごとに1×1 Conv 2層(16チャネル) + 固有感覚 → GRU 1層(512) → 方策・価値FC(512); 5次元連続行動(ベースの並進・回転、アームの高さ・伸長、手首回転; ドア・冷蔵庫タスクは把持1次元を追加)、チャンクなし

事前学習アクセラレータ: 該当なし
事前学習期間: 該当なし
事前学習ステップ・バッチ: 該当なし
GPU・TPU時間: 非公開
ファインチューニング: タスク別RL学習: DD-PPO(AllenAct) 10^7ステップ、並列環境20個・反復あたりサンプル640、シード3個; GPU・学習時間は非公開
データ種類: シミュレーション・合成
データ規模: ProcTHORハウス: ドア700・テーブル2,000・冷蔵庫1,400個; タスクあたり10^7環境ステップ
主要データセット: ProcTHOR(AI2-THOR)手続き生成ハウス
タスク・評価: シミュレーション(未学習の家350軒)成功率: Cleaning Table 36.7%、Opening Door Push 80.0%・Pull 51.2%、Opening Fridge 20.0% (平均47%; ReLMoGen 25.1%・51.7%・40.7%・0%); 実環境: ドア引き 9/15、押し 7/10、テーブル清掃 8/12(表面66.6%)
ロボット: Hello Robot Stretch(車輪型ベース、腕の高さ・伸長を制御)、RealSense D455 RGB

強化学習: 使用 (RL制御器の学習) · 方策全体をProcTHORシミュレーションでDD-PPOによりタスク別にゼロから学習(10^7ステップ)後、実環境へzero-shot転移
強化学習の根拠: https://arxiv.org/abs/2312.06639
ベース制御: 車輪型 (RL方策が直接駆動) · 方策がベースの並進・回転をアーム高さ・伸長・手首回転と共に5次元連続行動として直接出力

主な特徴: ナビゲーションと操作のモジュールを分けず、RGBのみでベースと腕を同時に動かす単一方策をProcTHORシミュレーションでDD-PPOによりエンドツーエンド学習する。シミュレーション4タスクの平均成功率47%でReLMoGenなどのベースラインを上回り、ファインチューニングなしで初見の実際のアパートでドア開け・テーブル清掃を行った。
備考: 2024年以前の参照基準(anchor)。課題ごとに別方策で、言語・目標入力なし。視覚エンコーダはViT(DINOv2)だが方策トランクがGRUのため非Transformerに分類。実機でのドアノブ把持はヒューリスティック補助。コード公開(GitHub)、チェックポイント未提供。IROS 2024 Best Paper on Mobile Manipulation。
検証: 確認